SlideShare a Scribd company logo
1 of 27
Download to read offline
ËÈÊÁÅÇ
Ëåêöèÿ 2: Îñíîâû òåîðèè âåðîÿòíîñòåé



           Äìèòðèé Èöûêñîí
              ÏÎÌÈ ÐÀÍ

           28 ñåíòÿáðÿ 2008



                                       1 / 27
Ïëàí




•   Âåðîÿòíîñòíîå ïðîñòðàíñòâî;
•   Ñëó÷àéíûå âåëè÷èíû;
•   Averaging argument (íåðàâåíñòâî Ìàðêîâà);
•   Ëèíåéíîñòü ìàòåìàòè÷åñêîãî îæèäàíèÿ;
•   Óñëîâíûå âåðîÿòíîñòè è íåçàâèñèìîñòü ñëó÷àéíûõ
    âåëè÷èí;
•   Äèñïåðñèÿ, íåðàâåíñòâî ×åáûøåâà;
•   Îöåíêè ×åðíîâà;
•   Ìàðêîâñêàÿ öåïü.


                                                     2 / 27
Ëèòåðàòóðà




1   À. À. Áîðîâêîâ. Òåîðèÿ âåðîÿòíîñòåé.
2   Â. Ôåëëåð. Ââåäåíèå â òåîðèþ âåðîÿòíîñòåé è åå
    ïðèëîæåíèÿ.
3   Í. Àëîí, Äæ. Ñïåíñåð. Âåðîÿòíîñòíûé ìåòîä.
4   À. Øåíü. Âåðîÿòíîñòü: ïðèìåðû è çàäà÷è.




                                                     3 / 27
σ -àëãåáðà
Îïðåäåëåíèå. Ω  íåêîòîðîå ìíîæåñòâî, A ⊆ 2Ω. A íàçûâàåòñÿ
σ -àëãåáðîé, åñëè:
  • Ω∈A
  •  Äëÿ ïîñëåäîâàòåëüíîñòè {An }n∈N, åñëè ∀n ∈ N, An ∈ A, òî
       n∈N An ∈ A è  n∈N An ∈ A.
   • A ∈ A ⇐⇒ A = Ω  A ∈ A.

Îïðåäåëåíèå. Ω  íåêîòîðîå ìíîæåñòâî, A  σ-àëãåáðà.
Âåðîÿòíîñòíîé ìåðîé íà A íàçûâàåòñÿ îòîáðàæåíèå
p : A → [0, 1]:
   • p(Ω) = 1;
   • Äëÿ ïîñëåäîâàòåëüíîñòè ïîïàðíî íåïåðåñåêàþùèõñÿ
     ìíîæåñòâ {An }n∈N âûïîëíÿåòñÿ
     p( n∈N An ) = n∈N P(An ).

                                                                4 / 27
Âåðîÿòíîñòíîå ïðîñòðàíñòâî




Îïðåäåëåíèå. Âåðîÿòíîñòíûì ïðîñòðàíñòâîì íàçûâàåòñÿ
òðîéêà (Ω, A, p), ãäå
  • Ω  ïðîñòðàíñòâî ýëåìåíòàðíûõ ñîáûòèé (íåêîòîðîå
    ìíîæåñòâî);
  • A ⊆ 2Ω  ìíîæåñòâî äîïóñòèìûõ ñîáûòèé (σ -àëãåáðà);
  • p  âåðîÿòíîñòíàÿ ìåðà.




                                                          5 / 27
Ïðèìåðû




Ïðèìåð. Äèñêðåòíîå âåðîÿòíîñòíîå ïðîñòðàíñòâî. n
Ω = {ω1 , ω2 , . . . , ωn }. A = 2Ω , p1 , p2 , . . . , pn ≥ 0, i=1 pi = 1,
p(ωi ) = pi .
p(A) = ω∈A p(ω).
Çàìå÷àíèå. Ïåðåñå÷åíèå σ-àëãåáð - ýòî σ-àëãåáðà.
Ïðèìåð. Ω = R, A  ïåðåñå÷åíèå âñåõ σ-àëãåáð, ñîäåðæàùèõ
âñå îòêðûòûå ìíîæåñòâà íà R (áîðåëåâñêàÿ σ-àëãåáðà B).
ρ : R → R+ , −∞ ρ(x)dx = 1.
                  +∞

p(A) = A ρ(x)dx .




                                                                              6 / 27
Ïðîñòåéøèå ñâîéñòâà âåðîÿòíîñòè




            ,
• p(∅) = 0 p(Ω) = 1      ;
• p(A1 ∪ A2 ∪ · · · ∪ An ) ≤         n
                                     i=1 p(An ) ;
•   (ôîðìóëà âêëþ÷åíèé-èñêëþ÷åíèé) p(A1 ∪ A2 ∪ · · · ∪ An ) =
      n
      i=1 p(An )   −   ij   p(Ai Aj ) + · · · + (−1)n p(A1 A2 . . . An )
                                     n
• p(A1 ∪ A2 ∪ · · · ∪ An ) ≥         i=1 p(An )   −   ij   p(Ai Aj )




                                                                            7 / 27
Random subsum principle




Îïðåäåëåíèå.nÄëÿ x, y ∈ {0, 1}n îïðåäåëèì
 x, y = i=1 xi yi (mod2).
Ëåììà. Ðàññìîòðèì Ω = {0, 1}n , A = 2Ω, p(x) = 2−n äëÿ âñåõ
x ∈ Ω. Èçâåñòíî, ÷òî y = 0n . Ïóñòü A = {x|  x, y = 1}, òîãäà
p(A) = 2 (èíà÷å Prx∈{0,1} { x, y = 1} = 1 ).
         1
                         n

Äîêàçàòåëüñòâî. Ïóñòü yk = 1, êàæäîìó x ∈ Ω ìîæíî
                                             2

ñîïîñòàâèòü x (k), ó êîòîðîãî k -é ýëåìåíò èíâåðòèðîâàí,
 y , x = 1−  y , x (k) .




                                                                  8 / 27
Ñëó÷àéíàÿ âåëè÷èíà




Îïðåäåëåíèå. (Ω, A, p)  âåðîÿòíîñòíîå ïðîñòðàíñòâî.
Ñëó÷àéíîé âåëè÷èíîé íàçûâàåòñÿ òàêîå îòîáðàæåíèå
ξ : Ω → R, ÷òî äëÿ âñåõ A ∈ B âûïîëíÿåòñÿ ξ −1 (A) ∈ A.
   • Åñëè A = 2Ω , òî ëþáîå îòîáðàæåíèå ξ : Ω → R ÿâëÿåòñÿ
     ñëó÷àéíîé âåëè÷èíîé.
   • Ñëó÷àéíàÿ âåëè÷èíà èíäóöèðóåò âåðîÿòíîñòíóþ ìåðó µ íà
     R, B : µ(A) = p(ξ −1 (A)).
   • Çíàÿ ìåðó µ ìîæíî çàáûòüïðî âåðîÿòíîñòíîå
     ïðîñòðàíñòâî. Pr{ξ ∈ A} = µ(A).


                                                             9 / 27
Äèñêðåòíîå ðàñïðåäåëåíèå




• Ω = {ω1 , ω2 , . . . , ωn }   ,
  ξ(ω1 ) = a1 , ξ(ω2 ) = a2 , . . . , ξ(ωn ) = an   .
• Pr{ξ ∈ A} =         i:ai ∈A µ(ai ).




                                                        10 / 27
Àáñîëþòíî íåïðåðûâíîå ðàñïðåäåëåíèå



Îïðåäåëåíèå. Ðàñïðåäåëåíèå íàçûâàåòñÿ àáñîëþòíî
íåïðåðûâíûì, åñëè ñóùåñòâóåò òàêàÿ ôóíêöèÿ ρ : R → R+,
 −∞ ρ(x)dx = 1, êîòîðàÿ çàäàåò ìåðó µ ïî ôîðìóëå
 +∞

µ(A) = A ρ(x)dx . Ôóíêöèÿ ρ íàçûâàåòñÿ ïëîòíîñòüþ
ðàñïðåäåëåíèÿ.
Ïðèìåð. U(a; b)  ðàâíîìåðíîå ðàñïðåäåëåíèå íà [a; b].
           1
       
             , x ∈ [a; b]
ρ(x) = b − a
        0, x ∈ [a; b]
      
Ïðèìåð.N(µ, σ 2 )      íîðìàëüíîå ðàñïðåäåëåíèå.
                       .
                  (x−µ)2
           1    −
ρ(x) =    √ e
         σ 2π
                    2σ 2




                                                         11 / 27
Ìàòåìàòè÷åñêîå îæèäàíèå




Îïðåäåëåíèå. ξ  ñëó÷àéíàÿ âåëè÷èíà, µ  ìåðà,
èíäóöèðîâàííàÿ ξ. Ìàòåìàòè÷åñêèì îæèäàíèåì ξ íàçûâàåòñÿ
E ξ = Ω ξ(ω)dp(ω) = R xdµ.
   • Åñëè µ àáñîëþòíî íåïðåðûâíà ñ ïëîòíîñòüþ ρ(x), òî
     E ξ = −∞ xρ(x)dx .
             +∞

   • Åñëè µ äèñêðåòíàÿ ìåðà, ïðè êîòîðîé
     µ(A1 ) = p1 , . . . , µ(An ) = pn , òî
     E ξ = ω∈Ω ξ(ω)p(ω) = n pi Ai .   i=1




                                                          12 / 27
Averaging argument




                  íåêîòîðûå ÷èñëà, èõ ñðåäíåå
• a1 , a2 , . . . , an
    àðèôìåòè÷åñêîå c , òîãäà ñóùåñòâóåò ak ≥ c .
•   ξ  ñëó÷àéíàÿ âåëè÷èíà, E ξ = m, òîãäà Pr{ξ ≥ m}  0.
    Äîêàçàòåëüñòâî. Ïóñòü ξ ïðèíèìàåò çíà÷åíèÿ A1 ñ
    âåðîÿòíîñòüþ p1, A2 ñ âåðîÿòíîñòüþ p2,..., An ñ
    âåðîÿòíîñòüþ pn , ãäå pi  0, pi = 1.
    Åñëè âñå Ai  m, òî
    m = p1 A1 + p2 A2 + · · · + pn An  p1 m + p2 m + · · · + pn m = m   .
    Ïðîòèâîðå÷èå!


                                                                             13 / 27
Íåðàâåíñòâî Ìàðêîâà


Ëåììà. ξ  ýòî íåîòðèöàòåëüíàÿ ñëó÷àéíàÿ âåëè÷èíà. Òîãäà
äëÿ âñåõ k  0 âûïîëíÿåòñÿ íåðàâåíñòâî Pr{ξ ≥ k E ξ} ≤ k .
                                                       1

Äîêàçàòåëüñòâî. Îáîçíà÷èì m = E ξ Ïóñòü
A1 ≤ A2 · · · ≤ Ai  mk ≤ Ai+1 ≤ . . . An .
Pr{ξ ≥ km} = pi+1 + · · · + pn  k . Òîãäà
                                 1

m = p1 A1 + p2 A2 + · · · + pn An ≥ pi+1 Ai+1 + · · · + pn An ≥
                       . Ïðîòèâîðå÷èå!
mk(pi+1 + · · · + pn )  m
Ïðèìåð. Â ëîòåðåå íà âûèãðûøè óõîäèò   ñòîèìîñòè
                                            40%
áèëåòîâ. Áèëåò ñòîèò ðóáëåé. Äîêàæèòå, ÷òî âåðîÿòíîñòü
                        100
âûèãðàòü õîòÿ áû 5000 íå áîëåå     1%
  • Ìàò. îæèäàíèå âûèãðûøà 40 ðóáëåé.
  •    40
      5000    1%



                                                                  14 / 27
Îöåíêà ñâåðõó




Ëåììà. ξ ∈ [0; 1], m = E ξ. Òîãäà äëÿ âñåõ 0  c  1
âûïîëíÿåòñÿ íåðàâåíñòâî: Pr{ξ ≤ cm} ≤ 1−cm .
                                          1−m

Äîêàçàòåëüñòâî. Ïóñòü η = 1 − ξ. E η = 1 − m.Òîãäà
  Pr{ξ ≤ cm} = Pr{1 − η ≤ cm} = Pr{η ≥ 1 − cm} =
                         1 − cm            í-âî Ìàðêîâà   1−m
                Pr{η ≥          (1 − m)}        ≤                .
                         1−m                              1 − cm




                                                                     15 / 27
Ëèíåéíîñòü ìàòåìàòè÷åñêîãî îæèäàíèÿ




Òåîðåìà. ξ = αξ1 + βξ2, ãäå α, β ∈ R. Òîãäà E ξ = α E ξ1 + β E ξ2.
Äîêàçàòåëüñòâî. E ξ = ω∈Ω ξ(ω)p(ω) =
  ω∈Ω (αξ1 (ω)   + βξ2 (ω))p(ω) = α E ξ1 + β E ξ2 .




                                                                     16 / 27
Òóðíèð ñ áîëüøèì ÷èñëîì
                              ãàìèëüòîíîâûõ ïóòåé
•   Òóðíèðîì íàçûâàåòñÿ îðèåíòèðîâàííûé ãðàô ìåæäó
    ëþáûìè äâóìÿ âåðøèíàìè êîòîðûõ åñòü ðîâíî îäíî
    îðèåíòèðîâàííîå ðåáðî.
•   Ãàìèëüòîíîâ ïóòü  ïóòü ïðîõîäÿùèé ïî âñåì âåðøèíàì
    ðîâíî 1 ðàç.
•   Ω = {G1 , G2 , . . . , G2 }  ìíîæåñòâî âñåõ òóðíèðîâ íà n
                        2

    âåðøèíàõ, âñå òóðíèðû ðàâíîâåðîÿòíû.
                       Cn



•   σ  ïåðåñòàíîâêà ÷èñåë îò 1 äî n.
                1, åñëè σ çàäàåò ã.ï. â G
                0, èíà÷å
    Xσ (G ) =

•   X = σ Xσ  ÷èñëî ãàìèëüòîíîâûõ ïóòåé â ñëó÷àéíîì
    ãðàôå.
•   E X = σ E Xσ = 2 n! .
                       n−1

•   Çíà÷èò, ñóùåñòâóåò òóðíèð â êîòîðîì íå ìåíüøå 2 n!
    ãàìèëüòîíîâûõ ïóòåé.
                                                       n−1

                                                                 17 / 27
Äâóäîëüíûé ïîäãðàô

•   Òåîðåìà. Èç ëþáîãî ãðàôà G (V , E ) ìîæíî âûáðîñèòü íå
    áîëåå |E | ðåáåð òàê, ÷òîáû îí ñòàë äâóäîëüíûì.
            2
•   Äîêàçàòåëüñòâî. Ω = 2V , âñå ïîäìíîæåñòâà
    ðàâíîâåðîÿòíû.
•   Ïóñòü T ∈ Ω (T ⊆ V ), îïðåäåëèì ñëó÷àéíóþ âåëè÷èíó äëÿ
    êàæäîãî ðåáðà (x, y ):
                 1, åñëè ðîâíî îäíà âåðøèíà èç x, y ñîäåðæèòñÿ â T
                 0, èíà÷å
    Xxy (T ) =


• X =                 êîëè÷åñòâî ðåáåð, ðîâíî îäíà èç
                      Xxy
    âåðøèí êîòîðûõ ñîäåðæèòñÿ â T .
           (x,y )∈E


•   E X = (x,y )∈E E Xxy = |E | .
                            2
•   Çíà÷èò, ñóùåñòâóåò T ∈ Ω, ÷òî X (T ) ≥ |E | .
                                            2
•   Âûêèíåì âñå îñòàëüíûå ðåáðà.
                                                              18 / 27
Óñëîâíûå âåðîÿòíîñòè




     ,
• Ω B ∈A B ⊂Ω  (          ), Pr{B}  0;
•   ΩB = {A ∩ B|A ∈ A};
•   Pr{A|B} = Pr{B} ;
               Pr AB

•   Ïóñòü A1, A2, . . . , An  ïîëíàÿ ñèñòåìà íåñîâìåñòíûõ
    ñîáûòèé (Ai Aj = ∅, Ai = Ω).
•   C = CA1 ∪ CA2 ∪ · · · ∪ CAn .
•   (Ôîðìóëà ïîëíîé âåðîÿòíîñòè)
    Pr{C } =       i   Pr{CAi } =   i   Pr{C |Ai } Pr{Ai }




                                                             19 / 27
Íåçàâèñèìîñòü



• A, B ⊂ Ω    íàçûâàþòñÿ íåçàâèñèìûìè, åñëè
    Pr{AB} = Pr{A} Pr{B}   ;
•   Pr{A|B} = Pr{A}, Pr{B|A} = Pr{B};
•   Ïðèìåð. Ω = {00, 01, 10, 11}, âñå èñõîäû ðàâíîâåðîÿòíû.
    A  ïåðâûé áèò ðàâåí 0, B  ñóììà áèòîâ ÷åòíà.
    Pr{A} = 2 , Pr{B} = 1 , Pr{AB} = 1 ;
             1
                         2             4
•   Ñîáûòèÿ {Ai }i∈I íàçûâàþòñÿ âçàèìíî íåçàâèñèìûìè, åñëè
    äëÿ âñåõ T ⊆ I âûïîëíÿåòñÿ Pr{ i∈T } = i∈T Pr{Ai }.
•   (Äèñêðåòíûå) ñëó÷àéíûå âåëè÷èíû ξ è η íàçûâàþòñÿ
    íåçàâèñèìûìè, åñëè äëÿ âñåõ a, b ∈ R âûïîëíÿåòñÿ
    Pr{ξ = a, η = b} = Pr{ξ = a} Pr{η = b}.



                                                              20 / 27
Ïðîèçâåäåíèå ìàòîæèäàíèé
Òåîðåìà. X1, X2, . . . , Xn  âçàèìíî íåçàâèñèìû. Òîãäà
E[X1 X2 . . . Xn ] = E[X1 ] E[X2 ] . . . E[Xn ].
Äîêàçàòåëüñòâî.
     E[X1 X2 . . . Xn ] =             x Pr{X1 X2 . . . Xn = X } =
                                 x

                 x1 x2 . . . xn Pr{X1 = x1 , X2 = x2 , . . . , Xn = xn }
                                                                              (íåçàâèñèìîñòü)
                                                                                     =
x1 ,x2 ,...,xn

                     x1 x2 . . . xn Pr{X1 = x1 } Pr{X2 = x2 } . . . Pr{Xn = xn } =
    x1 ,x2 ,...,xn

(        x1 Pr{X1 = x1 })(                x2 Pr{X2 = x2 }) . . . (        xn Pr{Xn = xn }) =
    x1                               x2                              xn
                                                                                n
                                                                                     E[Xi ]
                                                                               i=1

Îïðåäåëåíèå. Êîâàðèàöèÿ: Cov (X , Y ) = E[XY ] − E[X ] E[Y ].                                 21 / 27
Äèñïåðñèÿ




Îïðåäåëåíèå. Äèñïåðñèåé ñëó÷àéíîé âåëè÷èíû ξ íàçûâàåòñÿ
âåëè÷èíà D ξ = E(ξ − E ξ)2.
D ξ = E(ξ − E ξ)2 = E[ξ 2 − 2ξ E ξ + (E ξ)2 ] = E ξ 2 − (E ξ)2 ≥ 0.
Ëåììà. (Íåðàâåíñòâî ×åáûøåâà).      D ξ = σ2  , òîãäà
                                            1
                     Pr{|ξ − E ξ| ≥ kσ} ≤      .
                                            k2
Äîêàçàòåëüñòâî. η = (ξ − E ξ)2, E η = σ2.
                                   (íåð-âî Ìàðêîâà) 1
                             2 2
Pr{|ξ − E ξ| ≥ kσ} = Pr{η ≥ k σ }             ≤          k2
                                                              .


                                                                      22 / 27
Ëèíåéíîñòü äèñïåðñèè

Òåîðåìà. Åñëè ξ1, ξ2, . . . , ξn ïîïàðíî íåçàâèñèìû, òî
D(ξ1 + ξ2 + · · · + ξn ) = D ξ1 + D ξ2 + · · · + D ξn .
Äîêàçàòåëüñòâî.
  D(           ξi ) = E[(         ξi −            E ξi )2 ] =
       i                      i              i
                              2
               E[(       ξi ) − 2(               ξi )(               E ξj ) + (       E ξi )2 ] =
                     i                   i                   j                    i

                 E ξi2   +2           E ξi E ξj −2                          2
                                                                      (E ξi ) − 4           E ξi E ξj
           i                  ij                                i                    ij

                            +         (E ξi )2 + 2                     E ξi E ξj =
                                  i                              ij

                                                 =               E ξi2 −          (E ξi )2 =         D[ξi ].
                                                         i                   i                   i


                                                                                                               23 / 27
Îöåíêè ×åðíîâà



                    âçàèìíî íåçàâèñèìûå ñëó÷àéíûå
• X1 , X2 , . . . , Xn
    âåëè÷èíû, ïðèíèìàþùèå çíà÷åíèÿ èç {0, 1};
•   X = n Xi , m = E X ;
            i=1
•   Õî÷åòñÿ ïîëó÷èòü Pr{X ≥ (1 + δ)m} ≤ ÷òî-òî ìàëåíüêîå
•   E e tX = (1 − pi ) + e t pi ;
         i




E e tX = E e t     i   Xi
                            =E       e tXi =            E e tXi =           (1+pi (e t −1)) ≤
                                 i                  i                   i
                       (1+x≤e x )                  t −1)            pi (e t −1)             t −1)
                            ≤            e pi (e           =e   i                 = e m(e
                                     i




                                                                                                    24 / 27
Îöåíêè ×åðíîâà




                   t −1)
• E e tX = e m(e
                                                                                      t
• Pr{X ≥ (1 + δ)m} = Pr{e tX ≥ e (1+δ)mt } ≤                        E e tX        e m(e −1)
                                                                  e (1+δ)mt
                                                                              ≤   e (1+δ)mt
• t = ln(1 + δ)
                          e             δ
• Pr{X ≥ (1 + δ)m} ≤ (
                       (1+δ)(1+δ)
                                  )m ≤ e (δ−(1+δ) ln(1+δ))m ≤
                   2 /2))m             2 /2+δ 3 /3)m            2 m/6
  e (δ−(1+δ)(δ−δ             = e (−δ                   ≤ e −δ
                                        −δ                 2 m/2
• Pr{X ≤ (1 − δ)m} ≤ ( e (1−δ) )m ≤ e −δ
                      (1−δ)




                                                                                              25 / 27
Îöåíêè ×åðíîâà




                    îäèíàêîâî ðàñïðåäåëåííûå âçàèìíî
• X1 , X2 , . . . , Xn
    íåçàâèñèìûå ñëó÷àéíûå âåëè÷èíû.
•   Pr{Xi = 1} = p, Pr{Xi = 0} = 1 − p .
    E Xi = p, E X = E n Xi = np ;
                        i=1
                                                             2
            Xi                                ε           − ε6pn
• Pr{|     n     − p| ≥ ε} = Pr{|X − np| ≥ np p )} ≤ 2e
•   10000 ðàç áðîñàëè ìîíåòêó. Îöåíèòü âåðîÿòíîñòü òîãî, ÷òî
    âûïàëî áîëüøå 5500 îðëîâ?
                ≤ 0.00025.
      ( 10000 )2 ·10000
         500
•   e−        3




                                                                   26 / 27
Ìàðêîâñêàÿ öåïü


•   Äàí îðèåíòèðîâàííûé ãðàô. Äëÿ êàæäîé âåðøèíû
    èçâåñòíû âåðîÿòíîñòè ïåðåõîäîâ ïî ðåáðàì.
    Áëóæäàíèåïî òàêîìó ãðàôó  ýòî ìàðêîâñêèé ïðîöåññ.
•   Ôîðìàëüíî. Âåðøèíû: {1, 2, . . . , N}.
•   X0 , X1 , X2 , . . . , ïðèíèìàþò çíà÷åíèÿ {1, 2, . . . , N}.
•   Èçâåñòíû pj,i = Pr{Xk+1 = j|Xk = i}
    π (k) = (π1 , π2 , . . . , πn )  ðàñïðåäåëåíèå Xk .
                (k)       (k)     (k)
•
     (k+1)         n
• πj         =     i=1 Pr{Xk+1 =    j|Xk = i} Pr{Xk = i} =
       n
       i=1 pj,i πi;
                 (k)

•   π                     ,
      (k+1) = Pπ (k) P = (p )
                              j,i    ìàòðèöà ïåðåõîäà;
•   π (k) = P k π (0) .

                                                                   27 / 27

More Related Content

Similar to 20080928 introductorycourse itsykson_lecture02

20090510 hardnessvsrandomness itsykson_lecture11
20090510 hardnessvsrandomness itsykson_lecture1120090510 hardnessvsrandomness itsykson_lecture11
20090510 hardnessvsrandomness itsykson_lecture11Computer Science Club
 
Phương pháp số và lập trình - Tính sai số
Phương pháp số và lập trình - Tính sai sốPhương pháp số và lập trình - Tính sai số
Phương pháp số và lập trình - Tính sai sốHajunior9x
 
Cơ lưu chất 06 theluu
Cơ lưu chất 06 theluuCơ lưu chất 06 theluu
Cơ lưu chất 06 theluuThe Light
 
Ala too 3_mart_2010
Ala too 3_mart_2010Ala too 3_mart_2010
Ala too 3_mart_2010Inash Azim
 
Xs cao hochsn
Xs cao hochsnXs cao hochsn
Xs cao hochsnHuynh ICT
 
20080921 introductorycourse itsykson_lecture01
20080921 introductorycourse itsykson_lecture0120080921 introductorycourse itsykson_lecture01
20080921 introductorycourse itsykson_lecture01Computer Science Club
 
Inflatorni kosmološki modeli
Inflatorni kosmološki modeliInflatorni kosmološki modeli
Inflatorni kosmološki modeliMilan Milošević
 
Tóm tắt chương trình toán
Tóm tắt chương trình toánTóm tắt chương trình toán
Tóm tắt chương trình toánLong Nguyen
 
Cơ lưu chất 04 dongluchoc
Cơ lưu chất 04 dongluchocCơ lưu chất 04 dongluchoc
Cơ lưu chất 04 dongluchocThe Light
 
On tap kinh te luong
On tap kinh te luongOn tap kinh te luong
On tap kinh te luongvantai30
 
Thong ke kinh doanh2
Thong ke kinh doanh2Thong ke kinh doanh2
Thong ke kinh doanh2Pham Red-Star
 
Tom tat-mon-toan
Tom tat-mon-toanTom tat-mon-toan
Tom tat-mon-toanCam huynh
 
Tóm tắt chương trình toán
Tóm tắt chương trình toánTóm tắt chương trình toán
Tóm tắt chương trình toánLong Nguyen
 
Vật lý nguyên tử.pdf
Vật lý nguyên tử.pdfVật lý nguyên tử.pdf
Vật lý nguyên tử.pdfTrungPhmnh2
 

Similar to 20080928 introductorycourse itsykson_lecture02 (16)

Giai tich 1
Giai tich 1Giai tich 1
Giai tich 1
 
20090510 hardnessvsrandomness itsykson_lecture11
20090510 hardnessvsrandomness itsykson_lecture1120090510 hardnessvsrandomness itsykson_lecture11
20090510 hardnessvsrandomness itsykson_lecture11
 
Phương pháp số và lập trình - Tính sai số
Phương pháp số và lập trình - Tính sai sốPhương pháp số và lập trình - Tính sai số
Phương pháp số và lập trình - Tính sai số
 
Cơ lưu chất 06 theluu
Cơ lưu chất 06 theluuCơ lưu chất 06 theluu
Cơ lưu chất 06 theluu
 
Ala too 3_mart_2010
Ala too 3_mart_2010Ala too 3_mart_2010
Ala too 3_mart_2010
 
Chuong 1
Chuong 1Chuong 1
Chuong 1
 
Xs cao hochsn
Xs cao hochsnXs cao hochsn
Xs cao hochsn
 
20080921 introductorycourse itsykson_lecture01
20080921 introductorycourse itsykson_lecture0120080921 introductorycourse itsykson_lecture01
20080921 introductorycourse itsykson_lecture01
 
Inflatorni kosmološki modeli
Inflatorni kosmološki modeliInflatorni kosmološki modeli
Inflatorni kosmološki modeli
 
Tóm tắt chương trình toán
Tóm tắt chương trình toánTóm tắt chương trình toán
Tóm tắt chương trình toán
 
Cơ lưu chất 04 dongluchoc
Cơ lưu chất 04 dongluchocCơ lưu chất 04 dongluchoc
Cơ lưu chất 04 dongluchoc
 
On tap kinh te luong
On tap kinh te luongOn tap kinh te luong
On tap kinh te luong
 
Thong ke kinh doanh2
Thong ke kinh doanh2Thong ke kinh doanh2
Thong ke kinh doanh2
 
Tom tat-mon-toan
Tom tat-mon-toanTom tat-mon-toan
Tom tat-mon-toan
 
Tóm tắt chương trình toán
Tóm tắt chương trình toánTóm tắt chương trình toán
Tóm tắt chương trình toán
 
Vật lý nguyên tử.pdf
Vật lý nguyên tử.pdfVật lý nguyên tử.pdf
Vật lý nguyên tử.pdf
 

More from Computer Science Club

20140531 serebryany lecture01_fantastic_cpp_bugs
20140531 serebryany lecture01_fantastic_cpp_bugs20140531 serebryany lecture01_fantastic_cpp_bugs
20140531 serebryany lecture01_fantastic_cpp_bugsComputer Science Club
 
20140531 serebryany lecture02_find_scary_cpp_bugs
20140531 serebryany lecture02_find_scary_cpp_bugs20140531 serebryany lecture02_find_scary_cpp_bugs
20140531 serebryany lecture02_find_scary_cpp_bugsComputer Science Club
 
20140531 serebryany lecture01_fantastic_cpp_bugs
20140531 serebryany lecture01_fantastic_cpp_bugs20140531 serebryany lecture01_fantastic_cpp_bugs
20140531 serebryany lecture01_fantastic_cpp_bugsComputer Science Club
 
20140511 parallel programming_kalishenko_lecture12
20140511 parallel programming_kalishenko_lecture1220140511 parallel programming_kalishenko_lecture12
20140511 parallel programming_kalishenko_lecture12Computer Science Club
 
20140427 parallel programming_zlobin_lecture11
20140427 parallel programming_zlobin_lecture1120140427 parallel programming_zlobin_lecture11
20140427 parallel programming_zlobin_lecture11Computer Science Club
 
20140420 parallel programming_kalishenko_lecture10
20140420 parallel programming_kalishenko_lecture1020140420 parallel programming_kalishenko_lecture10
20140420 parallel programming_kalishenko_lecture10Computer Science Club
 
20140413 parallel programming_kalishenko_lecture09
20140413 parallel programming_kalishenko_lecture0920140413 parallel programming_kalishenko_lecture09
20140413 parallel programming_kalishenko_lecture09Computer Science Club
 
20140329 graph drawing_dainiak_lecture02
20140329 graph drawing_dainiak_lecture0220140329 graph drawing_dainiak_lecture02
20140329 graph drawing_dainiak_lecture02Computer Science Club
 
20140329 graph drawing_dainiak_lecture01
20140329 graph drawing_dainiak_lecture0120140329 graph drawing_dainiak_lecture01
20140329 graph drawing_dainiak_lecture01Computer Science Club
 
20140310 parallel programming_kalishenko_lecture03-04
20140310 parallel programming_kalishenko_lecture03-0420140310 parallel programming_kalishenko_lecture03-04
20140310 parallel programming_kalishenko_lecture03-04Computer Science Club
 
20140216 parallel programming_kalishenko_lecture01
20140216 parallel programming_kalishenko_lecture0120140216 parallel programming_kalishenko_lecture01
20140216 parallel programming_kalishenko_lecture01Computer Science Club
 

More from Computer Science Club (20)

20141223 kuznetsov distributed
20141223 kuznetsov distributed20141223 kuznetsov distributed
20141223 kuznetsov distributed
 
Computer Vision
Computer VisionComputer Vision
Computer Vision
 
20140531 serebryany lecture01_fantastic_cpp_bugs
20140531 serebryany lecture01_fantastic_cpp_bugs20140531 serebryany lecture01_fantastic_cpp_bugs
20140531 serebryany lecture01_fantastic_cpp_bugs
 
20140531 serebryany lecture02_find_scary_cpp_bugs
20140531 serebryany lecture02_find_scary_cpp_bugs20140531 serebryany lecture02_find_scary_cpp_bugs
20140531 serebryany lecture02_find_scary_cpp_bugs
 
20140531 serebryany lecture01_fantastic_cpp_bugs
20140531 serebryany lecture01_fantastic_cpp_bugs20140531 serebryany lecture01_fantastic_cpp_bugs
20140531 serebryany lecture01_fantastic_cpp_bugs
 
20140511 parallel programming_kalishenko_lecture12
20140511 parallel programming_kalishenko_lecture1220140511 parallel programming_kalishenko_lecture12
20140511 parallel programming_kalishenko_lecture12
 
20140427 parallel programming_zlobin_lecture11
20140427 parallel programming_zlobin_lecture1120140427 parallel programming_zlobin_lecture11
20140427 parallel programming_zlobin_lecture11
 
20140420 parallel programming_kalishenko_lecture10
20140420 parallel programming_kalishenko_lecture1020140420 parallel programming_kalishenko_lecture10
20140420 parallel programming_kalishenko_lecture10
 
20140413 parallel programming_kalishenko_lecture09
20140413 parallel programming_kalishenko_lecture0920140413 parallel programming_kalishenko_lecture09
20140413 parallel programming_kalishenko_lecture09
 
20140329 graph drawing_dainiak_lecture02
20140329 graph drawing_dainiak_lecture0220140329 graph drawing_dainiak_lecture02
20140329 graph drawing_dainiak_lecture02
 
20140329 graph drawing_dainiak_lecture01
20140329 graph drawing_dainiak_lecture0120140329 graph drawing_dainiak_lecture01
20140329 graph drawing_dainiak_lecture01
 
20140310 parallel programming_kalishenko_lecture03-04
20140310 parallel programming_kalishenko_lecture03-0420140310 parallel programming_kalishenko_lecture03-04
20140310 parallel programming_kalishenko_lecture03-04
 
20140223-SuffixTrees-lecture01-03
20140223-SuffixTrees-lecture01-0320140223-SuffixTrees-lecture01-03
20140223-SuffixTrees-lecture01-03
 
20140216 parallel programming_kalishenko_lecture01
20140216 parallel programming_kalishenko_lecture0120140216 parallel programming_kalishenko_lecture01
20140216 parallel programming_kalishenko_lecture01
 
20131106 h10 lecture6_matiyasevich
20131106 h10 lecture6_matiyasevich20131106 h10 lecture6_matiyasevich
20131106 h10 lecture6_matiyasevich
 
20131027 h10 lecture5_matiyasevich
20131027 h10 lecture5_matiyasevich20131027 h10 lecture5_matiyasevich
20131027 h10 lecture5_matiyasevich
 
20131027 h10 lecture5_matiyasevich
20131027 h10 lecture5_matiyasevich20131027 h10 lecture5_matiyasevich
20131027 h10 lecture5_matiyasevich
 
20131013 h10 lecture4_matiyasevich
20131013 h10 lecture4_matiyasevich20131013 h10 lecture4_matiyasevich
20131013 h10 lecture4_matiyasevich
 
20131006 h10 lecture3_matiyasevich
20131006 h10 lecture3_matiyasevich20131006 h10 lecture3_matiyasevich
20131006 h10 lecture3_matiyasevich
 
20131006 h10 lecture3_matiyasevich
20131006 h10 lecture3_matiyasevich20131006 h10 lecture3_matiyasevich
20131006 h10 lecture3_matiyasevich
 

20080928 introductorycourse itsykson_lecture02

  • 1. ËÈÊÁÅÇ Ëåêöèÿ 2: Îñíîâû òåîðèè âåðîÿòíîñòåé Äìèòðèé Èöûêñîí ÏÎÌÈ ÐÀÍ 28 ñåíòÿáðÿ 2008 1 / 27
  • 2. Ïëàí • Âåðîÿòíîñòíîå ïðîñòðàíñòâî; • Ñëó÷àéíûå âåëè÷èíû; • Averaging argument (íåðàâåíñòâî Ìàðêîâà); • Ëèíåéíîñòü ìàòåìàòè÷åñêîãî îæèäàíèÿ; • Óñëîâíûå âåðîÿòíîñòè è íåçàâèñèìîñòü ñëó÷àéíûõ âåëè÷èí; • Äèñïåðñèÿ, íåðàâåíñòâî ×åáûøåâà; • Îöåíêè ×åðíîâà; • Ìàðêîâñêàÿ öåïü. 2 / 27
  • 3. Ëèòåðàòóðà 1 À. À. Áîðîâêîâ. Òåîðèÿ âåðîÿòíîñòåé. 2 Â. Ôåëëåð. Ââåäåíèå â òåîðèþ âåðîÿòíîñòåé è åå ïðèëîæåíèÿ. 3 Í. Àëîí, Äæ. Ñïåíñåð. Âåðîÿòíîñòíûé ìåòîä. 4 À. Øåíü. Âåðîÿòíîñòü: ïðèìåðû è çàäà÷è. 3 / 27
  • 4. σ -àëãåáðà Îïðåäåëåíèå. Ω íåêîòîðîå ìíîæåñòâî, A ⊆ 2Ω. A íàçûâàåòñÿ σ -àëãåáðîé, åñëè: • Ω∈A • Äëÿ ïîñëåäîâàòåëüíîñòè {An }n∈N, åñëè ∀n ∈ N, An ∈ A, òî n∈N An ∈ A è n∈N An ∈ A. • A ∈ A ⇐⇒ A = Ω A ∈ A. Îïðåäåëåíèå. Ω íåêîòîðîå ìíîæåñòâî, A σ-àëãåáðà. Âåðîÿòíîñòíîé ìåðîé íà A íàçûâàåòñÿ îòîáðàæåíèå p : A → [0, 1]: • p(Ω) = 1; • Äëÿ ïîñëåäîâàòåëüíîñòè ïîïàðíî íåïåðåñåêàþùèõñÿ ìíîæåñòâ {An }n∈N âûïîëíÿåòñÿ p( n∈N An ) = n∈N P(An ). 4 / 27
  • 5. Âåðîÿòíîñòíîå ïðîñòðàíñòâî Îïðåäåëåíèå. Âåðîÿòíîñòíûì ïðîñòðàíñòâîì íàçûâàåòñÿ òðîéêà (Ω, A, p), ãäå • Ω ïðîñòðàíñòâî ýëåìåíòàðíûõ ñîáûòèé (íåêîòîðîå ìíîæåñòâî); • A ⊆ 2Ω ìíîæåñòâî äîïóñòèìûõ ñîáûòèé (σ -àëãåáðà); • p âåðîÿòíîñòíàÿ ìåðà. 5 / 27
  • 6. Ïðèìåðû Ïðèìåð. Äèñêðåòíîå âåðîÿòíîñòíîå ïðîñòðàíñòâî. n Ω = {ω1 , ω2 , . . . , ωn }. A = 2Ω , p1 , p2 , . . . , pn ≥ 0, i=1 pi = 1, p(ωi ) = pi . p(A) = ω∈A p(ω). Çàìå÷àíèå. Ïåðåñå÷åíèå σ-àëãåáð - ýòî σ-àëãåáðà. Ïðèìåð. Ω = R, A ïåðåñå÷åíèå âñåõ σ-àëãåáð, ñîäåðæàùèõ âñå îòêðûòûå ìíîæåñòâà íà R (áîðåëåâñêàÿ σ-àëãåáðà B). ρ : R → R+ , −∞ ρ(x)dx = 1. +∞ p(A) = A ρ(x)dx . 6 / 27
  • 7. Ïðîñòåéøèå ñâîéñòâà âåðîÿòíîñòè , • p(∅) = 0 p(Ω) = 1 ; • p(A1 ∪ A2 ∪ · · · ∪ An ) ≤ n i=1 p(An ) ; • (ôîðìóëà âêëþ÷åíèé-èñêëþ÷åíèé) p(A1 ∪ A2 ∪ · · · ∪ An ) = n i=1 p(An ) − ij p(Ai Aj ) + · · · + (−1)n p(A1 A2 . . . An ) n • p(A1 ∪ A2 ∪ · · · ∪ An ) ≥ i=1 p(An ) − ij p(Ai Aj ) 7 / 27
  • 8. Random subsum principle Îïðåäåëåíèå.nÄëÿ x, y ∈ {0, 1}n îïðåäåëèì x, y = i=1 xi yi (mod2). Ëåììà. Ðàññìîòðèì Ω = {0, 1}n , A = 2Ω, p(x) = 2−n äëÿ âñåõ x ∈ Ω. Èçâåñòíî, ÷òî y = 0n . Ïóñòü A = {x| x, y = 1}, òîãäà p(A) = 2 (èíà÷å Prx∈{0,1} { x, y = 1} = 1 ). 1 n Äîêàçàòåëüñòâî. Ïóñòü yk = 1, êàæäîìó x ∈ Ω ìîæíî 2 ñîïîñòàâèòü x (k), ó êîòîðîãî k -é ýëåìåíò èíâåðòèðîâàí, y , x = 1− y , x (k) . 8 / 27
  • 9. Ñëó÷àéíàÿ âåëè÷èíà Îïðåäåëåíèå. (Ω, A, p) âåðîÿòíîñòíîå ïðîñòðàíñòâî. Ñëó÷àéíîé âåëè÷èíîé íàçûâàåòñÿ òàêîå îòîáðàæåíèå ξ : Ω → R, ÷òî äëÿ âñåõ A ∈ B âûïîëíÿåòñÿ ξ −1 (A) ∈ A. • Åñëè A = 2Ω , òî ëþáîå îòîáðàæåíèå ξ : Ω → R ÿâëÿåòñÿ ñëó÷àéíîé âåëè÷èíîé. • Ñëó÷àéíàÿ âåëè÷èíà èíäóöèðóåò âåðîÿòíîñòíóþ ìåðó µ íà R, B : µ(A) = p(ξ −1 (A)). • Çíàÿ ìåðó µ ìîæíî çàáûòüïðî âåðîÿòíîñòíîå ïðîñòðàíñòâî. Pr{ξ ∈ A} = µ(A). 9 / 27
  • 10. Äèñêðåòíîå ðàñïðåäåëåíèå • Ω = {ω1 , ω2 , . . . , ωn } , ξ(ω1 ) = a1 , ξ(ω2 ) = a2 , . . . , ξ(ωn ) = an . • Pr{ξ ∈ A} = i:ai ∈A µ(ai ). 10 / 27
  • 11. Àáñîëþòíî íåïðåðûâíîå ðàñïðåäåëåíèå Îïðåäåëåíèå. Ðàñïðåäåëåíèå íàçûâàåòñÿ àáñîëþòíî íåïðåðûâíûì, åñëè ñóùåñòâóåò òàêàÿ ôóíêöèÿ ρ : R → R+, −∞ ρ(x)dx = 1, êîòîðàÿ çàäàåò ìåðó µ ïî ôîðìóëå +∞ µ(A) = A ρ(x)dx . Ôóíêöèÿ ρ íàçûâàåòñÿ ïëîòíîñòüþ ðàñïðåäåëåíèÿ. Ïðèìåð. U(a; b) ðàâíîìåðíîå ðàñïðåäåëåíèå íà [a; b]. 1   , x ∈ [a; b] ρ(x) = b − a 0, x ∈ [a; b]  Ïðèìåð.N(µ, σ 2 ) íîðìàëüíîå ðàñïðåäåëåíèå. . (x−µ)2 1 − ρ(x) = √ e σ 2π 2σ 2 11 / 27
  • 12. Ìàòåìàòè÷åñêîå îæèäàíèå Îïðåäåëåíèå. ξ ñëó÷àéíàÿ âåëè÷èíà, µ ìåðà, èíäóöèðîâàííàÿ ξ. Ìàòåìàòè÷åñêèì îæèäàíèåì ξ íàçûâàåòñÿ E ξ = Ω ξ(ω)dp(ω) = R xdµ. • Åñëè µ àáñîëþòíî íåïðåðûâíà ñ ïëîòíîñòüþ ρ(x), òî E ξ = −∞ xρ(x)dx . +∞ • Åñëè µ äèñêðåòíàÿ ìåðà, ïðè êîòîðîé µ(A1 ) = p1 , . . . , µ(An ) = pn , òî E ξ = ω∈Ω ξ(ω)p(ω) = n pi Ai . i=1 12 / 27
  • 13. Averaging argument íåêîòîðûå ÷èñëà, èõ ñðåäíåå • a1 , a2 , . . . , an àðèôìåòè÷åñêîå c , òîãäà ñóùåñòâóåò ak ≥ c . • ξ ñëó÷àéíàÿ âåëè÷èíà, E ξ = m, òîãäà Pr{ξ ≥ m} 0. Äîêàçàòåëüñòâî. Ïóñòü ξ ïðèíèìàåò çíà÷åíèÿ A1 ñ âåðîÿòíîñòüþ p1, A2 ñ âåðîÿòíîñòüþ p2,..., An ñ âåðîÿòíîñòüþ pn , ãäå pi 0, pi = 1. Åñëè âñå Ai m, òî m = p1 A1 + p2 A2 + · · · + pn An p1 m + p2 m + · · · + pn m = m . Ïðîòèâîðå÷èå! 13 / 27
  • 14. Íåðàâåíñòâî Ìàðêîâà Ëåììà. ξ ýòî íåîòðèöàòåëüíàÿ ñëó÷àéíàÿ âåëè÷èíà. Òîãäà äëÿ âñåõ k 0 âûïîëíÿåòñÿ íåðàâåíñòâî Pr{ξ ≥ k E ξ} ≤ k . 1 Äîêàçàòåëüñòâî. Îáîçíà÷èì m = E ξ Ïóñòü A1 ≤ A2 · · · ≤ Ai mk ≤ Ai+1 ≤ . . . An . Pr{ξ ≥ km} = pi+1 + · · · + pn k . Òîãäà 1 m = p1 A1 + p2 A2 + · · · + pn An ≥ pi+1 Ai+1 + · · · + pn An ≥ . Ïðîòèâîðå÷èå! mk(pi+1 + · · · + pn ) m Ïðèìåð.  ëîòåðåå íà âûèãðûøè óõîäèò ñòîèìîñòè 40% áèëåòîâ. Áèëåò ñòîèò ðóáëåé. Äîêàæèòå, ÷òî âåðîÿòíîñòü 100 âûèãðàòü õîòÿ áû 5000 íå áîëåå 1% • Ìàò. îæèäàíèå âûèãðûøà 40 ðóáëåé. • 40 5000 1% 14 / 27
  • 15. Îöåíêà ñâåðõó Ëåììà. ξ ∈ [0; 1], m = E ξ. Òîãäà äëÿ âñåõ 0 c 1 âûïîëíÿåòñÿ íåðàâåíñòâî: Pr{ξ ≤ cm} ≤ 1−cm . 1−m Äîêàçàòåëüñòâî. Ïóñòü η = 1 − ξ. E η = 1 − m.Òîãäà Pr{ξ ≤ cm} = Pr{1 − η ≤ cm} = Pr{η ≥ 1 − cm} = 1 − cm í-âî Ìàðêîâà 1−m Pr{η ≥ (1 − m)} ≤ . 1−m 1 − cm 15 / 27
  • 16. Ëèíåéíîñòü ìàòåìàòè÷åñêîãî îæèäàíèÿ Òåîðåìà. ξ = αξ1 + βξ2, ãäå α, β ∈ R. Òîãäà E ξ = α E ξ1 + β E ξ2. Äîêàçàòåëüñòâî. E ξ = ω∈Ω ξ(ω)p(ω) = ω∈Ω (αξ1 (ω) + βξ2 (ω))p(ω) = α E ξ1 + β E ξ2 . 16 / 27
  • 17. Òóðíèð ñ áîëüøèì ÷èñëîì ãàìèëüòîíîâûõ ïóòåé • Òóðíèðîì íàçûâàåòñÿ îðèåíòèðîâàííûé ãðàô ìåæäó ëþáûìè äâóìÿ âåðøèíàìè êîòîðûõ åñòü ðîâíî îäíî îðèåíòèðîâàííîå ðåáðî. • Ãàìèëüòîíîâ ïóòü ïóòü ïðîõîäÿùèé ïî âñåì âåðøèíàì ðîâíî 1 ðàç. • Ω = {G1 , G2 , . . . , G2 } ìíîæåñòâî âñåõ òóðíèðîâ íà n 2 âåðøèíàõ, âñå òóðíèðû ðàâíîâåðîÿòíû. Cn • σ ïåðåñòàíîâêà ÷èñåë îò 1 äî n. 1, åñëè σ çàäàåò ã.ï. â G 0, èíà÷å Xσ (G ) = • X = σ Xσ ÷èñëî ãàìèëüòîíîâûõ ïóòåé â ñëó÷àéíîì ãðàôå. • E X = σ E Xσ = 2 n! . n−1 • Çíà÷èò, ñóùåñòâóåò òóðíèð â êîòîðîì íå ìåíüøå 2 n! ãàìèëüòîíîâûõ ïóòåé. n−1 17 / 27
  • 18. Äâóäîëüíûé ïîäãðàô • Òåîðåìà. Èç ëþáîãî ãðàôà G (V , E ) ìîæíî âûáðîñèòü íå áîëåå |E | ðåáåð òàê, ÷òîáû îí ñòàë äâóäîëüíûì. 2 • Äîêàçàòåëüñòâî. Ω = 2V , âñå ïîäìíîæåñòâà ðàâíîâåðîÿòíû. • Ïóñòü T ∈ Ω (T ⊆ V ), îïðåäåëèì ñëó÷àéíóþ âåëè÷èíó äëÿ êàæäîãî ðåáðà (x, y ): 1, åñëè ðîâíî îäíà âåðøèíà èç x, y ñîäåðæèòñÿ â T 0, èíà÷å Xxy (T ) = • X = êîëè÷åñòâî ðåáåð, ðîâíî îäíà èç Xxy âåðøèí êîòîðûõ ñîäåðæèòñÿ â T . (x,y )∈E • E X = (x,y )∈E E Xxy = |E | . 2 • Çíà÷èò, ñóùåñòâóåò T ∈ Ω, ÷òî X (T ) ≥ |E | . 2 • Âûêèíåì âñå îñòàëüíûå ðåáðà. 18 / 27
  • 19. Óñëîâíûå âåðîÿòíîñòè , • Ω B ∈A B ⊂Ω ( ), Pr{B} 0; • ΩB = {A ∩ B|A ∈ A}; • Pr{A|B} = Pr{B} ; Pr AB • Ïóñòü A1, A2, . . . , An ïîëíàÿ ñèñòåìà íåñîâìåñòíûõ ñîáûòèé (Ai Aj = ∅, Ai = Ω). • C = CA1 ∪ CA2 ∪ · · · ∪ CAn . • (Ôîðìóëà ïîëíîé âåðîÿòíîñòè) Pr{C } = i Pr{CAi } = i Pr{C |Ai } Pr{Ai } 19 / 27
  • 20. Íåçàâèñèìîñòü • A, B ⊂ Ω íàçûâàþòñÿ íåçàâèñèìûìè, åñëè Pr{AB} = Pr{A} Pr{B} ; • Pr{A|B} = Pr{A}, Pr{B|A} = Pr{B}; • Ïðèìåð. Ω = {00, 01, 10, 11}, âñå èñõîäû ðàâíîâåðîÿòíû. A ïåðâûé áèò ðàâåí 0, B ñóììà áèòîâ ÷åòíà. Pr{A} = 2 , Pr{B} = 1 , Pr{AB} = 1 ; 1 2 4 • Ñîáûòèÿ {Ai }i∈I íàçûâàþòñÿ âçàèìíî íåçàâèñèìûìè, åñëè äëÿ âñåõ T ⊆ I âûïîëíÿåòñÿ Pr{ i∈T } = i∈T Pr{Ai }. • (Äèñêðåòíûå) ñëó÷àéíûå âåëè÷èíû ξ è η íàçûâàþòñÿ íåçàâèñèìûìè, åñëè äëÿ âñåõ a, b ∈ R âûïîëíÿåòñÿ Pr{ξ = a, η = b} = Pr{ξ = a} Pr{η = b}. 20 / 27
  • 21. Ïðîèçâåäåíèå ìàòîæèäàíèé Òåîðåìà. X1, X2, . . . , Xn âçàèìíî íåçàâèñèìû. Òîãäà E[X1 X2 . . . Xn ] = E[X1 ] E[X2 ] . . . E[Xn ]. Äîêàçàòåëüñòâî. E[X1 X2 . . . Xn ] = x Pr{X1 X2 . . . Xn = X } = x x1 x2 . . . xn Pr{X1 = x1 , X2 = x2 , . . . , Xn = xn } (íåçàâèñèìîñòü) = x1 ,x2 ,...,xn x1 x2 . . . xn Pr{X1 = x1 } Pr{X2 = x2 } . . . Pr{Xn = xn } = x1 ,x2 ,...,xn ( x1 Pr{X1 = x1 })( x2 Pr{X2 = x2 }) . . . ( xn Pr{Xn = xn }) = x1 x2 xn n E[Xi ] i=1 Îïðåäåëåíèå. Êîâàðèàöèÿ: Cov (X , Y ) = E[XY ] − E[X ] E[Y ]. 21 / 27
  • 22. Äèñïåðñèÿ Îïðåäåëåíèå. Äèñïåðñèåé ñëó÷àéíîé âåëè÷èíû ξ íàçûâàåòñÿ âåëè÷èíà D ξ = E(ξ − E ξ)2. D ξ = E(ξ − E ξ)2 = E[ξ 2 − 2ξ E ξ + (E ξ)2 ] = E ξ 2 − (E ξ)2 ≥ 0. Ëåììà. (Íåðàâåíñòâî ×åáûøåâà). D ξ = σ2 , òîãäà 1 Pr{|ξ − E ξ| ≥ kσ} ≤ . k2 Äîêàçàòåëüñòâî. η = (ξ − E ξ)2, E η = σ2. (íåð-âî Ìàðêîâà) 1 2 2 Pr{|ξ − E ξ| ≥ kσ} = Pr{η ≥ k σ } ≤ k2 . 22 / 27
  • 23. Ëèíåéíîñòü äèñïåðñèè Òåîðåìà. Åñëè ξ1, ξ2, . . . , ξn ïîïàðíî íåçàâèñèìû, òî D(ξ1 + ξ2 + · · · + ξn ) = D ξ1 + D ξ2 + · · · + D ξn . Äîêàçàòåëüñòâî. D( ξi ) = E[( ξi − E ξi )2 ] = i i i 2 E[( ξi ) − 2( ξi )( E ξj ) + ( E ξi )2 ] = i i j i E ξi2 +2 E ξi E ξj −2 2 (E ξi ) − 4 E ξi E ξj i ij i ij + (E ξi )2 + 2 E ξi E ξj = i ij = E ξi2 − (E ξi )2 = D[ξi ]. i i i 23 / 27
  • 24. Îöåíêè ×åðíîâà âçàèìíî íåçàâèñèìûå ñëó÷àéíûå • X1 , X2 , . . . , Xn âåëè÷èíû, ïðèíèìàþùèå çíà÷åíèÿ èç {0, 1}; • X = n Xi , m = E X ; i=1 • Õî÷åòñÿ ïîëó÷èòü Pr{X ≥ (1 + δ)m} ≤ ÷òî-òî ìàëåíüêîå • E e tX = (1 − pi ) + e t pi ; i E e tX = E e t i Xi =E e tXi = E e tXi = (1+pi (e t −1)) ≤ i i i (1+x≤e x ) t −1) pi (e t −1) t −1) ≤ e pi (e =e i = e m(e i 24 / 27
  • 25. Îöåíêè ×åðíîâà t −1) • E e tX = e m(e t • Pr{X ≥ (1 + δ)m} = Pr{e tX ≥ e (1+δ)mt } ≤ E e tX e m(e −1) e (1+δ)mt ≤ e (1+δ)mt • t = ln(1 + δ) e δ • Pr{X ≥ (1 + δ)m} ≤ ( (1+δ)(1+δ) )m ≤ e (δ−(1+δ) ln(1+δ))m ≤ 2 /2))m 2 /2+δ 3 /3)m 2 m/6 e (δ−(1+δ)(δ−δ = e (−δ ≤ e −δ −δ 2 m/2 • Pr{X ≤ (1 − δ)m} ≤ ( e (1−δ) )m ≤ e −δ (1−δ) 25 / 27
  • 26. Îöåíêè ×åðíîâà îäèíàêîâî ðàñïðåäåëåííûå âçàèìíî • X1 , X2 , . . . , Xn íåçàâèñèìûå ñëó÷àéíûå âåëè÷èíû. • Pr{Xi = 1} = p, Pr{Xi = 0} = 1 − p . E Xi = p, E X = E n Xi = np ; i=1 2 Xi ε − ε6pn • Pr{| n − p| ≥ ε} = Pr{|X − np| ≥ np p )} ≤ 2e • 10000 ðàç áðîñàëè ìîíåòêó. Îöåíèòü âåðîÿòíîñòü òîãî, ÷òî âûïàëî áîëüøå 5500 îðëîâ? ≤ 0.00025. ( 10000 )2 ·10000 500 • e− 3 26 / 27
  • 27. Ìàðêîâñêàÿ öåïü • Äàí îðèåíòèðîâàííûé ãðàô. Äëÿ êàæäîé âåðøèíû èçâåñòíû âåðîÿòíîñòè ïåðåõîäîâ ïî ðåáðàì. Áëóæäàíèåïî òàêîìó ãðàôó ýòî ìàðêîâñêèé ïðîöåññ. • Ôîðìàëüíî. Âåðøèíû: {1, 2, . . . , N}. • X0 , X1 , X2 , . . . , ïðèíèìàþò çíà÷åíèÿ {1, 2, . . . , N}. • Èçâåñòíû pj,i = Pr{Xk+1 = j|Xk = i} π (k) = (π1 , π2 , . . . , πn ) ðàñïðåäåëåíèå Xk . (k) (k) (k) • (k+1) n • πj = i=1 Pr{Xk+1 = j|Xk = i} Pr{Xk = i} = n i=1 pj,i πi; (k) • π , (k+1) = Pπ (k) P = (p ) j,i ìàòðèöà ïåðåõîäà; • π (k) = P k π (0) . 27 / 27