Книги по разным темам Pages:     | 1 |   ...   | 10 | 11 | 12 | 13 | 14 |   ...   | 18 |

E4. Математическое ожидание суммы л ю б ы х случайных величин равно сумме их математических ожиданий, если только эти математические ожидания существуют:

E ( + ) = E + E.

Доказательство. Пусть случайные величины и имеют дискретные распределения со значениями xk и yn соответственно. Для борелевской функции g : R2 R можно доказать свойство, аналогичное (E1) (сделать это). Воспользуемся этим свойством для g(x, y) = x + y:

E ( + ) = (xk + yn)P( = xk, = yn) = k, n = xk P( = xk, = yn) + yn P( = xk, = yn) = n n k k = xk P( = xk) + yn P( = yn) = E + E.

n k E5. Если 0 п. н., т. е. если P( 0) = 1, то E 0.

Упражнение. Доказать для дискретного и для абсолютно непрерывного распределений.

Замечание 19. Сокращение п. н. читается как почти наверное и означает с вероятностью 1. По определению, математическое ожидание Ч это числовая характеристика р а с п р е д е л е н и я. Распределение же не изменится от изменения случайной величины на множестве нулевой вероятности. Поэтому, например, даже если () 0 не при всех, а на множестве единичной вероятности, математическое ожидание всё равно неотрицательно.

E6. Если 0 п. н., и при этом E = 0, то = 0 п. н., т. е. P( = 0) = 1.

Доказательство. Это свойство мы докажем, заранее предполагая, что имеет дискретное распределение с неотрицательными значениями ai 0.

Равенство E = aipi = 0 означает, что все слагаемые в этой сумме равны нулю, т. е. все вероятности pi нулевые, кроме вероятности, соответствующей значению ai = 0.

Из свойств (E5) и (E6) вытекает множество полезных утверждений:

Следствие 11. Если п. н., то E E.

Следствие 12. Если п. н., но E = E, то = п. н.

Следствие 13. Если a b п. н., то a E b.

84 ГЛАВА 9. Числовые характеристики распределений E7. Математическое ожидание произведения независимых случайных величин равно произведению их математических ожиданий: если и независимы и их математические ожидания существуют, то E () = E E.

Доказательство. В дискретном случае:

E () = (xk yn) P( = xk, = yn) = k, n = xk P( = xk) yn P( = yn) = E E.

k n Замечание 20. Обратное утверждение к свойству (E7) неверно: из равенства E () = E E н е с л е д у е т независимость величин и.

Пример 40. Пусть принимает значения 0 и 1 с вероятностями по 1/3 каждое, и = 2. Это зависимые случайные величины:

1 P( = 1, = 0) = P( = 1, 2 = 0) = 0 = = P( = 1) P( = 0).

3 Однако E = 0 и E () = E (3) = 0, поэтому E () = E E.

= Пример 41. Пусть U0, 2, и пусть = cos и = sin Ч заведомо зависимые случайные величины (доказать). Но математическое ожидание их произведения равно произведению их математических ожиданий из-за симметричности распределений, и относительно нуля. Действительно, по свойству (E1) имеем:

2 1 E = cos x dx = 0, E = sin x dx = 0, 2 0 E = cos x sin x dx = 0 = E E.

з 3. Дисперсия и моменты старших порядков Определение 44. Пусть E ||k <. Число E k называется моментом порядка k или k-м моментом случайной величины, число E ||k называется абсолютным k-м моментом, E ( - E )k называется центральным k-м моментом, и E | - E |k Ч абсолютным центральным k-м моментом случайной величины. Число D = E (-E )2 (центральный момент второго порядка) называется д и с п е р с и е й случайной величины.

Пример 42. Пусть, скажем, случайная величина принимает значение 0 с вероятностью 0,99999, и значение 100 с вероятностью 0,00001. Посмотрим, как моменты разных порядков реагируют на большие, но маловероятГЛАВА 9. Числовые характеристики распределений ные значения случайной величины:

E = 0 0,99999 + 100 0,00001 = 0,001, E 2 = 02 0,99999 + 1002 0,00001 = 0,1, E 4 = 04 0,99999 + 1004 0,00001 = 1 000, E 6 = 06 0,99999 + 1006 0,00001 = 10 000 000.

Пример 43. Дисперсия D = E (-E )2 есть среднее значение квадрата отклонения случайной величины от своего среднего. Посмотрим, за что эта величина отвечает.

Пусть случайная величина принимает значения 1 с равными вероятностями, а случайная величина Ч значения 10 с равными вероятностями. Тогда E = E = 0, поэтому D = E 2 = 1, D = E 2 = 100. Говорят, что дисперсия характеризует с т е п е н ь р а з б р о с а значений случайной величины вокруг её математического ожидания.

Определение 45. Число = D называют с р е д н е к в а д р а т и ч е с к и м о т к л о н е н и е м случайной величины.

Чтобы прояснить связь моментов разных порядков, докажем несколько неравенств. Во-первых, очевидное утверждение, обеспечивающее существование моментов меньших порядков, если существуют моменты более высокого порядка:

Теорема 29. Если существует момент порядка t > 0 случайной величины, то существуют и её моменты порядка s, 0 < s < t.

Доказательство. Для любого числа x верно неравенство:

|x|s max{ |x|t, 1} |x|t + 1.

Действительно, |x|s |x|t при |x| > 1, и |x|s 1 при |x| 1. Из этого неравенства следует, что |()|s |()|t + 1 для всех. Но следствие позволяет из неравенства для случайных величин получить такое же неравенство для их математических ожиданий:

E ||s E ||t + 1.

Момент порядка t существует, т. е. E ||t <. Поэтому и E ||s <.

Докажем ещё одно чрезвычайно полезное неравенство.

Теорема 30 (неравенство Йенсена16). Пусть функция g : R R выпукла (лвыпукла вниз, т. е. её н а д г р а ф и к есть выпуклое множество). Тогда для любой случайной величины с конечным первым моментом верно неравенство: E g() g(E ).

Доказательство. Нам понадобится следующее свойство.

Johan Ludwig William Valdemar Jensen (8.05.1859 Ч 5.03.1925, Denmark) 86 ГЛАВА 9. Числовые характеристики распределений Лемма 8. Пусть функция g выпукла. Тогда для всякого y найдётся число c(y) такое, что при всех x g(x) g(y) + c(y)(x - y).

Это свойство очевидно и означает, что график выпуклой функции лежит полностью выше любой из касательных к этому графику.

Возьмём в условиях леммы y = E, x =. Тогда g() g(E ) + c(E )( - E ).

Вычислим математическое ожидание обеих частей неравенства. Так как E ( - E ) = 0, и неравенство между математическими ожиданиями сохраняется по следствию 11, то E g() g(E ).

Следующее неравенство связывает моменты разных порядков.

Следствие 14. Если E ||t <, то для любого 0 < s < t t s E ||s E ||t Доказательство. Поскольку 0 < s < t, то g(x) = |x|t/s Ч выпуклая функция. По неравенству Йенсена для = ||s, (E ||s)t/s = (E )t/s = g(E ) E g() = E ||t/s = E ||st/s = E ||t.

Осталось извлечь из обеих частей корень степени t.

з 4. Свойства дисперсии Свойства дисперсии следуют из соответствующих свойств математического ожидания. Заметим, что из существования второго момента следует существование математического ожидания случайной величины и конечность дисперсии. Во всех свойствах ниже предполагается существование вторых моментов случайных величин.

D1. Дисперсия может быть вычислена по формуле: D = E 2 - (E )2.

Доказательство. Положим для удобства a = E. Тогда D = E ( - a)2 = E (2 - 2a + a2) = E 2 - 2aE + a2 = E 2 - a2.

D2. При умножении случайной величины на постоянную c дисперсия увеличивается в c2 раз: D (c) = c2 D.

Упражнение. Доказать.

D3. Дисперсия всегда неотрицательна: D 0. Дисперсия обращается в нуль лишь для вырожденного распределения: если D = 0, то = const п. н., и наоборот.

Доказательство. Дисперсия есть математическое ожидание почти наверное неотрицательной случайной величины ( - E )2, и неотрицательность дисперсии следует из свойства (E5).

ГЛАВА 9. Числовые характеристики распределений По свойству (E6), если D = 0, то ( - E )2 = 0 п. н., т. е. = E п. н.

И наоборот: если = c п. н., то D = E (c - E c)2 = 0.

D4. Дисперсия не зависит от сдвига случайной величины на постоянную: D ( + c) = D.

Упражнение. Доказать.

D5. Если и независимы, то D ( + ) = D + D.

Доказательство. Действительно, D ( + ) = E ( + )2 - (E ( + ))2 = = E 2 + E 2 + 2E () - (E )2 - (E )2 - 2E E = D + D, так как математическое ожидание произведения независимых случайных величин равно произведению их математических ожиданий.

Замечание 21. См. замечание 20.

Следствие 15. Если и независимы, то D ( - ) = D ( + ) = D + D.

Доказательство. Из свойств (D5) и (D2) получим:

D ( - ) = D ( + (-)) = D + D (-) = D + (-1)2D = D + D.

Следствие 16. Для произвольных случайных величин и с конечными вторыми моментами имеет место равенство:

D ( + ) = D + D + 2 E () - E E.

D6. Минимум среднеквадратического отклонения случайной величины от точек вещественной прямой есть среднеквадратическое отклонение от своего математического ожидания: D = E ( - E )2 = min E ( - a)2.

a Доказательство. Сравним величину E ( - a)2 с дисперсией:

E ( - a)2 = E ( - E ) + (E - a) = 2 = D + E - a + 2(E - E ) E - a = D + E - a D, и последнее неравенство превращается в равенство лишь при a = E.

з 5. Математические ожидания и дисперсии стандартных распределений Пример 44 (вырожденное распределение Ic). Математическое ожидание и дисперсию этого распределения мы знаем из свойств (E2) и (D3): E c = c, D c = 0.

Пример 45 (распределение Бернулли Bp ). Вычислим два момента и дисперсию: E = 1 p + 0 q = p; E 2 = 12 p + 02 q = p;

D = E 2 - (E )2 = p - p2 = pq.

88 ГЛАВА 9. Числовые характеристики распределений Пример 46 (биномиальное распределение Bn, p ). Используем свойство устойчивости биномиального распределения относительно суммирования Ч лемму 4 (стр. 79). Возьмём на каком-нибудь вероятностном пространстве n независимых случайных величин 1,..., n с распределением Бернулли Bp = B1, p. Тогда их сумма Sn = 1 +... + n имеет распределение Bn, p, и по свойству (E4) имеем:

n E Sn = E i = nE 1 = np.

i=А поскольку i независимы, и дисперсия каждой равна pq, то n D Sn = D i = nD 1 = npq.

i== Итак, E = np, D = npq для Bn, p.

Пример 47 (геометрическое распределение Gp). Вычислим математическое ожидание :

dqk E = k p qk-1 = p k qk-1 = p = dq k=1 k=1 k= d d q 1 = p qk = p = p =.

dq dq 1 - q (1 - q)2 p k=Вычислим так называемый второй факториальный момент :

d2qk dE ( - 1) = k(k - 1) p qk-1 = p q = p q qk = dq2 dqk=1 k=0 k= d2 1 2 2q = p q = p q =.

dq2 1 - q (1 - q)3 pНайдём дисперсию через второй факториальный момент:

2q 1 1 2q - 1 + p q D = E ( - 1) + E - (E )2 = + - = =.

p2 p p2 p2 pПример 48 (распределение Пуассона ). Вычислим математическое ожидание :

k k k E = k e- = e- k = e- = k! k! (k - 1)! k=0 k=1 k= k-1 m = e- = e- = e-e =.

(k - 1)! m! k=1 m=ГЛАВА 9. Числовые характеристики распределений Моменты более высоких порядков легко находятся через факториальные моменты E [m] = E ( - 1)... ( - m + 1) порядка m. Так, второй факториальный момент равен k k-E ( - 1) = k(k - 1) e- = 2e- = 2e-e = 2.

k! (k - 2)! k=0 k=Поэтому E 2 = E ( - 1) + E = 2 + и D = E 2 - (E )2 =.

Пример 49 (равномерное распределение Ua,b). Вычислим первые два момента:

b 1 a + b E = xf(x) dx = x dx = ;

b - a - a b 1 b3 - a3 a2 + ab + bE 2 = x2f(x) dx = x2 dx = =.

b - a 3(b - a) - a Дисперсия равна D = E 2 - (E )2 = (b - a)2/ 12.

Пример 50 (стандартное нормальное распределение N0, 1).

Математическое ожидание этого распределения существует в силу конечности E ||:

2 2 2 2 E || = xe-x /2 dx = e-x /2 d(x2/2) = <.

2 2 0 Математическое ожидание равно 1 E = xf(x) dx = x e-x /2 dx = 0, - так как под сходящимся интегралом стоит нечётная функция. Далее, 1 2 2 2 2 E 2 = x2 e-x /2 dx = x2 e-x /2 dx = - x de-x /2 = 2 2 - 0 2x 2 1 2 1 = - e-x /2 + 2 e-x /2 dx = 0 + e-x /2 dx = 1.

2 2 0 Поэтому D = E 2 - (E )2 = 1 - 0 = 1.

= Пример 51 (нормальное распределение Na, 2). Если Na, 2, = то = ( - a) / N0, 1. Мы только что вычислили E = 0, D = 1.

90 ГЛАВА 9. Числовые характеристики распределений Тогда (над каждым равенством подписать, каким свойствам оно обязано) E = E ( + a) = E + a = a; D = D ( + a) = 2D = 2.

Пример 52 (показательное распределение E). Найдём для произвольного k N момент порядка k.

1 k! E k = xkf(x) dx = xk e-x dx = (x)k e-x d(x) =.

k k - 0 В последнем равенстве мы воспользовались гамма-функцией Эйлера:

(k + 1) = uk e-u du = k! Тогда 1 2 E =, E 2 =, D = E 2 - (E )2 =.

2 Пример 53 (стандартное распределение Коши C0, 1). Математическое ожидание распределения Коши не существует, так как расходится интеграл 1 1 E || = |x| dx = dx2 = lim ln(1 + x2) = +.

x+ (1 + x2) (1 + x2) - Расходится он из-за того, что подынтегральная функция ведёт себя на бесконечности как 1/x. Поэтому не существуют ни дисперсия, ни моменты более высоких порядков этого распределения. То же самое можно сказать про распределение Коши Ca,.

Пример 54 (распределение Парето). У распределения Парето существуют только моменты порядка t <, поскольку 1 E ||t = xt dx = dx x+1 x-t+1 сходится при t <, когда подынтегральная функция на бесконечности ведёт себя как 1 / xs+1, где s = - t > 0.

Упражнение. Посчитать момент порядка t < распределения Парето.

При каких у этого распределения существует дисперсия А две тысячи триста семнадцатый момент Г Л А В А Числовые характеристики зависимости Кажется, нельзя сомневаться ни в истине того, что всё в мире может быть представлено числами; ни в справедливости того, что всякая в нём перемена и отношение выражается аналитической функцией. Между тем обширный взгляд теории допускает существование зависимости только в том смысле, чтобы числа, одни с другими в связи, принимать как бы данными вместе.

Н. И. Лобачевский, Об исчезании тригонометрических строк з 1. Ковариация двух случайных величин Мы знаем, что для независимых случайных величин с конечными вторыми моментами дисперсия их суммы равна сумме их дисперсий. В общем случае дисперсия суммы равна D ( + ) = D + D + 2 E () - E E. (19) Величина E () - E E равняется нулю, если случайные величины и независимы (свойство (E7) математического ожидания). С другой стороны, из равенства её нулю вовсе не следует независимость, как показывают примеры 40 и 41. Эту величину часто используют как линдикатор наличия зависимости между двумя случайными величинами.

Определение 46. К о в а р и а ц и е й cov(, ) случайных величин и называется ч и с л о cov(, ) = E ( - E )( - E ).

Свойство 13. Справедливы равенства: cov(, ) = E () - E E ;

cov(, ) = D ; cov(, ) = cov(, ); cov(c, ) = c cov(, ).

Упражнение. Доказать свойство 13.

Упражнение. Доказать следующее свойство 14, пользуясь равенствами (a + b)2 = a2 + b2 + ab + ba = a2 + b2 + 2ab = aa + bb + ab + ba и получив аналогичные равенства для квадрата суммы n слагаемых.

92 ГЛАВА 10. Числовые характеристики зависимости Свойство 14. Дисперсия суммы нескольких случайных величин вычисляется по любой из следующих формул:

Pages:     | 1 |   ...   | 10 | 11 | 12 | 13 | 14 |   ...   | 18 |    Книги по разным темам