Закон больших чисел

1. Слабый закон больших чисел [ ред. | ред. код ]
2. Усиленный закон больших чисел [ ред. | ред. код ]
3. Разница между слабым и усиленным законами больших чисел [ ред. | ред. код ]
4. СВЧ Борель [ ред. | ред. код ]

Закон больших чисел в теории вероятностей утверждает, что эмпирическое среднее ( арифметическое среднее ) Конечного выборки из фиксированного распределения близко к теоретическому среднего ( математического ожидания ) Этого распределения. В зависимости от вида сходимости различают слабый закон больших чисел, когда имеет место сходимость по вероятности И усиленный закон больших чисел, когда имеет место сходимость почти везде .

Всегда найдется такое количество испытаний, при которой с любой заданной заранее вероятностью частота появления некоторой события будет сколь угодно мало отличаться от ее вероятности.

Ниже описаны две версии СВЧ: Слабый закон больших чисел и Усиленный закон больших чисел. Оба закона утверждают, что с определенной достоверностью среднее выборки

X ¯ n = 1 n (X 1 + ⋯ + X n) {\ displaystyle {\ overline {X}} _ {n} = {\ frac {1} {n}} (X_ {1} + \ cdots + X_ {n})}

направляется к математическому ожиданию

X ¯ n → μ, n → ∞ {\ displaystyle {\ overline {X}} _ {n} \, \ to \, \ mu, \ qquad \ \ qquad n \ to \ infty}

где X 1, X 2, ... - конечная последовательность н.о.р. случайные величины с конечным математическим ожиданием E (X 1) = E (X 2) = ... = μ <∞.

Слабый закон больших чисел [ ред. | ред. код ]

Пусть имеется бесконечная последовательность одинаково распределенных и некоррелированных случайных величин {X i} i = 1 ∞ {\ displaystyle \ {X_ {i} \} _ {i = 1} ^ {\ infty}} , Определенных на одном вероятностном пространстве (Ω, F, P) {\ displaystyle (\ Omega, {\ mathcal {F}} \ mathbb {P})} . их ковариация c o v (X i, X j) = 0, ∀ i ≠ j {\ displaystyle \ mathrm {cov} (X_ {i}, X_ {j}) = 0, \; \ forall i \ not = j} . Пусть E X i = μ, ∀ i ∈ N {\ displaystyle \ mathbb {E} X_ {i} = \ mu, \; \ forall i \ in \ mathbb {N}} . Обозначим S n {\ displaystyle \ displaystyle S_ {n}} выборочное среднее первых n {\ displaystyle \ displaystyle n} членов:

S n = 1 n Σ i = 1 n X i, n ∈ N {\ displaystyle S_ {n} = {\ frac {1} {n}} \ sum \ limits _ {i = 1} ^ {n} X_ { i} \; n \ in \ mathbb {N}} .

Тогда S n → P μ {\ displaystyle S_ {n} \ to ^ {\! \! \! \! \! \! \ Mathbb {P}} \ mu} .

Это означает, что для любого положительного числа ε,

lim n → ∞ Pr (| X ¯ n - μ |> ε) = 0 {\ displaystyle \ lim _ {n \ to \ infty} \ Pr \! \ left (\, | {\ overline {X}} _ {n} - \ mu |> \ varepsilon \, \ right) = 0.}

Интерпретировать этот результат можно так, что слабый закон говорит о том, что для любой заданной погрешности, неважно насколько она будет малой, для значительно больших выборок будет существовать очень высокая вероятность, что среднее значение для наблюдений будет близким к значению надежды; так что оно будет находиться в пределах погрешности.

Как уже упоминалось, слабый закон применяется для независимых одинаково распределенных случайных величин, но существуют и другие случаи в которых он может применяться. Например, в каждой случайной величины в выборке может быть разная дисперсия, но математическое ожидание остается постоянным. Если эти дисперсии ограничены, тогда это правило применимо подобно тому как это показал Чебышев в 1867 г.. (Если математические ожидания меняются, тогда мы можем применить этот закон к среднему отклонения от соответствующих значений математических ожиданий. Тогда закон утверждать, что это будет совпадать с вероятностью до нуля.) На самом деле, доказательства Чебышева будет работать пока дисперсия среднего для первых n значений совпадать к нулю при n стремящемся к бесконечности. [1] В качестве примера, предположим что каждая случайная величина в выборке имеет распределение Гаусса с нулевым средним значением, но с дисперсией равной 2 n / log ⁡ (n + 1). {\ Displaystyle 2n / \ log (n + 1).} На каждом этапе, среднее иметь нормальное распределение (поскольку это среднее множества нормально распределенных величин). Дисперсия суммы величин равна сумме дисперсий, которая является асимптотической в n 2 / log ⁡ n {\ displaystyle n ^ {2} / \ log n} . Дисперсия среднего в свою очередь будет асимптотической до 1 / log ⁡ n {\ displaystyle 1 / \ log n} и стремится к нулю.

Примером это закон больших чисел не выполняется распределение Коши . Пусть случайные числа равны тангенсу угла равномерно распределен между значениями -90 ° и + 90 °. медиана равна нулю, но математическое ожидание не существует, и на самом деле среднее из n таких величин иметь тот же распределение, что и одна такая величина. Оно не стремится к нулю при том что n стремится к бесконечности.

Но существуют и примеры, где слабый закон больших чисел может быть применен даже при условии, что математическое ожидание не существует.

Усиленный закон больших чисел [ ред. | ред. код ]

Пусть имеется бесконечная последовательность независимых одинаково распределенных случайных величин {X i} i = 1 ∞ {\ displaystyle \ {X_ {i} \} _ {i = 1} ^ {\ infty}} , Определенных на одном вероятностном пространстве (Ω, F, P) {\ displaystyle (\ Omega, {\ mathcal {F}} \ mathbb {P})} . Пусть E X i = μ, ∀ i ∈ N {\ displaystyle \ mathbb {E} X_ {i} = \ mu, \; \ forall i \ in \ mathbb {N}} . Обозначим S n {\ displaystyle \ displaystyle S_ {n}} выборочное среднее первых n {\ displaystyle \ displaystyle n} членов:

S n = 1 n Σ i = 1 n X i, n ∈ N {\ displaystyle S_ {n} = {\ frac {1} {n}} \ sum \ limits _ {i = 1} ^ {n} X_ { i} \; n \ in \ mathbb {N}} .

Тогда S n → μ {\ displaystyle S_ {n} \ to \ mu} почти наверняка .

Разница между слабым и усиленным законами больших чисел [ ред. | ред. код ]

Слабый закон утверждает, что для большого числа n, среднее значение X ¯ n {\ displaystyle {\ overline {X}} _ {n}} правдоподобно является близко к μ. Итак, остается возможность того, что | X ¯ n - μ | > Ε {\ displaystyle | {\ overline {X}} _ {n} - \ mu |> \ varepsilon} случается бесконечное количество раз, хотя и на редких интервалах.

Усиленный закон утверждает, что это почти наверняка не произойдет. В частности, это означает, что с вероятностью 1, для каждого ε> 0 неравенство | X ¯ n - μ | <Ε {\ displaystyle | {\ overline {X}} _ {n} - \ mu | <\ varepsilon} выполняется для всех достаточно больших n. [2]

СВЧ Борель [ ред. | ред. код ]

Закон больших чисел Бореля, в честь Борель Утверждает, что если повторять эксперимент много раз при тех же условиях и независимо от других попыток, то частота определенного события приближенно равна вероятности выпадения этого события в каждом отдельном эксперименте; чем большее количество повторений тем лучше приближения. Точнее, если E - событие, p вероятность этого события и Nn (E) - число раз когда в эксперименте выпадает событие E в n первых попытках, тогда с вероятностью 1:

N n (E) n → p, n → ∞. {\ Displaystyle {\ frac {N_ {n} (E)} {n}} \ to p, \ n \ to \ infty. \}

Эта теорема строго формализует интуитивное понятие вероятности как предельной частоты выпадения события в эксперименте. Теорема является частным случаем других более общих законов больших чисел в теории вероятности.

Одно подбрасывания шестигранной игральной кости может выпасть одному из номеров 1, 2, 3, 4, 5, или 6 Каждая из этих событий имеет одинаковую вероятность . Таким образом, математическое ожидание для одного подбрасывания, будет следующим

1 + 2 + 3 + 4 + 5 + 6 6 = 3, 5 {\ displaystyle {\ frac {1 + 2 + 3 + 4 + 5 + 6} {6}} = 3,5}

Согласно закону больших чисел, если подбросить игральную кость большое количество раз, среднее значение полученных значений (что называют выборочным средним ) Скорее всего будет иметь значение близко к числу 3,5, так что точность этого приближения будет увеличиваться с тем чем больше будет выполнено бросков.

Из закона больших чисел следует, что эмпирическая вероятность успешной события для выборки испытаний Бернулли будет совпадать с теоретической вероятности. для случайной величины с распределением Бернулли , Математическое ожидание равно теоретической вероятности успешной события, а среднее значение для n таких величин (при условии что они независимыми и одинаково распределенными ) Будет соответствовать относительной частоте.

Например, подбрасывание монеты являются испытанием Бернулли. Если монету подбросить один раз, теоретическая вероятность выпадения монеты гербом в верх будет равняться 1/2. Таким образом, согласно закону больших чисел, судьба выпадения гербов при большом количестве независимых подбрасываний монеты "должна" примерно составлять 1/2. В частности, доля выпадения гербов при n независимых подбрасывании почти наверняка будет совпадать до 1/2 при n стремящемся к бесконечности.

итальянский математик Джироламо Кардано (1501-1576) утверждал без доказательств о том, что точность эмпирической статистики улучшается с увеличением количества испытаний. [3] Впоследствии этот факт формализировали как закон больших чисел. Отдельную форму закона больших чисел для бинарной случайной величины впервые доказал Якоб Бернулли . [4] Ему понадобилось более 20 лет, чтобы выработать достаточно строгое математическое доказательство, которое он опубликовал в своей работе Ars Conjectandi [en] (Искусство угадывание) в 1713. Он назвал ее "Золотой Теоремой", но впоследствии она стала общеизвестной как "Теорема Бернулли". Не следует путать ее с закону Бернулли , Названный в честь племянника Якоба Бернулли Бернулли . В 1837, С.Д. Пуассон впоследствии описал ее под названием "la loi des grands nombres" ( "Закон больших чисел"). [5] [6] После чего, она осталась известна под двумя названиями, но название "Закон больших чисел" употребляется чаще.

После того, как Бернулли и Пуассон опубликовали свои достижения, над улучшением закона работали и другие математики, к числу которых относятся Чебышев , [7] Марков , Борель , Кантелли [En] , Колмогоров и Александр Хинчиным [En] . Марков показал, что при определенных слабых предположениях этот закон можно применить к случайной величины, не имеет конечной дисперсии, а Хинчиным в 1929 показал, что если выборка состоит из независимых одинаково распределенных случайных величин, для выполнения слабого закона больших чисел достаточно того, что существует математическое ожидание . [1] Эти дальнейшие исследования привели к появлению двух известных форм закона больших чисел. Первый называется "слабым" законом, а другой "усиленным" законом, соответствует двум разным формам приближения кумулятивного выборочного среднего к математическому ожиданию; в частности, выполнение усиленного закона предусматривает и выполнение слабого.

1. ↑ а б Yuri Prohorov . Law of large numbers . Encyclopedia of Mathematics.
2. ↑ Ross, (2009)
3. ↑ Mlodinow, L. The Drunkard's Walk. New York: Random House, 2008. p. 50.
4. ↑ Jakob Bernoulli, Ars Conjectandi: Usum & Applicationem Praecedentis Doctrinae in Civilibus, Moralibus & Oeconomicis, 1713, Chapter 4, (Translated into English by Oscar Sheynin)
5. ↑ Poisson names the "law of large numbers" (la loi des grands nombres) in: SD Poisson, Probabilité des jugements en matière criminelle et en matière civile , précédées des règles générales du calcul des probabilitiés (Paris, France: Bachelier, 1837), p. 7 . He attempts a two-part proof of the law on pp. 139-143 and pp. 277 ff.
6. ↑ Hacking, Ian. (1983) "19th-century Cracks in the Concept of Determinism", Journal of the History of Ideas, 44 (3), 455-475 JSTOR 2709176
7. ↑ Tchebichef, P. (1846). Démonstration élémentaire d'une proposition générale de la théorie des probabilités. Journal für die reine und angewandte Mathematik (Crelles Journal) 1846 (33): 259-267. doi : 10.1515 / crll.1846.33.259 .

Похожие

Комментарии