Как найти неизвестную величину в законе распределения

Содержание:

Величина называется случайной, если она принимает свои значения в зависимости от исходов некоторого испытания (опыта), причем для каждого элементарного исхода она имеет единственное значение. Случайная величина называется дискретной (в узком смысле), если множество всех возможных значений ее конечно.

Геометрически множество всех возможных значений дискретной случайной величины представляет конечную систему точек числовой оси.

Пусть X — дискретная случайная величина, возможными и единственно возможными значениями которой являются числа

Обозначим через

вероятности этих значений (т. е. есть вероятность события, состоящего в том, что X принимает значение ).

События , очевидно, образуют полную группу событий, поэтому

Определение: Соответствие между всеми возможными значениями дискретной случайной величины и их вероятностями называется законом распределения данной случайной величины.

В простейших случаях закон распределения дискретной случайной величины X удобно задавать таблицей:

Здесь первая строка таблицы содержит все возможные значения случайной величины, а вторая — их вероятности.

Заметим, что таблицу значений дискретной случайной величины X, если это целесообразно, формально всегда можно пополнить конечным набором любых чисел, считая их значениями X с вероятностями, равными нулю.

Пример:

В денежной лотерее разыгрывается 1 выигрыш в 1000 руб., 10 выигрышей по 100 руб. и 100 выигрышей по 1 руб. при общем числе билетов 10 000. Найти закон распределения случайного выигрыша X для владельца одного лотерейного билета.

Решение:

Здесь возможные значения для X есть

Вероятности их соответственно будут

Закон распределения для выигрыша X может быть задан таблицей:

Число появлений т события А при независимых испытаниях можно рассматривать как случайную величину X со значениями Закон распределения этой величины дается биномиальной формулой

где {биномиальное распределение).

В частности, если р мало и п велико, причем — ограниченная величина, заключенная между двумя фиксированными положительными числами, то приближенно справедливо распределение Пуассона

Определение случайной величины

Определение 29. Случайной величиной называется величина, которая в результате опыта может принять то или иное значение, причем неизвестно заранее, какое именно.

Случайные величины (СВ) обозначаются большими буквами X, Y…

Примеры СВ: X — число попаданий при трех выстрелах, Y — абсцисса точки попадания при выстреле.

Случайные величины характеризуются своими возможными значениями, которые обозначаются маленькими буквами, соответствующими случайной величине: х,у…

Например, случайная величина X — число попаданий при трех выстрелах характеризуется следующими возможными значениями: .

Определение 30. Случайные величины, принимающие только отдаленные друг от друга возможные значения, которые можно заранее перечислить, называются дискретными случайными величинами (ДСВ).

Примеры ДСВ. 1) В приведенном выше примере СВ X. 2) Случайная величина Z- число вызовов скорой помощи за сутки. Ее возможные значения .

Определение 31. Случайные величины, возможные значения которых непрерывно заполняют некоторый промежуток (который иногда имеет резко выраженные границы, а чаще — расплывчатые, неопределенные), называются непрерывными случайными величинами (НСВ).

Примеры НСВ. 1) В приведенном выше примере СНВ Y — абсцисса точки попадания при выстреле. Ее возможные значения заполняют некоторый промежуток . 2) СНВ В — ошибка взвешивания тела на весах. Ее возможные значения заполняют некоторый промежуток .

Замечание. В классической теории вероятностей рассматриваются события, в современной теории вероятностей — случайные величины.

Определение 32. Случайная величина X называется характеристической случайной величиной события А.

Примеры перехода от событий к случайным величинам

1). Рассмотрим событие А, которое в результате опыта происходит или нет. Введем в рассмотрение случайную величину X такую, что если А происходит, то Х= 1, если А не происходит, то Х=0. Следовательно, Х — дискретная случайная величина с возможными значениями .

Если происходит ряд таких опытов, то общее число появлений события А равно сумме характеристических случайных величин X события А во всех опытах.

2). Пусть в действительности точка М совпадает с началом координат — точкой О. При измерении координат точки М были допущены ошибки. Событие А = {Ошибка в положении точки М не превзойдет заданного значения r}. Пусть X, Y — случайные ошибки при измерении координат точки. Это непрерывные случайные величины, так как их возможные значения непрерывно заполняют некоторые промежутки. Событие А равносильно попаданию точки M(X,Y) в пределы круга радиуса r с центром в точке О. Т.е. для выполнения события А случайные величины должны удовлетворять неравенству: . Вероятность события А равна вероятности выполнения неравенства, которая может быть определена, если известны свойства X, Y.

Законы распределения случайных величин

Для описания случайной величины (т.е. для возможности сказать, как часто следует ожидать появления тех или других возможных значений случайной величины в результате повторения опыта в одних и тех же условиях) необходимо знать закон распределения вероятностей случайной величины.

Определение 33. Законом распределения случайной величины называется всякое соотношение, устанавливающее связь между возможными значениями случайной величины и соответствующими им вероятностями.

Рассмотрим дискретную случайную величину (ДСВ) Xс возможными значениями . Каждое из этих значений возможно, но не достоверно, и X может принять каждое из них с некоторой вероятностью.

В результате опыта величина X примет одно из этих значений, т.е. произойдет одно из полной группы несовместных событий: X =  или X =  или … X = .

Обозначим . Т.к. несовместные события образуют полную группу, то

 — сумма вероятностей всех возможных значений ДСВ.

Эта суммарная вероятность каким-то образом распределена между отдельными значениями ДСВ. Задать это распределение, т.е. указать, какой вероятностью обладает каждое из событий, значит установить закон распределения СВ.

Говорят, что СВ подчинена данному закону распределения.

Формы закона распределения ДСВ

1. Простейшей формой задания закона распределения является таблица, называемая рядом распределения ДСВ.

Для элементов нижней строки должно выполняться условие: .

2. Формой задания закона распределения является многоугольник распределения — фигура, получаемая при графическом изображении ряда распределения.

Возможные значения откладываются по оси {Ох). Вероятности возможных значений откладываются по оси (Оу).

Механическая интерпретация ряда распределения ДСВ: Распределение единичной массы в нескольких изолированных точках по оси (Ох). (В отдельных точках   сосредоточены соответственно массы , сумма которых равна 1.)

Пример №1

Рассмотрим опыт, в котором может появиться или не появиться событие А. Р(А) = 0,3. Рассмотрим случайную величину X — число появлений события А в данном опыте, т.е. возможные значения данной величины:  = 0 (А не появится),  = 1 (А появится). Построить ряд распределения и многоугольник распределения случайной величины X.

Решение.

    

Проверка: .
 

Пример №2

Стрелок производит 3 выстрела по мишени. Вероятность попадания в мишень при каждом выстреле равна 0,4. За каждое попадание стрелку засчитывастся 5 очков. Построить ряд и многоугольник распределения числа выбитых очков.

Решение.

ДСВ X — число выбитых очков. Вероятность попадания (успеха) равна р = 0,4, вероятность промаха (неудачи) равна q = 1 — 0,4 = 0,6. Количество испытаний n = 3.

Возможные значения X:  = 0 (0 очков),  = 1 (5 очков),  = 2 (10 очков),  = 3 (15 очков).

По формуле Бернулли найдем вероятности этих возможных значений:

Ряд распределения имеет вид:

Проверка: .

Многоугольник распределения:

Замечание. Ряд распределения является удобной формой представления закона распределения для ДСВ с конечным числом возможных значений. Однако эта характеристика не универсальна, так как ряд или многоугольник нельзя построить для непрерывной случайной величины (НСВ). Действительно, НСВ имеет бесчисленное множество возможных значений, которые сплошь заполняют некоторый промежуток, и перечислить их в какой-нибудь таблице нельзя.

Кроме того (это будет доказано позднее) каждое отдельное значение НСВ обычно не обладает никакой отличной от нуля вероятностью. Следовательно, для НСВ не существует ряда распределения в том смысле, в каком он существует для ДСВ.

Однако различные области возможных значений НСВ все же не являются одинаково вероятными, и для НСВ существует «распределение вероятностей», хотя и не в том смысле, как для ДСВ.

В силу этого, желательно иметь такую характеристику распределения вероятностей, которая была бы применима для самых разнообразных случайных величин.

Пример №3

Вероятности того, что студент сдаст экзамены в сессию по математическому анализу и органической химии соответственно равны 0,7 и 0,8. Составить закон  распределения случайной величины Х − числа экзаменов, которые сдаст студент.
 

Решение. Рассматриваемая случайная величина X в результате экзамена может принять одно из следующих значений:

Найдем вероятности этих значений. Обозначим события:

 – студент сдаст экзамен по математическому анализу;

– студент не сдаст экзамен по математическому анализу;  

– студент сдаст экзамен по органической химии;

 – студент не сдаст экзамен по органической химии.
По условию:

Тогда:

Итак, закон распределения случайной величины  Х  задается таблицей:

Контроль: 0,06+0,38+0,56=1.

Пример №4

Дискретная случайная величина Х задана законом распределения: 

 

Найти  функцию распределения F(x) и построить её график, а также
Решение: Так как сумма вероятностей возможных значений случайной величины  Х  равна 1, то
Найдем функцию распределения
Геометрически это равенство можно истолковать так: F(х) есть вероятность того, что случайная величина примет значение, которое изображается на числовой оси точкой, лежащей левее точки х.
Если  то F(х)=0, так как на промежутке (− ∞; х) нет ни одного значения данной случайной величины;

Если  то F(х) = Р(Х = −1) = 0,1, так как в промежуток (−∞; х) попадает только одно значение  = −1;

Если  так как в промежуток  (−∞; х) попадают два значения

Если  то  так как в промежуток (−∞; х) попадают три значения

1=−1, x2=0 и x3=1;

Если  то

=0,1+0,1+0,3+0,2=0,7, так как  в промежуток (−∞; х) попадают четыре значения

Если  то F(х)=Р(Х = −1)+Р(Х = 0)+Р(Х = 1)+Р(Х = 2)+Р(Х = 3) =

=0,1+0,1+0,3+0,2+0,3=1, так как в промежуток (−∞; х) попадают пять значений
Итак,
 

Изобразим функцию F(x) графически (рис. 4.3):

Найдем числовые характеристики случайной величины:

Пример №5

Составить закон распределения случайной величины Х − числа выпадений пятерки при трех бросаниях игральной кости. Вычислить  этой величины.
 

Решение: Испытание состоит в одном бросании игральной кости. Так как кость бросается 3 раза, то число испытаний n = 3.
Вероятность события А − «выпадение пятёрки» в каждом испытании одна и та же и равна 1/6, т.е.  где     − «выпадения не пятёрки».
Случайная величина  Х может принимать значения: 0;1;2;3.
Вероятность каждого из возможных значений Х найдём по формуле Бернулли: 

Таким образом закон распределения случайной величины Х имеет вид:

Контроль: 125/216+75/216+15/216+1/216=1.
Найдем числовые характеристики случайной величины Х:

Пример №6

Станок-автомат штампует детали. Вероятность того, что изготовленная деталь окажется бракованной равна 0,002. Найти вероятность того, что среди 1000 отобранных деталей окажется:

а) 5 бракованных;

б) хотя бы одна бракованная.
Решение: Число n = 1000 велико, вероятность изготовления бракованной детали р = 0,002 мала, и рассматриваемые события (деталь окажется бракованной) независимы, поэтому имеет место формула Пуассона:

Найдем  =np=1000·0,002=2.

а)  Найдем вероятность того, что будет 5 бракованных деталей среди отобранных (m = 5):

б) Найдем вероятность того, что будет хотя бы одна бракованная деталь среди отобранных.
Событие А − «хотя бы одна из отобранных деталей бракованная» является противоположным событию— «все отобранные детали не бракованные». Следовательно, Отсюда искомая вероятность равна: 

Математическое ожидание

Определение: Математическим ожиданием дискретной случайной величины называется сумма парных произведений всех возможных ее значений на их вероятности.

Если есть (полный) набор всех значений дискретной случайной величины — соответствующие им вероятности, то, обозначая буквой М математическое ожидание, будем иметь

где

Очевидно, математическое ожидание случайной величины X не изменится, если таблицу значений ее пополнить конечным числом любых чисел, считая, что вероятности этих чисел равны нулю.

Математическое ожидание М (X) случайной величины есть величина постоянная и поэтому представляет числовую характеристику случайной величины X.

Пример №7

Найти математическое ожидание выигрыша X.

Решение:

Пользуясь помещенной там таблицей, имеем

Как нетрудно сообразить, М(Х) = 21 коп. есть «справедливая» цена билета.

Замечание 1. Отдельные слагаемые суммы (1) представляют собой математические ожидания случайных величин , возможными значениями которых являются с вероятностями соответственно .

Замечание 2. Пусть —соответственно наименьшие и наибольшие возможные значения случайной величины X. Имеем

Таким образом,

Таким образом, математическое ожидание случайной величины является некоторым ее средним значением.

Замечание 3. Математическое ожидание числа появлений события А при одном испытании совпадает с вероятностью этого события Р(А) = р.

Действительно, пусть X — число появлений события А в данном испытании. Случайная величина X может принимать два значения: (событие А наступило) с вероятностью и (событие А не наступило) с вероятностью

Поэтому

Основные свойства математического ожидания

Укажем важнейшие свойства математического ожидания. Доказательства будут проведены для дискретных случайных величин. Однако соответствующие теоремы справедливы также и для непрерывных случайных величин, поэтому при формулировках этих теорем мы не будем упоминать, что рассматриваемые случайные величины дискретны.

Нам понадобится выяснить смысл арифметических операций и т. п., где X и У — дискретные случайные величины. Нетрудно дать соответствующие определения.

Например, под суммой X + У понимается случайная величина Z, значениями которой являются допустимые суммы — все возможные значения соответственно случайных величин X и У, причем соответствующие вероятности равны

Если какая-нибудь из комбинаций невозможна, то условно полагают ; это не отразится на математическом ожидании суммы.

Аналогично определяются остальные выражения.

Различают также независимые и зависимые случайные величины. Две случайные величины считаются независимыми, если возможные значения и закон распределения каждой из них один и тот же при любом выборе допустимых значений другой. В противном случае они называются зависимыми. Несколько случайных величин называются взаимно независимыми, если возможные значения и законы распределения любой из них не зависят от того, какие возможные значения приняли остальные случайные величины.

Теорема: Математическое ожидание постоянной величины равно этой постоянной, т. е. если С — постоянная величина, то

Доказательство: Постоянную величину С можно рассматривать как случайную дискретную величину, принимающую лишь одно возможное значение С с вероятностью р = 1. Поэтому

Теорема: Математическое ожидание суммы двух (или нескольких) случайных величин равно сумме математических ожиданий этих величин, т. е. если X и У — случайные величины, то

и т. п.

Доказательство: 1) Пусть случайная величина X принимает значения с вероятностями а случайная величина У принимает значения с вероятностями 1, 2, …, m). Тогда возможными значениями случайной величины X + У будут суммы вероятности которых равны

Как было отмечено выше, все комбинации можно считать допустимыми, причем если сумма невозможна, то полагаем .

Имеем

Воспользовавшись очевидными свойствами суммы: 1) сумма не зависит от порядка слагаемых и 2) множитель, не зависящий от индекса суммирования, можно выносить за знак суммы, из (4) получим

Сумма представляет собой вероятность события, состоящего в том, что случайная величина X принимает значение xt при условии, что случайная величина У принимает одно из своих возможных значений (что достоверно); это сложное событие, очевидно, эквивалентно тому, что X принимает значение xt и поэтому

Аналогично,

Тогда из формулы (5) получаем

что и требовалось доказать.

2) Для нескольких случайных величин, например для трех X, У и Z, имеем

и т. д.

Следствие. Если С — постоянная величина, то

Теорема: Математическое ожидание произведения двух независимых случайных величин равно произведению их математических ожиданий, т. е.

где X и У — независимые случайные величины.

Доказательство: Пусть — законы распределения соответственно случайных величин X и У. Так как X и У независимы, то полный набор значений случайной величины XY состоит из всех произведений вида , причем вероятности этих значений по теореме умножения для независимых событий равны .

Имеем

что и требовалось доказать.

Следствие 1. Математическое ожидание произведения нескольких взаимно независимых случайных величин равно произведению математических ожиданий этих величин.

Действительно, например, для трех взаимно независимых случайных величин X, У, Z имеем

и т. п.

Следствие 2. Постоянный множитель можно выносить за знак математического ожидания.

Если С — постоянная величина, а X — любая случайная величина, то, учитывая, что С и X независимы, на основании теоремы 1 получим

Следствие 3. Математическое ожидание разности любых двух случайных величин X и Y равно разности математических ожиданий этих величину т. е.

Действительно, используя теорему о сумме математических ожиданий и следствие 2, получим

Дисперсия

Пусть X — случайная величина, М(Х) — ее математическое ожидание (среднее значение). Случайную величину X — М(Х) называют отклонением.

Теорема: Для любой случайной величины X математическое ожидание ее отклонения равно нулю, т. е.

Локазательство. Действительно, учитывая, что М(Х) — постоянная величина, имеем

Определение: Дисперсией (рассеянием) случайной величины называют математическое ожидание квадрата отклонения этой величины от ее математического ожидания.

Отсюда, обозначая дисперсию буквой D, для случайной величины X будем иметь

Очевидно, что дисперсия случайной величины постоянна, т. е. является числовой характеристикой этой величины.

Если случайная величина X имеет закон распределения , то, обозначая для краткости , из формулы (1) будем иметь

Корень квадратный из дисперсии D{X) называется средним квадратичным отклонением а (иначе— стандартом) этой величины:

Пример №8

Пусть закон распределения случайной величины задан таблицей:

Определить математическое ожидание М(Х), дисперсию D(X) и среднее квадратичное отклонение . Имеем

отсюда

Дисперсия D{X)служит мерой рассеяния (разброса)значений дискретной случайной величины X. Действительно, пусть D(X) мала. Тогда из формулы (2) получаем, что все слагаемые также малы. Отсюда следует, что если не обращать внимания на значения, имеющие малую вероятность (такие значения практически невозможны), то все остальные значения мало отклоняются от . Таким образом, при малой дисперсии D(X) почти достоверно, что значения случайной величины концентрируются около ее математического ожидания (за исключением, быть может, сравнительно малого числа отдельных значений). В частности, если D(X) = 0, то, очевидно, X = и случайная величина представляет собой точку на числовой оси. Если D(X) велика, то концентрация значений случайной величины X около какого-нибудь центра исключается.

Теорема: Дисперсия случайной величины равна разности между математическим ожиданием квадрата этой величины и квадратом ее математического ожидания, т. е.

Доказательство: Используя основные теоремы о математических ожиданиях случайных величин, имеем

Теорема: Дисперсия постоянной величины равна нулю. Действительно, если С — постоянная величина, то М(С) = С и, следовательно,

Результат этот очевиден, так как постоянная величина изображается одной точкой на числовой оси Ох и не имеет рассеяния.

Теорема: Дисперсия суммы двух независимых случайных величин X и Y равна сумме дисперсий этих величин, т. е.

Доказательство: Так как

то имеем

где

— так называемый корреляционный момент величин X и У. Если случайные величины X и У независимы, то случайные величины X — М(Х) и У — М(У), отличающиеся от X и У на постоянные величины, очевидно, также независимы. Поэтому в силу теорем 3 имеем

и, следовательно, справедлива формула (5).

Следствие 1. Дисперсия суммы нескольких взаимно независимых случайных величин равна сумме дисперсий этих величин.

Следствие 2. Если С — постоянная величина, то

Таким образом, случайные величины X и X + С имеют одинаковую меру рассеяния.

Теорема: Постоянный множитель можно выносить за знак дисперсии, возводя его в квадрат, т. е.

Доказательство: Если С — постоянный множитель, то в силу теоремы 2 имеем

Таким образом, рассеяние величины СХ в С² раз больше рассеяния величины X.

Следствие. Дисперсия разности двух независимых случайных величин равна сумме дисперсий этих величин, т. е. если случайные величины X и У независимы, то

Действительно, на основании теорем 4 и 5 имеем

Математическое ожидание и дисперсия случайной величины являются ее основными числовыми характеристиками.

Пример №9

Определить математическое ожидание и дисперсию для числа X появления события А при п независимых испытаниях, в каждом из которых вероятность события Р(А) = р постоянна.

Случайная величина X принимает значения и распределена по биномиальному закону

где

Величину X можно рассматривать как сумму независимых случайных величин

где — число появлений события А в -м испытании. Случайная величина X, принимает лишь два значения: 1, если событие А появилось в i-м испытании, и 0, если событие А не произошло в i-м испытании. Вероятности этих значений . Отсюда

. Отсюда, используя теорему о математическом ожидании суммы, будем иметь

Таким образом, математическое ожидание числа появлений события А в условиях схемы Бернулли совпадает со «средним числом» появления этого события в данной серии испытаний. Для дисперсии случайной величины X, получаем

Отсюда по свойству дисперсии суммы независимых случайных величин (теорема) будем иметь

Поэтому среднее квадратичное отклонение (стандарт)

Формулы (8) и (9) дают математическое ожидание и дисперсию для биномиального закона распределения.

Замечание. Теперь становится понятным смысл случайной величины

в приближенных формулах Лапласа, а именно, t представляет собой отклонение числа появлений события А от его математического ожидания, измеренное в стандартах (так называемое нормированное отклонение).

Рассмотрим п дискретных попарно независимых случайных величин , дисперсии которых равномерно ограничены:

Эти величины, возможно, имеют значительный разброс, однако их среднее арифметическое

ведет себя достаточно «кучно».

А именно, при указанных выше условиях имеет место замечательная теорема:

Теорема Чебышева: Для любого положительного > 0 вероятность неравенства

сколь угодно близка к 1, если число случайных величин п достаточно велико, т. е.

(закон .больших чисел в форме Чебышева).

Теорема Чебышева находит применение в теории ошибок, статистике и т. п.

Непрерывные случайные величины. Функция распределения

Случайную величину X будем называть непрерывной, если все ее возможные значения целиком заполняют некоторый конечный или бесконечный промежуток числовой оси. Предполагается, что при каждом испытании случайная величина X принимает одно и только одно значение . Заметим, что дискретные и непрерывные случайные величины не исчерпывают все типы случайных величин.

Для характеристики непрерывной случайной величины X вводят функцию распределения

называемую интегральным законом распределения.

Если значения случайной величины X рассматривать как точки числовой оси Ох, то Ф(х) представляет собой вероятность события, состоящего в том, что наблюдаемое значение случайной величины X принадлежит интервалу , т. е. находится левее точки х. Этот интервал зависит от правого конца его х, и поэтому естественно вероятность является функцией от х, определенной на всей оси .

Заметим, что функция распределения имеет смысл также для дискретных случайных величин.

Функция распределения Ф(х) обладает следующими свойствами:

I.Функция Ф(х) есть неубывающая функция аргумента х, т. е. если то .

Действительно, если х’ > х, то из события очевидно, следует событие . Но тогда вероятность Ф(х’) второго события не меньше вероятности Ф(х) первого.

II.Так как Ф(х) — вероятность, то справедливо неравенство

III.

Действительно, событие очевидно, невозможно, а событие достоверно.

Зная функцию распределения Ф(х), можно для любого промежутка определить — вероятность попадания случайной величины X в этот промежуток (здесь принято левый конец а промежутка включать, а правый не включать в этот промежуток).

В самом деле, пусть А есть событие , В — событие и С — событие .

Тогда, очевидно, имеем

Так как события А и С несовместны, то по теореме сложения вероятностей получаем Р(Б) = Р(А) + Р(С), отсюда

причем в силу свойства I.

Таким образом, вероятность того, что случайная величина X примет значение, принадлежащее промежутку [a, b), равна приращению ее функции распределения на этом промежутке.

В дальнейшем случайную величину X будем называть непрерывной лишь в том случае, когда ее функция распределения Ф(х) непрерывна на оси .

Теорема: Вероятность (до опыта) того, что непрерывная случайная величина X примет заранее указанное строго определенное значение а, равна нулю.

В самом деле, в силу формулы (2) имеем

Положим, что ; тогда в пределе промежуток [а, х) будет содержать единственную точку а. Кроме того, в силу непрерывности функции Ф(х) в точке а имеем

Переход я к пределу при в равенстве (3), получим

Таким образом, при непрерывной функции распределения вероятность «попадания в точку» равна нулю.

Следствие. Для непрерывной случайной величины X справедливы равенства

где — ее функция распределения. Действительно,

Аналогично доказывается второе равенство.

Замечание. В общем случае невозможные события и события с нулевой вероятностью могут оказаться неэквивалентными.

Предположим теперь, что для непрерывной случайной величины X ее функция распределения Ф(х) имеет непрерывную производную

Функцию ф(х) называют плотностью вероятности (для данного распределения) или дифференциальным законом распределения случайной величины X.

Термин плотность вероятности имеет следующий смысл. Пусть — бесконечно малый промежуток. Тогда в силу формулы (2′) имеем

Заменяя бесконечно малое приращение функции ее дифференциалом , получаем приближенное равенство

Таким образом, плотность вероятности представляет собой отношение вероятности попадания точки в бесконечно малый промежуток к длине этого промежутка.

Так как плотность вероятности ф(х) является производной неубывающей функции Ф(х), то она неотрицательна: . В отличие от вероятности, плотность вероятности может принимать сколь угодно большие значения.

Так как Ф(х) является первообразной для ф(х), то на основании формулы Ньютона—Лейбница имеем

Отсюда в силу (3′) получаем

Геометрически (рис. 271) эта вероятность представляет собой площадь S криволинейной трапеции, ограниченной — графиком плотности вероятности у = ф(х), осью Ох и двумя ординатами

Полагая получаем достоверное событие , вероятность которого равна единице. Следовательно,

Полагая в формуле (6) и обозначая для ясности переменную интегрирования х другой буквой, например t (это законно для определенного интеграла), получаем функцию распределения

Числовые характеристики непрерывной случайной величины

Будем рассматривать бесконечно малый промежуток как «жирную точку» х оси Ох. Тогда вероятность того, что случайная величина X принимает значение, совпадающее с этой «жирной точкой» х, равна y(x)dx и математическое ожидание этого события есть

Представляя прямую как бесконечное множество таких жирных точек, по аналогии с определением математического ожидания дискретной случайной величины, получаем естественное определение математического ожидания непрерывной случайной величины (только здесь суммирование заменяется интегрированием).

Определение: Под математическим о жид а ни ем непрерывной случайной величины X понимается число

(конечно, это определение имеет смысл лишь для таких случайных величин X, для которых интеграл (1) сходится).

Для дисперсии непрерывной случайной величины X сохраним прежнее определение

Из формулы (1) вытекает

(конечно, в предположении, что интеграл (2) сходится). Можно также пользоваться формулой

Можно доказать, что основные свойства математического ожидания и дисперсии дискретных случайных величин сохраняются также и для непрерывных случайных величин.

Пусть теперь все возможные значения непрерывной случайной величины X целиком заполняют конечный отрезок . Тогда ф(х) = 0 при и при и, следовательно,

Аналогично,

Равномерное распределение

Непрерывная случайная величина X, все возможные значения которой заполняют конечный промежуток , называется равномерно распределенной, если ее плотность вероятности ф(х) постоянна на этом промежутке.

Иными словами, для равномерно распределенной случайной величины все ее возможные значения являются равновозможными.

Пусть, например, . Так как в этом случае ф(х) = const при , то

отсюда

Пусть (рис. 272). Тогда

т. е.

где L — длина (линейная мера) всего отрезка и — длина частичного отрезка .

Значения случайной величины X, т. е. точки х отрезка , можно рассматривать как всевозможные элементарные исходы некоторого испытания. Пусть событие А состоит в том, что результат испытания принадлежит отрезку . Тогда точки отрезка есть благоприятные элементарные исходы события А.

Согласно формуле (1) имеем геометрическое определение вероятности: под вероятностью события А понимается отношение меры множества элементарных исходов, благоприятствующих событию А, к мере L множества всех возможных элементарных исходов в предположении, что они равновозможны:

Это определение естественно переносит классическое определение вероятности на случай бесконечного числа элементарных исходов.

Аналогичное определение можно ввести также тогда, когда элементарные исходы испытания представляют собой точки плоскости или пространства.

Пример №10

В течение часа (t —- время в часах) на остановку прибывает один и только один автобус. Какова вероятность того, что пассажиру, пришедшему на эту остановку в момент времени t = 0, придется ожидать автобус не более 10 мин?

Решение:

Здесь множество всех элементарных исходов образует отрезок [0, 1], временная длина которого L = 1, а множество благоприятных элементарных исходов составляет отрезок [0,1/6] временной длины = 1/6.

Поэтому искомая вероятность есть

Пример №11

В квадрат К со стороной а с вписанным в него кругом S (рис. 273) случайно бросается материальная точка М. Какова вероятность того, что эта точка попадает в круг S?

Решение:

Здесь площадь квадрата есть К = а², а площадь круга

За искомую вероятность естественно принять отношение

Эта вероятность, а следовательно, и число л, очевидно, могут быть определены экспериментально.

Нормальное распределение

Распределение вероятностей случайной величины X называется нормальным, если плотность вероятности подчиняется закону Гаусса

где — некоторые постоянные, причем а > 0 и b > 0. В этом случае график плотности вероятности представляет собой смещенную кривую Гаусса (рис. 274), симметричную относительно прямой и с максимальной ординатой

Для удобства выкладок эту кривую центрируем, введя новые координаты и . Тогда закон Гаусса примет вид

и будет представлять собой дифференциальный закон распределения случайной величины

Постоянные а и b в формуле (2) не являются произвольными, так как для плотности вероятностей должно быть выполнено условие

Делая замену переменной , будем иметь

Отсюда на основании формулы (3) находим

т. е.

Таким образом,

Для математического ожидания случайной величины будем иметь

(ввиду нечетности подынтегральной функции). Отсюда

Таким образом, при нормальном распределении случайной величины X ее математическое ожидание х₀ совпадает с точкой пересечения оси симметрии графика соответствующей кривой Гаусса с осью Ох (центр рассеивания).

Для дисперсии случайной величины X получаем

Полагая и интегрируя по частям, с учетом формулы (4) будем иметь

Таким образом, из формулы (9) получаем

и, следовательно,

Отсюда для среднего квадратичного отклонения величины X получим

Введя обозначение , будем иметь

Подставляя эти значения в формулу (1), получим стандартный вид нормального закона распределения случайной величины X в дифференциальной форме:

где

Таким образом, нормальный закон распределения зависит только от двух параметров: математического ожидания и среднего квадратичного отклонения.

Нормальный закон распределения случайной величины в интегральной форме имеет вид

Формулы (11) и (12) упрощаются, если ввести нормированное отклонение

тогда

. Полагая в интеграле (12) , получаем

где t определяется формулой (13) и — стандартный интеграл вероятностей.

Отсюда получаем, что для случайной величины X, подчиняющейся нормальному закону, вероятность попадания ее на отрезок есть

В частности, вероятность того, что отклонение величины X от ее математического ожидания х₀ по абсолютной величине будет меньше а, равна

Полагая , получаем

т. е. такое отклонение является почти достоверным (правило трех сигм).

Нормальный закон распределения вероятностей находит многочисленные применения в теории ошибок, теории стрельбы, физике и т. д.

Пример №12

Задана плотность распределения

Определить коэффициент к и функцию распределения 

Решение.

  Отсюда 

Построим график  (рис. 2.12).

Найдем функцию распределения, используя (2.7):

Построим график  (рис. 2.13).

Функция распределения — универсальный закон распределения (для ДСВ и НСВ)

Для количественной характеристики распределения вероятностей любой случайной величины удобнее пользоваться не вероятностью события X = х, а вероятностью X < х, где х — некоторая текущая переменная.

Определение 34. Задание вероятности выполнения неравенства X < х , рассматриваемой как функции аргумента х, называется функцией распределения (или интегральным законом распределения, или интегральной функцией распределения) случайной величины X:

.

F(x) — универсальная характеристика: существует как для ДСВ, так и для НСВ. Она полностью характеризует СВ с вероятностной точки зрения, т.е. является одной из форм закона распределения.

Геометрическая интерпретация F(x): если рассматривать СВ как случайную точку X оси (Ох), которая в результате опыта может занять то или иное положение, то функция распределения F(x) есть вероятность того, что эта случайная точка X в результате опыта попадет левее точки х.

Для ДСВ X, которая может принимать возможные значения функция распределения будет иметь вид:

,

где символ  < х под знаком суммы обозначает, что суммирование распространяется на все возможные значения СВ, которые по своей величине меньше аргумента х.

Свойства F(x).

1. F(x) — неотрицательная функция, заключенная между 0 и 1: .

Пояснение: справедливость свойства вытекает из того, что F(x) определена как вероятность события X < х.

2. F(x) — неубывающая функция своего аргумента, т.е. при .

Пояснение (см. рис. выше): будем увеличивать х, т.е. перемещать точку х вправо по оси (Ох). Очевидно, что при этом вероятность того, что точка X попадет левее точки х не может уменьшаться, следовательно, функция F(x) с возрастанием х убывать не может.

3. .

Пояснение (см. рис. выше): будем неограниченно перемещать точку х влево по оси (Ох). При этом попадание случайной точки X левее точки х в пределе становится невозможным событием. Поэтому естественно полагать, что вероятность этого события стремится к нулю.

4. .

Пояснение (см. рис. выше): будем неограниченно перемещать точку х вправо по оси (Ох). При этом попадание случайной точки X левее точки х в пределе становится достоверным событием. Вероятность достоверного события по определению равна 1.

5. F(x) — непрерывна слева, т.е. .

6. Вероятность появления случайной величины в интервале равна разности значений функции распределения в концах интервала:

.

Доказательство.

Рассмотрим три события: , причем события В и С -несовместные.

Очевидно, что А = В + С. По теореме сложения вероятностей несовместных событий имеем:

.

Перепишем данное равенство, воспользовавшись определением функции распределения:

, отсюда:

.    (что и требовалось доказать)

Замечание. Если F(x) возрастает в каждой точке интервала (а; b), то возможные значения случайной величины непрерывно заполняют этот интервал, т.к. согласно свойству № 6, вероятность того, что СВ примет значение, заключенное в сколь угодно малой части этого интервала отлична от нуля. Таким образом, монотонно возрастающей функции F(x) на интервале (а; b) соответствует непрерывная случайная величина, возможные значения которой непрерывно заполняют этот интервал. Отсюда следует другое определение НСВ:

Определение 35. Непрерывной случайной величиной называется случайная величина, функция распределения которой непрерывна.

Будем неограниченно уменьшать участок , полагая, что . В пределе вместо вероятности попадания случайной величины X в интервал получим вероятность того, что эта величина примет отдельно взятое значение :

(из свойства 6)

Значение этого предела зависит от того, непрерывна ли функция F(x) в точке  или же терпит разрыв.

Если в точке функция F(x) имеет разрыв, то — значению скачка в точке в .

Если в точке функция F(x) непрерывна, то .

Вывод: т.к. непрерывная случайная величина X имеет непрерывную функцию распределения F(x), то из равенства нулю предела для непрерывной функции в точке  следует, что и вероятность любого отдельного значения непрерывной случайной величины равна нулю:

.

Таким образом, нулевой вероятностью могут обладать не только невозможные, но и возможные события, т.е. событие  — возможно, а Р(А) = 0. Р() = 1, но  — не достоверно. Говорят, что А происходит почти всегда.

Вывод парадоксален, но он вполне согласуется со статистическим определением вероятности. Равенство нулю вероятности события характеризует тенденцию частоты этого события неограниченно убывать при увеличении числа опытов, т.е. частота только приближается к вероятности, и ни в коей мере не означает, что данное событие равно нулю.

Например: 1.) Тело имеет определенную массу, а ни одна из точек внутри тела определенной массой не обладает. Сколь угодно малый объем, выделенный из тела, обладает конечной массой, но она стремится к нулю по мере его уменьшения и равна нулю для точки.    2.) При непрерывном

распределении вероятностей вероятность попадания на сколь угодно малый участок может быть отлична от нуля, тогда как вероятность попадания в строго определенную точку равна нулю.

Механическая интерпретация непрерывной случайной величины: распределение единичной массы непрерывно по оси абсцисс, причем ни одна точка не обладает конечной массой.

Следствия из свойства 6:

1. Если все возможные значения X принимает интервал (a; b), F(x) = 0 при ; F(x) = 1 при .

2. , т.е для НСВ граничные точки могут как включаться, так и не включаться в промежуток (a; b).

Графики функции распределения

1. Для ДСВ функция распределения .
Когда текущая переменная х проходит через какое-нибудь из возможных значений ДСВ X, функция распределения F(x) меняется скачкообразно, причем величина скачка равна вероятности этого значения. Таким образом, F(x) любой ДСВ — разрывная ступенчатая функция, скачки которой происходят в точках, соответствующих возможным значениям СВ и равны вероятностям этих значений. Сумма всех скачков равна 1.

2. Для НСВ функция распределения — непрерывная функция во всех точках и заключенная между нулем и единицей (следует из свойств).

Замечание. 

Если для ДСВ увеличить число возможных значений и уменьшить интервалы между ними, то число скачков будет больше, а сами скачки меньше, следовательно, ступенчатая кривая становится более плавной, ДСВ постепенно приближается к НСВ, а ее функция распределения — к непрерывной функции распределения.

3. Можно построить примеры СВ, возможные значения которых непрерывно заполняют некоторый промежуток, но для которых F(x) не везде является непрерывной, а в отдельных точках терпит разрыв. Такие СВ называются смешанными.

График F(x) в общем случае представляет собой график неубывающей функции, значения которой начинаются от 0 и доходят до 1, причем в отдельных точках функция может иметь скачки.

Пример №13

Стрелок производит 3 выстрела по мишени. Вероятность попадания в мишень при каждом выстреле равна 0,4. Построить функцию распределения числа попаданий. Найти вероятность того, что будет а) меньше 2 попаданий, b) не больше двух попаданий, с) больше одного попадания, d) число попаданий будет либо 1, либо 2.

Решение.

Ранее мы построили ряд распределения числа попаданий. Ряд распределения имеет вид: 

Это ДСВ, следовательно, функция распределения находится по формуле: .

1) при , .

2) при , .

3) при , .

4) при , .

5) при , .

Найдем вероятность того, что будет а) меньше 2 попаданий, b) не больше двух попаданий, с) больше одного попадания, d) число попаданий будет либо 1, либо 2.

a)  = (по определению функции распределения) = F(2) = 0,648

b)  = Р(Х < 2) + Р(Х = 2) = F(2) + Р(Х = 2) = 0,648 + 0,288 = 0,936

c) Р(Х > 1) = = 1 — [Р(Х < 1) + Р(Х = 1)] = 1 — [F(l) + Р(Х = 1)] = 1 — [0,216 + 0,432] = 0,352

d)  + Р(Х = 2) = F(2) — F( 1) + Р(Х = 2) = 0,648 — 0,216 + 0,288 = 0,72

Пример №14

Функция распределения непрерывной случайной величины задана выражением:

Найти коэффициент а. Определить вероятность того, что СВ X в результате опыта примет значение на участке а) (1; 2), b)[1; 2].

Решение.

Т. к. X — НСВ, то F(x) — непрерывная функция, следовательно, при х = 3 должно выполняться равенство, что F(x) = 1, т. е.

.

Найдем вероятность того, что Х в результате опыта примет значение на участке (1; 2):

.

Найдем вероятность того, что Х в результате опыта примет значение на участке [1; 2]:

= (т.к. СВ — непрерывная, то) = .

Замечание. Функция распределения F(x) случайной величины является ее исчерпывающей вероятностной характеристикой. Но она имеет недостаток, заключающийся в том, что по ней трудно судить о характере распределения СВ в в небольшой окрестности той или другой точки числовой оси. Более наглядное представление о характере распределения НСВ в окрестностях различных точек дастся другой функцией — плотностью распределения вероятности.

Плотность распределения вероятностей НСВ

Пусть X — непрерывная случайная величина, ее функция распределения F{x) — непрерывная и дифференцируемая функция. Рассмотрим участок , где  — длина участка. Тогда вероятность попадания СВ Х на данный участок можно найти по формуле (по свойству 6):

.

Рассмотрим предел отношения приращения функции F(x) на участке к длине этого участка (или среднюю вероятность, приходящуюся на единицу длины участка) при условии, что длина стягивается в точку:

— по определению производной.

Определение 36. Предел отношения вероятности попадания НСВ на элементарный участок от х до к длине этого участка, когда  стремится к нулю или производная функции распределения F'(x) НСВ называется плотностью распределения НСВ Х в точке х и обозначается :

.

Другие названия плотности: плотность вероятности, дифференциальная функция распределения, дифференциальный закон распределения.

существует только для непрерывных СВ. Она является одной из форм закона распределения.

характеризует плотность, с которой распределяются значения СВ в данной точке.

Механическая интерпретация: характеризует плотность распределения масс по оси абсцисс.

Определение 37. Кривая, изображающая плотность распределения  СВ, называется кривой распределения.

Замечание. Если возможные значения СВ заполняют некоторый конечный промежуток, то  = 0 вне этого промежутка.

Из данного равенства следует, что , т.к. х — независимая переменная, то .

Отсюда следует, что , где S — площадь элементарного прямоугольника, опирающегося на участок dx. (см. рис.)

При площадь прямоугольника приближается к площади криволинейной трапеции, которую можно найти с помощью определенного интеграла: .

Величина  называется элементом вероятности.

Рассмотрим большой участок , тогда:

Вероятность того, что НСВ примет значение, х принадлежащее интервалу , равна площади криволинейной трапеции, опирающейся на интервал  оси (Ох) :

.

Замечание. Для НСВ непринципиально, какие знаки в неравенстве брать < или : , т. е. включать или не включать крайние точки интервала, потому что в них вероятность все равно равна нулю.

Связь F(x) и .

Нам известно, что

Выразим функцию распределения F(x) через плотность. По определению .

Из формулы (1) следует, что

Геометрически, это площадь кривой распределения, лежащая левее точки х.

Замечания.

1. Формулу (3) можно доказать по-другому: по определению дифференциала функции имеем, что , следовательно,

.

2. Формулу (1) можно доказать на основании свойства функции распределения: ,

Но согласно равенству (3) , поэтому

.

3. Функция распределения F(x)- безразмерная величина, размерность плотности обратна размерности случайной величины.

Свойства плотности распределения

1.  — неотрицательная функция, т. е. .

Пояснение: это следует из того, плотность распределения есть производная от неубывающей функции F(х). Геометрически: вся кривая распределения лежит не ниже оси абсцисс.

2. Условие нормировки: интеграл в бесконечных пределах от плотности распределения равен 1:

—со

Доказательство

Подставим в равенство (3) , учитывая, что .

Геометрически данное свойство означает следующее: полная площадь, ограниченная кривой распределения и осью абсцисс равна единице.

Пример №15

Дана функция распределения НСВ X: 

.

Найти 1) коэффициент а, 2) плотность распределения , 3) P(0,25 < X < 0,5), построить графики функций F(x) и .

Решение.

1) Т. к. F(x) — непрерывная функция, то при х = 1 должно выполняться равенство, что . То есть . Отсюда, а = 1.

2) = F(x), тогда = .

3) 1 способ: (0,25; 0,5) входит в интервал (0; 1). По свойству 6 функции распределения: .

2 способ. Можно было найти по формуле (1) с помощью плотности распределения:

.

Пример №16

Пусть НСВ X подчинена закону распределения с плотностью

,

Найти 1) коэффициент а, 2) функцию распределения F(x), 3) , 4) построить графики функций F(x) и .

Решение.

1) Для нахождения коэффициента а воспользуемся условием нормировки (4):

.

2) Найдем функцию распределения по формуле (3): .

Если , то = 0, следовательно .

Если , то .

Если , то .

Итак, F(x) = ,

3) можно найти двумя способами,. .

1 способ: По свойству 6 функции распределения:

.

2 способ. Можно было найти по формуле (1) с помощью плотности распределения:

.

Вывод:

Законы распределения    

ДСВ

1. Ряд распределения (графически -многоугольник распределения).
2. Функция распределения F(x).

НСВ

1. Функция распределения F(x).
2. Плотность распределения (графически -кривая распределения).

Числовые характеристики случайных величин, их роль и назначение

Определение 38. Характеристики, назначение которых — выразить в сжатой форме наиболее существенные особенности распределения, называются числовыми характеристиками СВ.

Они не характеризуют СВ полностью, а указывают только отдельные числовые параметры, например, какое-то среднее значение, около которого группируются возможные значения СВ; какое-либо число, характеризующее степень разбросанности этих значений относительно среднего и т. д.

Характеристики положения (математическое ожидание, мода, медиана)

Данные характеристики характеризуют положение СВ на числовой оси, т. е. указывают некоторое среднее, ориентировочное значение, около которого группируются все возможные значения случайной величины.

Например, 1) среднее время работы, 2) средняя точка попадания смещена относительно цели на 0,3 м вправо…

Разберем эти характеристики подробнее.

1. Математическое ожидание или среднее значение случайной величины

a) Для дискретных случайных величин.

Рассмотрим ДСВ X, имеющую возможные значения с вероятностями . Охарактеризуем каким-нибудь числом положение значений СВ на оси абсцисс с учетом того, что эти значения имеют различные вероятности, т. е. рассмотрим «среднее взвешенное» из , причем каждое , при осреднении учитывается с «весом», пропорциональным вероятности :

.

Определение 39. Сумма произведений всех возможных значений случайной величины на вероятности этих значений называется математическим ожиданием случайной величины

Замечания.

1. М[Х] существует тогда и только тогда, когда ряд  сходится.

2. Когда М[Х] входит в формулы как определенное число, то ее обозначают М[Х] = .

Механическая интерпретация М[Х] для ДСВ: пусть на оси (Ох) расположены точки с абсциссами , в которых сосредоточены соответственно массы , причем сумма всех масс равна 1 , тогда М[Х] — абсцисса центра тяжести данной системы материальных точек.

Связь между М[Х] и средним арифметическим числа наблюдаемых значений СВ при большом числе опытов: при увеличении числа опытов среднее арифметическое наблюдаемых значений СВ будет приближаться (сходиться по вероятности) к ее математическому ожиданию. Эта связь — одна из форм закона больших чисел.

b) Для непрерывных случайных величин.

Рассмотрим НСВ. Заменим в формуле (1) отдельные значения  непрерывно изменяющимся параметром х, соответствующие вероятности  — элементом вероятности , конечную сумму -интегралом, тогда

Механическая интерпретация М[Х] для НСВ: М[Х] — абсцисса центра тяжести в случае, когда единичная масса распределена по оси (Ох) непрерывно с плотностью .

Свойства М[Х].

1. М[С] = С , где С — постоянная.

2. .

3. .

4. .

5. M[aX+b] = аМ[Х] + b, а, b- постоянные.

с) Для смешанных случайных величин.

М[Х] = , причем сумма распространяется на те точки , где функция терпит разрыв, а интеграл берется по тем участкам, где функция непрерывна.

2. Мода случайной величины

Определение 40. Мода — наиболее вероятное значение случайной величины.

Иначе, мода — точка максимума многоугольника распределения для ДСВ или кривой распределения для НСВ.

Мода обознается М; когда мода входит в формулы как определенное число, то ее обозначают .

а) Для дискретных случайных величин.

Мода — действительное число , определяемое, как точка максимума плотности распределения .

Замечание. Мода может не существовать, может иметь единственное значение или иметь бесконечное множество значений.

Определение 41. Распределения, обладающие посередине не максимумом, а минимумом называются антимодальными.

Замечание. Мода и математическое ожидание СВ не совпадают, но если распределение является симметричным и модальным и существует мат. ожидание, то оно совпадает с модой и центром симметрии распределения.

3. Медиана случайной величины

Вводится лишь для НСВ, хотя формально ее можно определить и для ДСВ.

Определение 42. Медианой непрерывной случайной величины называется такое ее значение х = Me, относительно которого равновероятно получение большего или меньшего значения случайной величины, т. е. для которого справедливо равенство:

,

( для НСВ безразлично > или  ) 

(по определению функции распределения).

Таким образом, медиана — это корень уравнения .    (3)

Геометрически: медиана — это абсцисса точки, в которой площадь, ограниченная кривой распределения, делится пополам.

Замечание. В случае симметричного модального распределения медиана совпадает с мат. ожиданием и модой.

Когда медиана входит в формулы как определенное число, то ее обозначают .

Моменты:

Данные характеристики описывают некоторые свойства распределения СВ. В механике, например, для описания распределения масс существуют статические моменты, моменты инерции…

Определение 43. Начальным моментом s — того порядка для ДСВ и НСВ называется математическое ожидание s — той степени этой случайной величины:

.

Замечание. При s = 1 , т. е. математическое ожидание — это первый начальный момент.

a) Для дискретных случайных величин: .    (4)

Замечание. Определение совпадает с определением начального момента порядка s в механике, если на оси (Ох) в точках сосредоточены соответственно массы .

b) Для непрерывных случайных величин: .    (5)

Определение 44. Центрированной случайной величиной, соответствующей величине X, называется отклонение случайной величины Х от ее математического ожидания:

.

Рассмотрим математическое ожидание центрированной ДСВ:

.

Аналогично, для НСВ .

Центрирование СВ равносильно переносу начала координат в среднюю, центральную точку, абсцисса которой равна математическому ожиданию.

Определение 45. Моменты центрированной случайной величины называются центральными моментами.

Определение 46. Центральным моментом s — того порядка для ДСВ и НСВ называется математическое ожидание s — той степени соответствующей центрированной случайной величины:

.

a) Для дискретных случайных величин: .    (6)

b) Для непрерывных случайных величин: .    (7)

Замечание. Для любой СВ центральный момент 1-го порядка  равен 0: , так как мат. ожидание центрированной СВ равно 0.

Рассмотрим подробнее центральные моменты 2, 3, 4 порядков и выведем соотношения, связывающие начальные и центральные моменты.

— дисперсия

Определение 47. Дисперсией случайной величины X D[X] называется мат ожидание квадрата соответствующей центрированной случайной величины:

a) Для дискретных случайных величин: .    (8)

b) Для непрерывных случайных величин: .(9)

Дисперсия случайной величины — характеристика рассеивания, разбросанности значений случайной величины около ее мат. ожидания.

Когда дисперсия входит в формулы как определенное число, то ее обозначают 

Механическая интерпретация D[X]: Дисперсия — момент инерции заданного распределения масс относительно центра тяжести (мат. ожидания).

Рассмотрим ДСВ. (Для НСВ получаем аналогично)

.

— связь между начальным и центральным моментом 2-го порядка. (10)

Свойства D[X].

1. D[C] = 0 , где С — постоянная.

2. .

3. .

4.  для независимых СВ.

5.  — постоянные.

Замечание. D[X] имеет размерность квадрата случайной величины. Для более наглядной характеристики рассеивания удобнее пользоваться величиной, размерность которой совпадает с размерностью случайной величины. Для этого из D[X] извлекают корень:

где  — среднее квадратическое отклонение или стандарт случайной величины X.

Когда среднее квадратическое входит в формулы как определенное число, то его обозначают .

Замечание. Математическое ожидание и дисперсия характеризуют наиболее важные черты распределения: его положение и степень разбросанности. Для более подробного описания применяются моменты высших порядков.

— асимметрия

Асимметрия случайной величины — характеристика асимметрии или скошенности распределения значений случайной величины.

Теорема. Если распределение симметрично относительно мат. ожидания (т. е. масса распределена симметрично относительно центра тяжести), то все моменты нечетного порядка (если они существуют) равны нулю.

Доказательство.

Действительно, для ДСВ в сумме при симметричном относительно  законе распределения и нечетном s каждому положительному слагаемому соответствует равное ему по абсолютной величине отрицательное слагаемое так, что вся сумма равна 0. Аналогично. Для НСВ  как интеграл в симметричных пределах от нечетной функции. (что и требовалось доказать).

В связи с этим, в качестве характеристики асимметрии и выбирают простейший нечетный момент — третий . Он имеет размерность куба СВ, для получения безразмерной характеристики рассматривают отношение  к среднему квадратическому  в третьей степени:

Определение 48. Коэффициентом асимметрии Sk случайной величины X называется величина

.

 связь между начальными и центральным моментом 3-го порядка.

и эксцесс

Четвертый центральный момент  служит для характеристики «крутости», т. е. островершинности или плосковсршинности распределения.

Это свойство описывается с помощью эксцесса.

Определение 49. Эксцессом случайной величины X называется величина

Число 3 вычитается из соотношения  потому, что для наиболее распространенного нормального закона распределения НСВ (с которым познакомимся позднее).

Кривая нормального распределения, для которого эксцесс равен нулю, принята как бы за эталон, с которым сравниваются другие распределения. Кривые более островершинные имеют положительный эксцесс, более плосковершинные — отрицательный.

Абсолютные моменты:

 — начальный абсолютный момент.

 — центральный абсолютный момент.

Абсолютные моменты четных порядков совпадают с обычными моментами. Из абсолютных моментов нечетного порядка чаще всего применяется первый абсолютный центральный момент:

— среднее арифметическое отклонение.

a) Для дискретных случайных величин: , (14)

b) Для непрерывных случайных величин:  (15)

 применяется как характеристика рассеивания (как и ).

Замечания.

1. Моменты могут рассматриваться не только относительно начала координат (начальные) или математического ожидания (центральные), но и относительно произвольной точки а:

.

2. Во многих задачах полная характеристика случайной величины (закон распределения) не нужна или не может быть получена, поэтому ограничиваются приблизительным описанием СВ с помощью числовых характеристик, каждая из которых выражает какое-либо характерное свойство распределения. Иногда характеристиками пользуются для приближенной замены одного распределения другим.

Пример №17

Дан ряд распределения ДСВ:

Найти: 1) величину а, 2) математическое ожидание и дисперсию М[Х] и D[X] , 3) М[3Х + 2], D[2X + 3].

Решение.

1) Величину а найдем из условия: , отсюда а = 0,4.

2) Найдем математическое ожидание и дисперсию:

По формуле (1) ,

По формуле (8) .

Дисперсию можно было найти, используя формулу (10) и (4):

3) М[ЗХ + 2] = (по 5 свойству мат. ожидания) = ,

D[2X + 3] = (по 5 свойству дисперсии) =

Пример №18

Стрелок производит 3 выстрела по мишени. Вероятность попадания в мишень при каждом выстреле равна 0,4. СВ Х — число попаданий. Определить: 1) математическое ожидание, 2) дисперсию, 3) среднее квадратическое отклонение, 4) моду, 5) асимметрию, 6) среднее арифметическое отклонение.

Решение.

Ранее мы построили ряд распределения числа попаданий. Ряд распределения имеет вид:

1) . (по формуле 1).

2)  

(по формуле 8. Можно было по формуле (4): ).

3)  (по формуле 11).

4) Найдем моду М: , следовательно, М = 1.

5) По формуле (6)

Тогда коэффициент асимметрии по формуле (12) .

6) По формуле (14) найдем среднее арифметическое отклонение:.

Пример №19

Непрерывная случайная величина подчинена закону распределения с плотностью . Найти: 1) коэффициент А, 2) математическое ожидание, 3) дисперсию, 4) среднее квадратическос отклонение, 5) моду, 6) медиану, 7) асимметрию, эксцесс.

Решение.

1) Если х < 0 , если .

Воспользуемся свойством плотности распределения для определения А:

.

2) , т.к. функция нечетная.

3) , следовательно, 

 = (решаем методом интегрирования по частям, 2 раза) = 2

4) .

5) M = 0.

6) , следовательно, ,

, следовательно, x=0, т.е. Me=0.

7) , как интеграл в симметричных пределах от нечетной функции.

Следовательно, асимметрия Sk=0.

 , следовательно, эксцесс .

Пример №20

Случайная величина X подчинена закону распределения, плотность которого задана графически. Найти: 1)выражение для плотности, 2) найти мат. ожидание, 3) дисперсию.

Решение.

1) .

2) , следовательно, .

3) Дисперсию найдем двумя способами.

1 способ (по определению): .

2 способ (через начальные моменты):

.

Биномиальное распределение

Постановка задачи: пусть СВ X выражает число появления события А ( m раз) при n независимых испытаниях, проводимых в одинаковых условиях. Вероятность появления события А — р — постоянна. Вероятности возможных значений данной СВ определяются по формуле Бернулли:

.

Определение 50. Распределение дискретной случайной величины, для которой ряд распределения задастся формулой Бернулли, называется биномиальным.

Примеры типовых задач: 1) число бракованных изделий в выборке из n деталей, 2) число попаданий или промахов при выстрелах в мишень.

Найдем математическое ожидание и дисперсию СВ, имеющей биномиальное распределение.

1) . (*)

Вычислим данную сумму. Ранее записали следствие из теоремы Бернулли, что . Следовательно, .

Продифференцируем данное равенство по переменной р:

.

, умножим обе части полученного равенства на р:

, следовательно, из (*):

.

Вывод: математическое ожидание числа наступления события А в серии независимых и одинаковых испытаний равно произведению числа испытаний на вероятность появления события при одном испытании

.

2) Можно вывести, что дисперсия СВ X, распределенной по биномиальному закону, находится по формуле:

.

Тогда среднее квадратическое: .

Пример №21

Случайная величина X представляет число бракованных деталей из выборки в 50 штук. Вероятность брака одной детали р = 0,06. Найти М[Х], D[X], числа бракованных деталей в выборке.

Решение.

СВ X имеет биномиальное распределение, следовательно, сразу по формулам имеем:

(детали в среднем бракованы).

.

(детали) — разброс бракованных деталей относительно среднего числа.

Распределение Пуассона

Постановка задачи: пусть СВ X выражает число появления события А ( m раз) при n независимых испытаниях, проводимых в одинаковых условиях, причем n очень велико (). Вероятность появления события А — р — очень мала. Вероятности возможных значений данной СВ можно вычислить, пользуясь асимптотической формулой Пуассона:

,

где  — среднее число появления события в n испытаниях: = np.

Определение 51. Распределение дискретной случайной величины, для которой ряд распределения задастся формулой Пуассона, называется распределением Пуассона.

Примеры типовых задач: 1) число вызовов на телефонной станции за некоторое время t, 2) число отказов сложной аппаратуры за некоторое время t, 3) распределение изюма в булочках, 4) число кавалеристов, убитых за год копытом лошади.

Распределение Пуассона зависит только от одного параметра . Так как это среднее число появления события в n испытаниях, то это ни что иное как математическое ожидание, следовательно,

.

Можно вывести, что дисперсия СВ X, распределенной по закону Пуассона, находится по формуле:

.

Замечание. Мы использовали распределение Пуассона как приближенное в тех случаях, когда точным распределением СВ является биномиальное распределение, и когда математическое ожидание мало отличается от дисперсии, т. е. .

Можно было получить распределение Пуассона, рассматривая задачу о числе случайных точек на оси абсцисс, попадающих на заданный отрезок, причем  — среднее число точек, приходящихся на единицу длины.

Пример №22

На телефонную станцию в течение определенного часа дня поступает в среднем 30 вызовов. Найти вероятность того, что в течение минуты поступает не более двух вызовов.

Решение.

— среднее число появления события в n испытаниях, т. е. .

СВ Х- число вызовов, ее возможные значения: .

По условию, в течение минуты поступает не более двух вызовов, т. е. , тогда,

Пример №23

Завод отправил на базу 500 доброкачественных изделий. Вероятность того, что в пути изделие повредится, равна 0,002. Найти вероятность того, что на базу прибудет 3 негодных изделия.

Решение.

Дано: р = 0,002; q = 1 — р = 0,998; n = 500. Проверим, можно ли воспользоваться формулой Пуассона, т. е. проверим истинность равенства: .

, , отсюда, , т. е. можно пользоваться формулой Пуассона.

, следовательно.

.

Гипергеометрическое распределение

Постановка задачи: производится ряд n независимых испытаний, в каждом из которых с вероятностью p наступает событие А. Опыты продолжаются до первого появления события А. Случайная величина Х- число проведенных опытов, — возможные значения данной СВ.

Определение 52. X с возможными значениями , а имеет гипергеометрическое распределение с параметрами n, а, b, если .

Можно вывести, что ,

.

Определение 53. X имеет гипергеометричское распределение, если

.

Пример типовой задачи: из урны, содержащей 5 красных и 7 синих шаров, случайным образом и без возвращения извлекается 3 шара. Случайная величина X— число синих шаров в выборке. Описать закон распределения Х и найти математическое ожидание.

Решение.

Шары синие, следовательно, n = 3, а + b = 12, а = 7.

Данная случайная величина имеет возможные значения .

,

.

Следовательно, ряд распределения имеет вид:

Мат. ожидание найдем по формуле: .

или по определению: .

Равномерное распределение или закон равномерной плотности

Пусть известно, что все возможные значения х непрерывной случайной величины X лежат в пределах определенного интервала (а, b), в некоторых источниках рассматривается [а, b].

Определение 54. Равномерным называют распределение вероятностей НСВ X, если на каждом интервале (а, b) ее плотность распределения  сохраняет постоянное значение, равное   (т.е. все х одинаково вероятны), а вне этого интервала плотность равна нулю:

 

Примеры типовых задач: равномерное распределение реализуется 1) в экспериментах, в которых наудачу ставится точка на промежутке (а, b) или [а, b], причем Х — координата поставленной точки; 2) в экспериментах по измерению тех или иных физических величин с округлением, причем X — ошибка округления.

Выведем формулы для вычисления мат. ожидания и дисперсии.

,

.

Итак, , тогда среднее квадратическое .

Вероятность попадания случайной величины на участок  находится по формуле:

.

Найдем функцию распределения F(x):

.

.

Итак, 

Пример №24

Цена деления шкалы амперметра равна 0,1 ампера. Показания амперметра округляют до ближайшего целого деления. Найти вероятность того, что при отсчете будет сделана ошибка, превышающая 0,02 ампера.

Решение.

СВ X — ошибка округления отсчета. X распределена равномерно в интервале между двумя соседними целыми делениями:
 

Ошибка отсчета превысит 0,02, если она будет заключена в интервале (0,02; 0,08). Найдем вероятность попадания Х в этот интервал:
 

.

Можно было найти эту вероятность, сразу подставив в формулу  , следовательно, .

Показательное или экспоненциальное распределение

Определение 55. НСВ X распределена по показательному или экспоненциальному закону, если ее плотность распределения имеет вид:

 — коэффициент распределения.

Выведем формулы для вычисления мат. ожидания и дисперсии.

.

Итак, тогда среднее квадратическое:

Найдем функцию распределения F(x):

Если следовательно .

Если .

Итак, 

Пример №25

Случайная величина Т — время работы радиолампы имеет показательное распределение. Определить вероятность того, что время работы лампы будет не меньше 600 часов, если среднее время работы лампы 400 часов.

Решение.

По условию

Нормальный закон распределения

Определение 56. НСВ X распределена по нормальному закону, если ее плотность распределения  имеет вид:

Нормальный закон называют еще законом распределения Гаусса.

Говорят, что случайная величина X подчинена нормальному закону и пишут .

Примеры типовых задач: случайные величины в них характеризуют ошибки при измерениях, боковые отклонения и отклонения по дальности при стрельбе, величина износа деталей…

График плотности или кривая распределения называется гауссовской кривой. Она имеет симметричный холмообразный вид. При  Ветви кривой быстро приближаются к оси (Ох): площадь под кривой на участке [m — 3;m + 3] равна 90% площади под всей кривой.

Главная особенность нормального закона состоит в том, что он является предельным законом, к которому приближаются другие законы распределения при весьма часто встречающихся типичных условиях.

Кривые распределения по всем другим законам распределения получаются из одной единственной кривой — гауссовской.

Для наглядной демонстрации нормального закона распределения иногда используют специальное устройство — доску Гальтона. В нем падающие сверху шарики распределяются между правильными шестиугольниками и в результате падают на горизонтальную поверхность, образуя картинку, похожую на подграфик гауссовой кривой.

Распределение пассажиров по вагонам метро — гауссово распределение. Покажем это. Пассажиры метро бегут по переходу, выходящему на середину станции, на поезд, стоящий напротив выхода из перехода. Платформа, у которой стоит поезд, равномерно разделена колоннами. Ясно, что большинство пассажиров войдет в средние вагоны, а по мере удаления вагонов от центра, количество садящихся в них людей будет уменьшаться.

Замечание. С гауссовской плотностью мы встречались при рассмотрении локальной теоремы Муавра- Лапласа.

1. Убедимся, что действительно плотность НСВ, для чего проверим равенство  (условие нормировки). Известно, что  (интеграл Пуассона).

 Что и требовалось доказать

2. Докажем, что численные параметры m и  совпадают с основными характеристиками распределения: m = М[Х] — мат. ожидание, — среднеквадратическое отклонение. Для этого вычислим М[Х] и [Х].

Таким образом, m = M[X]. Этот параметр, особенно в задачах стрельбы, называют центром рассеивания.

Доказать самостоятельно, что (Сначала вычислить дисперсию).

Смысл параметров m и 

m — центр симметрии распределения (т.к. при изменении знака разности (х — m) в формуле плотности на противоположный, выражение не меняется). Если изменять центр рассеивания m, то кривая распределения будет смещаться вдоль оси (Ох), не изменяя своей формы. Следовательно, m характеризует положение распределения на оси (Ох).

Размерность m та же, что и размерность случайной величины X.

В задачах m означает систематические ошибки.

 характеризует форму кривой распределения, т.к. это характеристика рассеивания. Площадь под кривой распределения всегда должна быть равна 1. Наибольшая ордината кривой распределения обратно пропорциональна , следовательно, при увеличении  максимальная ордината уменьшается.

Размерность о совпадает  размерностью СВ. В задачах  означает стандартные ошибки.

Замечания.

1. В некоторых курсах теории вероятностей вводят понятие меры точности , тогда нормальный закон запишется в виде:

2. .

3. Если НСВ X распределяется по закону N(0, 1), то она называется стандартизованной случайной величиной.

Формула для центральных моментов любого порядка имеет вид:

Т.к.  = 0, то все нечетные моменты равны 0 (это следует из симметричности нормального закона).

Для четных моментов:  Асимметрия нормального закона эксцесс (назначение эксцесса характеризовать крутость законов по сравнению с нормальным законом), мода М = m, медиана Me — m.

Найдем вероятность попадания НСВ X, подчиненной нормальному закону с параметрами m и , на участок от  до .

 тогда

 (интеграл вычисляется с помощью специальной функции — функции Лапласа Ф(х) [смотри предельную интегральную теорему Муавра-Лапласа §6 п. 3])

Итак, 

Вероятность попадания НСВ X левее  находится по формуле: 

Свойства функции Лапласа

1. Ф(х) определена для всех действительных х.

2. 

3. Ф(х) неубывающая, т. е. возрастает на R.

4. Ф(-х) = 1 — Ф(х) (это следует из симметричности нормального распределения с параметрами m = 0,  =1 относительно начала координат).

5. 

6.

7. — формула для нахождения вероятности того, что абсолютная величина отклонения СВ X от числа m меньше положительного числа , где  — ошибка.

Если m = 0, то

Вывод 7 свойства.

Из 4 свойства и формулы для вычисления интервальных вероятностей имеем, что:

            

Функция Лапласа затабулирована. Для тех значений х, которых нет в таблице:

Свойства функции Лапласа 

1. Ф(x) определена для всех действительных x.

2. Ф(0) = 0.

3. Ф(x) неубывающая, т.е. возрастает на R.

4. Ф(-x) = -Ф(x).

5. 

6. 

7. 

Функция Лапласа затабулирована. Для тех значений х, которых нет в таблице:

Пример №26

Длина изготовленной автоматом детали представляет собой случайную величину, распределенную по нормальному закону с параметрами  Найти вероятность брака, если допустимые размеры детали 

Решение.

Вероятность брака: 

Случайные величины в теории вероятностей

С каждым случайным экспериментом связано множество его возможных исходов Это множество обычно называют пространством элементарных исходов или элементарных событий. Экспериментатор обычно не просто наблюдает, а измеряет, и в результате эксперимента получается число. Тем самым каждому исходу эксперимента ставится в соответствие определенное число а это означает, что на множестве исходов эксперимента определена некоторая числовая функция.

Определение. Случайной величиной называется функция определенная на множестве элементарных исходов эксперимента и принимающая действительные или комплексные значения. Если множество исходов эксперимента конечно, то приведенное определение является точным. В общем случае функция полагается измеримой. Случайная величина считается заданной, если указано, какие значения она может принимать и каковы вероятности этих значений.

Определение. Всякое соотношение, устанавливающее связь между возможными значениями случайной величины и соответствующими им вероятностями, называется законом распределения случайной величины. Фактически для задания закона распределения нужно перечислить все возможные значения случайной величины и указать вероятности этих значений.

Закон распределения является исчерпывающей характеристикой случайной величины. Если он задан, то с вероятностной точки зрения случайная величина описана полностью. Поэтому часто говорят о том или ином законе распределения, имея в виду случайную величину, которая распределена по этому закону.

Случайные величины будем обозначать большими латинскими буквами а отдельные возможные значения этих величин соответствующими малыми буквами

Определение. Случайную величину называют дискретной, если она может принимать отделенные друг от друга значения с определенными вероятностями. Множество возможных значений дискретной случайной величины конечно или счетно, т.е. их можно занумеровать с помощью ряда натуральных чисел.

Определение. Случайная величина называется непрерывной, если ее возможные значения составляет некоторый интервал (конечный или бесконечный).

Отметим способы задания законов распределения дискретных случайных величин. Соответствие между возможными значениями 68 дискретной случайной величины и вероятностями этих значений можно задать в виде формулы. Если это затруднительно, то можно просто перечислить то и другое в виде таблицы, называемой рядом распределения:

где – вероятность того, что примет значение Из соображений наглядности принято возможные значения перечислять в порядке возрастания. События несовместимы, и в результате опыта одно из них непременно происходит, т.е. эти события образуют полную группу. Поэтому 

Ряд распределения можно изобразить графически. Для этого в каждой точке на горизонтальной оси откладывают вдоль вертикальной оси отрезок, равный Полученную в результате фигуру называют многоугольником распределения (рис. 2.8.1).

Функция распределения

Определение. Функцией распределения случайной величины называют функцию

 

определяющую для каждого значения вероятность того, что случайная величина X в результате опыта примет значение меньшее .

Непосредственно из определения функции распределения можно вывести ряд ее свойств

1. Это следует из того, что равна вероятности, а вероятность любого события заключена между нулем и единицей.

Отметим также, что так как события являются соответственно невозможным и достоверным.

2. Функция распределения является неубывающей, т.е. при В самом деле, при появление события эквивалентно появлению одного из несовместимых событий и Поэтому  или 

В правой части равенства (2.8.1) находится неотрицательная величина, поэтому Равенство (2.8.1) означает, что вероятность попадания случайной величины Х в полуинтервал равна приращению функции распределения на этом полуинтервале.

3. непрерывна слева, т.е. при

4. Для любого согласно формуле (2.8.1), 

Предел в правой части равен нулю, если – точка непрерывности функции . Если же х – точка разрыва функции, то предел в правой части равенства равен скачку этой функции в точке . Следовательно, если и точки непрерывности функции , то 

Впредь будем называть непрерывными только случайные величины с непрерывной функцией распределения. Для непрерывной случайной величины вероятность любого отдельно взятого значения равна нулю. Сходная ситуация в геометрии. Геометрическая точка не имеет размера, а состоящий из точек интервал имеет отличную от нуля длину. Так и для непрерывной случайной величины: одно отдельно взятое значение имеет нулевую вероятность, хотя и является возможным значением, и только интервалы значений имеют отличную от нуля вероятность.

График функции распределения одной из непрерывных случайных величин изображен на рис. 2.8.2.

Функцию распределения можно задать и для непрерывной и для дискретной случайной величины. Для дискретной случайной величины функция распределения представляет собой, как это следует из определения, функцию накопленных вероятностей:

где суммирование распространяется на все значения индекса для которых 

Если дискретная случайная величина Х имеет закон распределения:

то ее функция распределения имеет вид ступенчатой функции, причем скачки функции равны вероятностям соответствующих значений Х (рис. 2.8.3).

Функция распределения непрерывной случайной величины непрерывна, для дискретной случайной величины она представляет собой ступенчатую функцию. Можно привести примеры таких случайных величин, функция распределения которых вместе с участками непрерывного роста в некоторых точках имеет разрывы. Такие величины называют смешанными случайными величинами. Примером смешанной случайной величины может служить время ожидания у светофора. Пусть, например, равновозможно прибытие автомобиля к перекрестку в любой момент цикла работы светофора (рис. 2.8.4). Найдем функцию распределения времени ожидания автомобиля.

Обозначим время ожидания у светофора через Это неотрицательная случайная величина. Вероятность того, что время ожидания будет меньше равна вероятности прибыть к светофору в момент времени из интервала (А,В). Поэтому при и при Функция распределения времени ожидания изображена на рис. 2.8.5. Из графика функции распределения видно, что нулевое время ожидания, имея вероятность 3/7, соответствует точке скачка функции, равного этой величине.

Функция плотности вероятности

Если функция распределения представима в виде где функция   то подынтегральную функцию называют функцией плотности вероятности. Если функция распределения дифференцируема, то функцией плотности вероятности называется первая производная от функции распределения т.е.

Заметим, что

Геометрически это означает, что вероятность попадания случайной величины в интервал численно равна площади криволинейной трапеции, которая опирается на этот интервал и ограничена сверху кривой (рис. 2.8.6).

Свойства функции плотности вероятности.

1.

2.

Последнее условие называется условием нормировки. Геометрически это условие означает, что площадь, заключенная между осью абсцисс и графиком функции плотности вероятности, равна единице.

По функции плотности вероятности можно найти функцию распределения случайной величины:

Числовые характеристики случайных величин

Числа, назначение которых указывать основные особенности случайных величин, называются числовыми характеристиками.

Определение. Математическим ожиданием (или средним значением) дискретной случайной величины Х называется число

равное сумме произведений возможных значений на соответствующие им вероятности Если дискретная случайная величина имеет бесконечно много значений, то требуется абсолютная сходимость ряда (2.8.2). Если ряд (2.8.2) не сходится абсолютно, то математическое ожидание такой случайной величины не существует.

Математическим ожиданием непрерывной случайной величины, имеющей функцию плотности вероятности , называется число

если интеграл абсолютно сходится. Если интеграл (2.8.3) не сходится абсолютно, то говорят, что математическое ожидание не существует.

Свойства математического ожидания.

1. Математическое ожидание постоянной равно самой этой постоянной, т.е.
2. Математическое ожидание суммы любого конечного числа случайных величин равно сумме их математических ожиданий.
3. Математическое ожидание произведения любого конечного числа взаимно независимых случайных величин равно произведению их математических ожиданий.

Следствие. Постоянный множитель можно выносить за знак математического ожидания.

Определение. Дисперсией случайной величины X называется математическое ожидание квадрата отклонения случайной величины от ее математического ожидания: 

Для вычисления дисперсии иногда удобно использовать другую формулу:

т.е. дисперсия равна математическому ожиданию квадрата случайной величины минус квадрат ее математического ожидания:

Свойства дисперсии.

1. Дисперсия постоянной величины равна нулю:
2. Постоянный множитель можно выносить за знак дисперсии с возведением в квадрат, т.е. где C –– постоянная величина.

Определение. Центрированной случайной величиной называется отклонение случайной величины от ее математического ожидания:

Центрированные случайные величины удобно использовать в преобразованиях, так как

3. Если случайные величины Х и Y независимы, то 

4. Если случайные величины Х и Y независимы, то

Дисперсия имеет размерность квадрата случайной величины. Это лишает наглядности дисперсию как числовую характеристику. Поэтому для характеристики разброса значений случайной величины используют среднее квадратическое отклонение, которое равно положительному значению корня квадратного из дисперсии: Среднее квадратическое отклонение имеет ту же размерность, что и сама случайная величина.

Пример №27

Некто носит на связке пять ключей. При отмыкании замка он последовательно испытывает ключи, пока не подберет нужный. Полагая выбор ключей бесповторным, написать закон распределения числа испытанных ключей. Вычислите математическое ожидание этой случайной величины.

Решение. Обозначим через X – число испытанных ключей. Так как выбор ключей бесповторный, то X может принимать значения: 1, 2, 3, 4, 5. Случайная величина X примет значение если с первой попытки будет выбран нужный ключ, вероятность чего равна 1/5 в силу равновозможности выбора любого из ключей. Значение случайная величина примет, если при первой попытке ключ будет выбран ошибочно (вероятность чего равна 4/5) и при второй попытке будет выбран нужный ключ из оставшихся четырех(вероятность этого равна 1/4). Поэтому:

Случайная величина X имеет закон распределения 

Среднее число попыток равно 

Ответ. 3.

Пример №28

В ящике в полном беспорядке лежат пять пар туфель. Туфли по одной (без возвращения) вынимают из ящика, пока среди выбранных не обнаружится какая-либо пара. Сколько в среднем туфель придется извлечь из ящика?

Решение. Обозначим через X – число извлеченных туфель. Случайна величина X принимает только значения 2, 3, 4, 5, 6. (Чтобы сформировать пару, нужно извлечь минимум две туфли, а среди шести туфель хотя бы одна пара непременно найдется.) Найдем вероятности этих значений:

так как после выбора первой туфли в пару к ней годится только одна из девяти оставшихся;

так как вторая должна быть не парной к первой, вероятность чего равна 8/9, а третья должна быть парной либо к первой, либо ко второй, вероятность чего равна 2/8;

так как вторая должна быть не парной к первой, вероятность чего 8/9, третья – не парной к первым двум, вероятность чего 6/8, а четвертая должна быть одной туфлей из трех уже разукомплектованных пар, вероятность чего 3/7;

так как вторая должна быть не парной к первой, вероятность чего 8/9, третья – не парной к первым двум, вероятность чего 6/8, четвертая – не парной к первым трем, вероятность чего равна 4/7, а пятая должна быть одной туфлей из четырех уже разукомплектованных пар, вероятность чего 4/6;

так как для этого необходимо, чтобы каждая из пяти первых туфель выбиралась из еще не тронутой пары.

Итак, случайная величина имеет закон распределения:

Ответ.

Пример №29

Цена лотерейного билета равна 50 рублей. В данной лотерее каждый пятый билет выигрывает. Величина выигрыша на один билет X имеет распределение:

Некто приобрел пять билетов. Необходимо вычислить его средний выигрыш от участия в этом тираже лотереи.

Решение. Обозначим через выигрыш, приходящийся на й билет. Тогда общий выигрыш По свойствам математического ожидания

где

Поэтому средний выигрыш на пять билетов составит 5 • 36 = 180 руб., но за билеты было заплачено 250 руб. В итоге, средний «выигрыш» (фактически, проигрыш) равен 180 – 250 = –70 руб.

Ответ. –70 руб.

Пример №30

Монету подбрасывают до тех пор, пока не выпадет герб, или пять раз подряд не выпадет цифра. Пусть X – число бросков монеты. Напишите закон распределения случайной величины X и найдите ее математическое ожидание.

Решение. Если при первом же броске выпадет герб, то X =1, вероятность чего равна 1/2.

Бросков понадобится два, если сначала выпадет цифра, а при втором броске – герб. Вероятность такого исхода равна (1/ 2)(1/ 2) = 1/ 4.

Монету придется бросать трижды, если сначала дважды выпадет цифра и при третьем броске – герб. Вероятность этого равна (1/ 2)(1/ 2)(1/ 2) = 1/ 8.

Аналогично

Если четыре раза подряд выпадет цифра, то необходим пятый бросок, который независимо от результата (с вероятностью один) будет последним. Поэтому

Закон распределения числа бросков имеет вид:

Среднее число бросков равно  

Ответ.

Пример №31

Вероятность попадания в цель при каждом выстреле равна 1/3. Имеется семь патронов. Стрельба производится до тех пор, пока не будет трех попаданий или пока не кончатся патроны. Пусть X – число выстрелов. Найдите математическое ожидание случайной величины X.

Решение. Найдем сначала закон распределения случайной величины X. Для трех попаданий необходимо минимум три выстрела. Вероятность трех попаданий подряд равна Поэтому Выстрелов понадобится четыре, если в первых трех выстрелах будет только два попадания (вероятность чего равна ) и при четвертом выстреле будет попадание. Поэтому Придется произвести пять выстрелов, если в первых четырех выстрелах будет два попадания (вероятность чего равна ) и попадание будет при пятом выстреле. Поэтому Аналогично

Выстрелов будет семь, если к моменту седьмого выстрела будет два или меньше двух попаданий.

Поэтому

Заметим, что проще эту вероятность было посчитать, отняв от единицы вычисленные уже вероятности остальных значений. Итак, случайная величина X имеет закон распределения:

Ответ.

Пример №32

Из 12 изделий три имеют скрытые дефекты. Наугад выбраны четыре изделия. Напишите закон распределения числа изделий со скрытыми дефектами среди выбранных.

Решение. Пусть X – число деталей со скрытыми дефектами среди выбранных четырех. Это дискретная случайная величина с возможными значениями Четыре детали из 12 можно выбрать способами.

Значению X = 0 благоприятствуют  способов выбора изделия. Поэтому Значению X =1 благоприятствуют Значению X = 2 благоприятствуют способов, Наконец, значению X = 3 благоприятствуют способов, Случайная величина X имеет закон распределения 

Среднее число деталей со скрытыми дефектами в выборке равно

Ответ. 1.

Пример №33

Случайная величина X принимает значения 1, 3, 5, 7, 9 с вероятностями где – некоторая постоянная величина. Найти математическое ожидание X.

Решение. Так как сумма вероятностей всех возможных значений случайной величины равна единице, то и Поэтому

Ответ.

Пример №34

Из чисел 1, 2, 3, …, 20 наугад без возвращения выбирают восемь чисел. Найти математическое ожидание их суммы.

Решение. Обозначим через число, выбранное м по порядку. Тогда для любого имеем

Например, вероятность того, что пятое по порядку число будет равно равна

Это означает, что для го по порядку числа равновозможны все значения от 1 до 20. Поэтому математическое ожидание го числа равно

Сумма выбранных чисел имеет математическое ожидание

Ответ. 84.

Пример №35

Из чисел 1, 2, 3, 4, 5, 6, 7 наугад без возвращения выбирают четыре числа. Пусть X – наибольшее из этих чисел. Требуется найти закон распределения случайной величины X и ее математическое ожидание.

Решение. Случайная величина X может принимать значения 4, 5, 6, 7. Вычислим вероятности этих значений. Всего имеется способов выбрать любых четыре числа из семи. Реализуется значение X = 4, если будут выбраны первые четыре числа 1, 2, 3, 4. Это можно сделать единственным способом. Поэтому Значение X = 5 получится, если будет выбрано число пять и в добавление к этому три числа из первых четырех. Это можно сделать способами. Поэтому Величина X = 6 , если будет выбрана цифра шесть и в дополнение к ней любых три числа из первых пяти. Это можно сделать Следовательно, Если будет выбрана цифра семь и в дополнение к ней любые три из первых шести, то реализуется значение X = 7. Вероятность этого  В итоге имеем закон распределения:

Поэтому

Ответ.

Пример №36

Пусть в урне находится M белых шаров и R черных. Из урны наугад выбирают один шар. После установления его цвета в урну добавляют шар того же цвета (т.е. выбранный шар возвращают в урну и к нему добавляют еще шаров того же цвета). Затем выбирают из урны второй шар и в урну возвращают шар такого же цвета, что и второй 82 шар. Потом выбирают очередной шар и т.д. Всего производят выбор и добавление шаров раз.

Обозначим через X число белых шаров, выбранных из урны в процессе этих испытаний. Требуется найти закон распределения случайной величины X и ее математическое ожидание.

Решение. Заметим, что X принимает значения 0, 1, 2, 3, …, . Вычислим

Рассудим следующим образом. После каждого опыта число шаров в урне возрастает на . Первый шар выбирается из шаров, выбор второго возможен из шаров, третий шар можно выбрать из шаров и т.д., для -го шара имеется возможностей выбора. Поэтому число всех возможных исходов этих опытов по комбинаторному принципу равно

Если белый шар был выбран раз, то первый их них выбирался из M шаров, второй – из шаров, третий – из  и т.д., -й белый шар можно было выбрать из  шаров. По комбинаторному принципу белых шаров можно было выбрать способами.

Аналогично  черный шар можно было выбрать способами. Тогда выбрать белых и черных шаров в любой последовательности можно было

 способами.

Различимых последовательностей в чередовании белых и черных шаров существует именно таким числом способов можно из опытов выбрать различных и в них получить белые шары. Поэтому

Закон распределения случайной величины X со значениями 0, 1, 2, 3, …, и вероятностями этих значений определяемыми по формуле (2.8.6), называют законом распределения Полиа.

Замечание. Если в распределении Полиа то получим независимые опыты и формула (2.8.5) переходит в формулу Бернулли (2.6.1). Если же то это означает, что выбранный шар в урну не возвращается и новых шаров в урну не добавляется. Мы попадаем в условия бесповторного выбора. В этом случае формула (2.8.5) переходит в формулу (2.1.1).

Рассмотрим серию опытов, которые производятся в неодинаковых условиях и поэтому вероятность появления события меняется от опыта к опыту. Например, во время боя из-за сближения или удаления противника вероятность поражения цели при выстреле меняется от выстрела к выстрелу. Обозначим через  – вероятность появления события в м опыте, а вероятность непоявления события через Требуется найти вероятность того, что в результате опытов событие появится раз.

Можно, как и при выводе формулы Бернулли (2.6.1), моделировать результаты опытов с помощью букв A и букв . Различимых перестановок таких букв будет Именно таким числом способов можно из мест выбрать и поставить на них буквы , а на остальные – буквы .

Каждая перестановка этих букв соответствует определенной последовательности появлений и непоявлений события . К сожалению, в нашем случае перестановки не равновозможны и суммировать их вероятности трудоемко. Вместо утомительного перебора возможных комбинаций букв поступим следующим образом. Составим функцию

где – некоторая действительная переменная.

Если перемножить скобки, привести подобные и упорядочить их по степеням , то получим многочлен по степеням . Легко понять, что при каждой степени будет коэффициент в виде произведения букв и букв с какими-то индексами, а после приведения подобных получится коэффициент, который будет равен сумме всех подобных произведений, т.е. равный

Пример №37

С разных расстояний производится четыре независимых выстрела по одной и той же цели. Вероятности попадания в цель при этих выстрелах равны соответственно 0,1; 0,2; 0,4; 0,8. Найти распределения числа попаданий и математическое ожидание этого числа.

Решение. Обозначим число попаданий в цель через X . Запишем производящую функцию

Итак, случайная величина X имеет распределение:

Заметим, что можно вычислить непосредственно (не находя предварительно закона распределения). Представим число попаданий в виде где – число попаданий при м выстреле. Тогда

Но Поэтому

Ответ.

Пример №38

На круговом экране локатора равновозможно появление пятна в каждой точке экрана. Радиус экрана равен R. Найти закон распределения расстояния от центра экрана до пятна. Найти математическое ожидание и дисперсию этого расстояния.

Решение. Обозначим через Х расстояние от центра экрана до пятна. Это расстояние будет меньше если пятно попадет внутрь круга радиуса Вероятность этого по геометрическому определению вероятности равна отношению площади круга радиуса к площади всего экрана локатора. Поэтому функция распределения случайной величины Х имеет вид при при и при Тогда функция плотности вероятности при а

Ответ.

Пример №39

Случайная величина X имеет функцию распределения

Найти

Решение. Найдем сначала функцию плотности вероятности

Тогда Поэтому

С учетом определения и свойств функции распределения имеем

В последнем случае учтено, что в силу непрерывности случайной величины X.

Ответ. 

Случайные величины и их характеристики

Если классическая теория вероятностей изучала, в основном, события и вероятность их появления (наступления), то современная теория вероятностей изучает случайные явления и их закономерности с помощью случайных величин. Понятие случайной величины, таким образом, является основополагающим в теории вероятностей. Ещё ранее проводились события, состоящие в появлении того или иного числа. Например, при бросании игральной кости могли появиться числа 1, 2, 3, 4, 5, 6. Наперёд определить число появившихся очков невозможно, поскольку оно зависит от многих случайных причин, которые полностью не могут быть учтены. В этом смысле число очков есть величина случайная, а числа 1, 2, 3, 4, 5 и 6 есть возможные значения этой величины. Случайной величиной называется величина, которая в результате опыта принимает то или иное (причём, одно и только одно) возможное числовое значение, наперёд неизвестное и зависящее от случайных причин, которые заранее не могут быть учтены.

Случайны величины принято, обычно, обозначать прописными буквами X ,Y ,Z ,…, а их возможное значения — соответствующими строчными буквами x, y,z,… Например, если случайная величина X имеет три возможных значения, то они, соответственно, обозначаются так: Для удобства будем писать: 
 

Пример 1. Число родившихся мальчиков среди ста новорожденных есть величина случайная, которая имеет следующие возможные значения: 0, 1, 2, …, 100.
 

Пример 2. Расстояние, которое пролетит снаряд при выстреле из орудия, есть также величина случайная. Действительно, расстояние зависит не только от установки прицела, но и от многих других причин (силы и направления ветра, температуры и т. п.), которые не могут быть полностью учтены. Возможные значения этой величины, очевидно, принадлежат некоторому промежутку (интервалу)  Заметим, что с каждым случайным событием можно связать какую-либо случайную величину, принимающую значения из R.

Например, опыт — выстрел по
мишени; событие — попадание в мишень; случайная величина — число попаданий в мишень. Вернёмся к примерам, приведённым выше. В первом из них случайная величина X могла принять одно из следующих возможных значений: 0, 1, 2,…, 100. Эти значения отделены одно от другого промежутками, в которых нет возможных значений X . Таким образом, в этом примере случайная величина принимает отдельные, изолированные, возможные значения.

Во втором примере случайная величина могла принять любое из значений промежутка a,b. Здесь нельзя отделить одно возможное значение от другого промежутком, не содержащим возможных значений случайной величины. Уже из сказанного можно заключить о целесообразности различать случайные величины, принимающие лишь отдельные, изолированные значения и случайные величины, возможные значения которых сплошь заполняют некоторый промежуток.

Дискретной (прерывной) случайной величиной называется такая случайная величина, которая принимает конечное или счётное множество4 различных значений. Другими словами — это такая случайная величина, которая принимает отдельные, изолированные возможные значения с определенными вероятностями. Число возможных значений дискретной случайной величины может быть конечным или бесконечным. Непрерывной называют случайную величину, которая может принимать все значения из некоторого конечного или бесконечного промежутка действительной числовой оси.
Очевидно, во-первых, число возможных значений непрерывной случайной величины – бесконечно. Во-вторых, дискретная случайная величина является частным случаем непрерывной случайной величины.
 

Закон распределения вероятностей

Закон распределения вероятностей дискретной случайной величины:

На первый взгляд может показаться, что для задания дискретной случайной величины достаточно перечислить все её возможные значения. В действительности это не так: различные случайные величины иногда могут иметь одинаковые перечни возможных значений, а соответствующие вероятности этих значений – различные. Поэтому для полной характеристики мало знать значения случайной величины, нужно ещё знать, как часто эти значения встречаются в опыте при его повторении, т.е. нужно ещё указать вероятности их появления.
Рассмотрим случайную величину Появление каждого их возможных значений свидетельствует о том, что произошло соответственно одно из событий, которые образуют полную группу5. Допустим, что вероятности этих событий известны:

4 Напомню, что счётным является множество, элементы которого можно пронумеровать числами натурального ряда.
5 Ai — событие, состоящее в том, что случайная величина X приняла в опыте значение  причём в одном испытании, как уже отмечалось, случайная величина X принимает одно и только одно возможное значение.

Тогда: соответствие, устанавливающее связь между возможными значениями случайной величины и их вероятностями, называется законом распределения вероятностей случайной величины, или просто – законом распределения случайной величины. Закон распределения вероятностей данной случайной величины можно задать таблично (ряд распределения), аналитически (в виде формулы) и графически. При табличном задании закона распределения дискретной случайной
величины первая строка таблицы содержит возможные значения, а вторая — их вероятности, т.е.

В целях наглядности закон распределения дискретной случайной величины
можно изобразить и графически, для чего в прямоугольной системе координат строят точки , а затем соединяют их отрезками прямых. Полученную фигуру называют многоугольником распределения. При этом, сумма ординат  построенного многоугольника равна единице.

Аналитически закон распределения дискретной случайной величины можно записать, например, используя формулу Бернулли для схемы повторения независимых опытов. Так, если обозначить случайную величину, которой является число бракованных деталей в выборке, через X , то возможные её значения будут 0, 1, 2, . . . , n. Тогда, очевидно, формула Бернулли будет устанавливать зависимость между значениями и вероятностью их появления, где

что о определяет закон распределения данной случайной величины.
 

Закон распределения вероятностей непрерывной случайной величины:

Вспомним, что дискретная случайная величина задаётся перечнем всех её возможных значений и их вероятностей. Такой способ задания не является общим: он не применим, например, для непрерывных случайных величин. Действительно, рассмотрим случайную величину X , возможные значения которой сплошь заполняют интервал Можно ли составить перечень всех возможных значений X ? Очевидно, что этого сделать нельзя. Этот пример указывает на целесообразность дать общий способ задания любых типов случайных величин (как уже отмечалось, дискретная случайная величина является частным случаем непрерывной случайной величины). С этой целью вводят интегральную функцию распределения.

Пусть x – переменная, принимающая произвольные действительные значения (на оси . Рассмотрим событие A, состоящее в том, что случайная величина X примет значение меньшее x . Тогда, вероятность  события A зависит от x , т.е. является функцией от x . Эту функцию принято обозначать через и называть функцией распределения случайной величины или, ещё – интегральной функцией распределения. Другими словами: интегральной функцией распределения называют функцию определяющую для каждого значения вероятность того, что случайная величина X примет значение, меньшее x , т.е.

Геометрически это равенство можно истолковывать так: есть вероятность того, что случайная величина примет значение, которое изображается на числовой оси точкой, лежащей левее точки x .
 

Свойства интегральной функции

1. Значения интегральной функции принадлежат отрезку

Доказательство этого свойства вытекает из определения интегральной функции как вероятности: вероятность всегда есть неотрицательное число, не превышающее единицы.

Действительно, пусть A– событие, состоящее в том, что случайная величина X примет значение меньшее аналогично, B – событие, состоящее в том, что случайная величина X примет значение меньшее Другими словами:

3. Если возможные значения непрерывной случайной величины расположены на всей числовой оси Ox , то справедливо следующее предельное соотношение:

Это свойство вполне очевидно. Так, если — достоверное событие, а – невозможное событие, то

4. Вероятность того, что случайная величина примет значение, заключенное в интервале равна приращению интегральной функции на этом интервале:

Рассмотрим следующие события:Видим, чтот.е. события A и B несовместны. Тогдано В результате можем записать что и требовалось показать.

Мы будем в основном изучать такие непрерывные случайные величины, функции распределения которых непрерывны.

График функция распределения дискретной случайной величины представляет собой ступенчатую ломаную линию (см. рис.). Величина
скачка в точках разрыва равна вероятности значения случайной величины в этой точке. Зная ряд распределения случайной величины, можно построить график её функции распределения:

Для непрерывной случайной величины более наглядной является не интегральная, а дифференциальная функция распределения или, так называемая, плотность распределения случайной величины:
плотностью распределения случайной величины X называется производная от её интегральной функции распределения  т.е.

Свойства дифференциальной функции 

Доказательство этого свойства непосредственно следует из определения.
Действительно:

(самостоятельно — объяснить, почему. Рассмотреть различные случаи 

Доказательство:что и требовалось доказать.

Доказательство: по четвёртому свойству для интегральной функции распределения случайной величины можем записать:

6 Воспользоваться вторым свойством для функции

Но, по рассмотренному выше второму свойству для справедливо:Тогда 

Доказательство. Это свойство, как впрочем и предыдущие, можно доказать различными способами. В частности:

Замечу, что график дифференциальной функции распределения случайной величины лежит выше (или – на) оси Ox (см. первое свойство) – это, во-первых. Во-вторых, учитывая четвёртое свойство, т.е. условие нормировки, можем также сказать, что площадь области, ограниченной кривой плотности распределения, равна единице.

Пример №40

Плотность распределения случайной величины X задана формулой 

Требуется:
1. найти величину постоянной A;
2. найти функцию
3. определить вероятность попадания случайной величины X в интервал

Решение.
1. величину постоянной A найдём из условия нормировки:  В нашем случае, получаем

Числовые характеристики случайных величин

Закон распределения случайной величины отвечает на вопрос, где расположены возможные значения случайной величины и какова вероятность их появления в том или ином интервале значений. Часто на практике достаточно знать только некоторые характеристики
случайной величины, то есть иногда выгоднее пользоваться числами, которые описывают случайную величину суммарно. В теории вероятностей для общей характеристики случайной величины используют параметры, называемые числовыми характеристиками случайной величины. Наиболее часто используют такие из них: математическое ожидание, дисперсия, мода, медиана, моменты распределения.
 

Математическое ожидание

Математическим ожиданием дискретной случайной величины X называется число, равное сумме произведений всех возможных значений данной случайной величины на вероятность появления этих значений, т.е.

( или для случайной величины, имеющей счётное множество различных значений).
Математическим ожиданием непрерывной случайной величины X называется число, равное 

Из определения следует, что математическое ожидание случайной величины есть величина неслучайная, а постоянная. Кроме того, существуют случайные величины, у которых не существует. В дальнейшем будет показано, что математическое ожидание приближённо равно среднему арифметическому всех возможных значений случайной величины,получаемых в результате опыта. Поэтому ещё называют средним значением случайной величины 7.

Легко сообразить, что математическое ожидание больше наименьшего и меньше наибольшего возможных значений случайной величины. Другими словами, на числовой оси возможные значения случайной величины расположены слева и справа от математического ожидания. В этом смысле математическое ожидание характеризует расположение распределения случайной величины и поэтому его часто называют центром распределения (последний термин заимствован из механики).
 

Свойства математического ожидания

— постоянный множитель можно выносить за знак математического ожидания;

независимые случайные величины (если закон распределения одной из них не зависит от того, какие возможные значения приняла другая случайная величина).

Модой дискретной случайной величины называется её наибольшее вероятное значение . Модой непрерывной случайной величины называется такое её значение , при котором плотность распределения имеет максимум, т.е.

Геометрически, мода – это абсцисса точки максимума кривой распределения случайной величины.
Медианой случайной величины называется такое её значение e M , относительно которого равновероятно, что данная случайная величина
окажется больше или меньше медианы, т.е.

Геометрически, медиана – это абсцисса точки, в которой площадь области, ограниченная кривой распределения и осью Ox , делится
пополам. Если распределение симметрично и имеет один максимум, то все три указанные характеристики совпадают. На рисунке
изображён случай несимметричного распределения случайной величины.

7 Происхождение термина «математическое ожидание» связано с начальным периодом возникновения теории вероятностей (XVI-XVII вв.), когда область её применения ограничивалась азартными играми. Игрока интересовало среднее значение ожидаемого выигрыша или, иными
словами, математическое ожидание выигрыша.

Дисперсия

Легко указать такие случайные величины, которые имеют одинаковые математические ожидания, но различные возможные значения.
Рассмотрим, например, две дискретные случайные величины X и Y, заданные следующими законами распределения:

Нетрудно видеть, что M(X)=M(Y)=0. Здесь математические ожидания обеих случайных величин одинаковы, а возможные значения различны, причём Х имеет возможные значения, близкие к математическому ожиданию, а Y – далёкие от своего математического ожидания. Таким образом, зная лишь математическое ожидание случайной величины, ещё нельзя судить ни о том, какие возможные значения она может принимать, ни о том, как они рассеяны вокруг математического ожидания. Другими словами, математическое ожидание полностью случайную величину не характеризует. По этой причине, наряду с математическим ожиданием, вводят и другие числовые характеристики. Так, например, для того, чтобы оценить, как рассеяны возможные значения случайной величины вокруг её математического ожидания,
пользуются, в частности, числовой характеристикой, которую называют дисперсией. Дисперсией случайной величины называется математическое ожидание квадрата отклонения данной случайной величины от её математического ожидания, т.е.

1). Для дискретной случайной величины для случайной величины, имеющей конечное число значений);
2). Для непрерывной случайной величины если значения случайной величины принадлежат промежутку 

Свойства дисперсии:

Доказательства, приведённых выше свойств, вполне очевидны и проводятся по определению. Давайте докажем, например, третье свойство:

Пример №41

Найти дисперсию случайной величины X , имеющей следующее распределение

Решение:

Вычислим, прежде всего, математическое ожидание данной случайной величины:

Среднее квадратическое отклонение

Для оценки рассеяния возможных значений случайной величины вокруг её среднего значения кроме дисперсии служат и некоторые другие характеристики. К их числу относится среднее квадратическое отклонение.

Средним квадратическим отклонением ) случайной величины Х называют квадратный корень из дисперсии этой случайной величины, то есть:

Легко показать, что дисперсия имеет размерность равную квадрату размерности случайной величины. Так как среднее квадратическое отклонение, по определению, равно квадратному корню из дисперсии, то размерность  совпадает с размерностью Х. Поэтому в тех случаях, когда желательно, чтобы оценка рассеяния имела размерность случайной величины, вычисляют среднее
квадратическое отклонение, а не дисперсию. Например, если Х выражается в линейных метрах, то будет выражаться также в линейных метрах, а D(X) – в квадратных метрах.

Дисперсия и среднее квадратическое отклонение являются мерой рассеяния случайной величины относительно центра распределения – чем больше рассеяние, тем больше
 

Моменты распределения случайной величины

Рассмотрим дискретную случайную величину Х, Заданную законом распределения:

Видимо,что значительно больше М(Х). Это объясняется тем, что после возведения в квадрат возможное значение величины 2 X , соответствующее значению х=100 величины Х, стало равным 10 000, то есть значительно увеличилось; вероятность же этого значения мала 0,01. Таким образом, переход от позволил лучше учесть влияние на математическое ожидание того возможного значения, которое велико и имеет малую вероятность. Разумеется, если бы величина Х имела несколько больших и маловероятных значений, то переход к величине а тем более к величинам и т.д., позволил бы ещё больше «усилить роль» этих больших, но маловероятных, возможных значений. Вот почему оказывается целесообразным рассматривать математическое ожидание целой положительной степени случайной величины (не только дискретной, но и непрерывной).

Обобщением основных числовых характеристик случайной величины являются её моменты. В теории вероятностей используют начальные и центральные моменты случайной величины.

Начальным моментом k -ого порядка (обозначают через ) случайной величины X называют число, равное математическому ожиданию случайной величины , 

Центральным моментом k -ого порядка (обозначают через ) случайной величины X называют число, равное математическому ожиданию случайной величины 

Нетрудно видеть, что для дискретной случайной величины моменты будут выражаться через сумму, а для непрерывной – через интеграл.

Справедливо, в частности:

1. Условие нормировки 
2. Первый начальный момент равен
3. Второй центральный момент равен
4. Нормированный третий центральный момент называется коэффициентом асимметрии и служит характеристикой асимметрии или скошенности распределения случайной величины.

Асимметрия положительна, если «длинная часть» кривой распределения
расположена справа от математического ожидания; асимметрия отрицательна, если «длинная часть» кривой расположена слева от математического ожидания. На практике определяют знак асимметрии по расположению кривой распределения относительно моды (точки
максимума дифференциальной функции): если длинная часть кривой расположена правее моды, то асимметрия положительна, если слева – отрицательна (см. рис.).

Если A = 0, то можно сказать, что значения случайнойвеличины распределены симметрично относительно математического ожидания, т.е. случайная величина имеет нормальное распределение.

5. С четвёртым центральным моментом связана величина, называемая эксцессом:

Эксцесс характеризует островершинность или плосковершинность распределения случайной величины (другими
словами, эксцесс служит для оценки «крутости», то есть большего или меньшего подъёма кривой теоретического распределения по сравнению с нормальной кривой). Забегая немного вперёд, скажем, если эксцесс некоторого распределения отличен от нуля, то кривая этого распределения отличается от нормальной кривой: если эксцесс положительный, то кривая имеет более высокую и «острую» вершину, чем нормальная кривая; если эксцесс отрицательный, то сравниваемая кривая имеет более низкую и «плоскую» вершину, чем нормальная кривая (см. рис.). Для нормального распределения E = 0.
 

Замечания.
1. Для начальных и центральных моментов справедливы следующие соотношения:

2. Моменты непрерывной случайной величины аналогичны моментам твёрдого тела в механике. Так, если рассматривать бесконечный твёрдый стержень расположенный вдоль оси Ox , то можем записать:

момент инерции стержня относительно оси перпендикулярной Ox и проходящей через центр масс стержня.
3. Распределение вероятностей случайной величины можно интерпретировать как распределение массы стержня на прямой Ox .

Основные законы распределения случайной величины

Равномерное распределение дискретной случайной величины.
Пусть случайная величина Х принимает n значений с вероятностями  Данная случайная величина называется равномерно распределённой случайной величиной, если 

В этом случае:
— ряд распределения

— функция распределения 

— математическое ожидание 

— дисперсия 

Пример №42

Случайная величина Х – выпадение числа очков на верхней грани игрального кубика при одном броске. Найти математическое ожидание случайной величины Х.
 

Решение. Очевидно, что
то, согласно определению, случайная величина Х распределена по равномерному закону. Следовательно, в этом случае, можем записать:

1.2. Равномерное распределение непрерывной случайной величины.

Непрерывная случайная величина подчиняется равномерному закону распределения, если её возможные значения лежат в некотором определённом интервале, в пределах которого все значения равновероятны, то есть обладают одной и той же плотностью вероятности. Другими словами, распределение вероятностей называют равномерным, если на интервале, которому принадлежат все возможные значения случайной величины, дифференциальная функция имеет постоянное значение. Случайные величины, имеющие равномерное распределение вероятностей, часто встречаются на практике. Например, при снятии показаний измерительных приборов. Ошибка при округлении отсчёта до ближайшего целого деления шкалы является случайной величиной, которая может с постоянной плотностью вероятности принимать любые значения между двумя соседними делениями. Таким образом, данная случайная величина имеет равномерное распределение.

Найдём дифференциальную функцию (плотность) равномерного распределения, считая, что все возможные значения случайной величины Х
заключены в промежутке на котором дифференциальная функция сохраняет постоянное значение, то есть
По условию Х не принимает значений вне промежутка поэтому  Найдём значение постоянной С. Так как все возможные значения случайной величины принадлежат промежутку то справедливо:

Итак, закон равномерного распределения случайной величины на отрезке аналитически можно записать так:

Найдём теперь интегральную функцию равномерного распределения непрерывной случайной величины. Для этого воспользуемся формулой

Итак, искомая интегральная функция распределения аналитически может быть записана так:

Свойства равномерного непрерывного распределения:

Пример №43

Троллейбусы идут строго по расписанию и с интервалом в 6 мин. Найти вероятность того, что пассажир, подошедший к остановке, будет ожидать троллейбус менее двух минут.
 

Решение. Время ожидания троллейбуса есть непрерывная случайная величина Х, имеющая равномерное распределение на промежутке [0,6], так как с равной вероятностью время ожидания может быть любым в этом промежутке. Тогда 

Гипергеометрическое распределение

Гипергеометрическое распределение играет важную роль в области статистического контроля качества. Будем говорить, что дискретная случайная величина Х, принимающая целочисленные значения распределена по гипергеометрическому закону, если вероятности этих значений определяются выражением

3. при гипергеометрическое распределение приближается к биномиальному распределению (о котором поговорим немного позднее).

Пример №44

Партия из 100 изделий содержит 10% брака. Для контроля выбрано 5 изделий. Необходимо определить вероятность того, что в выборке меньше двух бракованных изделий. Найти для случайной величины Х – числа дефектных изделий в данной выборке изделий.
 

Решение. Данная дискретная случайная величина Х={0,1,2,3,4,5}очевидно подчиняется гипергеометрическому закону распределения вероятностей. В нашем случае N = 100, D = 10, n = 5. Вероятность того, что в выборке ровно d бракованных изделий равна

Заметим, что То есть вероятность того, что в выборке меньше двух бракованных изделий равна 0,923.
Далее, найдём

Замечание: Сравним полученные значения математического ожидания и дисперсии с соответствующими значениями (см. свойства гипергеометрического распределения):

Биномиальное распределение

Биномиальное распределение вероятностей является самым распространённым распределением для дискретных случайных величин.
Итак, пусть производится n независимых испытаний, в каждом из которых событие А может появиться, либо не появиться. И пусть, вероятность наступления события во всех испытаниях постоянна и равна р (следовательно, вероятность непоявления Рассмотрим в качестве дискретной случайной величины Х – число появлений события А в этих испытаниях. Поставим перед собой задачу: найти закон распределения величины Х. Для её решения требуется определить возможные значения случайной величины Х и их вероятности.

Очевидно, событие А в n испытаниях может либо не появиться, либо появиться 1 раз, либо 2 раза, . . . , либо n раз. Таким образом, нетрудно записать возможные значения случайной величины Остаётся найти вероятности этих возможных значений, для чего достаточно воспользоваться формулой Бернулли (см. Лекцию 5):

Формула Бернулли и является аналитическим выражением искомого закона распределения.

Биномиальным называют распределение вероятностей дискретной случайной величины, определяемое формулой Бернулли.
Запишем биномиальный закон в виде таблицы:

Свойства биномиального распределения:

Действительно: 

Пример №45

Имеется три станка, коэффициент использования по времени которых составляет 0,8. Определить вероятность того, что в середине рабочей смены при нормальных условиях производства из данных трёх станков будет работать не более двух.
 

Решение. Работа каждого станка – события независимые. Вероятность того, что станок будет работать равна р=0,8 (следовательно q=1-0,8=0,2). Пусть случайная величина Х — число одновременно работающих станков, то есть  Очевидно, что вероятности значений случайной величины Х подчиняются биномиальному закону распределения с параметрами р=0,8; q=0,2; n=3. Значит

Требуется определить вероятность По определению 

Распределение Пуассона (закон редких событий)

Пусть производится n независимых испытаний, в каждом из которых вероятность появления события А равна р. Для определения вероятности k – появлений события А в этих испытаниях используют, как вам уже известно, формулу Бернулли. Однако, как быть если n велико, а вероятность р события А достаточно мала В таких случаях прибегают к асимптотической формуле Пуассона.

Итак, поставим своей задачей найти вероятность того, что при очень большом числе испытаний, в каждом из которых вероятность события очень мала, событие наступит ровно k раз. Сделаем важное допущение: пусть произведение np сохраняет постоянное значение, а именно . Это означает, что среднее число появлений события в различных сериях испытаний, то есть при различных значениях n, остаётся
неизменным. Воспользуемся формулой Бернулли для вычисления интересующей нас
вероятности:

Приняв во внимание, что n имеет очень большое значение, вместо  найдём При этом будет найдено лишь приближённое значение отыскиваемой вероятности: n хотя и велико, но всё же конечно, а при отыскании предела мы устремим n к бесконечности.
Итак

В результате (для простоты записи знак приближённого равенства опущен) запишем закон распределения.

Эта формула выражает закон распределения Пуассона вероятностей массовых (n велико) редких (р мало) событий.

Таким образом, будем говорить, что дискретная случайная величина  принимающая счётное множество значений, подчиняется закону распределения Пуассона, если вероятности её возможных значений задаются выражением:

Свойства распределения Пуассона:

Действительно: 

3. если то из биномиального распределения следует закон распределения Пуассона.

Пример №46

Завод отправил на базу 5000 доброкачественных изделий. Вероятность того, что в пути изделие повредится, равна 0,0002. Найти вероятность того, что на базу прибудут: а) три негодных изделия; б) не более трёх повреждённых изделия.
 

Решение: по условию n=5000, p=0,0002. Найдём
а) k = 3. Искомая вероятность по формуле Пуассона приближённо равна

б) Пусть случайная величина Х – число изделий, повреждённых в пути, то есть  Очевидно, что данная случайная величина распределена по биномиальному закону. Следовательно, искомую вероятность можно вычислить по формуле

Но, так как , то по свойству можем воспользоваться законом распределения Пуассона, то есть, можем записать:

Замечание. По формуле Пуассона можно вычислить вероятность того, что
число событий, происшедших за время t равно k , если события образуют пуассоновский поток, причём– интенсивность потока, то есть среднее число событий, которые появляются в единицу времени:

Пример №47

В течение часа коммутатор получает в среднем 60 вызовов. Какова вероятность того, что за время 30 сек, в течении которых телефонистка отлучилась, не будет ни одного вызова?
 

Решение: Найдём, прежде всего, – среднее число вызовов за 1 секунду:

Распределение Гаусса (нормальное распределение)

Наиболее известным и часто применяемым в теории вероятностей законом является нормальный закон распределения или закон Гаусса9.
Главная особенность нормального закона распределения заключается в том, что он является предельным законом для других законов распределения. Будем говорить, что непрерывная случайная величина Х, принимающая значения , подчиняется нормальному
закону, если её плотность распределения (дифференциальная функция) имеет вид

Нетрудно видеть, что нормальное распределение определяется двумя параметрами: Достаточно задать эти параметры, чтобы задать нормальное распределение. Заметим, что для нормального распределения интегральная функция имеет вид:

Нормальное распределение было найдено впервые Муавром в 1733 г. в связи с исследованием предела биномиального распределения. Открытие прошло незамеченным; только в 1809 г. Гауссом и в 1812 г. Лапласом оно было снова открыто в связи с теорией ошибок наблюдений.

Существует известное замечание Липмана, гласящее, «каждый уверен в справедливости закона ошибок: экспериментаторы – потому, что они думают, что это математическая теорема, математики – потому, что они думают, что это экспериментальный факт». Отметим, что обе стороны совершенно правы, если только это их убеждение не слишком безусловно: при математическом доказательстве (см.центральную предельную теорему) утверждается, что при некоторых ограничениях вправе ожидать нормальное распределение, а статистический опыт показывает, что в действительности распределения являются часто приближённо нормальными. Поэтому, нормальному распределению уделяется большое внимание.

Покажем теперь, что вероятностный смысл параметров таков: а есть математическое ожидание, – среднее квадратическое отклонение (то есть нормального распределения:
а) по определению математического ожидания непрерывной случайной величины
имеем

значит 

Действительно, так как под знаком интеграла стоит нечётная функция, и пределы интегрирования
симметричны относительно начала координат;интеграл Пуассона.

Итак, математическое ожидание нормального распределения равно параметру а.
б) по определению дисперсии непрерывной случайной величины и, учитывая, что  , можем записать

Интегрируя по частям, положивнайдём

Следовательно 

Итак, среднее квадратическое отклонение нормального распределения равно параметру

В случае если нормальное распределение называют нормированным (или, стандартным нормальным) распределением. Тогда, очевидно, нормированная плотность (дифференциальная) и нормированная интегральная функция распределения запишутся соответственно в виде:

(Функция как вам известно, называется функцией Лапласа (см. ЛЕКЦИЮ5) или интегралом вероятностей. Обе функции, то есть табулированы и их значения записаны в соответствующих таблицах).
 

Свойства нормального распределения (свойства нормальной кривой):

1. Очевидно, функция на всей числовой прямой.
2. то есть нормальная кривая расположена над осью Ох.
3.  то есть ось Ох служит горизонтальной асимптотой графика.
4. Нормальная кривая симметрично относительно прямой х = а (соответственно график функции симметричен относительно оси Оу). Следовательно, можем записать:

5.

6. Легко показать, что точки являются точками перегиба нормальной кривой (доказать самостоятельно).

7. Очевидно, что

Но так как 

Кроме того , следовательно, все нечётные моменты равны нулю. Для чётных же моментов можем записать:

8.

9.

10.

11. При отрицательных значениях случайной величины 

12. 

13. Вероятность попадания случайной величины на участок, симметричный относительно центра распределения, равна:

Пример №48

Показать, что нормально распределённая случайная величина Х отклоняется от математического ожидания М(Х) не более чем на 
 

Решение. Для нормального распределения: . Далее, запишем:

Другими словами, вероятность того, что абсолютная величина отклонения превысит утроенное среднее квадратическое отклонение, очень мала, а именно равна 0, 0027. Это означает, что лишь в 0,27% случаев так может произойти. Такие события, исходя из принципа невозможности маловероятных событий, можно считать практически невозможными. Итак, событие с вероятностью 0,9973 можно считать практически
достоверным, то есть случайная величина отклоняется от математического ожидания не более чем на.

Пример №49

Зная характеристики нормального распределения случайной величины Х – предела прочности стали: найти вероятность получения стали с пределом прочности от
 

Решение.

В этом состоит сущность так называемого правила трёх сигм: если случайная величина распределена нормально, то абсолютная величина её отклонения от математического ожидания не превосходит утроенного среднего квадратического отклонения. На практике правило трёх сигм применяется так: если распределение изучаемой случайной величины неизвестно, но условие, указанное в приведённом правиле, выполняется, то имеются все основания предполагать, что изучаемая величина распределена нормально; в противном случае она не распределена нормально.

Показательное распределение (экспоненциальный закон распределения)

Показательным (экспоненциальным) называют распределение вероятностей непрерывной случайной величины Х, которое описывается дифференциальной функцией (плотность распределения)

где — постоянная положительная величина.

Показательное распределение определяется одним параметром  . Эта особенность показательного распределения указывает на его преимущество, по сравнению с распределениями, зависящими от большего числа параметров. Обычно параметры неизвестны и приходится находить их оценки (приближённые значения); разумеется, проще оценить один параметр, чем два, или три и т.д.

Нетрудно записать интегральную функцию показательного распределения:

Мы определили показательное распределение при помощи дифференциальной функции; ясно, что его можно определить, пользуясь интегральной функцией.

Замечание: Рассмотрим непрерывную случайную величину Т – длительность времени безотказной работы изделия. Обозначим принимаемые её значения через t, . Интегральная функция распределения определяет вероятность отказа изделия за время длительностью t. Следовательно, вероятность безотказной работы за это же время, длительностью t, то есть вероятность противоположного события , равна 

Применяется в теории надёжности для описания времени безотказной работы невосстанавливаемых изделий.

Функцией надёжности называют функцию, определяющую вероятность безотказной работы изделия (элемента) за время длительностью t. Если длительность времени безотказной работы изделия (элемента) имеет показательное распределение, то функция надёжности, в этом случае, запишется в видеТаким образом, показательным законом надёжности называют функцию надёжности, определяемую последним равенством, где — интенсивность отказов.

Свойства показательного распределения:

1. Математическое ожидание показательного распределения равно обратной
величине параметра Действительно,

2.Следовательно Таким образом, математическое ожидание и среднее квадратическое отклонение показательного распределения равны между собой.

Пример №50

Пусть время, необходимое для ремонта станков, распределено по показательному (экспоненциальному) закону с параметром Определить вероятность того, что время ремонта одного станка меньше 6-и часов. Найти среднее время ремонта одного станка.
 

Решение. Т – время ремонта станка  Тогда можем записать 

Далее, так как среднее время ремонта – это М( Т ), то 

Среднее арифметическое, мода и медиана. Среднее квадратическое отклонение

Вероятно, Вы отлично знаете, что такое среднее арифметическое. Если мы имеем набор каких-то величин, и все они одной природы (усреднять килограммы с километрами мы, конечно, не можем), надо посчитать сумму, а затем, поделив ее на количество слагаемых, найти среднее арифметическое. Казалось бы, простое и хорошо знакомое действие, но и тут имеется несколько проблем для обсуждения. При знакомстве с некоторыми «показателями» поневоле вспоминается известная шутка о «средней температуре по больнице».

Пример №51

Допустим, фирма имеет две палатки, торгующие горячей выпечкой, которую они пекут на месте из полуфабрикатов. В таблице приводится примерная сводка ежедневной выручки каждой из палаток за неделю (в руб.).

Различие в ежедневной выручке в основном связано с расположением палаток. Палатка 1 находится в парке отдыха, в то время как Палатка 2 расположена напротив школы и вблизи проходной крупного НИИ.

Владелец фирмы решил выплачивать ежемесячную премию продавцам той палатки, которая даст в этом месяце большую выручку. При распределении премии выяснилась удивительная вещь: выигрыш в этом «соревновании» зависел только от количества выходных в месяце.

Не хотелось бы приводить большое количество цифр за весь месяц в целом, но и без этого видно, что если бы владельцу фирмы пришла в голову идея ежедневного премирования победителя какой-то фиксированной суммой, «Палатка выходного дня» могла бы рассчитывать на премии в два с половиной раза реже, хотя недельная выручка от нее больше.

В таких условиях более разумное соревнование могло бы быть основано на осреднении показателей за неделю. Допустим, недельные показатели практически совпали. Как оценить, какая из палаток полезнее для фирмы, если по каким-то причинам фирме необходимо продать одну из них?

Если выручка практически совпадает, владелец, по-видимому, поинтересуется стабильностью работы торговой точки. Вины продавцов в этом нет, но если оборудование работает два дня в неделю на износ, а в остальное время больше простоев, выход из строя такого оборудования более вероятен. Пусть в один (случайным образом выпавший) день в неделю идет сильный дождь, и на улицах мало прохожих, падение выручки особенно резко заметно, когда такой дождливый день совпадает с одним из выходных. Для сравнения можно представить спортсменов, которые имеют равные шансы выиграть, но один из них выступает ровнее. Скорее всего, именно он и будет принят в состав сборной.

Но вот еще один вопрос: а не делает ли эта самая нестабильная палатка работу фирмы в целом более стабильной, прекрасно дополняя работу палатки 2? Давайте выдвинем это утверждение в качестве гипотезы и попробуем его доказать или опровергнуть. Чтобы оценить эту проблему количественно, надо прежде всего просуммировать дневную выручку обеих палаток.

То, что мы описали общими словами как «нестабильность работы», в статистике называется характеристикой рассеивания. К ним относятся такие показатели как дисперсия и среднее квадратическое отклонение. Покажем на предыдущем примере, как определяются эти понятия. Посчитаем сначала среднее арифметическое выручки для каждой палатки отдельно, и для обеих палаток вместе (осреднение проводим за семь дней):

Чтобы сравнить разброс значений, посчитаем для обеих палаток дневные отклонения выручки от их собственного среднего значения.

Чтобы измерить, насколько одна палатка «нестабильнее» другой, хочется сложить всю строку за неделю и получить общее отклонение за весь отчетный период. Но этого делать нельзя, мы сами так построили эти показатели, что, сложив, получим ноль (с точностью до погрешности округления — среднее арифметическое величина не обязательно целая). Чтобы избежать этого обнуления, нам надо, чтобы каждое отклонение от среднего арифметического «лишилось» своего знака. Для этого возводят каждую величину в квадрат, и лишь затем суммируют весь ряд значений.

Чтобы не зависеть от периода осреднения делят полученную сумму квадратов на число слагаемых (в нашем случае, по-прежнему на семь). Такая величина называется дисперсией.

Мы видим, что дисперсия действительно очень показательная величина. У «Палатки выходного дня» она выше более, чем в десять раз.

Дисперсию можно посчитать в Excel автоматически, даже не считая предварительно среднее арифметическое, программа сделает это сама. Для этого, находясь в файле Excel, нажмите в верхнем меню кнопку Затем, выберите среди функций тип «СТАТИСТИЧЕСКИЕ», и из предложенного перечня в окошке — ДИСПРА.

Затем, по подсказке, поставив курсор в поле «Число 1» проведите мышью вдоль строки с набранными значениями. Этот вид подсчета называется «вычисление смещенной дисперсии по генеральной совокупности». Дисперсией часто пользуются, но более удобная характеристика носит название среднее квадратическое отклонение (обычно обозначается греческой буквой омега.

Среднее квадратическое отклонение — это квадратный корень из дисперсии, он удобен тем, что имеет ту же размерность, что и исходные величины. Так, в нашем случае, дисперсия имела бы размерность «рубли в квадрате», в то время как среднее квадратическое отклонение получается просто и привычно, в рублях.

В нашем примере, видно, что суммарная дисперсия и среднее квадратическое отклонение у двух палаток вместе все-таки выше, чем у одной первой палатки, причем среднее квадратическое отклонение выше более, чем в два раза. Значит, наша гипотеза о «повышенной стабильности суммы» за счет присутствия второй палатки несостоятельна.

Иногда, вместо среднего арифметического употребляют другие характерные величины, если это по каким-то причинам лучше описывает выборку. Так если расставить выборку по возрастанию (или убыванию) той величины, которой мы интересуемся, то медиана — это то, что будет ровно посередине «строя». Например, если мы расположим по порядку длительности интервалы времени: секунда, минута, час, сутки и неделя — то медианой будет час. Еще одно понятие для замены среднего — мода. Само название позволяет легко запомнить это определение. Если мы выстроим по порядку все пары обуви на складе по размеру, то самый ходовой размер будет модой. Мода — это то, что непременно должны учитывать производители упаковок и фасовщики. Если бы большинство людей покупало за один раз стакан молока, молочные пакеты не были бы литровыми. В следующем параграфе мы начнем работать со случайными величинами, имеющими нормальное распределение, и эти понятия нам снова встретятся.

Случайные величины и их законы распределения

Понятие случайной величины. Функция распределения

Определение: Случайной величиной называется такая переменная величина, которая в результате проведения опыта может принять то или иное значение, неизвестное до проведения эксперимента.

Случайные величины принято обозначать заглавными, последними буквами латинского алфавита а значения, которые они могут принять обозначают аналогичными, но прописными буквами

Пример:

Являются ли случайными величинами следующие переменные величины: а) число вызовов, поступивших от абонентов на телефонную станцию в течение определенного промежутка времени; б) число электронов, вылетевших из нагретого катода за определенный промежуток времени; в) длина некоторой детали при массовом производстве (самостоятельно).

Решение:

Все случайные величины делятся на три группы: дискретные, смешанные и непрерывные. В Примере случаи а) и б) указывают на случайные дискретные величины, а случай в) — на случайную непрерывную величину.

Определение: Законом распределения случайной величины называется любое соотношение, с помощью которого устанавливается соответствие между возможными значениями случайной величины и вероятностями некоторых событий, связанных определенным образом с этими возможными значениями. Закон распределения случайной величины может быть представлен аналитической формулой F(x); графиком, связывающим значения вероятности со значениями случайной величины; таблицей, которая устанавливает соответствие между значениями случайной величины и их вероятностями.

Замечание: В определение закона распределения случайной величины входят слова «любое соотношение» — это означает, что таких соотношений может быть очень много. К числу универсальных форм закона распределения случайной величины относится функция распределения.

Определение: Функцией распределения F(х) случайной величины X называется вероятность события X<х, которое состоит в том, что случайная величина X обязательно примет значение заведомо меньшее, чем заданное значение х, т. е.

Пример:

Найти функцию распределения F(х) случайной величины X, которая представляет собой значение определенной грани кубика.

Решение:

Рассмотрим события, определяющие случайную дискретную величину X, и вероятности этих событий:

1) — данное событие является , так как на гранях кубика нет числа, которое было бы меньше единицы, а вероятность невозможного события равна нулю (см. Лекцию №7); отметим, что любое событие Х<В (при ) является невозможным событием, поэтому вероятность такого события равна нулю;

-данное событие является достоверным, так как в этом случае обязательно выпадет одно из чисел от 1 до 6, а вероятность достоверного события равна 1 (см. Лекцию №7);

для любого другого числа А (при ) событие X < А будет достоверным событием, следовательно, вероятность такого события будет равна единице.

Итак, функция распределения имеет вид

Построим график функции распределения (Рис. 6):

Рис. 6. График функции распределения для случайной дискретной величины.

Замечание: Случайная дискретная величина характеризуется функцией распределения, график которой имеет “ступенчатый» вид. Случайная непрерывная величина характеризуется функцией распределения, график которой имеет “непрерывный” вид.

Свойства функции распределения

Вышеприведенный Примере иллюстрирует основные свойства функции распределения случайной величины произвольной природы:

Действительно, если то событие включает в себя как событие так и событие (Рис. 7). Поэтому по теореме сложения вероятностей событий получаем: или

В силу положительности всех слагаемых получаем, что причем знак равенства имеет место только в том случае, когда

Рис. 7. Неубывание функции распределения.

Дифференциальная функция распределения и ее свойства

Для случайных непрерывных величин помимо функции распределения используется дифференциальная функция распределения.

Определение: Дифференциальной функцией распределения (плотностью вероятности) случайной непрерывной величины X называется первая производная от функции распределения, т.е.

Замечание: Из определения плотности вероятности следует, что функция распределения F(x) является первообразной для дифференциальной функции распределения f(х).

Рассмотрим свойства плотности вероятности:

Пример №52

Дифференциальная функция распределения случайной непрерывной величины X имеет вид Найти коэффициент А и вероятность того, что случайная величина X попадает в интервал (-1; 1).

Решение:

Для нахождения коэффициента А воспользуемся свойством 4 для плотности вероятности: Отсюда находим, что Воспользовавшись свойством 2, найдем интегральную функцию распределения:

Следовательно, вероятность того, что случайная величина X попадает в интервал (-1; 1), по свойству 6 для интегральной функции распределения, равна:

Законы распределения случайных величин

Для задания закона распределения случайной непрерывной величины определяют плотность вероятности:

1. Нормальный закон распределения — параметры распределения.

2. Закон Рэлея — параметр распределения.

3. Закон Максвелла — параметр распределения.

4. Закон Коши — параметры распределения.

5. Экспоненциальный закон распределения — параметр распределения.

6. Распределение “хи-квадрат — параметр распределения, — гамма-функция.

7. Закон Стьюдента — параметр распределения.

8. Закон равномерной плотности

В заключение этого пункта приведем некоторые законы распределения для случайной дискретной величины:

1. Гипергеометрическое распределение возникает, когда из некоторого множества, содержащего N элементов, из которых m благоприятствуют появлению дискретной величины, извлекают наудачу n элементов без возвращения их в множество. В этом случае вероятность того, что дискретная величина появится x раз, определяется по формуле .

2. Закон Бернулли

3. Закон Пуассона

4. Дифференциальный и интегральный законы распределения Муавра-Лапласа.

Числовые характеристики случайной величины

Полную характеристику случайной величины дает ее закон распределения (или функция распределения). Однако на практике зачастую требуется знать лишь некоторые ее параметры, которые определяют характер поведения изучаемой случайной величины. Такими числовыми характеристиками являются, например, математическое ожидание (параметр расположения центра тяжести распределения), дисперсия и средне-квадратичное отклонение (параметры рассеивания случайной величины относительно математического ожидания).

Математическое ожидание или среднее значение случайной величины

Термин «математическое ожидание» применяется в теории вероятностей, а термин ‘»среднее значение случайной величины» — в практических приложениях математической статистики.

Определение: Математическим ожиданием случайной величины называется центр тяжести распределения, который определяется по формуле:

-для случайной дискретной величины; -для случайной непрерывной величины.

Пример №53

Пусть в беспроигрышной лотереи участвует 100 билетов. Из них 40 дают выигрыш по 1 грн., 30 — по 2 грн., 20 — по 5 грн. и 10 — по 10 грн. Стоимость одного билета 5 грн. Определить математическое ожидание случайной дискретной величины X, которая определяет выигрыш на 1 билет.

Решение:

Составим таблицу распределения случайной дискретной величины X, которая определяет выигрыш на один билет:

По определению математическое ожидание будет равно:

(грн.) Лотерея выпущена на сумму грн., выплаты на выигрыш составляют грн., следовательно, чистая прибыль равна 500-300 = 200 грн.

Свойства математического ожидания

Рассмотрим свойства математического ожидания:

1.Математическое ожидание постоянной величины равно самой этой константе, т.е. .

Доказательство: Для случайной непрерывной величины

2. Постоянный множитель можно выносить за знак математического ожидания, т.е. .

Доказательство: Для случайной дискретной величины:

3. Математическое ожидание от суммы двух случайных величин X и У равно сумме их математических ожиданий, т.е.

4. Объединяя свойства 2 и 3 математического ожидания, получаем

.

5. Математическое ожидание от произведения двух независимых случайных величин равно произведению их математических ожиданий, т.е.

Определение: Центрированной случайной величиной называется разность между случайной величиной X и ее математическим ожиданием: .

6. Математическое ожидание центрированной случайной величины Хо равно нулю, т.е.

Доказательство: Используя свойства математического ожидания, получим:

Пример №54

Вычислить математическое ожидание от непрерывной случайной величины X, распределенной по экспоненциальному закону.

Решение:

Согласно определению математического ожидания имеем:

(первое выражение равно нулю, поэтому имеем) =

Дисперсия или рассеивание случайной величины

Рассеивание случайной величины относительно математического ожидания определяется дисперсией и средним квадратичным отклонением.

Определение: Дисперсией случайной величины X называется математическое ожидание квадрата центрированной случайной величины

Замечание: Дисперсия случайной величины X является неотрицательной величиной.

Определение: Средне-квадратичным отклонением случайной величины X называется положительное число

Основные свойства дисперсии

1. Дисперсия постоянной (неслучайной) величины равна 0, т.е.

Доказательство: В силу того, что

2. Постоянный множитель можно выносить за знак дисперсии, возводя этот множитель в квадрат, т.е.

Доказательство: По определению дисперсии имеем:

3. Дисперсия суммы двух случайных величин X и У равно сумме их дисперсий, т.е. .

4. Объединяя свойства 2 и 3 дисперсии, получаем

5. Дисперсия случайной величины X равна разности между математическим ожиданием квадрата этой величины и квадратом ее математического ожидания, т.е.

Доказательство: Используя определение дисперсии и свойства математического ожидания, получим:

Пример №55

Распределение случайной величины X определяется плотностью вероятности Найти коэффициент а, математическое ожидание М[Х], дисперсию D[X] и среднее квадратичное отклонение

Решение:

Для нахождения коэффициента а воспользуемся свойством 4. для плотности вероятности: Отсюда находим, что Остальные параметры найдем согласно их определению:

Другие характеристики случайной величины

Иногда для практических расчетов требуется вычисление других числовых характеристик случайной величины. Определим эти параметры.

Определение: Начальным моментом порядка k случайной величины X называется математическое ожидание k-ой степени этой величины, т.е.

Замечание: Из определения начального момента порядка k видно, что математическое ожидание случайной величины X является ее первым начальным моментом.

Определение: Центральным моментом порядка k случайной величины X называется математическое ожидание k-ой степени центрированной случайной величины

Замечание: Из определения начального момента порядка k видно, что первый центральный момент любой случайной величины равен нулю, второй центральный момент равен дисперсии. Отметим также, что третий центральный момент используется в теории вероятностей для характеристики симметричности кривой плотности вероятности. Если то кривая плотности распределения симметрична относительно математического ожидания.

Замечание: Центральные и начальные моменты случайной величины X связаны между собой определенными соотношениями. В качестве примера рассмотрим случай, когда Отсюда получаем, что

Как решать случайные величины

Наряду со случайным событием одним из основных понятий теории вероятностей является понятие случайной величины.

Понятие случайной величины

Случайной называют величину, которая в результате испытания может принять одно и только одно возможное значение, заранее неизвестное и зависящее от случайных причин, которые заранее учесть невозможно. Примеры случайной величины:

1. Число появлений герба при двукратном бросании монеты;
2. Время безотказной работы некоторого устройства. Нетрудно заметить, что в первом случае все возможные значения случайной величины могут быть перечислены заранее. Такими значениями являются 0, 1, 2.

Отметим, что эти значения отделены друг от друга промежутками, в которых нет других возможных значений этой случайной величины. Во втором случае перечислить все возможные значения случайной величины не представляется возможным, так как эти значения не отделены друг от друга и заполняют собой некоторый промежуток. Очевидно, что число возможных значений непрерывной случайной величины – бесконечно.

В связи с этим принято различать дискретные и непрерывные случайные величины. Случайная величина называется дискретной (прерывной), если множество ее значений является конечным, или бесконечным, но счетным. Под непрерывной случайной величиной будем понимать величину, которая может принимать все значения из некоторого конечного или бесконечного промежутка.

Случайные величины принято обозначать прописными буквами латинского алфавита – X, Y, Z, а их значения – соответствующими строчными буквами x, y, z. Например, случайная величина Х – число появлений герба при двукратном бросании монеты – может принять значения

Закон распределения случайной величины

Наиболее полным, исчерпывающим описанием случайной величины является ее закон распределения.

Определение: Законом распределения случайной величины называется всякое соотношение, устанавливающее связь между возможными значениями случайной величины и соответствующими им вероятностями.

Про случайную величину говорят, что она «распределена» по данному закону распределения или «подчинена» этому закону.

Для дискретной случайной величины закон распределения может быть задан в виде таблицы, аналитически или графически. Простейшей формой задания закона распределения дискретной случайной величины X является таблица, в которой перечислены в порядке возрастания все возможные значения случайной величины и соответствующие им вероятности, т.е.

Такая таблица называется рядом распределения дискретной случайной величины.

Отметим, что события состоящие в том, что в результате испытания случайная величина Х примет соответственно значения являются несовместными и единственно возможными, т.е. образуют полную группу. Следовательно, сумма их вероятностей равна единице, т.е. Ряд распределения может быть изображен графически, если по оси абсцисс откладывать значения случайной величины, а оси ординат – соответствующие им вероятности. Соединение полученных точек образует ломаную линию, которую называют многоугольником или полигоном распределения вероятностей.

Пример №56

Два стрелка делают по одному выстрелу в мишень. Составить закон распределения случайной величины Х – общего числа попаданий в мишень, если вероятность поражения мишени в одном выстреле для первого стрелка равна 0,8, а для второго – 0,6.

Решение:

Очевидно, что возможные значения Х – 0, 1, 2. Пусть А1 – событие состоящее в том, что первый стрелок попадет в мишень, А2 – второй стрелок попадет в мишень. Тогда Записываем ряд распределения случайной величины Х. На рис. 4.1 полученный ряд распределения представлен графически в виде многоугольника (полигона) распределения вероятностей случайной величины Х. ◄

Две случайные величины называются независимыми, если закон распределения одной из них не меняется от того, какие возможные значения приняла другая величина. Так если случайная величина Х может принимать значения а случайная величина Y – значениято независимость случайных величин X и Y означает независимость событий В противном случае случайные величины называются зависимыми.

Функция распределения случайной величины

Мы установили, что ряд распределения полностью характеризует дискретную случайную величину. Однако эта характеристика не является универсальной. Она существует только для дискретных величин. Для непрерывной величины ряд распределения построить нельзя. Действительно, непрерывная случайная величина имеет бесчисленное множество возможных значений, которые сплошь заполняют некоторый промежуток. Составить таблицу, в которой были бы перечислены все возможные значения этой величины, невозможно. Следовательно, для непрерывной случайной величины не существует ряда распределения в том смысле, в каком он существует для дискретной величины. Однако различные области возможных значений случайной величины не являются одинаково вероятными, и для непрерывной величины все-таки существует «распределение вероятностей», хотя и не в том смысле, как для дискретной.

Для количественной характеристики этого распределения вероятностей удобно воспользоваться не вероятностью события Р(Х = х), состоящего в том, что случайная величина примет определенное значение х, а вероятностью события Р(Х <х), состоящего в том, что случайная величина примет значение меньшее х. Очевидно, что вероятность этого события зависит от х, т.е. является некоторой функцией от х.

Определение: Функцией распределения случайной величины Х называется функция F(x), выражающая для каждого значения х вероятность того, что случайная величина Х примет значение, меньшее х: Функцию распределения называют также интегральной функцией распределения или интегральным законом распределения.

Функция распределения – самая универсальная характеристика случайной величины. Она существует для всех случайных величин: как дискретных, так и непрерывных. Функция распределения полностью характеризует случайную величину с вероятностной точки зрения, т.е. является одной из форм закона распределения. Функция распределения допускает простую геометрическую интерпретацию. Рассмотрим случайную величину Х на оси Ох (рис. 4.2), которая в результате опыта может занять то или иное положение.

Пусть на оси выбрана точка, имеющая значение х. Тогда в результате опыта случайная величина Х может оказаться левее или правее точки х. Очевидно, вероятность того, что случайная величина Х окажется левее точки х, будет зависеть от положения точки х, т.е. являться функцией аргумента х. Для дискретной случайной величины Х, которая может принимать значения функция распределения имеет вид где неравенство под знаком суммы означает, что суммирование касается всех тех значений xi, величина которых меньше х.

Пример №57

Дан ряд распределения случайной величины Х. Найти и изобразить графически ее функцию распределения.

Решение:

Будем задавать различные значения х и находить для них F(x) = = P(X < x). Запишем функцию распределения.

Изобразим функцию распределения графически (рис. 4.3). Заметим, что при подходе слева к точкам разрыва функция сохраняет свое значение (про такую функцию говорят, что она непрерывна слева). Эти точки на графике выделены. ◄

Этот пример позволяет прийти к утверждению, что функция распределения любой дискретной случайной величины есть разрывная ступенчатая функция, скачки которой происходят в точках, соответствующих возможным значениям случайной величины и равны вероятностям этих значений.

Рассмотрим общие свойства функции распределения:

1. Функция распределения случайной величины есть неотрицательная функция, заключенная между нулем и единицей: 2. Функция распределения случайной величины есть неубывающая функция на всей числовой оси, т.е. 3. На минус бесконечности функция распределения равна нулю, на плюс бесконечности равна единице, т.е. 4. Вероятность попадания случайной величины в интервалвключая равна приращению ее функции распределения на этом интервале, т.е.

Пример №58

Функция распределения случайной величины Х имеет вид: Найти вероятность того, что случайная величина X примет значение в интервале [1; 3).

Решение:

Для непрерывных случайных величин справедливо следующее свойство: Вероятность любого отдельно взятого значения непрерывной случайной величины равна нулю.

Поясним это свойство. До сих пор мы рассматривали испытания, сводившиеся к схеме случаев, и нулевой вероятностью обладали лишь невозможные события. Из приведенного свойства следует, что нулевой вероятностью могут обладать и возможные события. На первый взгляд этот вывод может показаться парадоксальным. Действительно, если, например, событие α ≤ Х ≤ β имеет отличную от нуля вероятность, то оказывается, что оно представляет собой сумму событий, состоящих в принятии случайной величиной Х любых конкретных значений на отрезке [α, β] и имеющих нулевую вероятность. Однако представления о событии, имеющем отличную от нуля вероятность, но складывающемся из событий с нулевой вероятностью, не более парадоксально, чем представление об отрезке, имеющем определенную длину, тогда как ни одна точка отрезка отличной от нуля длиной не обладает. Отрезок состоит из таких точек, но его длина не равна сумме их длин. Из этого свойства вытекает следующее следствие.

Следствие. Если Х – непрерывная случайная величина, то вероятность попадания этой величины в интервал не зависит от того, является ли этот интервал открытым или закрытым:

Плотность вероятности

Непрерывная случайная величина может быть задана не только с помощью функции распределения. Введем понятие п л о т н о с т и в е р о я т н о с т и непрерывной случайной величины. Рассмотрим вероятность попадания непрерывной случайной величины наинтервал Вероятность такого события т.е. равна приращению функции распределения F(х) на этом участке. Тогда вероятность, приходящаяся на единицу длины, т.е. средняя плотность вероятности на участке равна Переходя к пределу Δх → 0, получим плотность вероятности в точке х:

представляющую производную функции распределения F(х). Напомним, что для непрерывной случайной величины F(х) – дифференцируемая функция.

Определение: Плотностью вероятности (плотностью распределения) f(x) непрерывной случайной величины Х называется производная ее функции распределения

Про случайную величину Х говорят, что она имеет распределение с плотностью f(x) на определенном участке оси абсцисс.

Плотность вероятности f(x), как и функция распределения F(x) является одной из форм закона распределения. Но в отличие от функции распределения она существует только для н е п р е р ы в н ы х случайных величин.

Плотность вероятности иногда называют дифференциальной функцией или дифференциальным законом распределения. График плотности вероятности называется кривой распределения.

Пример №59

По данным примера 4.3 найти плотность вероятности случайной величины Х.

Решение:

Будем находить плотность вероятности случайной величины как производную от ее функции распределения f(x) = F'(x). Отметим свойство плотности вероятности непрерывной случайной величины.

1. Плотность вероятности – неотрицательная функция, т.е. f(x) ≥ 0, (4.9) как производная монотонно неубывающей функции F(x).

2. Вероятность попадания непрерывной случайной величины Х в интервал равна определенному интегралу от ее плотности вероятности в пределах от

Геометрически вероятность попадания в интервал [α, β,] равна площади фигуры, ограниченной сверху кривой распределения и опирающейся на отрезок [α, β,] (рис.4.4).

3. Функция распределения непрерывной случайной величины может быть выражен через плотность вероятности по формуле: Геометрически функция распределения равна площади фигуры, ограниченной сверху кривой распределения и лежащей левее точки х (рис. 4.5).

4. Несобственный интеграл в бесконечных пределах от плотности вероятности непрерывной случайной величины равен единице: Геометрически свойства 1 и 4 плотности вероятности означают, что ее график – кривая распределения – лежит не ниже оси абсцисс, а полная площадь фигуры, ограниченной кривой распределения и осью абсцисс, равна единице.

Пример №60

Функция f(x) задана в виде:

Найти: а) значение А; б) выражение функции распределения F(х); в) вероятность того, что случайная величина Х примет значение на отрезке [0; 1].

Решение:

а) Для того, чтобы f(x) была плотностью вероятности некоторой случайной величины Х, она должна быть неотрицательна, следовательно, неотрицательным должно быть и значение А. С учетом свойства 4 находим: б) Функцию распределения находим, используя свойство 3: Если x ≤ 0, то f(x) = 0 и, следовательно, F(x) = 0. Если 0 < x ≤ 2, то f(x) = х/2 и, следовательно, Если х > 2, то f(x) = 0 и, следовательно в) Вероятность того, что случайная величина Х примет значение на отрезке [0; 1] находим, используя свойство 2:

Пример №61

Методом  произведений  вычислить  выборочную среднюю и выборочную дисперсию по данным выборки (табл. 3.1).

Решение. В качестве «ложного нуля» возьмем варианту 16. 
Следовательно 

Результаты вычислений сведем в табл. 3.2. 

Контроль: 273 = 100 + 46 + 127. 
Равенство  выполнено,  следовательно,  таблица  заполнена верно. 
Вычислим условные начальные моменты: 

Вычислим выборочную среднюю и выборочную дисперсию: 

Определим  исправленную  выборочную  дисперсию:

 и исправленное среднее квадратическое отклонение: 

Получим  несмещенные  оценки  для  математического  ожидания, дисперсии и среднего квадратического отклонения.

Так же как и теория вероятностей, математическая статистика имеет свои ключевые понятия, к которым относятся: генеральная совокупность, теоретическая функция распределения, выборка, эмпирическая функция распределения, статистика. Именно с определения этих понятий, а также с установления связи между ними и объектами, изучаемыми в теории вероятностей, мы начнем изложение математической статистики, предварительно дав краткое описание задач, которые собираемся решать. Кроме того, в последнем параграфе главы остановимся на некоторых распределениях, наиболее часто встречающихся в математической статистике.

Задачи математической статистики

Математическая статистика, являясь частью общей прикладной математической дисциплины «Теория вероятностей и математическая статистика», изучает, как и теория вероятностей, случайные явления, использует одинаковые с ней определения, понятия и методы и основана на той же самой аксиоматике А.Н. Колмогорова.

Однако задачи, решаемые математической статистикой, носят специфический характер. Теория вероятностей исследует явления, заданные полностью их моделью, и выявляет еще до опыта те статистические закономерности, которые будут иметь место после его проведения. В математической статистике вероятностная модель явления определена с точностью до неизвестных параметров. Отсутствие сведений о параметрах компенсируется тем, что нам позволено проводить «пробные» испытания и на их основе восстанавливать недостающую информацию.

Попытаемся показать различие этих двух взаимосвязанных дисциплин на простейшем примере — последовательности независимых одинаковых испытаний, или схеме Бернулли (часть 1, гл.4). Схему Бернулли можно трактовать как подбрасывание несимметричной монеты с вероятностью выпадения «герба» (успеха) р и «цифры» (неудачи) В теории вероятностей р и q задаются «извне» (например, для симметричной монеты Методы теории вероятностей позволяют, зная р и q, определить вероятность выпадения т «гербов» при п подбрасываниях монеты (биномиальное распределение, часть 1, гл.4, параграф 1), найти асимптотику этой вероятности при увеличении числа подбрасываний (теоремы Пуассона и Муавра-Лапласа,

часть 1, гл.4, параграфы 2-4) и т.д. В математической статистике значения р и q неизвестны заранее, но мы можем произвести серию подбрасываний монеты. Цель проведения испытаний как раз и заключается либо в определении р и q, либо в проверке некоторых априорных суждений относительно их значений. Таким образом, судя уже по этому простейшему примеру, задачи математической статистики являются в некотором смысле обратными задачам теории вероятностей.

В математической статистике обычно принято выделять два основных направления исследований.

Первое направление связано с оценкой неизвестных параметров. Возвращаясь к нашему примеру, предположим, что мы произвели п подбрасываний монеты и установили, что в из них выпал «герб». Тогда наиболее естественной оценкой вероятности р является наблюденная частота Как известно из закона больших чисел Бернулли (часть 1, гл. 4, параграф 5), с увеличением числа испытаний частота стремится к вероятности р, т. е. является состоятельной оценкой вероятности р. Оказывается, наряду с простотой и естественностью оценка будет и наилучшей с многих точек зрения, т. е. она обладает свойством эффективности. Однако если нам заранее определено число п подбрасываний монеты, то сказать со 100%-й гарантией что-либо об истинном значении р мы не можем (за исключением разве что тривиальных суждений типа «если выпадет хотя бы один „герб» то вероятность выпадения „герба» не может равняться нулю»). Поэтому наряду с точечными оценками в математической статистике принято определять интервальные оценки или, иными словами, доверительные интервалы, опираясь при этом на «уровень доверия», или доверительную вероятность.

Второе направление в математической статистике связано с проверкой некоторых априорных предположений, или статистических гипотез. Так, до опыта мы можем предположить, что монета симметрична, т.е. высказать гипотезу о равенстве Противоположное предположение, естественно, будет состоять в том, что и тоже представляет собой гипотезу. Принято называть одну из этих гипотез (как правило, более важную с практической точки зрения) основной а вторую — альтернативной или конкурирующей В приведенном выше примере нужно проверить основную гипотезу против конкурирующей гипотезы Заметим, что в нашем случае основная гипотеза полностью определяет вероятностную модель подбрасывания монеты, т.е. является простой (состоит из одной точки), в отличие от конкурирующей гипотезы являющейся сложной (состоит из более чем одной точки). Задача проверки статистических гипотез состоит в выборе правила или критерия, позволяющего по результатам наблюдений проверить (по возможности, наилучшим образом) справедливость этих гипотез и принять одну из них. Так же, как и при оценке неизвестных параметров, мы не застрахованы от неверного решения; в математической статистике они подразделяются

на ошибки первого и второго рода. Ошибка первого рода состоит в том, что мы принимаем конкурирующую гипотезу в то время как справедлива основная гипотеза аналогично определяется ошибка второго рода. Возвращаясь к примеру с монетой, приведем следующий критерий проверки двух перечисленных гипотез: основную гипотезу будем принимать в том случае, если наблюденная частота удовлетворяет неравенству в противном случае считаем верной конкурирующую гипотезу Вероятность ошибки первого рода (принять симметричную монету за несимметричную) в этом случае определяется как вероятность выполнения неравенства в схеме Бернулли с равновероятными исходами. Вероятность ошибки второго рода (принять несимметричную монету за симметричную) также определяется из схемы Бернулли, но с неравновероятными исходами и будет зависеть от истинного значения р.

Далее мы увидим, что задача проверки статистических гипотез наиболее полно решается для случая двух простых гипотез. Можно поставить и задачу проверки нескольких гипотез (в примере с монетой можно взять, например, три гипотезы: однако мы такие задачи рассматривать не будем.

Условно математическую статистику можно подразделить на исследование байесовских и небайесовских моделей.

Байесовские модели возникают тогда, когда неизвестный параметр является случайной величиной и имеется априорная информация о его распределении. При байесовском подходе на основе опытных данных априорные вероятности пересчитываются в апостериорные. Применение байесовского подхода фактически сводится к использованию формулы Байеса (см. часть 1, гл. 3, параграф 5), откуда, собственно говоря, и пошло его название. Байесовский подход нами будет применяться только как вспомогательный аппарат при доказательстве некоторых теорем.

Небайесовские модели появляются тогда, когда неизвестный параметр нельзя считать случайной величиной и все статистические выводы приходится делать, опираясь только на результаты «пробных» испытаний. Именно такие модели мы будем рассматривать в дальнейшем изложении.

В заключение этого параграфа отметим, что в математической статистике употребляют также понятия параметрических и непараметрических моделей. Параметрические модели возникают тогда, когда нам известна с точностью до параметра (скалярного или векторного) функция распределения наблюдаемой характеристики и необходимо по результатам испытаний определить этот параметр (задача оценки неизвестного параметра) или проверить гипотезу о принадлежности его некоторому заранее выделенному множеству значений (задача проверки статистических гипотез). Все приведенные выше примеры с подбрасыванием монеты представляют собой параметрические модели. Примеры непараметрических моделей мы рассмотрим позже.

Основные понятия математической статистики

Основными понятиями математической статистики являются: генеральная совокупность, выборка, теоретическая функция распределения.

Генеральная совокупность. Будем предполагать, что у нас имеются N объектов, каждому из которых присуще определенное значение некоторой числовой характеристики X. Характеристика X, вообще говоря, может быть и векторной (например, линейные размеры объекта), однако для простоты изложения мы ограничимся только скалярным случаем, тем более что переход к векторному случаю никаких трудностей не вызывает. Совокупность этих N объектов назовем генеральной совокупностиью.

Поскольку все наши статистические выводы мы будем делать, основываясь только на значениях числовой характеристики X, естественно абстрагироваться от физической природы самих объектов и отождествить каждый объект с присущей ему характеристикой X. Таким образом, с точки зрения математической статистики генеральная совокупность представляет собой N чисел, среди которых, конечно, могут быть и одинаковые.

Выборка. Для того чтобы установить параметры генеральной совокупности, нам позволено произвести некоторое число п испытаний. Каждое испытание состоит в том, что мы случайным образом выбираем один объект генеральной совокупности и определяем его значение X. Полученный таким образом ряд чисел будем называть (случайной) выборкой объема п, а число элементом выборки.

Заметим, что сам процесс выбора можно осуществлять различными способами: выбрав объект и определив его значение, изымать этот объект и не допускать к последующим испытаниям (выборка без возвращения); после определения его значения объект возвращается в генеральную совокупность и может полноправно участвовать в дальнейших испытаниях (выборка с возвращением) и т.д.

Разумеется, если бы мы смогли провести сплошное обследование всех объектов генеральной совокупности, то не нужно было бы применять никакие статистические методы и саму математическую статистику можно было бы отнести к чисто теоретическим наукам. Однако такой полный контроль невозможен по следующим причинам. Во-первых, часто испытание сопровождается разрушением испытуемого объекта; в этом случае мы имеем выборку без возвращения. Во-вторых, обычно необходимо исследовать весьма большое количество объектов, что просто невозможно физически. Наконец, может возникнуть такое положение, когда многократно измеряется один и тот же объект, но каждый замер производится со случайной ошибкой, и цель последующей статистической обработки заключается именно в уточнении характеристик объекта на основе многократных наблюдений; при этом результат каждого наблюдения надо считать новым объектом генеральной совокупности (простейшим примером такой ситуации является многократное подбрасывание монеты с целью определения вероятности выпадения «герба»). Следует помнить также, что выборка обязательно должна удовлетворять условию репрезентативности или, говоря более простым языком, давать обоснованное представление о генеральной совокупности.

С ростом объема N генеральной совокупности исчезает различие между выборками с возвращением и без возвращения. Мы, как обычно это делается в математической статистике, будем рассматривать случай бесконечно большого объема генеральной совокупности и поэтому, употребляя слово «выборка», не будем указывать, какая она — с возвращением или без него.

Теоретическая функция распределения. Пусть — выборка единичного объема из заданной генеральной совокупности. Поскольку сам процесс выбора производится случайным образом, то является случайной величиной и, как и всякая случайная величина, имеет функцию распределения Нетрудно видеть, что если объем N генеральной совокупности конечен, то при случайном выборе объекта мы находимся в рамках схемы классической вероятности (часть 1, гл.2, параграф 1) и значение функции распределения F(x) совпадает с отношением — число тех объектов генеральной совокупности, значения которых меньше х.

В случае выборки произвольного объема п каждый элемент выборки также будет иметь функцию распределения F(x), причем для выборки с возвращением наблюдения будут независимы между собой (чего нельзя сказать о выборке без возвращения). Поскольку, как уже говорилось, мы будем рассматривать выборки из генеральной совокупности бесконечно большого объема, а в этом случае исчезает различие между выборками разного типа, мы приходим к интерпретации (с точки зрения теории вероятностей) выборки как п независимых одинаково распределенных с функцией распределения F(x) случайных величин или, допуская некоторую вольность речи, как п независимых реализаций наблюдаемой случайной величины X, имеющей функцию распределения F(x). Функция распределения F(x) называется теоретической функцией распределения. Однако теоретическая функция распределения F(x) либо неизвестна, либо известна не полностью, и именно относительно F(x) мы будем делать наши статистические выводы. Заметим, что в соответствии с общими положениями теории вероятностей совместная функция распределения выборки задается формулой

В дальнейшем, как правило, мы будем предполагать, что F(x) является функцией распределения либо дискретной, либо непрерывной наблюдаемой случайной величины X. В первом случае будем оперировать рядом распределения случайной величины X, записанным в виде табл. 1, а во втором — плотностью распределения

Простейшие статистические преобразования

Прежде чем переходить к детальному анализу наблюденных статистических данных, обычно проводят их предварительную обработку. Иногда результаты такой обработки уже сами по себе дают наглядную картину исследуемого явления, в большинстве же случаев они служат исходным материалом для получения более подробных статистических выводов.

Вариационный и статистический ряды. Часто бывает удобно пользоваться не самой выборкой а некоторой ее модификацией, называемой вариационным рядом. Вариационный ряд представляет собой ту же самую выборку но расположенную в порядке возрастания элементов: Такое преобразование не приводит к потере информации относительно теоретической функции распределения F(x), поскольку, переставив элементы вариационного ряда в случайном порядке, мы получим новый набор случайных величин совместная функция распределения которых в точности совпадает с функцией распределения первоначальной выборки

Для употребляют название «крайние члены вариационного ряда».

Пример 1. Измерение проекции вектора скорости молекул водорода на одну из осей координат дало (с учетом направления вектора) результаты представленные в табл.2.

Вариационный ряд этой выборки приведен в табл. 3. Крайними членами вариационного ряда являются

Если среди элементов выборки (а значит, и среди элементов вариационного ряда имеются одинаковые, что происходит при наблюдении дискретной случайной величины, а также довольно часто встречается при наблюдении непрерывной случайной величины с округлением значений, то наряду с вариационным рядом используют представление выборки в виде статистического

ряда (табл.4), в котором представляют собой расположенные в порядке возрастания различные значения элементов выборки — числа элементов выборки, значения которых равны соответственно

Пример 2. В течение минуты каждую секунду регистрировалось число попавших в счетчик Гейгера частиц. Результаты наблюдений приведены в табл. 5.

Статистический ряд выборки представлен в табл. 6.

Статистики. Для получения обоснованных статистических выводов необходимо проводить достаточно большое число испытаний, т.е. иметь выборку достаточно большого объема п. Ясно, что не только использование такой выборки, но и хранение ее весьма затруднительно. Чтобы избавиться от этих трудностей, а также для других целей, полезно ввести понятие статистики, общее определение которой формулируется следующим образом. Назовем статистикой произвольную (измеримую) k-мерную функцию от выборки

Как функция от случайного вектора статистика S также будет случайным вектором (см. часть 1, гл.6, параграф 7), и ее функция распределения

определяется для дискретной наблюдаемой случайной величины X формулой

и для непрерывной — формулой

где суммирование или интегрирование производится по всем возможным значениям (в дискретном случае каждое принадлежит множеству для которых выполнена система неравенств

Пример 3. Пусть выборка произведена из генеральной совокупности с теоретической функцией распределения являющейся нормальной с математическим ожиданием (средним значением) т и дисперсией Рассмотрим двумерную статистику где

Тогда

Мы, однако, не будем вычислять записанный интеграл, а воспользуемся тем фактом (см. пример 29, часть 1, гл.6, параграф 7), что любое линейное преобразование переводит нормально распределенный вектор в вектор, снова имеющий нормальное распределение, причем ортогональное преобразование переводит вектор с независимыми координатами, имеющими одинаковые дисперсии, в вектор с также независимыми и имеющими те же самые дисперсии координатами.

Из курса теории вероятностей известно, что статистика имеет нормальное распределение со средним га и дисперсией Положим

Очевидно, что

Пусть теперь А — линейное ортогональное преобразование пространства ставящее в соответствие каждому вектору вектор (как известно из курса линейной алгебры, такое преобразование всегда существует). Тогда, если будет нормально распределенным случайным вектором, имеющим независимые координаты с нулевым средним и дисперсией Кроме того, Далее, рассмотрим — квадрат длины вектора Простейшие преобразования показывают, что

С другой стороны, в силу ортогональности преобразования А

Отсюда, в частности, следует, что

т.е. представляет собой сумму квадратов п — 1 независимых случайных величин, распределенных по стандартному нормальному закону. Вспоминая теперь, что случайные величины независимы, получаем окончательный ответ: статистики независимы статистика распределена по нормальному закону с параметрами а случайная величина (в том случае, когда дисперсия неизвестна, отношение не является статистикой, поскольку зависит от неизвестного параметра — по закону степенями свободы (см. также параграф 4).

Отметим, что проведенные рассуждения будут нами постоянно использоваться в гл. 4, посвященной статистическим задачам, связанным с нормально распределенными наблюдениями.

Важный класс статистик составляют так называемые достаточные статистики. Не давая пока строгого математического определения, скажем, что статистика S является достаточной, если она содержит всю ту информацию относительно теоретической функции распределения F(x), что и исходная выборка В частности, вариационный ряд всегда представляет собой достаточную статистику. Более сложными примерами достаточных статистик являются число успехов в схеме Бернулли и двумерная статистика S из примера 3 для выборки из генеральной совокупности с нормальной теоретической функцией распределения. В современной математической статистике достаточные статистики играют очень важную роль.

Эмпирическая функция распределения. Пусть мы имеем выборку объема п из генеральной совокупности с теоретической функцией распределения F(x). Построим по выборке аналог теоретической функции распределения F(x). Положим

где — число элементов выборки, значения которых меньше х. Поскольку каждое меньше х с вероятностью а сами независимы, то является целочисленной случайной величиной, распределенной по биномиальному закону:

Функция носит название эмпирической (выборочной) функции распределения. Ясно, что при каждом х значение эмпирической функции распределения является случайной величиной, принимающей значения если же рассматривать как функцию от х, то представляет собой случайный процесс.

Построение эмпирической функции распределения удобно производить с помощью вариационного ряда Функция постоянна на каждом интервале а в точке увеличивается на 1 /п.

Пример 4. График эмпирической функции распределения, построенной по вариационному ряду из табл. 3, приведен на рис. 1.

Если выборка задана статистическим рядом (см. табл. 4), то эмпирическая функция распределения также постоянна на интервалах но ее значение в точке увеличивается на а не на 1/n

Пример 5. График эмпирической функции распределения, построенной по статистическому ряду из табл. 6, приведен на рис. 2.

Гистограмма, полигон. Для наглядности выборку иногда преобразуют следующим образом. Всю ось абсцисс делят на интервалы длиной и определяют функцию постоянную на i-м интервале и принимающую на этом интервале значение — число элементов выборки, попавших в интервал Функция называется гистограммой.

При наблюдении дискретной случайной величины вместо гистограммы часто используют полигон частот. Для этого по оси абсцисс откладывают все возможные значения наблюдаемой величины X, а по оси ординат, пользуясь статистическим рядом, либо числа элементов выборки, принявших значения (полигон частот), либо соответствующие наблюденные частоты

(полигон относительных частот). Для большей наглядности соседние точки соединяются отрезками прямой.

Для непрерывной наблюдаемой случайной величины полигоном относительных частот иногда называют ломаную линию, соединяющую середины отрезков, составляющих гистограмму.
Пример 6. Построим гистограмму и полигон относительных частот выборки, представленной в табл. 2. Для этого выберем интервалы одинаковой длины Числа и значения на каждом интервале приведены в табл. 7. Гистограмма выборки показана на рис. 3 сплошной линией, а полигон относительных частот — штриховой линией.

Пример 7. Построим полигон относительных частот выборки, приведенной в табл. 5. Возможные значения наблюдаемой случайной величины X (числа частиц, попавших в счетчик Гейгера) представляют собой неотрицательные целые числа. Воспользовавшись статистическим рядом из табл. 6, получаем полигон относительных частот, изображенный на рис. 4.

Предельное поведение эмпирической функции распределения.

Предположим, что по выборке мы построили эмпирическую функцию распределения (здесь и в дальнейшем в том случае, когда нам важна зависимость какой-то характеристики от объема выборки п, будем снабжать ее дополнительным нижним индексом (n)). Как мы уже говорили, число элементов выборки, принявших значение, меньшее х, распределено по биномиальному закону с вероятностью успеха Тогда при в силу усиленного закона больших чисел (часть 1, гл.8, параграф 2) значения эмпирических функций распределения сходятся при каждом х к значению теоретической функции распределения F(x). В. И. Гливенко и Ф. П. Кантелли обобщили этот факт и доказали следующую теорему.

Теорема Гливенко-Кантелли. При с вероятностью, равной единице

Смысл теоремы Гливенко-Кантелли заключается в том, что при увеличении объема выборки п у эмпирической функции распределения исчезают свойства случайности и она приближается к теоретической функции распределения.

Аналогично, если п велико, то значение гистограммы в точке х приближенно равно

где — концы интервала, в котором находится х, а есть длина этого интервала. Если теоретическая функция распределения имеет плотность распределения р(х) и при этом длины интервалов малы, то гистограмма достаточно хорошо воспроизводит эту плотность.

Выборочные характеристики. Эмпирическая функция распределения построенная по фиксированной выборке обладает всеми свойствами обычной функции распределения (дискретной случайной величины). В частности, по ней можно найти математическое ожидание (среднее)

второй момент

дисперсию

момент k-го порядка

центральный момент k-го порядка

и т.д. Соответствующие характеристики называются выборочными (выборочное среднее, выборочный второй момент, выборочная дисперсия и т.п.). Ясно, что выборочные характеристики как функции от случайных величин сами являются случайными величинами, причем их распределения определяются в соответствии с общими положениями теории вероятностей (см. часть 1, гл.6, параграф 7). Так, функция распределения выборочного среднего для случая дискретной наблюдаемой случайной величины определяется формулой

где суммирование ведется по всем принимающим значения и удовлетворяющим неравенству а функция распределения выборочного второго момента для непрерывного случая — формулой

Наряду с выборочной дисперсией часто используют и другую характеристику разброса выборки вокруг среднего:

Характеристику также будем называть выборочной дисперсией, а для того чтобы не путать каждый раз будем указывать, о какой именно выборочной дисперсии идет речь. Выборочная дисперсия отличается от выборочной дисперсии только лишь наличием множителя который с увеличением объема выборки п стремится к единице, и, казалось бы, нет смысла вводить две практически одинаковые величины. Однако, как мы увидим из дальнейшего, является несмещенной оценкой теоретической дисперсии чего нельзя сказать о выборочной дисперсии хотя стандартные методы приводят именно к

Пример 8. Подсчитаем выборочное среднее и выборочные дисперсии для выборки, приведенной в табл. 2:

Для подсчета выборочной дисперсии можно было бы воспользоваться также формулой

Основные распределения математической статистики

Наиболее часто в математической статистике используются: нормальное распределение, распределение (распределение Пирсона), t-распределение (распределение Стьюдента), F-распределение (распределение Фишера), распределение Колмогорова и -распределение. Все эти распределения связаны с нормальным. В свою очередь, широкое распространение нормального распределения обусловлено исключительно центральной предельной теоремой (см. часть 1, гл.8, параграф 4). Ввиду их особой важности все названные распределения затабулированы и содержатся в различных статистических таблицах, а также, частично, в большинстве учебников по теории вероятностей и математической статистике. Наиболее полными из известных и доступных читателю в нашей стране являются таблицы Л.Н. Большева и Н. В. Смирнова [1], на которые мы и будем ссылаться в дальнейшем.

Нормальное распределение. Одномерное стандартное нормальное распределение (стандартный нормальный закон) задается своей плотностью распределения (см. часть 1, гл.5, параграф 4)

Значения функции Ф(x) и плотности стандартного нормального распределения, а также квантилей (функции обратной функции стандартного нормального распределения) приведены в [1], табл. 1.1-1.3 (см. также табл.2 и 3 приложения).

Общее одномерное нормальное распределение характеризуется двумя параметрами: средним (математическим ожиданием) т и дисперсией Его можно трактовать как распределение случайной величины

где случайная величина подчинена стандартному нормальному закону. Плотность распределения и функцию распределения общего нормального закона будем обозначать через Многомерное (k-мерное) нормальное распределение (часть 1, гл.6, параграф 4) определяется вектором средних и матрицей ковариаций

-распределение (см. часть 1, гл.5, параграф 4, а также примеры 28 и 30, часть 1, гл.6, параграф 7). Пусть — независимые случайные величины, распределенные по стандартному нормальному закону. Распределение случайной величины

носит название —распределения с п степенями свободы, -распределение имеет плотность распределения

где введено в параграфе 4 гл. 5.

Значения функции -распределения и а-процентных точек (а-про-центная точка -распределения представляет собой -квантиль -распределения приведены в [1], табл. 2.1а и 2.2а. В дальнейшем нам будет полезно следующее свойство. Пусть независимые случайные величины, распределенные по нормальному закону с одинаковыми параметрами Положим

Тогда случайная величина

имеет -распределение, но с п-1 степенями свободы. Доказательство этого факта содержится в примере 3.

Еще одна схема, в которой появляется -распределение — полиномиальная схема (см. часть 1, гл.4, параграф 7). Пусть производится п независимых одинаковых испытаний, в каждом из которых с вероятностью может произойти одно из событий Обозначим через число появлений события Тогда из многомерного аналога интегральной теоремы Муавра-Лапласа следует, что случайная величина

при асимптотически распределена по закону степенями свободы.

t-распределение. Пусть — независимые случайные величины, причем распределена по стандартному нормальному закону, а имеет -распределение с п степенями свободы. Распределение случайной величины

называется t-распределением с п степенями свободы, t-распределение имеет плотность распределения

Значения функции t-распределения и -процентных точек квантилей t-распределения приведены в [1], табл. 3.1а и 3.2.

Далее, пусть — независимые одинаково распределенные случайные величины, подчиненные нормальному закону со средним т. Положим

Тогда случайные величины независимы, а случайная величина

имеет t-распределение с n-1 степенями свободы (доказательство этого см. в примере 3).

F-распределение. Пусть две независимые случайные величины, имеющие -распределения с степенями свободы. Распределение случайной величины

носит название F-распределения с параметрами F-распределение имеет плотность распределения

Значения -процентных точек -квантилей -распределения приведены в [1], табл. 3.5.

Распределение Колмогорова. Функция распределения Колмогорова имеет вид

Распределение Колмогорова является распределением случайной величины

где — броуновский мостик, т. е. винеровский процесс с закрепленными концами на отрезке (см. [11]).

Значения функции распределения Колмогорова приведены в [1], табл.6.1. Квантили распределения Колмогорова будем обозначать через

-распределение. Функция —распределения задается формулой

Здесь — модифицированная функция Бесселя, -распределение представляет собой распределение случайной величины

где — броуновский мостик.

Значения функции -распределения приведены в [1], табл. 6.4а. Квантили -распределения будем обозначать через

Оценки неизвестных параметров

Как уже говорилось в гл. 1, одним из двух основных направлений в математической статистике является оценивание неизвестных параметров. В этой главе мы дадим определение оценки, опишем те свойства, которые желательно требовать от оценки, и приведем основные методы построения оценок. Завершается глава изложением метода построения доверительных интервалов для неизвестных параметров.

Статистические оценки и их свойства

Предположим, что в результате наблюдений мы получили выборку из генеральной совокупности с теоретической функцией распределения F(x). Относительно F(x) обычно бывает известно только, что она принадлежит определенному параметрическому семейству зависящему от числового или векторного параметра Как правило, для простоты изложения будем рассматривать случай числового параметра и лишь иногда обращаться к векторному параметру в векторном случае будем использовать запись Для большей наглядности будем все неизвестные параметры (за исключением теоретических моментов обозначать буквой (снабжая их при необходимости индексами), хотя в теории вероятностей для них обычно приняты другие обозначения. Наша цель состоит в том, чтобы, опираясь только на выборку оценить неизвестный параметр

Оценкой неизвестного параметра построенной по выборке назовем произвольную функцию

зависящую только от выборки Ясно, что как функция от случайной величины оценка сама будет являться случайной величиной и, как всякая случайная величина, будет иметь функцию распределения определяемую в дискретном случае формулой

где суммирование ведется по всем переменным принимающим значения из ряда распределения наблюдаемой случайной величины X и удовлетворяющим неравенству и в непрерывном случае — формулой

где интегрирование ведется по области, выделяемой неравенством Как уже говорилось, иногда для того, чтобы подчеркнуть зависимость оценки от объема выборки п, будем наряду с обозначением употреблять обозначение Нужно четко представлять себе, что зависимость оценки от неизвестного параметра осуществляется только через зависимость от выборки что в свою очередь реализуется зависимостью от функции распределения Приведенное выше определение отождествляет понятие оценки (вектора оценок с одномерной (k-мерной) статистикой.

Пример:

Предположим, что проведено п испытаний в схеме Бернулли с неизвестной вероятностью успеха В результате наблюдений получена выборка где — число успехов i-м испытании. Ряд распределения наблюдаемой величины X — числа успехов в одном испытании представлен в табл. 1.

В качестве оценки рассмотрим наблюденную частоту успехов

где

представляет собой суммарное число успехов в п испытаниях Бернулли. Статистика распределена по биномиальному закону с параметром поэтому ряд распределения оценки имеет вид, приведенный в табл. 2.

Пример:

Выборка произведена из генеральной совокупности с теоретической функцией распределения являющейся нормальной с неизвестным средним В качестве оценки снова рассмотрим выборочное среднее

Функция распределения задается формулой

Однако вместо непосредственного вычисления написанного n-мерного интеграла заметим, что статистика

распределена по нормальному закону с параметрами (математической ожидание) и (дисперсия). Значит, оценка распределена также по нормальному закону с параметрами

Разумеется, на практике имеет смысл использовать далеко не любую оценку.

Пример:

Как и в примере 1, рассмотрим испытания в схеме Бернулли. Однако теперь в качестве оценки неизвестной вероятности успеха возьмем

Такая оценка будет хороша лишь в том случае, когда истинное значение ее качество ухудшается с увеличением отклонения от 1 /2.

Приведенный пример показывает, что желательно употреблять только те оценки, которые по возможности принимали бы значения, наиболее близкие к неизвестному параметру. Однако в силу случайности выборки в математической статистике мы, как правило, не застрахованы полностью от сколь угодно большой ошибки. Значит, гарантировать достаточную близость оценки к оцениваемому параметру можно только с некоторой вероятностью и для того, чтобы увеличить эту вероятность, приходится приносить необходимую жертву — увеличивать объем выборки п.

Опишем теперь те свойства, которые мы хотели бы видеть у оценки.

Главное свойство любой оценки, оправдывающее само название «оценка», — возможность хотя бы ценой увеличения объема выборки до бесконечности получить точное значение неизвестного параметра . Оценка называется состоятельной, если с ростом объема выборки она сходится к оцениваемому параметру Можно рассматривать сходимость различных типов: по вероятности, с вероятностью единица, в среднем квадратичном и т.д. Обычно рассматривается сходимость по вероятности, т.е. состоятельной называется такая оценка которая для любого при всех возможных значениях неизвестного параметра удовлетворяет соотношению

Отметим, что правильнее было бы говорить о состоятельности последовательности оценок поскольку для каждого значения п объема выборки оценка может определяться по своему правилу. Однако в дальнейшем мы будем употреблять понятие состоятельности только для оценок, построенных по определенным алгоритмам, поэтому будем говорить просто о состоятельности оценки.

Пример:

Оценка из примера 1 является состоятельной оценкой неизвестной вероятности успеха . Это является прямым следствием закона больших чисел Бернулли.

Пример:

Пусть выборка произведена из генеральной совокупности с неизвестной теоретической функцией распределения F(x). Тогда в силу закона больших чисел выборочный момент

сходится к теоретическому моменту значит, представляет собой состоятельную оценку Аналогично, выборочные дисперсии и выборочные центральные моменты являются состоятельными оценками теоретической дисперсии и теоретических центральных моментов Отметим, что поскольку в этом примере не предполагается принадлежность теоретической функции распределения F(x) какому-либо параметрическому семейству, то мы имеем дело с задачей оценки неизвестных моментов теоретической функции распределения в непараметрической модели.

Пример:

Выборка произведена из генеральной совокупности с теоретической функцией распределения F(x), имеющей плотность распределения Коши

с неизвестным параметром Поскольку плотность распределения Коши симметрична относительно то казалось бы естественным в качестве оценки параметра взять выборочное среднее

Однако как и сама наблюдаемая случайная величина X, имеет распределение Коши с тем же параметром (это легко установить с помощью характеристических функций, см. часть 1, гл.8, параграф 3), т.е. не сближается с параметром а значит, не является состоятельной оценкой параметра

Из курса теории вероятностей известно (см. часть 1, гл.7, параграф 1), что мерой отклонения оценки от параметра служит разность В математической статистике разность

называется смещением оценки Ясно, что

в дискретном случае и

в непрерывном, где суммирование или интегрирование ведется по всем возможным значениям

Оценка называется несмещенной, если

при всех е. ее среднее значение совпадает с оцениваемым параметром

Пример:

Оценка неизвестной вероятности успеха из примера 1 является несмещенной. Действительно,

Пример:

Выборочные моменты являются несмещенными оценками теоретических моментов поскольку

Вычислим теперь математическое ожидание выборочной дисперсии

Таким образом, является смещенной (хотя и состоятельной, см. пример 5) оценкой дисперсии Поскольку

то

и представляет собой уже несмещенную оценку Можно показать также, что выборочные центральные моменты являются смещенными оценками теоретических центральных моментов

Пример:

Пусть — выборка из генеральной совокупности с теоретической функцией распределения являющейся нормальной с неизвестным средним Поскольку то оценка

является несмещенной. Очевидно, однако, что она не является состоятельной.

Примеры 8 и 9 показывают, что состоятельная оценка может быть сметенной и, наоборот, несмещенная оценка не обязана быть состоятельной.

Рассматривая несколько оценок неизвестного параметра мы, разумеется, хотели бы выбрать из них ту, которая имела бы наименьший разброс, причем при любом значении неизвестного параметра . Мерой разброса оценки как и всякой случайной величины, является дисперсия

(дисперсия, как и распределение оценки, зависит от неизвестного параметра ). Однако для смещенной оценки дисперсия служит мерой близости не к оцениваемому параметру а к математическому ожиданию Поэтому естественно искать оценки с наименьшей дисперсией не среди всех оценок, а только среди несмещенных, что мы и будем делать в дальнейшем. Для несмещенных оценок дисперсия определяется также формулой

Имеется несколько подходов к нахождению несмещенных оценок с минимальной дисперсией. Это связано с тем, что такие оценки существуют не всегда, а найти их бывает чрезвычайно сложно. Здесь мы изложим понятие эффективности оценки, основанное на неравенстве Рао-Крамера.

Теорема:

Неравенство Рао-Крамера. Пусть — несмещенная оценка неизвестного параметра построенная по выборке объема п. Тогда (при некоторых дополнительных условиях регулярности, наложенных на семейство

где — информация Фишера, определяемая в дискретном случае формулой

а в непрерывном — формулой

Прежде чем переходить к доказательству теоремы, заметим, что по неравенству Рао-Крамера дисперсия любой несмещенной оценки не может быть меньше Назовем эффективностью несмещенной оценки величину

Ясно, что эффективность любой оценки при каждом заключена между нулем и единицей, причем чем она ближе к единице при каком-либо тем лучше оценка при этом значении неизвестного параметра.

Несмещенная оценка называется эффективной (по Рао-Краме-ру), если при любом

Доказательство теоремы 1. Доказательство этой и всех остальных теорем будем проводить (если не сделано специальной оговорки) для непрерывного случая. Это связано с тем, что непрерывный случай, как правило, более сложен, и читатель, усвоивший доказательство для непрерывного случая, легко проведет его для дискретного.

Как мы увидим из хода доказательства, условия регулярности семейства упомянутые в формулировке теоремы, есть не что иное, как условия, гарантирующие законность дифференцирования под знаком интеграла в формулах (1) и (3). В разных книгах сформулированы различные достаточные условия. Мы упомянем одно из них, приведенное в [11]:

функция для всех (точнее, для почти всех) х непрерывно дифференцируема по информация Фишера конечна, положительна и непрерывна по

Приступим теперь к собственно доказательству теоремы. Заметим прежде всего, что, дифференцируя тождество

(в силу сформулированного условия это можно делать), получаем

Далее, в силу несмещенности оценки имеем

Дифференцируя это равенство по и учитывая очевидное тождество

полученное из (1) и (2), находим

Воспользовавшись неравенством Коши-Буняковского

при

имеем

Заметим теперь, что в силу тождества (2)

Тогда неравенство (5) можно переписать в виде откуда и следует неравенство Рао-Крамера.

Замечание:

Для превращения используемого при доказательстве теоремы 1 неравенства Коши-Буняковского, в равенство необходимо и достаточно существование таких функций аргумента х и аргумента что ,

При этом оценка должна иметь вид

Обозначая

и интегрируя уравнение (6), получаем, что необходимым условием существования эффективной оценки является возможность представления плотности распределения в виде

где — функции, зависящие только от функции, зависящие только от

Аналогичное представление для ряда распределения должно иметь место и в дискретном случае. Семейство плотностей или рядов распределения такого вида носит название экспоненциального.

Экспоненциальные семейства играют в математической статистике важную роль. В частности, как мы показали, только для этих семейств могут существовать эффективные оценки, которые к тому же определяются формулой

(появление множителя связано с неоднозначностью определения функций в представлении (7)). Однако следует помнить, что не для всякого экспоненциального семейства существует эффективная оценка (в принятом нами смысле), поскольку эффективная оценка по определению должна быть несмещенной, что, вообще говоря, нельзя сказать об оценке (8) в случае произвольного экспоненциального семейства. Впрочем, из тождества (1) вытекает весьма простой способ проверки несмещенности (8) непосредственно по заключающийся в выполнении равенства

Замечание:

Неравенство Рао-Крамера можно обобщить на случай смещенных оценок:

И в этом случае неравенство превращается в равенство только тогда, когда семейство распределений экспоненциально.

Пример:

Рассмотрим оценку неизвестной вероятности успеха в схеме Бернулли из примера 1. Как показано в примере 7, эта оценка несмещенная. Дисперсия имеет вид

Найдем информацию Фишера (напомним, что в данном случае наблюдаемая величина X принимает всего два значения 0 и 1 с вероятностями соответственно):

Таким образом, и, значит, оценка эффективная.

Пример:

Рассмотрим оценку неизвестного среднего нормального закона из примера 2. Поскольку эта оценка представляет собой выборочное среднее, то в соответствии с результатами, полученными в примере 8, она является несмещенной. Найдем ее эффективность. Для этого прежде всего заметим, что

Далее,

И в этом примере оценка является эффективной.

Пример:

Оценим неизвестную дисперсию нормального закона при известном среднем т. Плотность нормального распределения представима в виде

где

т.е. по отношению к неизвестной дисперсии принадлежит экспоненциальному семейству. Поэтому эффективная оценка дисперсии должна по формуле (8) иметь вид

С другой стороны, нетрудно видеть, что откуда следует несмещенность оценки

и, значит, ее эффективность. Впрочем, эффективность оценки легко установить и на основе неравенства Рао-Крамера.

Пусть теперь мы оцениваем не дисперсию, а среднее квадратичное отклонение И в этом случае имеет место представление (7), только теперь

Поэтому равенство не превращается в тождество ни при каком выборе g, и, значит, эффективной (в смысле Рао-Крамера) оценки среднего квадратичного отклонения нормального закона не существует. Рассмотрим оценку

равную корню квадратному из оценки дисперсии с точностью до постоянного множителя Читателю предлагается проверить, что оценка несмещенная. Кроме того, в следующем параграфе будет показано, что среди всех несмещенных оценок среднего квадратичного отклонения она имеет минимальную дисперсию (хотя и не является эффективной).

Пример:

Пусть выборка произведена из генеральной совокупности с равномерным на интервале теоретическим распределением. Оценим неизвестный параметр Обозначим через максимальный член вариационного ряда. В качестве оценки параметра возьмем

Функция распределения статистики задается формулой

Тогда

Значит, оценка несмещенная. Далее,

Мы видим, что дисперсия оценки при убывает, как Такая оценка оказалась более эффективной, поскольку дисперсия эффективной оценки убывает только, как 1 /п. Разгадка парадокса чрезвычайно проста: для данного семейства не выполнены условия регулярности, необходимые при доказательстве неравенства Рао-Крамера. Используя понятие достаточной статистики, в следующем параграфе мы докажем минимальность дисперсии данной оценки.

В заключение этого параграфа отметим, что эффективные по Рао-Крамеру оценки существуют крайне редко. Правда, как мы увидим в параграфе 4, эффективность по Рао-Крамеру играет существенную роль в асимптотическом анализе оценок, получаемых методом максимального правдоподобия. Кроме того, существуют обобщения неравенства Рао-Крамера (например, неравенство Бхаттачария [7]), позволяющие доказывать оптимальность более широкого класса оценок.

В следующем параграфе мы рассмотрим другой подход к определению оценок с минимальной дисперсией, базирующийся на достаточных статистиках.

Наиболее распространенные методы нахождения оценок приводятся в параграфах 3-6.

Наконец, в параграфе 7 описан подход к построению доверительных интервалов для неизвестных параметров.

Достаточные оценки

Первый шаг в поисках другого (не основанного на неравенстве Рао-Крамера) принципа построения оценок с минимальной дисперсией состоит во введении понятия достаточной статистики (отметим, что достаточные статистики играют в современной математической статистике весьма важную роль, причем как при оценке неизвестных
параметров, так и при проверке статистических гипотез). Назовем k-мерную статистику

достаточной для параметра если условное распределение выборки при условии не зависит от параметра

Пример:

Пусть — число успехов в i-м испытании Бернулли (см. пример 1). Рассмотрим статистику

— общее число успехов в п испытаниях Бернулли. Покажем, что она является достаточной для вероятности успеха Для этого найдем условное распределение Воспользовавшись определением условной вероятности, получаем

Если то вероятность совпадает с вероятностью т.е.

(напомним еще раз, что каждое может принимать здесь только значение О или 1, причем Поскольку вероятность определяется формулой Бернулли

то из (9) получаем, что

т. е. не зависит от Если же то

откуда

т. е. опять-таки не зависит от Таким образом, S — достаточная статистика.

Очевидно, что использовать приведенное выше определение для проверки достаточности конкретных статистик весьма сложно, особенно в непрерывном случае. Простой критерий достаточности задается следующей теоремой.

Теорема:

Факторизационная теорема Неймана-Фишера. Для того чтобы статистика была достаточной для параметра необходимо и достаточно, чтобы ряд распределения

в дискретном случае или плотность распределения

в непрерывном случае выборки были представимы в виде

где функция зависит только от а функция — только от

Доказательство:

Для простоты изложения ограничимся только дискретным случаем. По определению условной вероятности,

Очевидно, что числитель в правой части (II) совпадает с вероятностью в том случае, когда и равен нулю в противном. Поскольку событиями нулевой вероятности можно пренебречь, то ограничимся случаем и запишем (11) в виде

Теперь, если S — достаточная статистика, то левая часть (12) не зависит от Обозначая ее через — через приходим к (10), что доказывает необходимость (10). И наоборот, пусть выполнено (10). Тогда

Подставляя последнее равенство в (12), имеем

т.е. не зависит от а значит, статистика S является достаточной.

Замечание к теореме 2. Очевидно, что представление (10) справедливо с точностью до функции зависящей только от

Пример:

Пусть — выборка из генеральной совокупности с теоретической функцией распределения, являющейся нормальной со средним и дисперсией Покажем, что (двумерная) статистика где

является достаточной для (двумерного) параметра (см. также пример 3 из гл. 1). Действительно, плотность распределения выборки представима в виде

т.е. имеет вид (10), где

Пример:

Пусть — выборка из генеральной совокупности с равномерным на интервале теоретическим распределением (см. пример 13). Покажем, что максимальный член вариационного ряда

является (одномерной) достаточной статистикой для Действительно, вспоминая, что плотность равномерно распределенной на интервале величины равна при и нулю в противном случае, получаем для плотности распределения выборки выражение

В частности, область изменения каждого аргумента при отличной от нуля плотности распределения зависит от параметра Рассмотрим функцию

и положим

С учетом введенных функций.

Здесь уже при определении функции сверху не наложено никаких ограничений, поскольку они автоматически ограничены своим максимальным значением S, которое в свою очередь не превосходит Но это означает, что функция не зависит от параметра и в соответствии с теоремой 2 статистика

является достаточной для параметра

Пример:

Покажем, что для экспоненциального семейства (7) существует одномерная достаточная статистика. Этот факт легко установить, если подставить выражение (7) в формулу для плотности распределения выборки

Полагая теперь

видим, что одномерная статистика

является достаточной для параметра

Как уже говорилось в гл. 1, смысл достаточной статистики S заключается в том, что она включает в себя всю ту информацию о неизвестном параметре которая содержится в исходной выборке Интуиция подсказывает нам: оценка с наименьшей дисперсией (если она существует) должна зависеть только от достаточной статистики S. И действительно, следующий наш шаг будет заключаться в переходе от произвольной оценки к оценке зависящей только от достаточной статистики S, причем этот переход совершится таким образом, чтобы дисперсия оценки не превосходила дисперсии исходной оценки

Начиная с этого момента и до конца параграфа будем для простоты предполагать, что неизвестный параметр является одномерным.

Пусть имеется некоторая оценка этого параметра, а также (произвольная) статистика S. Рассмотрим условное математическое ожидание случайной величины при условии S (см. часть 1, гл. 7, параграф 5). Следующее утверждение, играющее основную роль в наших рассуждениях, было получено независимо Д. Блекуэлом, М.М. Рао и А.Н. Колмогоровым.

Теорема:

Улучшение оценки по достаточной статистике. Пусть S — достаточная статистика, а — несмещенная оценка параметра Тогда условное математическое ожидание является несмещенной оценкой параметра зависящей только от достаточной статистики S и удовлетворяющей неравенству

при всех

Доказательство:

В силу достаточности статистики 5 условное распределение, а значит, и условное математическое ожидание оценки при условии S не зависит от неизвестного параметра (для произвольной статистики S функция вообще говоря, может зависеть от т.е. представляет собой оценку параметра причем зависящую только от S. Далее, из равенства

для условного математического ожидания немедленно следует несмещенность оценки

Наконец,

Используя опять свойство условного математического ожидания, получаем

Поэтому

Замечание:

Неравенство (13) превращается для некоторого в равенство тогда и только тогда, когда (почти всюду по мере

Замечание:

Утверждение теоремы остается в силе и для смещенной оценки В частности,

Смысл теоремы 3 заключается в том, что взятие условного математического ожидания, т. е. переход к оценке зависящей только от достаточной статистики S, не ухудшает любую оценку при всех значениях неизвестного параметра

Пример:

Пусть — выборка из нормально распределенной генеральной совокупности с неизвестным средним и известной дисперсией В примере 9 было показано, что оценка даже не является состоятельной оценкой хотя она и несмещенная. Рассмотрим статистику

Нетрудно показать, что статистика S является достаточной для параметра Поэтому мы можем определить новую оценку Для ее вычисления заметим, что величины имеют двумерное нормальное распределение со средними дисперсиями и ковариацией Но тогда, как известно из курса теории вероятностей, условное распределение при условии S = s также является нормальным со средним значением как раз и представляющим собой значение при S = s. Поскольку коэффициент корреляции то среднее значение условного распределения совпадает с s/n и окончательно получаем

Иными словами, мы из совсем плохой оценки получили эффективную (см. пример 11) оценку

Рассмотренный пример приоткрывает нам те возможности, которые несет с собой теорема 3. Однако, прежде чем сделать последний шаг, введем еще одно определение. Назовем статистику полной для семейства распределений если из того, что

при всех (мы для простоты предположили существование плотности распределения следует, что функция тождественно равна нулю. Теперь мы в состоянии сформулировать окончательный итог наших поисков.

Теорема:

Минимальность дисперсии оценки, зависящей от полной достаточной статистики. Пусть S — полная достаточная статистика, — несмещенная оценка неизвестного параметра Тогда

является единственной несмещенной оценкой с минимальной дисперсией.

Доказательство теоремы немедленно вытекает из предыдущих результатов. Действительно, в силу теоремы 3 оценка с минимальной дисперсией обязательно должна находиться среди оценок, зависящих только от достаточной статистики S; в противном случае ее можно было бы улучшить с помощью условного математического ожидания. Но среди оценок, зависящих только от S, может быть максимум одна несмещенная. В самом деле, если таких оценок две: то функция

имеет при всех значениях математическое ожидание

что в силу полноты статистики S влечет за собой равенство нулю. Само же существование несмещенной оценки зависящей только от S, гарантируется существованием просто несмещенной оценки

Перейдем к обсуждению полученных результатов.

Условие полноты статистики S, как мы видим, сводится к единственности несмещенной оценки зависящей только от статистики S. Нам не известно общих теорем, которые давали бы простые правила проверки полноты произвольной статистики S. Однако, как мы увидим из примеров, в конкретных случаях кустарные способы обычно дают хорошие результаты.

Сравнение размерностей полной статистики S и оцениваемого параметра дает право говорить, что, как правило, статистика S должна иметь ту же размерность, что и а поскольку мы ограничились одномерным параметром то S также должна быть одномерной. Это приводит к следующим полезным определениям. Оценка называется достаточной, если она является достаточной как одномерная статистика. Аналогично, назовем оценку полной, если она является полной статистикой.

Сформулируем очевидное следствие из теоремы 4. которое удобно применять во многих частных случаях.

Следствие из теоремы 4. Если оценка несмещенная и зависит только от полной достаточной статистики S, то она имеет минимальную дисперсию.

Пример:

Пусть — выборка из генеральной совокупности, распределенной по нормальному закону с известным средним m и неизвестным средним квадратичным отклонением Нетрудно показать, что статистика

является достаточной для параметра Покажем, что она также полная. Для этого вспомним (см. параграф 4 гл. 1), что случайная величина имеет -распределение с п степенями свободы, а значит, статистика имеет плотность распределения

Пусть теперь — такая функция, что при всех Положим

Тогда

что для всех Но из теории преобразований Лапласа известно, что в этом случае оригинал а значит, и функция также должны тождественно равняться нулю, что и доказывает полноту статистики S.

Рассмотрим теперь оценку

(см. пример 12) неизвестного среднего квадратичного отклонения Эта оценка несмещенная и зависит только от полной достаточной статистики S. Поэтому по следствию из теоремы 4 она имеет минимальную дисперсию, хотя, как было показано в примере 12, и не является эффективной по Рао-Крамеру.

Пример:

Рассмотрим оценку

параметра равномерного на интервале распределения (см. пример 13). В примере 13 показано, что эта оценка несмещенная. Статистика является достаточной (см. пример 16). Покажем, наконец, что — полная статистика. Действительно, для любой функции

Отсюда, в частности, следует, что если при всех то

при всех х. Поэтому и статистика полная.

Таким образом, в силу следствия из теоремы 4 и в этом примере оценка имеет минимальную дисперсию.

Метод моментов

Пусть мы имеем выборку из генеральной совокупности с теоретической функцией распределения F(x), принадлежащей k-параметрическому семейству с неизвестными параметрами которые нужно оценить. Поскольку нам известен вид теоретической функции распределения, мы можем вычислить первые k теоретических моментов. Эти моменты, разумеется, будут зависеть от k неизвестных параметров

Суть метода моментов заключается в следующем: так как выборочные моменты являются состоятельными оценками теоретических моментов (см. пример 8), мы можем в написанной системе равенств при большом объеме выборки п теоретические моменты заменить на выборочные а затем, решая эту систему относительно найти оценки неизвестных параметров. Таким образом, в методе моментов оценки неизвестных параметров определяются из системы уравнений

Можно показать, что при условии непрерывной зависимости решения этой системы от начальных условий оценки, полученные методом моментов, будут состоятельными. Более того, справедлива следующая теорема.

Теорема:

Асимптотическая нормальность оценок, полученных методом моментов. При некоторых условиях, наложенных на семейство совместное распределение случайных величин

при сходится к (многомерному) нормальному закону с нулевыми средними и матрицей ковариаций, зависящей от теоретических моментов и матрицы

Доказательство:

Будем полагать, что выполнены следующие условия: а) параметры однозначно определяются своими моментами

б) существует теоретический момент порядка 2k (это эквивалентно существованию дисперсий у выборочных моментов

в) функция

дифференцируема по с отличным от нуля якобианом

Доказательство теоремы проведем для одномерного случая, предоставляя общий случай читателю. Оно является комбинацией следующих результатов: теоремы о дифференцируемости обратного отображения и центральной предельной теоремы. Действительно, поскольку существует дисперсия DX, то при каждом истинном значении параметра в силу центральной предельной теоремы выборочное среднее

асимптотически при распределено по нормальному закону с параметрами С другой стороны, сама оценка записывается в виде

где — обратная к функция. В силу сделанных предположений обратное отображение в окрестности точки приближенно представляет собой линейную функцию

причем Но тогда и случайная величина как приближенно линейное преобразование приближенно нормальной случайной величины распределена приближенно по нормальному закону со средним и дисперсией Это доказывает утверждение теоремы.

Пример:

Найдем методом моментов оценку неизвестной вероятности успеха в схеме Бернулли. Поскольку в схеме Бернулли только один неизвестный параметр, для его определения необходимо приравнять теоретическое математическое ожидание числа успехов в одном испытании выборочному среднему

Итак, оценка полученная методом моментов, представляет собой наблюденную частоту успехов. Свойства этой оценки были нами достаточно полно исследованы в примерах 1, 4, 7 и 10.

Пример:

Выборка произведена из генеральной совокупности с теоретической функцией распределения, имеющей гамма-плотность

с двумя неизвестными параметрами Первые два момента случайной величины X, имеющей гамма-распределение, задаются формулами:

Отсюда для определения оценок неизвестных параметров получаем систему двух уравнений:

решение которой имеет вид

Вообще говоря, в методе моментов не обязательно использовать первые k моментов. Более того, можно рассматривать моменты не обязательно целого порядка. Иногда для использования в методе моментов привлекают более или менее произвольные функции сравнивая выборочные средние

функций с теоретическими средними

Пример:

Пусть выборка произведена из нормальной генеральной совокупности с известным средним т и неизвестной дисперсией Попробуем для оценивания применить метод моментов, взяв выборочное среднее Но теоретическое среднее не зависит от параметра Это означает, что использование выборочного среднего для оценивания неизвестной дисперсии неправомочно и нужно привлекать моменты других порядков. В частности, применяя второй выборочный момент и вспоминая, что получаем оценку

Следует отметить, что оценки, полученные методом моментов, обычно имеют эффективность существенно меньше единицы и даже являются смещенными. Иногда из-за своей простоты они используются в качестве начального приближения для нахождения более эффективных оценок.

Метод максимального правдоподобия

Метод максимального правдоподобия является наиболее распространенным методом нахождения оценок. Пусть по-прежнему выборка произведена из генеральной совокупности с неизвестной теоретической функцией распределения F(x), принадлежащей известному однопараметрическому семейству Функция

в дискретном случае и

в непрерывном называется функцией правдоподобия. Отметим,что в функции правдоподобия элементы выборки являются фиксированными параметрами, а — аргументом (а не истинным значением неизвестного параметра). Функция правдоподобия по своей сути представляет собой не что иное, как вероятность (в непрерывном случае плотность распределения) получить именно ту выборку которую мы реально имеем, если бы значение неизвестного параметра равнялось Естественно поэтому в качестве оценки неизвестного параметра выбрать доставляющее наибольшее значение функции правдоподобия Оценкой максимального правдоподобия называется такое значение для которого

При практической реализации метода максимального правдоподобия удобно пользоваться не самой функцией правдоподобия, а ее логарифмом.

Уравнением правдоподобия называется уравнение

Если функция правдоподобия дифференцируема по в каждой точке, то оценку максимального правдоподобия следует искать среди значений удовлетворяющих уравнению правдоподобия или принадлежащих границе области допустимых значений . Для наиболее важных семейств уравнение правдоподобия имеет единственное решение которое и является оценкой максимального правдоподобия.

Пример:

Найдем оценку неизвестной вероятности успеха в схеме Бернулли, но теперь уже в отличие от примера 21 методом максимального правдоподобия. Поскольку если X = 0, то функцию правдоподобия можно записать так:

где — суммарное число успехов в п испытаниях. Тогда уравнение правдоподобия принимает вид

Решая это уравнение, имеем

Поскольку

то представляет собой выпуклую вверх функцию Значит, доставляет максимум функции правдоподобия т.е. является оценкой максимального правдоподобия. Эта оценка представляет собой, как и в примере 21, наблюденную частоту успехов.

Оказывается, имеется тесная связь между эффективными оценками и оценками, полученными методом максимального правдоподобия. А именно, справедлива следующая теорема.

Теорема:

Совпадение эффективной оценки с оценкой максимального правдоподобия. Если (естественно, при условиях регулярности теоремы 1) существует эффективная оценка то она является оценкой максимального правдоподобия

Доказательство теоремы 6 представляет собой дальнейшее уточнение доказательства теоремы 1. Действительно, как следует из замечания 1 к теореме 1, из существования эффективной оценки вытекает (6) и (8) Отсюда и из (4) следует равенство

Поэтому из условия строгой положительности информации I вытекает строгая положительность которая в свою очередь влечет за собой единственность решения

уравнения правдоподобия

Это решение совпадает с эффективной оценкой и задает единственный максимум функции правдоподобия

В общем случае оценка максимального правдоподобия может быть не только неэффективной, но и смещенной. Тем не менее она обладает свойством асимптотической эффективности в следующем смысле.

Теорема:

Асимптотическая эффективность оценки максимального правдоподобия. При некоторых условиях на семейство уравнение правдоподобия имеет решение, при асимптотически распределенное по нормальному закону со средним и дисперсией где I — информация Фишера.

Доказательство:

Сначала сформулируем условия теоремы (см. [9]), которые, как мы увидим далее, гарантируют возможность дифференцируемости под знаком интеграла и разложения в ряд Тейлора до первого члена:

а) для (почти) всех х существуют производные

б) при всех справедливы неравенства

где функции интегрируемы на причем M не зависит от

в) информация I конечна и положительна для всех

Обозначим через истинное значение неизвестного параметра В силу условий теоремы справедливо следующее разложение в окрестности

причем Тогда после умножения на уравнение правдоподобия можно записать в виде

где случайные величины определяются выражениями

Рассмотрим поведение при больших п. Дифференцируя (1) по получаем

Поэтому

Вернемся к уравнению (14) и воспользуемся сначала тем фактом, что при в силу закона больших чисел причем, согласно условиям теоремы, Тогда можно показать, что уравнение (14) будет в некоторой окрестности иметь асимптотически единственное решение которое к тому же определяется приближенной формулой

Величина по центральной предельной теореме, при имеет асимптотически нормальное распределение с нулевым средним и дисперсией

Поэтому оценка также асимптотически распределена по нормальному закону с параметрами

Замечание:

Доказанная теорема гарантирует, что среди всех решений уравнения правдоподобия существует по крайней мере одно обладающее свойством асимптотической эффективности в указанном смысле. Более того, такое решение асимптотически единственно в некоторой окрестности точки (т. е. вероятность того, что в этой окрестности имеется другое решение уравнения правдоподобия, с ростом п стремится к нулю) и именно оно доставляет локальный максимум функции правдоподобия в этой окрестности. Но с самого начала мы назвали оценкой максимального правдоподобия оценку, доставляющую глобальный максимум функции правдоподобия. Такая оценка, вообще говоря, может не совпадать с и даже быть неединственной. Однако если семейство распределений удовлетворяет естественному свойству разделимости, смысл которого сводится к тому, что для достаточно удаленных друг от друга распределения также достаточно хорошо отличаются друг от друга, то любая оценка максимального правдоподобия будет состоятельной, т.е. стремиться к оцениваемому параметру. Вкупе с доказанной теоремой это означает асимптотическую единственность оценки максимального правдоподобия и совпадение ее с что позволяет при асимптотическом анализе свойств оценки максимального правдоподобия говорить не об одном из решений уравнения правдоподобия или даже не об одной из оценок максимального правдоподобия, а просто об оценке максимального правдоподобия Детальный разбор этого явления можно найти в [И]. Там же показано, что для оценки близости распределений удобно использовать расстояние Кульбака-Лейблера

поскольку в силу закона больших чисел именно к расстоянию Кульбака-Лейблера при сходится с точностью до знака, постоянной

здесь — аргумент функции правдоподобия, а — истинное значение неизвестного параметра.

В случае, когда семейство зависит от нескольких неизвестных параметров при использовании метода максимального правдоподобия нужно искать максимум функции правдоподобия или ее логарифма по k аргументам Уравнение правдоподобия превращается в систему уравнений

Пример:

Выборка произведена из нормальной генеральной совокупности с неизвестными параметрами (среднее) и (дисперсия). Найдем их оценки методом максимального правдоподобия. Логарифм функции правдоподобия задается формулой

Система уравнений правдоподобия имеет вид

Таким образом,

Читателю предлагается самостоятельно показать, что доставляют максимум функции правдоподобия Оценки параметров совпадают с выборочным средним и выборочной дисперсией Отметим, что оценка неизвестного математического ожидания является эффективной (см. пример 11), чего нельзя сказать об оценке неизвестной дисперсии которая, как мы знаем, является даже смещенной.

Оказывается, однако, что если мы в качестве оценки параметра рассмотрим выборочную дисперсию то эта оценка будет уже не только несмещенной, но и иметь минимальную дисперсию среди всех несмещенных оценок параметра Последний факт вытекает из неравенства Бхаттачария [7], обобщающего неравенство Рао-Крамера, а также может быть установлен из свойств многомерных достаточных оценок [11].

Метод минимального расстояния

Суть этого метода заключается в следующем. Предположим, что любым двум функциям распределения поставлено в соответствие число

называемое расстоянием, причем Пусть теперь, как обычно, задана выборка из генеральной совокупности с теоретической функцией распределения F(x), принадлежащей параметрическому семейству Вычислим расстояние между эмпирической функцией распределения и функциями распределения из данного семейства. Оценкой, полученной методом минимального расстояния, называется такое значение для которого

т. е. такое значение которое определяет ближайшую к в смысле расстояния р функцию распределения из семейства

Приведем примеры некоторых наиболее часто встречающихся в математической статистике расстояний.

Равномерное расстояние (расстояние Колмогорова) определяется формулой

Расстояние имеет вид

Расстояние употребляется для функций распределения дискретных случайных величин принимающих одинаковые значения и задается выражением

где вероятности определяются рядами распределения случайных величин

Использование приведенных выше расстояний для получения оценок весьма сложно в вычислительном плане, и поэтому они употребляются крайне редко. Здесь мы упомянули об этих расстояниях только потому, что применение оценок, полученных с их помощью, позволяет упростить вычисление уровней значимости критериев при проверке сложных непараметрических статистических гипотез, поскольку такие оценки естественным образом связаны с соответствующими критериями (см. параграф 5 гл. 3).

Метод номограмм

Еще одним методом, позволяющим, пользуясь только номограммами (специальным образом разлинованными листами бумаги, которые в математической статистике носят название вероятностной бумаги), весьма просто и быстро оценить неизвестные параметры, является метод номограмм. Его сущность состоит в следующем. Пусть мы имеем выборку из генеральной совокупности с неизвестной теоретической функцией распределения, принадлежащей двухпараметрическому семейству Предположим теперь, что каким-то чрезвычайно простым способом удалось построить функцию распределения из семейства достаточно хорошо приближающую эмпирическую функцию распределения Тогда будут являться оценками неизвестных параметров причем в силу теоремы Гливенко-Кантелли состоятельными при весьма слабых условиях, накладываемых на семейство

Казалось бы, мы пришли к не менее сложной задаче: найти «чрезвычайно простой» способ приближения эмпирической функции распределения функцией распределения из семейства Оказывается, однако, что графики функций распределения тех семейств в которых по сути дела, связаны с параметрами «сдвига» и «масштаба» (к таким семействам относятся, например, нормальное, логнормальное и т.д.), можно с помощью некоторых нелинейных преобразований координат превратить в семейство прямых линий. Тогда, построив в этих новых координатах график эмпирической функции распределения нетрудно визуально провести прямую, которая достаточно хорошо приближает а затем уже по коэффициентам проведенной прямой найти оценки и неизвестных параметров

Практическая реализация метода номограмм происходит следующим образом. Сначала выборку преобразуют в вариационный ряд и на номограмме для соответствующего семейства откладывают точки с координатами абсциссы которых представляют собой точки скачков эмпирической функции распределения а ординаты — середины этих скачков. Затем «на глаз» проводят прямую линию, проходящую как можно ближе ко всем точкам Наконец, с помощью пояснений к номограмме по коэффициентам прямой находят оценки неизвестных параметров

Пример 26. Предполагая в примере 1 из гл. 1, что проекция вектора скорости молекул водорода распределена по нормальному закону, оценим с помощью метода номограмм неизвестное математическое ожидание и дисперсию Воспользовавшись вариационным рядом выборки, найдем координаты точек (табл.3). Отложим точки на номограмме для нормального распределения (на нормальной вероятностной бумаге) и проведем «на глаз» прямую А, задаваемую уравнением (рис. 1).

Оценка математического ожидания совпадает с точкой пересечения прямой А с осью абсцисс, т. е. Для того чтобы найти оценку дисперсии определим значение коэффициента Тогда Для сравнения приведем значения оценок этих же параметров, полученные методом максимального

правдоподобия (см. пример 18, а также пример 8 из гл. 1): Как видим, оценки весьма близки.

Следует отметить, что с помощью метода номограмм можно судить также о правильности выбора семейства Действительно, по множеству точек сразу видно, группируются они вокруг некоторой прямой или нет. Если нет, то возникают серьезные сомнения в принадлежности теоретического распределения F(x) семейству

Доверительные интервалы

Полученные в предыдущих параграфах оценки неизвестных параметров естественно называть точечными, поскольку они оценивают неизвестный параметр одним числом или точкой. Однако, как мы знаем, точечная оценка не совпадает с оцениваемым параметром и более разумно было бы указывать те допустимые границы, в которых может находиться неизвестный параметр при наблюденной выборке К сожалению, в подавляющем большинстве важных для практики случаев при любой выборке достоверная область, в которой может находиться неизвестный параметр совпадает со всей возможной областью изменения этого параметра, поскольку такую выборку мы можем получить с ненулевой вероятностью (или плотностью распределения) при каждом значении Поэтому приходится ограничиваться нахождением границ изменения неизвестного параметра с некоторой наперед заданной степенью доверия или доверительной вероятностью.

Доверительной вероятностью назовем такую вероятность что событие вероятности можно считать невозможным. Разумеется, выбор доверительной вероятности полностью зависит от исследователя, причем во внимание принимаются не только его личные наклонности, но и физическая суть рассматриваемого явления. Так, степень доверия авиапассажира к надежности самолета, несомненно, должна быть выше степени доверия покупателя к надежности электрической лампочки. В математической статистике обычно используют значения доверительной вероятности 0,9, 0,95, 0,99, реже 0,999, 0,9999 и т. д.

Задавшись доверительной вероятностью мы уже можем по выборке определить интервал в котором будет находиться неизвестный параметр Такой интервал называется доверительным интервалом (иногда также говорят «интервальная оценка») доверительной вероятности для неизвестного параметра Отметим, что доверительная вероятность а ни в коей мере не является вероятностью неизвестному параметру принадлежать доверительному интервалу поскольку, как мы предположили с самого начала, априорные сведения о параметре в частности о его распределении, отсутствуют. Когда говорят, что неизвестный параметр не может выйти за границу доверительного интервала констатируют только, что если при любом истинном значении в результате эксперимента получена выборка а затем по ней построен доверительный интервал то этот интервал с вероятностью накроет значение

Доверительные интервалы определим, следуя Ю. Нейману, опираясь на точечные оценки. По заданной оценке доверительные интервалы доверительной вероятности а можно построить различными способами. На практике обычно используют два типа доверительных интервалов: симметричные и односторонние. Ограничимся описанием процедуры построения симметричных доверительных интервалов. Односторонние доверительные интервалы находятся совершенно аналогично.

Итак, пусть у нас имеется выборка из генеральной совокупности с неизвестной теоретической функцией распределения F(x), принадлежащей однопараметрическому семейству Предположим также, что нами выбрана некоторая оценка по которой мы хотим построить симметричный доверительный интервал доверительной вероятности Для этого возьмем произвольное значение и найдем функцию распределения оценки Определим и из решения уравнений (см. рис. 2):

(напомним, что носят название -квантилей функции распределения Таким образом, при заданном оценка будет с вероятностью заключена в интервале причем вероятность попадания как влево, так и вправо от интервала имеет одно и то же значение (отсюда происходит название «симметричный»). Откладывая теперь на графике рис. 3 по оси абсцисс значение параметра а по оси ординат — соответствующие ему значения получим кривые В силу принципа невозможности события, происходящего с вероятностью 1 — а, заключаем, что все возможные пары могут находиться только внутри области G между кривыми Для окончания построения доверительного интервала остается заметить, что, получив по выборке оценку мы вправе сделать вывод: неизвестный параметр в обязан лежать внутри интервала где определяются из решения уравнений

Именно интервал и является симметричным доверительным интервалом доверительной вероятности

Пример 27. Построим симметричный доверительный интервал доверительной вероятности а для неизвестной вероятности успеха в схеме Бернулли. Естественно в качестве оценки взять наблюденную частоту

где — суммарное наблюденное число успехов (см. пример 24).

При малом объеме выборки п процедура построения доверительных интервалов трудоемка, поскольку она практически сводится к перебору значений неизвестного параметра. Поэтому существуют специальные таблицы (см. [1], табл. 5.2), которые по наблюденным значениям числа успехов и числа неудач дают границы доверительного интервала доверительной вероятности а.

При больших объемах выборки п пользуются тем фактом, что в силу интегральной теоремы Муавра-Лапласа оценка распределена приближенно по нормальному закону со средним и дисперсией Тогда решения уравнений

связаны с -квантилями (см. [1], табл. 1.3) стандартного нормального закона формулами

Учитывая, что уравнения кривых можно записать в единой эквивалентной форме

Последнее уравнение, как нетрудно видеть, представляет собой уравнение эллипса (рис. 4) (физически непонятный выход эллипса за полосу связан с тем, что при близких к нулю или единице, необходимо в соответствии с теоремой Пуассона использовать не нормальную, а пуассоновскую аппроксимацию оценки Уравнение для определения границ доверительного интервала имеет вид

откуда окончательно получаем

Пример:

Построим симметричный доверительный интервал доверительной вероятности а для неизвестного среднего нормального закона при известной дисперсии Эффективной оценкой параметра как мы знаем (пример 18), является выборочное среднее

Оценка также распределена по нормальному закону с параметрами Поэтому

т.е. представляют собой уравнения двух параллельных прямых (рис. 5). Решая уравнения получаем границы доверительного интервала или, учитывая, что

Пример:

Как и в предыдущем примере, предположим, что выборка произведена из нормальной генеральной совокупности, но с неизвестной дисперсией а среднее известно и равно т. В качестве оценки неизвестной дисперсии возьмем выборочную дисперсию

Тогда случайная величина будет иметь -распределение с п степенями свободы, а значит, решения уравнений

определяются формулами

где — а-квантиль -распределения с п степенями свободы (см. [1], табл. 2.26). Уравнения

представляют собой уравнения двух лучей, исходящих из начала координат (рис.6), и, значит, границы симметричного доверительного интервала доверительной вероятности а для неизвестной дисперсии задаются формулами

Пример:

Рассмотрим, наконец, случай, когда в выборке из нормальной генеральной совокупности неизвестны оба параметра: среднее и дисперсия В качестве их оценок воспользуемся выборочным средним

и выборочной дисперсией

(см. пример 25).

Построение доверительного интервала для неизвестного среднего начнем с определения случайной величины

которая, как говорилось в параграфе 4 гл. 1, имеет t-распределение с п — 1 степенями свободы. Обозначим через -квантили t-распределения (см. [1], табл. 3.2). Тогда значение оценки среднего с вероятностью а будет лежать в пределах

Продолжая рассуждения, как и в случае известной дисперсии, и учитывая равенство получаем окончательные выражения для границ симметричного доверительного интервала доверительной вероятности a:

Доверительный интервал доверительной вероятности а для неизвестной дисперсии строится точно так же, как и в примере 29:

При этом нужно учитывать, что квантили берутся для -распределения с степенями свободы, поскольку одна степень свободы уходит на определение неизвестного среднего

В заключение отметим, что в современной математической статистике доверительные интервалы строят так же, основываясь на критериях значимости.

Решение заданий и задач по предметам:

• Теория вероятностей
• Математическая статистика

Дополнительные лекции по теории вероятностей:

1. Случайные события и их вероятности
2. Случайные величины
3. Функции случайных величин
4. Числовые характеристики случайных величин
5. Законы больших чисел
6. Статистические оценки
7. Статистическая проверка гипотез
8. Статистическое исследование зависимостей
9. Теории игр
10. Вероятность события
11. Теорема умножения вероятностей
12. Формула полной вероятности
13. Теорема о повторении опытов
14. Нормальный закон распределения
15. Определение законов распределения случайных величин на основе опытных данных
16. Системы случайных величин
17. Нормальный закон распределения для системы случайных величин
18. Вероятностное пространство
19. Классическое определение вероятности
20. Геометрическая вероятность
21. Условная вероятность
22. Схема Бернулли
23. Многомерные случайные величины
24. Предельные теоремы теории вероятностей
25. Генеральная совокупность

Условие

Решение

Написать комментарий

§ 8. ПРИМЕНЕНИЕ ТЕОРИИ ВЕРОЯТНОСТИ К СТАТИСТИКЕ.

8.2. Определение неизвестных параметров распределения.

C помощью гистограммы мы можем приближенно построить график плотности распределения случайной величины .
Вид этого графика часто позволяет высказать предположение о плотности распределения вероятностей случайной величины .
В выражение этой плотности распределения обычно входят некоторые параметры, которые требуется определить из опытных данных.

Остановимся на том частном случае, когда плотность распределения зависит от двух параметров.

Итак, пусть x₁, x₂, …, x_n — наблюдаемые значения непрерывной случайной величины , и
пусть ее плотность распределения вероятностей зависит от двух неизвестных параметров A и B, т.е. имеет вид .
Один из методов нахождения неизвестных параметров A и B состоит в том, что их выбирают таким образом, чтобы математическое ожидание и дисперсия теоретического
распределения совпали с выборочными средними значением и дисперсией :

(66)

где

(67)

Из двух полученных уравнений (66) находят неизвестные параметры A и B. Так, например, если
случайная величина подчиняется нормальному закону распределения вероятностей, то ее плотность распределения вероятностей

зависит от двух параметров a и . Эти параметры, как мы знаем, являются соответственно математическим ожиданием и
средним квадратическим отклонением случайной величины ; поэтому равенства (66) запишутся так:

(68)

Следовательно, плотность распределения вероятностей имеет вид

Замечание 1. Такую задачу мы уже решали в § 7. Результат
замера есть случайная величина , подчиняющаяся нормальному закону распределения с параметрами a и .
За приближенное значение a мы выбрали величину , а за приближенное значение — величину .

Замечание 2. При большом количестве опытов нахождение величин и по формулам (67)
cвязано с громоздкими вычислениями. Поэтому поступают так: каждое из наблюдаемых значений величины , попавшее в i-й
интервал ] X_i-1, X_i [ статистического ряда, считают приближенно равным середине c_i этого интервала, т.е.
c_i=(X_i-1+X_i)/2. Рассмотрим первый интервал ] X₀, X₁ [. В него попало m₁
наблюдаемых значений случайной величины , каждое из которых мы заменяем числом с₁. Следовательно, сумма этих
значений приближенно равна m₁с₁. Аналогично, сумма значений , попавших во второй интервал, приближенно
равна m₂с₂ и т.д. Поэтому

Подобным же образом получим приближенное равенство

Итак,

(69)

где n=m₁+m₂+…+m_k, а k — число интервалов статистического ряда.

Замечание 3. На практике для еще большего упрощения вычислений прибегают к следующему приему. Пусть x₀ — произвольное число.
Обозначим u_i=с_i-x₀ и рассмотрим величины v₁ и v₂, определяемые соотношениями

(70)

Покажем, что

(71)

Действительно,

так как

[cм.формулы (69)].

Итак, , откуда .
Аналогично доказывается и второе из соотношений (71)

Пример. Построенная гистограмма для статистического распределения
значений диаметра вала хвостовика (см. рис. 17) позволяет сделать предположение о том,
что мы имеем дело с нормальным законом распределения. Требуется, исходя из опытных данных, представленных в таблице из примера п.8.1.,
определить параметры a и этого распределения. (Решение)

Дальше…