Как найти кривая нормального распределения - Исправление недочетов и поиск решений вместе с Examum.ru

Нормальное распределение

Время на прочтение
7 мин

Количество просмотров 36K

Автор статьи: Виктория Ляликова

Нормальный закон распределения или закон Гаусса играет важную роль в статистике и занимает особое положение среди других законов. Вспомним как выглядит нормальное распределение

$frac{1}{sigmasqrt{2pi}}e^left(-frac{(x-a)^2)}{2sigma^2}right)$

где a -математическое ожидание, — среднее квадратическое отклонение.

Тестирование данных на нормальность является достаточно частым этапом первичного анализа данных, так как большое количество статистических методов использует тот факт, что данные распределены нормально. Если выборка не подчиняется нормальному закону, тогда предположении о параметрических статистических тестах нарушаются, и должны использоваться непараметрические методы статистики

Нормальное распределение естественным образом возникает практически везде, где речь идет об измерении с ошибками. Например, координаты точки попадания снаряда, рост, вес человека имеют нормальный закон распределения. Более того, центральная предельная теорема вообще утверждает, что сумма большого числа слагаемых сходится к нормальной случайной величине, не зависимо от того, какое было исходное распределение у выборки. Таким образом, данная теорема устанавливает условия, при которых возникает нормальное распределение и нарушение которых ведет к распределению, отличному от нормального.

Можно выделить следующие этапы проверки выборочных значений на нормальность

Подсчет основных характеристик выборки. Выборочное среднее, медиана, коэффициенты асимметрии и эксцесса.
Графический. К этому методу относится построение гистограммы и график квантиль-квантиль или кратко QQ
Статистические методы. Данные методы вычисляют статистику по данным и определяют, какая вероятность того, что данные получены из нормального распределения

При нормальном распределении, которое симметрично, значения медианы и выборочного среднего будут одинаковы, значения эксцесса равно 3, а асимметрии равно нулю. Однако ситуация, когда все указанные выборочные характеристики равны именно таким значениям, практически не встречается. Поэтому после этапа подсчета выборочных характеристик можно переходить к графическому представлению выборочных данных.

Гистограмма позволяет представить выборочные данные в графическом виде – в виде столбчатой диаграммы, где данные делятся на заранее определенное количество групп. Вид гистограммы дает наглядное представление функции плотности вероятности некоторой случайной величины, построенной по выборке.

График QQ (квантиль-квантиль) является графиком вероятностей, который представляет собой графический метод сравнения двух распределений путем построения их квантилей. QQ график сравнивает наборы данных теоретических и выборочных (эмпирических) распределений. Если два сравниваемых распределения подобны, тогда точки на графике QQ будут приблизительно лежать на линии y=x. Основным шагом в построении графика QQ является расчет или оценка квантилей.

Существует множество статистических тестов, которые можно использовать для проверки выборочных значений на нормальность. Каждый тест использует разные предположения и рассматривает разные аспекты данных.

Чтобы применять статистические критерии сформулируем задачу. Выдвигаются две гипотезы H0 и H1, которые утверждают

H0 — Выборка подчиняется нормальному закону распределения

H1 — Выборка не подчиняется нормальному распределению

Установи уровень значимости alpha=0,05.

Теперь задача состоит в том, чтобы на основании какого-то критерия отвергнуть или принять основную нулевую гипотезу при уровне значимости

Критерий Шапиро-Уилка

Критерий Шапиро-Уилка основан на отношении оптимальной линейной несмещенной оценки дисперсии к ее обычной оценке методом максимального правдоподобия. Статистика критерия имеет вид

$W=frac{1}{s^2}{sumlimits_{i=1}^n{a_{n-i+1}(x_{n-i+1}-x_{i})}} s^2=sumlimits_{i=1}^n(x_i-overline x^2) overline x=frac{1}{n}sumlimits_{i=1}^n{x}$

Числитель является квадратом оценки среднеквадратического отклонения Ллойда. Коэффициенты ${a_{n-i+1}}$ и критические значения статистики являются табулированными значениями. Если , то нулевая гипотеза нормальности распределения отклоняется на уровне значимости .

В Python функция содержится в библиотеке scipy.stats и возвращает как статистику, рассчитанную тестом, так и значение p. В Python можно использовать выборку до 5000 элементов. Интерпретация вывода осуществляется следующим образом

Если значение , тогда принимается гипотеза H0, в противном случае, т.е. если, , тогда принимается гипотеза H1, т.е. что выборка не подчиняется нормальному закону.

Критерий Д’Агостино

В данном критерии в качестве статистики для проверки нормальности распределения используется отношение оценки Даутона для стандартного отклонения к выборочному стандартному отклонению, оцененному методом максимального правдоподобия

$D=frac{T}{n^2s} T=sumlimits_{i=1}^nbigg(i-frac{n+1}{2}bigg)x_i s^2=sumlimits_{i=1}^n(x_i-overline x^2), {x_1}leq...leq{x_n}$

В качестве статистики критерия Д’Агостино используется величина

$Y=sqrt{n}frac{(D-0,28209479)}{0,02998598}$

значение которой рассчитывается на основе центральной предельной теоремы, которая утверждает, что при

$limlimits_{x to infty}Pbigg(frac{D-M[D]}{sqrt{D[D]}}{<x}bigg)=Phi(x)$

гдестандартная нормальная случайная величина.

Критические значения являются табулированными значениями. Гипотеза нормальности принимается, если значение статистики лежит в интервале критических значений. Данный критерий показывает хорошую мощность против большого спектра альтернатив, по мощности немного уступая критерию Шапиро-Уилка.

В Python функция normaltest() также содержится в библиотеке scipy.stats и возвращает статистику теста и значение p. Интерпретация результата аналогична результатам в критерии Шапиро-Уилка.

Критерий согласия— Пирсона

Данный критерий является одним из наиболее распространенных критериев проверки гипотез о виде закона распределения и позволяет проверить значимость расхождения эмпирических (наблюдаемых) и теоретических (ожидаемых) частот. Таким образом, данный критерий позволяет проверить гипотезу о принадлежности наблюдаемой выборки некоторому теоретическому закону. Можно сказать, что критерий является универсальным, так как позволяет проверить принадлежность выборочных значений практическому любому закону распределения.

Для решения задачи используется статистика — Пирсона

$G=sumlimits_{k=1}^mfrac{(v_k-np_k)^2}{np_k}$

где — эмпирические частоты (подсчитывается число элементов выборки, попавших в интервал), ${np_k}$ — теоретические частоты. Подсчитывается критическое значение $chi^2_{кр}$ . Если $Ggeq chi^2_{кр}$ , отклоняется гипотеза о принадлежности выборки нормальному распределению и принимается, если $G< chi^2_{кр}$ .

Теперь перейдем к практической части. Для демонстрации функций будем использовать Dataset, взятый с сайта kaggle.com по прогнозированию инсульта по 11 клиническим характеристикам.

Загружаем необходимые библиотеки

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np

Загружаем датасет

data_healthcares = pd.read_csv('E:/vika/healthcare-dataset-stroke-data.csv')

Набор состоит из 5110 строк и 12 столбцов.

Посмотрим на основные характеристики, каждого признака.
data_healthcares.describe()

Из данных характеристик можно увидеть, что есть пропущенные значения в показателях индекс массы тела. Посчитаем количество пропущенных значений.

Если бы нам необходимо было делать модель для прогноза, то пропущенные значения bmi являются достаточно большой проблемой, в которой возникает вопрос как их восстановить. Поэтому будем предполагать, что значения столбца bmi (индекс массы тела) подчиняются нормальному закону распределения (предварительно был построен график распределения, поэтому сделано такое предположение). Но так как, на данный момент, у нас нет необходимости в построении модели для прогноза, то удалим все пропущенные значения

new_data=data_healthcares.dropna()

Теперь можем приступать к проверке выборочных значений показателя bmi на нормальность. Вычислим основные выборочные характеристики

Выборочная характеристика	Код в python	Значение характеристики
Выборочное среднее	new_data.bmi.mean()	28,89
Выборочная медиана	new_data.bmi.median()	28,1
Выборочная мода	new_data.bmi.mode()	28,7
Выборочное среднеквадратическое отклонение	new_data.bmi.std()	7.854066729680458
Выборочный коэффициент асиметрии	new_data.bmi.skew()	1.0553402052962928
Выборочный эксцесс	new_data.bmi.kurtosis()	3.362659165623678

После вычислений основных характеристик мы видим, что выборочное среднее и медиана можно сказать принимают одинаковые значения и коэффициент эксцесса равен 3. Но, к сожалению коэффициент асимметрии равен 1, что вводить нас в некоторое замешательство, т.е. мы уже можем предположить, что значения bmi не подчиняются нормальному закону. Продолжим исследования, перейдем к построению графиков.

Строим гистограмму

fig = plt.figure
fig,ax= plt.subplots(figsize=(7,7))
sns.distplot(new_data.bmi,color='red',label='bmi',ax=ax)
plt.show()

Гистограмма достаточно хорошо напоминает нормальное распределение, кроме конечно, небольшого выброса справа, но смотрим дальше. Тут скорее, можно предположить, что значения bmi подчиняются распределению .

Строим QQ график. В python есть отличная функция qqplot(), содержащаяся в библиотеке statsmodel, которая позволяет строить как раз такие графики.

from statsmodels.graphics.gofplots import qqplot
from matplotlib import pyplot
qqplot(new_data.bmi, line=’s’)
Pyplot.show

Что имеем из графика QQ? Наши выборочные значений имеют хвосты слева и справа, и также в правом верхнем углу значения становятся разреженными.

На основе данных графика можно сделать вывод, что значения bmi не подчиняются нормальному закону распределения. Рядом приведен пример QQ графика распределения хи-квадрат с 8 степенями свободы из выборки в 1000 значений.

Для примера построим график QQ для выборки из нормального распределения с такими же показателями стандартного отклонения и среднего, как у bmi.

std=new_data.bmi.std() # вычисляем отклонение
mean=new_data.bmi.mean() #вычисляем среднее
Z=np.random.randn(4909)*std+mean # моделируем нормальное распределение
qqplot(Z,line='s') # строим график
pyplot.show()

Продолжим исследования. Перейдем к статистическим критериям. Будем использовать критерий Шапиро-Уилка и Д’Агостино, чтобы окончательно принять или опровергнуть предположение о нормальном распределении. Для использования критериев подключим библиотеки

from scipy.stats import shapiro
from scipy.stats import normaltest
shapiro(new_data.bmi)
ShapiroResult(statistic=0.9535483717918396, pvalue=6.623218133972133e-37)
Normaltest(new_data.bmi)
NormaltestResult(statistic=1021.1795052962864, pvalue=1.793444363882936e-222)

После применения двух тестов мы имеем, что значение p-value намного меньше заданного критического значения alpha , значит выборочные значения не принадлежат нормальному закону.

Конечно, мы рассмотрели не все тесты на нормальности, которые существуют. Какие можно дать рекомендации по проверке выборочных значений на нормальность. Лучше использовать все возможные варианты, если они уместны.

На этом все. Еще хочу порекомендовать бесплатный вебинар, который 15 июня пройдет на платформе OTUS в рамках запуска курса Математика для Data Science. На вебинаре расскажут про несколько часто используемых подходов в анализе данных, а также разберут, какие математические идеи работают у них под капотом и почему эти подходы вообще работают так, как нам нужно. Регистрация на вебинар доступна по этой ссылке.

Источник

Предлагаю вашему вниманию адаптированный перевод главы книги OnlineStatBook посвященной нормальным распределениям.

Вводный раздел определяет, что значит для распределения быть нормальным и представляет некоторые важные свойства нормального распределения. Интересная история открытия нормального распределения описана во втором разделе. Методы вычисления вероятностей, основанные на нормальном распределении, описаны в разделе «Области нормального распределения». «Разновидности нормального распределения» позволяет вам вводить значения среднего и стандартного отклонения нормального распределения и строить графики получившегося распределения. Часто используемое нормальное распределение, называемое стандартным нормальным распределением, описывается в одноименном разделе. Биномиальное распределение может быть аппроксимировано нормальным. Раздел «Нормальное приближение к биномиальному распределению» показывает это приближение. Демонстрация аппроксимации нормальным распределением позволяет вам исследовать точность этого приближения.

Введение

Нормальное распределение является наиболее важным и широко используемым распределением в статистике. Его иногда называют «колоколообразной кривой», хотя музыкальные качества такого колокола были бы не так приятны. Также его называют «распределением Гаусса» в честь математика Карла Фридриха Гаусса. Как вы увидите в разделе об истории нормального распределения, хотя Гаусс играл в ней важную роль, впервые обнаружил нормальное распределение Абрахам де Муавр.

Строго говоря, некорректно говорить о «нормальном распределении» поскольку существует много нормальных распределений. Нормальные распределения могут отличаться своими средними и стандартными отклонениями. На рис. 1 три нормальных распределения. У зеленого (самого левого) среднее равно -3, а стандартное отклонение 0.5, у красного распределения (посередине) среднее равно 0, а стандартное отклонение 1, и у черного распределение (справа) среднее равно 2 а стандартное отклонение 3. Эти, как и все другие нормальные распределения являются симметричными с относительно большими значениями в центре распределения и меньшими значениями в хвостах.

Рисунок 1. Нормальные распределения отличаются средним и стандартным отклонением

Плотность нормального распределения (высота для данного значения на оси x) показана ниже. Нормальное распределение определяется параметрами (mu) и (sigma) являющимися средним и стандартным отклонением соответственно. Символ (e) это основание натурального логарифма, а (pi) это константа пи.

$$
frac{1}{sqrt{2pisigma^2}} e^{frac{-(x-mu)^2}{2sigma^2}}
$$

Поскольку мы не будем углубляться в математическую трактовку статистики, не беспокойтесь, если это выражение вас смущает. Мы не будем возвращаться к нему в следующих разделах.

Семь свойств нормального распределения указаны ниже. Эти свойства будут более подробно проиллюстрированы в следующих разделах этой главы.

Нормальные распределения симметричны относительно своих средних.
Среднее значение, мода и медиана нормального распределения совпадают.
Площадь под нормальным распределением равна 1.
Нормальные распределения плотнее в центре и менее плотны в хвостах.
Нормальные распределения определяются двумя параметрами: среднее (m) и стандартное отклонение (s).
68% площади нормального распределения находится в пределах одного стандартного отклонения от среднего.
Примерно 95% площади нормального распределения находится в пределах двух стандартных отклонений от среднего.

История нормального распределения

В главе посвященной вероятности мы увидели, что биномиальное распределение можно использовать для таких проблем, как: «Если подбросить честную монету 100 раз, какова вероятность выпадения 60 и более орлов?» Вероятность выпадения ровно x орлов за N подбрасываний рассчитывается по формуле:

$$
P(X) = frac{N!}{x!(N-x!)}p^x(1-p)^{N-x}
$$

Где (x) это число орлов (60), (N) – количество подбрасываний монеты (100), а (p) это вероятность выпадения орла (0.5). Таким образом, чтобы решить эту проблему вам нужно вычислить вероятность 60 орлов, затем вероятность 61 орла, 62 и т.д. и сложить эти вероятности. Представьте, сколько времени потребовалось бы для вычисления биномиальных вероятностей до появления калькуляторов и компьютеров.

Абрахам де Муавр, статистик 18-го века и консультант азартных игроков, часто привлекался к проведению этих длительных вычислений. Де Муавр заметил, что, когда число событий (подбрасываний монет) увеличивается, форма биномиального распределения приближается к очень плавной кривой. Биномиальное распределение для 2, 4 и 12 подбрасываний показаны на рис. 2.

Рисунок 2. Примеры биномиальных распределений. Высоты синих столбцов являются вероятностями

Де Муавр рассуждал, что, если бы он мог найти математическое выражение для этой кривой, он мог бы гораздо легче решать такие проблемы, как нахождение вероятности 60 и более орлов из 100 бросков монет. В точности это он и сделал, и кривая, которую он открыл, теперь называется «нормальной кривой».

Рисунок 3. Нормальное приближение биномиального распределения для 12 бросков монет. Гладкая кривая – это нормальное распределение. Обратите внимание, насколько хорошо она аппроксимирует биномиальные вероятности представленные высотой синих линий.

Важность нормальной кривой обусловлена тем, что распределения многих природных явлений, по крайней мере приблизительно, нормально распределены. Одно из первых применений нормального распределения было к анализу ошибок измерений, сделанных при астрономических наблюдениях, ошибок произошедших из-за несовершенства инструментов и наблюдателей. Галилео в 17 веке отметил, что эти ошибки были симметричными и что небольшие ошибки возникали чаще, чем большие. Это привело к нескольким гипотезам о распределении ошибок, но только в начале 19-го века было установлено, что эти ошибки соответствуют нормальному распределению. Независимо друг от друга математики Адрейн в 1808 г. и Гаусс в 1809 г. разработали формулу для нормального распределения и показали, что ошибки хорошо соответствуют этому распределению.

Это же распределение было обнаружено Лапласом в 1778 г., когда он вывел чрезвычайно важную центральную предельную теорему, тему одного из следующих разделов. Лаплас показал, что даже если распределение не является нормальным, средние повторяющихся выборок из распределения будут распределены почти нормально, и чем больше размер выборки, тем ближе к нормальному будет распределение средних.

Большинство статистических процедур для проверки между средними значениями предполагают нормальное распределение. Поскольку распределение средних близко к нормальному, эти тесты работают хорошо даже если само распределение только приблизительно нормально. Кетле был первым, кто применил нормальное распределение к человеческим характеристикам. Он отметил, что такие характеристики, как рост, вес и сила были нормально распределены.

Площади нормального распределения

Площади под кусками нормального распределения могут быть вычислены с использованием математического анализа. Поскольку это нематематический подход к статистике, мы будем полагаться на компьютерные программы и таблицы для определения этих областей. На рис. 4 показано нормальное распределение со средним значением 50 и стандартным отклонением 10. Затененная область между 40 и 60 содержит 68% распределения.

Рисунок 4. Нормальное распределение со средним значением 50 и стандартным отклонением 10. 68% площади находится в пределах одного стандартного отклонения (10) от среднего (50).

На рис. 5 изображено нормальное распределение со средним равным 100 и стандартным отклонением 20. Как и на рис. 4, 68% распределения лежит в пределах одного стандартного отклонения от среднего.

Рисунок 5. Нормальное распределение со средним значением 100 и стандартным отклонением 20. 68% площади находится в пределах одного стандартного отклонения (20) от среднего (100).

Нормальные распределения показанные на рис. 4 и 5 это частные случаи общего правила о том, что 68% площади любого стандартного распределения находится в пределах одного стандартного отклонения от среднего.

На рис. 6 изображено нормальное распределение со средним 75 и стандартным отклонением 10. Закрашенная область содержит 95% площади и находится между 55.4 и 94.6. Для всех нормальных распределений 95% площади находится в пределах 1.96 стандартного отклонения. Для быстрых приближений иногда полезно округлять и использовать 2 вместо 1.96, в качестве числа стандартных отклонений, на которые вам нужно отступить от среднего, чтобы охватить 95% площади.

Рис. 6. Нормальное распределение со средним 75 и стандартным отклонением 10. 95% площади находятся в пределах 1.96 нормального распределения.

Для вычисления площадей под нормальным распределением может быть использован следующий нормальный калькулятор. Например, вы можете использовать его, чтобы найти пропорцию части нормального распределения со средним 90 и стандартным отклонением 12, которая больше 100. Установите среднее равным 90, стандартное отклонение – 12. Затем введите 110 в ячейку справа от кнопки «Above». Внизу экрана вы увидите, что закрашенная область равна 0.0478. Посмотрите сможете ли вы использовать калькулятор, чтобы узнать, что площадь между 115 и 120 равна 0.0124.

Рисунок 7. Изображение калькулятора показывающего площадь над 110.

Скажем, вы хотите найти оценку, соответствующую 75-му перцентилю нормального распределения со средним значением 90 и стандартным отклонением 12. Используя обратный нормальный калькулятор, введите параметры, как показано на рис. 8, и обнаружьте, что площадь ниже 98.09 равна 0.75.

Рисунок 8. Изображение калькулятора показывающего, что 75-ая перцентиль равна 98.09

Стандартное нормальное распределение

Как обсуждалось во вводном разделе, у нормальных распределений не обязательно одинаковые средние и стандартные отклонения. Нормальное распределение со средним равным 0 и стандартным отклонением 1 называется стандартным нормальным распределением.

Области нормального распределения часто представлены таблицами стандартного нормального распределения. Часть таблицы стандартного нормального распределения показана в таблице 9.

Z	Площадь под
-2.5	0.0062
-2.49	0.0064
-2.48	0.0066
-2.47	0.0068
-2.46	0.0069
-2.45	0.0071
-2.44	0.0073
-2.43	0.0075
-2.42	0.0078
-2.41	0.008
-2.4	0.0082
-2.39	0.0084
-2.38	0.0087
-2.37	0.0089
-2.36	0.0091
-2.35	0.0094
-2.34	0.0096
-2.33	0.0099
-2.32	0.0102

Таблица 9. Часть таблицы стандартного нормального распределения.

Первый столбец «Z» содержит значения стандартного нормального отклонения; второй столбец показывает значение площади левее Z. Поскольку среднее распределения равно нулю, а стандартное отклонение 1, в столбец Z равен числу стандартных отклонений левее (или правее) среднего значения. Например, Z равное -2.5 представляет значение равное 2.5 стандартных отклонений левее среднего. Площадь левее Z равна 0.0062.

Ту же информацию можно получить с помощью следующего калькулятора. На рис. 10 показано, как его можно использовать для вычисления площади левее значения -2,5 для стандартного нормального распределения. Обратите внимание, что среднее значение установлено на 0, а стандартное отклонение установлено на 1.

Рисунок 10. Пример работы калькулятора

Значение из любого нормального распределения может быть преобразовано в соответствующее значение в стандартном нормальном распределении при помощи следующей формулы:

$$
Z = frac{(X-mu)}{sigma}
$$

где (Z) это значение стандартного нормального распределения, (X) – значение исходного распределения, (mu) — среднее исходного распределения, а (sigma) — стандартное отклонение исходного распределения.

В качестве простого упражнения, какая часть нормального распределения со средним значением 50 и стандартным отклонением 10 меньше 26? Применяя формулу, получаем:

$$
Z = (26 – 50)/10 = -2.4
$$

Из таблицы 9, мы знаем, что 0.0082 распределения левее -2.4. Нет необходимости преобразовывать значение к (Z) если вы используете апплет как показано на рис. 11.

Рисунок 11. Площадь левее 26 в нормальном распределении со средним 50 и стандартным отклонением 10.

Если все значения распределения преобразовать в (Z) значения, то у распределения будет среднее 0 и стандартное отклонение 1. Процесс преобразования распределения к стандартному со средним 0 и отклонением 1 называется стандартизацией распределения.

Приближение биномиального распределения нормальным

В разделе об истории нормального распределения мы видели, что нормальное распределение можно использовать для аппроксимации биномиального распределения. В этом разделе показывается, как рассчитать эти приближения.

Давайте начнем с примера. Пусть у вас есть честная монета, и вы хотите знать вероятность выпадения 8 орлов за 10 бросков. У биномиального распределения есть среднее равное

(mu = Np = 10*0.5 = 5) и дисперсия (sigma^2 = Np(1-p) = 10*0.5*05 = 2.5). Стандартное отклонение при этом равно 1.5811. Результат 8 орлов равен ((8 — 5)/1.5811 = 1.897) стандартных отклонений правее среднего распределения. «Какова вероятность получения значения в точности равного 1.897 стандартных отклонений правее среднего?» Вы можете удивиться, но ответ равен 0. Вероятность любой отдельной точки равна 0. Проблема в том, что биномиальное распределение является дискретным вероятностным распределением, тогда как нормальное распределение непрерывно.

Решение состоит в том, чтобы округлить и рассмотреть все значения от 7.5 до 8.5, для получения результат 8 орлов. Используя этот подход, мы вычисляем площадь под нормальной кривой от 7.5 до 8.5. Зона зеленого цвета на рис. 12 является приблизительной вероятностью получения 8 орлов.

Рисунок 12. Приближение вероятности 8 орлов нормальным распределением.

Решение состоит в том, чтобы вычислить эту площадь. Сначала мы вычисляем площадь левее 8.5, а затем вычитаем из нее площадь левее 7,5.

Результаты использования калькулятора площади нормального распределения для определения области ниже 8.5 показаны на рисунке 13. Результаты для 7.5 показаны на рисунке 14.

Рисунок 13. Площадь под 8.5

Рисунок 14. Площадь под 7.5

Разница между площадями составляет 0.044, что является приближением биномиальной вероятности. Для этих параметров приближение очень точное.

Если у вас не было калькулятора площади нормального распределения, вы могли бы найти решение с помощью таблицы стандартного нормального распределения (таблица 9) следующим образом:

Найти значение (Z) для 8.5, используя формулу (Z = (8.5 — 5) / 1.5811 = 2.21).
Найти площадь левее (Z) равного 2.21 (= 0,987).
Найти значение (Z) для 7.5, используя формулу (Z = (7.5 — 5) / 1,5811 = 1.58).
Найти площадь левее (Z) 1.58 (= 0.943).
Вычесть значение на шаге 4 из значения на шаге 2, и получить 0.044.

Та же логика применяется при расчете вероятности диапазона результатов. Например, чтобы рассчитать вероятность от 8 до 10 подбрасываний, вычислите площадь от 7.5 до 10.5.

Точность аппроксимации зависит от значений (N) и (p). Эмпирическое правило заключается в том, что аппроксимация хороша, если оба значения (Np) и (N (1-p)) больше 10.

Статистическая грамотность

Анализ рисков часто основан на предположении о нормальном распределении. Критики говорят, что экстремальные явления в действительности происходят чаще, чем можно было бы ожидать, если бы они были нормальными. Предположение даже было названо «большим интеллектуальным мошенничеством».

Недавняя статья, в которой обсуждается, как защитить инвестиции от экстремальных явлений, названных «риск хвоста» и определяемых как «риск хвоста, или экстремальный шок для финансовых рынков, технически определяется как инвестиция, которая двигается на более трех стандартных отклонений от среднего значения нормального распределения возврата инвестиций.»

Риск хвоста можно оценить, предполагая нормальность распределение и вычисляя вероятность такого события. Так ли следует оценивать «риск хвоста»?

События более трех стандартных отклонений от среднего значения очень редки для нормальных распределений. Однако они не так редки для других распределений, например с сильным перекосом. Если нормальное распределение используется для оценки вероятности событий хвоста, определенных таким образом, то «риск хвоста» будет недооценен.

Источник

В статье подробно показано, что такое нормальный закон распределения случайной величины и как им пользоваться при решении практически задач.

Нормальное распределение в статистике

История закона насчитывает 300 лет. Первым открывателем стал Абрахам де Муавр, который придумал аппроксимацию биномиального распределения еще 1733 году. Через много лет Карл Фридрих Гаусс (1809 г.) и Пьер-Симон Лаплас (1812 г.) вывели математические функции.

Лаплас также обнаружил замечательную закономерность и сформулировал центральную предельную теорему (ЦПТ), согласно которой сумма большого количества малых и независимых величин имеет нормальное распределение.

Нормальный закон не является фиксированным уравнением зависимости одной переменной от другой. Фиксируется только характер этой зависимости. Конкретная форма распределения задается специальными параметрами. Например, у = аx + b – это уравнение прямой. Однако где конкретно она проходит и под каким наклоном, определяется параметрами а и b. Также и с нормальным распределением. Ясно, что это функция, которая описывает тенденцию высокой концентрации значений около центра, но ее точная форма задается специальными параметрами.

Кривая нормального распределения Гаусса имеет следующий вид.

График нормального распределения напоминает колокол, поэтому можно встретить название колоколообразная кривая. У графика имеется «горб» в середине и резкое снижение плотности по краям. В этом заключается суть нормального распределения. Вероятность того, что случайная величина окажется около центра гораздо выше, чем то, что она сильно отклонится от середины.

На рисунке выше изображены два участка под кривой Гаусса: синий и зеленый. Основания, т.е. интервалы, у обоих участков равны. Но заметно отличаются высоты. Синий участок удален от центра, и имеет существенно меньшую высоту, чем зеленый, который находится в самом центре распределения. Следовательно, отличаются и площади, то бишь вероятности попадания в обозначенные интервалы.

Формула нормального распределения (плотности) следующая.

Формула состоит из двух математических констант:

π – число пи 3,142;

е – основание натурального логарифма 2,718;

двух изменяемых параметров, которые задают форму конкретной кривой:

m – математическое ожидание (в различных источниках могут использоваться другие обозначения, например, µ или a);

σ² – дисперсия;

ну и сама переменная x, для которой высчитывается плотность вероятности.

Конкретная форма нормального распределения зависит от 2-х параметров: математического ожидания (m) и дисперсии (σ²). Кратко обозначается N(m, σ²) или N(m, σ). Параметр m (матожидание) определяет центр распределения, которому соответствует максимальная высота графика. Дисперсия σ² характеризует размах вариации, то есть «размазанность» данных.

Параметр математического ожидания смещает центр распределения вправо или влево, не влияя на саму форму кривой плотности.

А вот дисперсия определяет остроконечность кривой. Когда данные имеют малый разброс, то вся их масса концентрируется у центра. Если же у данных большой разброс, то они «размазываются» по широкому диапазону.

Плотность распределения не имеет прямого практического применения. Для расчета вероятностей нужно проинтегрировать функцию плотности.

Вероятность того, что случайная величина окажется меньше некоторого значения x, определяется функцией нормального распределения:

Используя математические свойства любого непрерывного распределения, несложно рассчитать и любые другие вероятности, так как

P(a ≤ X < b) = Ф(b) – Ф(a)

Стандартное нормальное распределение

Нормальное распределение зависит от параметров средней и дисперсии, из-за чего плохо видны его свойства. Хорошо бы иметь некоторый эталон распределения, не зависящий от масштаба данных. И он существует. Называется стандартным нормальным распределением. На самом деле это обычное нормальное нормальное распределение, только с параметрами математического ожидания 0, а дисперсией – 1, кратко записывается N(0, 1).

Любое нормальное распределение легко превращается в стандартное путем нормирования:

где z – новая переменная, которая используется вместо x;
m – математическое ожидание;
σ – стандартное отклонение.

Для выборочных данных берутся оценки:

Среднее арифметическое и дисперсия новой переменной z теперь также равны 0 и 1 соответственно. В этом легко убедиться с помощью элементарных алгебраических преобразований.

В литературе встречается название z-оценка. Это оно самое – нормированные данные. Z-оценку можно напрямую сравнивать с теоретическими вероятностями, т.к. ее масштаб совпадает с эталоном.

Посмотрим теперь, как выглядит плотность стандартного нормального распределения (для z-оценок). Напомню, что функция Гаусса имеет вид:

Подставим вместо (x-m)/σ букву z, а вместо σ – единицу, получим функцию плотности стандартного нормального распределения:

График плотности:

Центр, как и ожидалось, находится в точке 0. В этой же точке функция Гаусса достигает своего максимума, что соответствует принятию случайной величиной своего среднего значения (т.е. x-m=0). Плотность в этой точке равна 0,3989, что можно посчитать даже в уме, т.к. e⁰=1 и остается рассчитать только соотношение 1 на корень из 2 пи.

Таким образом, по графику хорошо видно, что значения, имеющие маленькие отклонения от средней, выпадают чаще других, а те, которые сильно отдалены от центра, встречаются значительно реже. Шкала оси абсцисс измеряется в стандартных отклонениях, что позволяет отвязаться от единиц измерения и получить универсальную структуру нормального распределения. Кривая Гаусса для нормированных данных отлично демонстрирует и другие свойства нормального распределения. Например, что оно является симметричным относительно оси ординат. В пределах ±1σ от средней арифметической сконцентрирована большая часть всех значений (прикидываем пока на глазок). В пределах ±2σ находятся большинство данных. В пределах ±3σ находятся почти все данные. Последнее свойство широко известно под названием правило трех сигм для нормального распределения.

Функция стандартного нормального распределения позволяет рассчитывать вероятности.

Понятное дело, вручную никто не считает. Все подсчитано и размещено в специальных таблицах, которые есть в конце любого учебника по статистике.

Таблица нормального распределения

Таблицы нормального распределения встречаются двух типов:

— таблица плотности;

— таблица функции (интеграла от плотности).

Таблица плотности используется редко. Тем не менее, посмотрим, как она выглядит. Допустим, нужно получить плотность для z = 1, т.е. плотность значения, отстоящего от матожидания на 1 сигму. Ниже показан кусок таблицы.

В зависимости от организации данных ищем нужное значение по названию столбца и строки. В нашем примере берем строку 1,0 и столбец 0, т.к. сотых долей нет. Искомое значение равно 0,2420 (0 перед 2420 опущен).

Функция Гаусса симметрична относительно оси ординат. Поэтому φ(z)= φ(-z), т.е. плотность для 1 тождественна плотности для -1, что отчетливо видно на рисунке.

Чтобы не тратить зря бумагу, таблицы печатают только для положительных значений.

На практике чаще используют значения функции стандартного нормального распределения, то есть вероятности для различных z.

В таких таблицах также содержатся только положительные значения. Поэтому для понимания и нахождения любых нужных вероятностей следует знать свойства стандартного нормального распределения.

Функция Ф(z) симметрична относительно своего значения 0,5 (а не оси ординат, как плотность). Отсюда справедливо равенство:

Это факт показан на картинке:

Значения функции Ф(-z) и Ф(z) делят график на 3 части. Причем верхняя и нижняя части равны (обозначены галочками). Для того, чтобы дополнить вероятность Ф(z) до 1, достаточно добавить недостающую величину Ф(-z). Получится равенство, указанное чуть выше.

Если нужно отыскать вероятность попадания в интервал (0; z), то есть вероятность отклонения от нуля в положительную сторону до некоторого количества стандартных отклонений, достаточно от значения функции стандартного нормального распределения отнять 0,5:

Для наглядности можно взглянуть на рисунок.

На кривой Гаусса, эта же ситуация выглядит как площадь от центра вправо до z.

Довольно часто аналитика интересует вероятность отклонения в обе стороны от нуля. А так как функция симметрична относительно центра, предыдущую формулу нужно умножить на 2:

Рисунок ниже.

Под кривой Гаусса это центральная часть, ограниченная выбранным значением –z слева и z справа.

Указанные свойства следует принять во внимание, т.к. табличные значения редко соответствуют интересующему интервалу.

Для облегчения задачи в учебниках обычно публикуют таблицы для функции вида:

Если нужна вероятность отклонения в обе стороны от нуля, то, как мы только что убедились, табличное значение для данной функции просто умножается на 2.

Теперь посмотрим на конкретные примеры. Ниже показана таблица стандартного нормального распределения. Найдем табличные значения для трех z: 1,64, 1,96 и 3.

Как понять смысл этих чисел? Начнем с z=1,64, для которого табличное значение составляет 0,4495. Проще всего пояснить смысл на рисунке.

То есть вероятность того, что стандартизованная нормально распределенная случайная величина попадет в интервал от 0 до 1,64, равна 0,4495. При решении задач обычно нужно рассчитать вероятность отклонения в обе стороны, поэтому умножим величину 0,4495 на 2 и получим примерно 0,9. Занимаемая площадь под кривой Гаусса показана ниже.

Таким образом, 90% всех нормально распределенных значений попадает в интервал ±1,64σ от средней арифметической. Я не случайно выбрал значение z=1,64, т.к. окрестность вокруг средней арифметической, занимающая 90% всей площади, иногда используется для проверки статистических гипотез и расчета доверительных интервалов. Если проверяемое значение не попадает в обозначенную область, то его наступление маловероятно (всего 10%).

Для проверки гипотез, однако, чаще используется интервал, накрывающий 95% всех значений. Половина вероятности от 0,95 – это 0,4750 (см. второе выделенное в таблице значение).

Для этой вероятности z=1,96. Т.е. в пределах почти ±2σ от средней находится 95% значений. Только 5% выпадают за эти пределы.

Еще одно интересное и часто используемое табличное значение соответствует z=3, оно равно по нашей таблице 0,4986. Умножим на 2 и получим 0,997. Значит, в рамках ±3σ от средней арифметической заключены почти все значения.

Так выглядит правило 3 сигм для нормального распределения на диаграмме.

С помощью статистических таблиц можно получить любую вероятность. Однако этот метод очень медленный, неудобный и сильно устарел. Сегодня все делается на компьютере. Далее переходим к практике расчетов в Excel.

В Excel есть несколько функций для подсчета вероятностей или обратных значений нормального распределения.

Функция НОРМ.СТ.РАСП

Функция НОРМ.СТ.РАСП предназначена для расчета плотности ϕ(z) или вероятности Φ(z) по нормированным данным (z).

=НОРМ.СТ.РАСП(z;интегральная)

z – значение стандартизованной переменной

интегральная – если 0, то рассчитывается плотность ϕ(z), если 1 – значение функции Ф(z), т.е. вероятность P(Z<z).

Рассчитаем плотность и значение функции для различных z: -3, -2, -1, 0, 1, 2, 3 (их укажем в ячейке А2).

Для расчета плотности потребуется формула =НОРМ.СТ.РАСП(A2;0). На диаграмме ниже – это красная точка.

Для расчета значения функции =НОРМ.СТ.РАСП(A2;1). На диаграмме – закрашенная площадь под нормальной кривой.

В реальности чаще приходится рассчитывать вероятность того, что случайная величина не выйдет за некоторые пределы от средней (в среднеквадратичных отклонениях, соответствующих переменной z), т.е. P(|Z|<z).

Определим, чему равна вероятность попадания случайной величины в пределы ±1z, ±2z и ±3z от нуля. Потребуется формула 2Ф(z)-1, в Excel =2*НОРМ.СТ.РАСП(A2;1)-1.

На диаграмме отлично видны основные основные свойства нормального распределения, включая правило трех сигм. Функция НОРМ.СТ.РАСП – это автоматическая таблица значений функции нормального распределения в Excel.

Может стоять и обратная задача: по имеющейся вероятности P(Z<z) найти стандартизованную величину z ,то есть квантиль стандартного нормального распределения.

Функция НОРМ.СТ.ОБР

НОРМ.СТ.ОБР рассчитывает обратное значение функции стандартного нормального распределения. Синтаксис состоит из одного параметра:

=НОРМ.СТ.ОБР(вероятность)

вероятность – это вероятность.

Данная формула используется так же часто, как и предыдущая, ведь по тем же таблицам искать приходится не только вероятности, но и квантили.

Например, при расчете доверительных интервалов задается доверительная вероятность, по которой нужно рассчитать величину z.

Учитывая то, что доверительный интервал состоит из верхней и нижней границы и то, что нормальное распределение симметрично относительно нуля, достаточно получить верхнюю границу (положительное отклонение). Нижняя граница берется с отрицательным знаком. Обозначим доверительную вероятность как γ (гамма), тогда верхняя граница доверительного интервала рассчитывается по следующей формуле.

Рассчитаем в Excel значения z (что соответствует отклонению от средней в сигмах) для нескольких вероятностей, включая те, которые наизусть знает любой статистик: 90%, 95% и 99%. В ячейке B2 укажем формулу: =НОРМ.СТ.ОБР((1+A2)/2). Меняя значение переменной (вероятности в ячейке А2) получим различные границы интервалов.

Доверительный интервал для 95% равен 1,96, то есть почти 2 среднеквадратичных отклонения. Отсюда легко даже в уме оценить возможный разброс нормальной случайной величины. В общем, доверительным вероятностям 90%, 95% и 99% соответствуют доверительные интервалы ±1,64, ±1,96 и ±2,58 σ.

В целом функции НОРМ.СТ.РАСП и НОРМ.СТ.ОБР позволяют произвести любой расчет, связанный с нормальным распределением. Но, чтобы облегчить и уменьшить количество действий, в Excel есть несколько других функций. Например, для расчета доверительных интервалов средней можно использовать ДОВЕРИТ.НОРМ. Для проверки статистической гипотезы о средней арифметической есть формула Z.ТЕСТ.

Рассмотрим еще пару полезных формул с примерами.

Функция НОРМ.РАСП

Функция НОРМ.РАСП отличается от НОРМ.СТ.РАСП лишь тем, что ее используют для обработки данных любого масштаба, а не только нормированных. Параметры нормального распределения указываются в синтаксисе.

=НОРМ.РАСП(x;среднее;стандартное_откл;интегральная)

x – значение (или ссылка на ячейку), для которого рассчитывается плотность или значение функции нормального распределения

среднее – математическое ожидание, используемое в качестве первого параметра модели нормального распределения

стандартное_откл – среднеквадратичное отклонение – второй параметр модели

интегральная – если 0, то рассчитывается плотность, если 1 – то значение функции, т.е. P(X<x).

Например, плотность для значения 15, которое извлекли из нормальной выборки с матожиданием 10, стандартным отклонением 3, рассчитывается так:

Если последний параметр поставить 1, то получим вероятность того, что нормальная случайная величина окажется меньше 15 при заданных параметрах распределения. Таким образом, вероятности можно рассчитывать напрямую по исходным данным.

Функция НОРМ.ОБР

Это квантиль нормального распределения, т.е. значение обратной функции. Синтаксис следующий.

=НОРМ.ОБР(вероятность;среднее;стандартное_откл)

вероятность – вероятность

среднее – матожидание

стандартное_откл – среднеквадратичное отклонение

Назначение то же, что и у НОРМ.СТ.ОБР, только функция работает с данными любого масштаба.

Пример показан в ролике в конце статьи.

Моделирование нормального распределения

Для некоторых задач требуется генерация нормальных случайных чисел. Готовой функции для этого нет. Однако В Excel есть две функции, которые возвращают случайные числа: СЛУЧМЕЖДУ и СЛЧИС. Первая выдает случайные равномерно распределенные целые числа в указанных пределах. Вторая функция генерирует равномерно распределенные случайные числа между 0 и 1. Чтобы сделать искусственную выборку с любым заданным распределением, нужна функция СЛЧИС.

Допустим, для проведения эксперимента необходимо получить выборку из нормально распределенной генеральной совокупности с матожиданием 10 и стандартным отклонением 3. Для одного случайного значения напишем формулу в Excel.

=НОРМ.ОБР(СЛЧИС();10;3)

Протянем ее на необходимое количество ячеек и нормальная выборка готова.

Для моделирования стандартизованных данных следует воспользоваться НОРМ.СТ.ОБР.

Процесс преобразования равномерных чисел в нормальные можно показать на следующей диаграмме. От равномерных вероятностей, которые генерируются формулой СЛЧИС, проведены горизонтальные линии до графика функции нормального распределения. Затем от точек пересечения вероятностей с графиком опущены проекции на горизонтальную ось.

На выходе получаются значения с характерной концентрацией около центра. Вот так обратный прогон через функцию нормального распределения превращает равномерные числа в нормальные. Excel позволяет за несколько секунд воспроизвести любое количество выборок любого размера.

Как обычно, прилагаю ролик, где все вышеописанное показывается в действии.

Скачать файл с примером.

Поделиться в социальных сетях:

Источник

Содержание:

Нормальный закон распределения:

Нормальный закон распределения имеет плотность вероятности

где

График функции плотности вероятности (2.9.1) имеет максимум в точке а точки перегиба отстоят от точки на расстояние При функция (2.9.1) асимптотически приближается к нулю (ее график изображен на рис. 2.9.1).

Помимо геометрического смысла, параметры нормального закона распределения имеют и вероятностный смысл. Параметр равен математическому ожиданию нормально распределенной случайной величины, а дисперсия Если т.е. X имеет нормальный закон распределения с параметрами и то

где – функция Лапласа

Значения функции можно найти по таблице (см. прил., табл. П2). Функция Лапласа нечетна, т.е. Поэтому ее таблица дана только для неотрицательных График функции Лапласа изображен на рис. 2.9.2. При значениях она практически остается постоянной. Поэтому в таблице даны значения функции только для При значениях можно считать, что

Если то

Пример:

Случайная величина X имеет нормальный закон распределения Известно, что а Найти значения параметров и

Решение. Воспользуемся формулой (2.9.2):

Так как По таблице функции Лапласа (см. прил., табл. П2) находим, что Поэтому или

Аналогично Так как то По таблице функции Лапласа (см. прил., табл. П2) находим, что Поэтому или Из системы двух уравнений и находим, что а т.е. Итак, случайная величина X имеет нормальный закон распределения N(3;4).

График функции плотности вероятности этого закона распределения изображен на рис. 2.9.3.

Ответ.

Пример:

Ошибка измерения X имеет нормальный закон распределения, причем систематическая ошибка равна 1 мк, а дисперсия ошибки равна 4 мк². Какова вероятность того, что в трех независимых измерениях ошибка ни разу не превзойдет по модулю 2 мк?

Решение. По условиям задачи Вычислим сначала вероятность того, что в одном измерении ошибка не превзойдет 2 мк. По формуле (2.9.2)

Вычисленная вероятность численно равна заштрихованной площади на рис. 2.9.4.

Каждое измерение можно рассматривать как независимый опыт. Поэтому по формуле Бернулли (2.6.1) вероятность того, что в трех независимых измерениях ошибка ни разу не превзойдет 2 мк, равна

Ответ.

Пример:

Функция плотности вероятности случайной величины X имеет вид

Требуется определить коэффициент найти и определить тип закона распределения, нарисовать график функции вычислить вероятность

Замечание. Если каждый закон распределения из некоторого семейства законов распределения имеет функцию распределения , где – фиксированная функция распределения, a то говорят, что эти законы распределения принадлежат к одному виду или типу распределений. Параметр называют параметром сдвига, – параметром масштаба.

Решение. Так как (2.9.4) функция плотности вероятности, то интеграл от нее по всей числовой оси должен быть равен единице:

Преобразуем выражение в показателе степени, выделяя полный квадрат:

Тогда (2.9.5) можно записать в виде

Сделаем замену переменных так, чтобы т.е. Пределы интегрирования при этом останутся прежними. Тогда (2.9.6) преобразуется к виду

Умножим и разделим левую часть равенства на Получим равенство

Так как как интеграл по всей числовой оси от функции плотности вероятности стандартного нормального закона распределения N(0,1), то приходим к выводу, что

Поэтому

Последняя запись означает, что случайная величина имеет нормальный закон распределения с параметрами и График функции плотности вероятности этого закона изображен на рис. 2.9.5. Распределение случайной величины X принадлежит к семейству нормальных законов распределения. По формуле (2.9.2)

Ответ.

Пример:

Цех на заводе выпускает транзисторы с емкостью коллекторного перехода Сколько транзисторов попадет в группу если в нее попадают транзисторы с емкостью коллекторного перехода от 1,80 до 2,00 пФ. Цех выпустил партию в 1000 штук.

Решение.

Статистическими исследованиями в цеху установлено, что можно трактовать как случайную величину, подчиняющуюся нормальному закону.

Чтобы вычислить количество транзисторов, попадающих в группу необходимо учитывать, что вся партия транзисторов имеет разброс параметров, накрывающий всю (условно говоря) числовую ось. То есть кривая Гаусса охватывает всю числовую ось, центр ее совпадает с (т. к. все установки в цеху настроены на выпуск транзисторов именно с этой емкостью). Вероятность попадания отклонений параметров всех транзисторов на всю числовую ось равна 1. Поэтому нам необходимо фактически определить вероятность попадания случайной величины в интервал а затем пересчитать количество пропорциональной вероятности.

Для расчета этой вероятности надо построить математическую модель. Экспериментальные данные говорят о том, что нормальное распределение можно принять в качестве математической модели. Эмпирическая оценка (установлена статистическими исследованиями в цеху) среднего значения

дает оценка среднего квадратического отклонения

Обозначая подставим приведенные значения в (6.3):

Тогда количество транзисторов попавших в интервал [1,8; 2,0] пФ, можно найти так: Таким образом можно планировать и рассчитывать количество транзисторов, попадающих в ту или иную группу.

Нормальное распределение и его свойства

Если выйти на улицу любого города и случайным образом выбранных прохожих спросить о том, какой у них рост, вес, возраст, доход, и т.п., а потом построить график любой из этих величин, например, роста… Но не будем спешить, сначала посмотрим, как можно построить такой график.

Сначала, мы просто запишем результаты своего исследования. Потом, мы отсортируем всех людей по группам, так чтобы каждый попал в свой диапазон роста, например, «от 180 до 181 включительно».

После этого мы должны посчитать количество людей в каждой подгруппе-диапазоне, это будет частота попадания роста жителей города в данный диапазон. Обычно эту часть удобно оформить в виде таблички. Если затем эти частоты построить по оси у, а диапазоны отложить по оси х, можно получить так называемую гистограмму, упорядоченный набор столбиков, ширина которых равна, в данном случае, одному сантиметру, а длина будет равна той частоте, которая соответствует каждому диапазону роста. Если

Вам попалось достаточно много жителей, то Ваша схема будет выглядеть примерно так:

Дальше можно уточнить задачу. Каждый диапазон разбить на десять, жителей рассортировать по росту с точностью до миллиметра. Диаграмма станет глаже, но уменьшится по высоте, «оплывет» вниз, т.к. в каждом маленьком диапазоне количество жителей уменьшается. Чтобы избежать этого, просто увеличим масштаб по вертикальной оси в 10 раз. Если гипотетически повторить эту процедуру несколько раз, будет вырисовываться та знаменитая колоколообразная фигура, которая характерна для нормального (или Гауссова) распределения. В результате, относительная частота встречаемости каждого конкретного диапазона роста может быть посчитана как отношение площади «ломтика» кривой, приходящегося на этот диапазон к площади подо всей кривой. Стандартизированные кривые нормального распределения, значения функций которых приводятся в таблицах книг по статистике, всегда имеют суммарную площадь под кривой равную единице. Это связано с тем, что, как Вы помните из курса теории вероятности, вероятность достоверного события всегда равна 100% (или единице), а для любого человека иметь хоть какое-то значение роста — достоверное событие. А вот вероятность того, что рост произвольного человека попадет в определенный выбранный нами диапазон, будет зависеть от трех факторов.

Во-первых, от величины такого диапазона — чем точнее наши требования, тем меньше вероятности, что нам повезет.

Во-вторых, от того, насколько «популярен» выбранный нами рост. Напомним, что мода — самое часто встречающееся значение роста. Кстати для нормального распределения мода, медиана и среднее значение совпадают. Кривая нормального распределения симметрична относительно среднего значения.

И, в-третьих, вероятность попадания роста в определенный диапазон зависит от характеристики рассеивания случайной величины. Отчасти это связано с единицами измерения (представьте, что мы бы измеряли людей в дюймах, а не в миллиметрах, но сами люди и их рост были бы теми же). Но дело не только в этом. Просто некоторые процессы кучнее группируются возле среднего значения, в то время как другие более разбросаны.

Например, рост собак и рост домашних кошек имеют разный разброс значений, их кривые нормального распределения будут выглядеть по-разному (напомним еще раз, что площадь под обеими кривыми будет единичной).

Так, кривая для роста кошек будет более узкой и высокой, а для роста собак кривая будет ниже и шире. Для характеристики разброса конечного ряда данных в прошлом разделе мы использовали величину среднего квадратического отклонения. Аналогичная величина используется для характеристики кривой нормального распределения. Она обозначается буквой s и называется в этом случае стандартным отклонением. Это очень важная величина для кривой нормального распределения. Кривая нормального распределения полностью задана, если известно среднее значение и отклонение s. Кроме того, любой житель города с вероятностью 68% попадет в диапазон роста с вероятностью 95% — в диапазон и с вероятностью 99,7% — в диапазон

Для вычисления других значений вероятности, которые могут Вам понадобиться, можно воспользоваться приведенной таблицей:

Таблица вероятности попадания случайной величины в отмеченный (заштрихованный) диапазон

Нормальный закон распределения

Нормальный закон распределения случайных величин, который иногда называют законом Гаусса или законом ошибок, занимает особое положение в теории вероятностей, так как 95 % изученных случайных величин подчиняются этому закону. Природа этих случайных величин такова, что их значение в проводимом эксперименте связано с проявлением огромного числа взаимно независимых случайных факторов, действие каждого из которых составляет малую долю их совокупного действия. Например, длина детали, изготавливаемой на станке с программным управлением, зависит от случайных колебаний резца в момент отрезания, от веса и толщины детали, ее формы и температуры, а также от других случайных факторов. По нормальному закону распределения изменяются рост и вес мужчин и женщин, дальность выстрела из орудия, ошибки различных измерений и другие случайные величины.

Определение: Случайная величина X называется нормальной, если она подчиняется нормальному закону распределения, т.е. ее плотность распределения задается формулой — средне-квадратичное отклонение, a m = М[Х] — математическое ожидание.

Приведенная дифференциальная функция распределения удовлетворяет всем свойствам плотности вероятности, проверим, например, свойство 4.:

Выясним геометрический смысл параметров Зафиксируем параметр и будем изменять параметр m. Построим графики соответствующих кривых (Рис. 8).

Рис. 8. Изменение графика плотности вероятности в зависимости от изменения математического ожидания при фиксированном значении средне-квадратичного отклонения. Из рисунка видно, кривая получается путем смещения кривой вдоль оси абсцисс на величину m, поэтому параметр m определяет центр тяжести данного распределения. Кроме того, из рисунка видно, что функция достигает своего максимального значения в точке Из этой формулы видно, что при уменьшении параметра значение максимума возрастает. Так как площадь под кривой плотности распределения всегда равна 1, то с уменьшением параметра кривая вытягивается вдоль оси ординат, а с увеличением параметра кривая прижимается к оси абсцисс. Построим график нормальной плотности распределения при m = 0 и разных значениях параметра (Рис. 9):

Рис. 9. Изменение графика плотности вероятности в зависимости от изменения средне-квадратичного отклонения при фиксированном значении математического ожидания.

Интегральная функция нормального распределения имеет вид:

График функции распределения имеет вид (Рис. 10):

Рис. 10. Графика интегральной функции распределения нормальной случайной величины.

Вероятность попадания нормальной случайной величины в заданный интервал

Пусть требуется определить вероятность того, что нормальная случайная величина попадает в интервал Согласно определению пересчитаем пределы интегрирования Следовательно,

Рассмотрим основные свойства функции Лапласа Ф(х):

Ф(0) = 0 — график функции Лапласа проходит через начало координат.
Ф (-х) = — Ф(х) — функция Лапласа является нечетной функцией, поэтому
таблицы для функции Лапласа приведены только для неотрицательных значений аргумента.
— график функции Лапласа имеет горизонтальные асимптоты

Следовательно, график функции Лапласа имеет вид (Рис. 11):

Рис. 11. График функции Лапласа.

Пример №1

Закон распределения нормальной случайной величины X имеет вид: Определить вероятность попадания случайной величины X в интервал (-1;8).

Решение:

Согласно условиям задачи Поэтому искомая вероятность равна: 0,4772 + 0,3413 = 0,8185.

Вычисление вероятности заданного отклонения

Вычисление вероятности заданного отклонения. Правило .

Если интервал, в который попадает нормальная случайная величина X, симметричен относительно математического ожидания то, используя свойство нечетности функции Лапласа, получим

Данная формула показывает, что отклонение случайной величины Х от ее математического ожидания на заданную величину l равна удвоенному значению функции Лапласа от отношения / к среднему квадратичному отклонению. Если положить случаях нормальная случайная величина X отличается от своего математического ожидания на величину равную среднему квадратичному отклонению. Если то вероятность отклонения равна Наконец, в случае то вероятность отклонения равна

Из последнего равенства видно, что только приблизительно в 0.3 % случаях отклонение нормальной случайной величины X от своего математического ожидания превышает Это свойство нормальной случайной величины X называется правилом “трех сигм”. На практике это правило применяется следующим образом: если отклонение случайной величины X от своего математического ожидания не превышает то эта случайная величина распределена по нормальному закону.

Показательный закон распределения

Определение: Закон распределения, определяемый фу нкцией распределения:

называется экспоненциальным или показательным.

График экспоненциального закона распределения имеет вид (Рис. 12):

Рис. 12. График функции распределения для случая экспоненциального закона.

Дифференциальная функция распределения (плотность вероятности) имеет вид: а ее график показан на (Рис. 13):

Рис. 13. График плотности вероятности для случая экспоненциального закона.

Пример №2

Случайная величина X подчиняется дифференциальной функции распределения Найти вероятность того, что случайная величина X попадет в интервал (2; 4), математическое ожидание M[Х], дисперсию D[X] и среднее квадратичное отклонение Проверить выполнение правила “трех сигм” для показательного распределения.

Решение:

Интегральная функция распределения следовательно, вероятность того, что случайная величина X попадет в интервал (2; 4), равна: Математическое ожидание Вычислим значение величины М тогда дисперсия случайной величины X равна а средне-квадратичное

отклонение Для проверки правила “трех сигм” вычислим вероятность заданного отклонения:

Основные законы распределения вероятностей
Асимптотика схемы независимых испытаний
Функции случайных величин
Центральная предельная теорема
Повторные независимые испытания
Простейший (пуассоновский) поток событий
Случайные величины
Числовые характеристики случайных величин

Источник

104

ЛЕКЦИЯ
10

Нормальное
распределение. Функция
нормального распределения. Функция
Лапласа. Числовые характеристики
нормального распределения. Вероятность
попадания нормально распределенной
случайной величины в заданный интервал.
Правило трех сигм. Распределения,
связанные с нормальным: распределения
Стьюдента, Пирса и Фишера. Характеристическая
функция нормального распределения.

8.
НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ

8.1.
Функция нормального распределения

Одним
из наиболее часто встречающихся
распределений является нормальное
распределение. Оно играет большую роль
в теории вероятностей и ее приложениях.
Фундаментальная роль, которую играет
нормальное распределение, объясняется
тем, что суммы случайных величин с ростом
числа слагаемых при довольно широких
предположениях ведут себя асимптотически
нормально (см. тему «Центральная
предельная теорема»).

Плотность
функции нормального распределения
имеет вид

.
(8.1)

Функция нормального распределения
имеет вид

.
(8.2)

Однако часто вместо
функции нормального распределения
используется функция Лапласа.

Пусть
a=0,
=1,
то получим

.
(8.3)

Такая
функция называется стандартным
нормальным распределением.
Запишем данную функцию в следующем виде

Поскольку
F₀(+)=1,
то в силу
симметрии первое слагаемое равно 0,5, а
второе слагаемое есть функция Лапласа

.
(8.4)

Таким
образом,

Отсюда
получаем равенство

,
(8.5)

связывающее функцию
нормального распределения и функцию
Лапласа.

Для
стандартного нормального распределения
и функции Лапласа существуют обширные
таблицы. Однако здесь нужно иметь в
виду, что иногда вместо рассмотренных
функций используют функции

.
(8.6)

или
интеграл ошибок

.
(8.7)

Замечание.
Открытие нормального распределения
связано с именами
К.
Гаусса
и П.
Лапласа,
у которых оно впервые появилось связи
с исследованием по теории ошибок и
методу наименьших квадратов. Поэтому
нормальное распределение называют еще
распределением
Лапласа-Гаусса,
или просто распределением
Гаусса
или Лапласа.

Найдем
математическое
ожидание
нормального распределения:

Вычислим
дисперсию:

Таким
образом,

M[X]
= a,
D[X]
= ²,

т.е.
нормальное распределение характеризуется
двумя параметрами: a,
имеющему
смысл математического ожидания, и ,
имеющему
смысл среднего квадратичного отклонения.

Рис.
8.1

График плотности функции нормального
распределения имеет следующий вид
(кривая Гаусса).
Максимум будет при x=a,
точки перегиба в точках
a–
и a+.
Кривая симметрична
относительно прямой x=a.
С уменьшением 
кривая становится все
более островершинной.

8.2.
Вероятность попадания нормально

распределенной случайной величины

в заданный интервал

Известно,
что если случайная величина X
задана
плотностью распределения f(x),
то вероятность
того, что X
примет
значение, принадлежащее интервалу
(,),
имеет вид

В
случае нормального распределения эта
формула примет следующий вид

.
(8.8)

Часто
требуется вычислить вероятность того,
что отклонение случайной величины X
по абсолютной
величине меньше заданного положительного
числа
,
т.е. требуется
найти вероятность осуществления
неравенства |X–a|<.
Заметим,
что неравенство равносильным ему двойным
неравенством a–<X<a+.
Тогда

Таким
образом,

.
(8.9)

В частности, если ,
то

P(|X–a|<)
= 2(1)
= 0,6827;

если
2,
то

P(|X–a|<2)
= 2(2)
= 0,9545;

если
,
то

P(|X–a|<3)
= 2(3)
= 0,9973.

Последнее
равенство показывает, что во многих
практических вопросах при рассмотрении
нормального распределения можно
пренебречь возможностью отклонения
случайной величины от a
больше,
чем 3
Это есть
т.н. правило «трех
сигм».

Например,
каждому кто занимался измерениями,
встречался с ситуацией, когда появляется
«дикое
значение».
В связи с этим возникает проблема:
исключать это значение или его следует
оставить. Так, при разработке норматива
времени для изготовления одной детали
проделали следующие измерения: 5,0;
4,8; 5,2; 5,3; 5,0; 6,1. Последнее
число сильно отличается от других. В
связи с этим возникает вопрос, не скрыта
ли здесь ошибка в измерениях. Вычислим
среднее значение

и среднее квадратичное отклонение
=0,46.
После этого
построим «трехсигмовый» интервал:
(4,84; 6,61). Поскольку значение x=6,1
не выходит
за пределы трехсигмовой зоны, то его
нельзя считать «диким».

Другой
пример. На конвейере изготовляются
детали. На основании статистических
данных контроля деталей вычисляют
среднее квадратичное отклонение .
Затем
строят прямую средней линии, окаймленную
трехсигмовой полосой. Если точки
контрольных измерений находятся внутри
трехсигмовой полосы, то технологический
процесс следует считать стабильным и
качество продукции высоким. Если точки
близки к контрольным линиям, но не
выходят за пределы трехсигмовой зоны,
то это указывает на разладку технологического
процесса. Если же точки выходят за
пределы трехсигмовой зоны, то это
означает, что идет брак.

Пример
8.1. Автомат
изготовляет шарики. Шарик считается
годным, если отклонение диаметра шарика
X от
проектного по абсолютной величине не
превышает 0,7 мм.
Считая, что случайная величина X
распределена
нормально со средним квадратичным
отклонением 0,4 мм,
определить, сколько процентов годных
шариков изготовляет автомат.

Решение.
Поскольку =0,4
мм
и =0,7
мм,
то

Следовательно,
автомат изготовляет 92% годных деталей.

8.3.
Распределения, связанные с нормальным

8.3.1.
Распределение Пирсона (²-распределение)

Пусть
независимые случайные величины U₁,
U₂,
…, U_k
описываются
стандартным нормальным распределением:
U_i=N(0,1).
Тогда
распределение суммы квадратов этих
величин

(8.10)

называется
распределением
²
(«хи-квадрат»)
с k
степенями
свободы.
В явном виде плотность функции этого
распределения имеет вид

(8.11)

где

– гамма-функция;
в частности, (n+1)=n!.

Рис.
8.2

Распределение Пирсона
определяется одним параметром – числом
степеней свободы k.
Графики этой функции
изображены на рис. 8.2. Числовые
характеристики распределения Пирсона:

Если
случайные величины ²(k₁)
и ²(k₂)
независимы, то

Отметим,
что с увеличением числа степеней свободы
распределение Пирсона постепенно
приближается к нормальному.

8.3.2.
Распределение Стьюдента (t-распределение)

Пусть
U
–стандартная
нормально распределенная случайная
величины, U=N(0,1),
а ²
– случайная
величина, имеющая ²-распределение
с k
степенями
свободы, причем U
и ²
независимые
величины. Тогда распределение величины

(8.12)

называется
распределением
Стьюдента
(t-распределением)
с k
степенями
свободы.
В явном виде плотность функции
распределения Стьюдента имеет вид

Рис.
8.3

(8.13)

График
этой функции изображен на рис. 8.3.

Числовые
характеристики распределения Стьюдента:

Отметим,
что с возрастанием числа степеней
свободы распределение Стьюдента быстро
приближается к нормальному.

8.3.3.
Распределение Фишера (F-распределение)

Пусть
²(k₁)
и ²(k₂)
– независимые
случайные величины, имеющие ²-распределение
соответственно с k₁
и k₂
степенями
свободы. Распределение величины

(8.14)

называется
распределением
Фишера
(F-распределением)
со
степенями
свободы k₁
и
k₂.
В явном виде плотность распределения
Фишера имеет вид

(8.15)

График
этой функции изображен на рис. 8.4.

Числовые
характеристики распределения Фишера:

Рис.
8.4

тметим, что между случайными
величинами, имеющими нормальное
распределение, распределение Пирсона,
Стьюдента и Фишера, имеют место
соотношения:

8.4*.
Характеристическая функция
нормального
распределения

Пусть
случайная величина 
распределена
по стандартному нормальному распределению.
Тогда для характеристической функции
получим

Делая
замену y=x–it,
получим

Из
теории функций комплексной переменной
известно, что

Поэтому
окончательно получаем
.

Как
мы видели, если случайная величина 
распределена
по стандартному нормальному закону, то
случайная величина =t+m
распределена
но нормальному закону с параметрами m
и .
Тогда
характеристические функции f_(t)
и f_(t)
связаны
по свойству 2 соотношением

или,
окончательно получаем, что характеристическая
функция для нормального распределения
имеет вид

.
(8.16)

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

Источник

Нормальное распределение

Введение

История нормального распределения

Площади нормального распределения

Стандартное нормальное распределение

Приближение биномиального распределения нормальным

Статистическая грамотность

Нормальное распределение в статистике

Стандартное нормальное распределение

Таблица нормального распределения

Функция НОРМ.СТ.РАСП

Функция НОРМ.СТ.ОБР

Функция НОРМ.РАСП

Функция НОРМ.ОБР

Моделирование нормального распределения

Нормальное распределение и его свойства

Нормальный закон распределения

Вероятность попадания нормальной случайной величины в заданный интервал

Пример №1

Вычисление вероятности заданного отклонения

Показательный закон распределения

Пример №2

ЛЕКЦИЯ 10

8. НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ

8.1. Функция нормального распределения

8.2. Вероятность попадания нормально распределенной случайной величины в заданный интервал

8.3. Распределения, связанные с нормальным

8.3.1. Распределение Пирсона (2-распределение)

8.3.2. Распределение Стьюдента (t-распределение)

8.3.3. Распределение Фишера (F-распределение)

8.4*. Характеристическая функция нормального распределения

ЛЕКЦИЯ
10

8.
НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ

8.1.
Функция нормального распределения

8.2.
Вероятность попадания нормально

распределенной случайной величины

в заданный интервал

8.3.
Распределения, связанные с нормальным

8.3.1.
Распределение Пирсона (²-распределение)

8.3.2.
Распределение Стьюдента (t-распределение)

8.3.3.
Распределение Фишера (F-распределение)

8.4*.
Характеристическая функция
нормального
распределения