Несмещенная оценка выборочной дисперсии
Краткая теория
Пусть из генеральной совокупности в результате
независимых наблюдений над количественным
признаком
извлечена повторная выборка объема
:
При этом
Требуется по данным выборки оценить (приближенно найти) неизвестную
генеральную дисперсию
.
Если в качестве оценки генеральной дисперсии принять выборочную дисперсию, то
эта оценка будет приводить в систематическим ошибкам, давая заниженное значение
генеральной дисперсии. Объясняется это тем, что, как можно доказать, выборочная
дисперсия является смещенной оценкой
,
другими словами, математическое ожидание выборочной дисперсии не равно
оцениваемой генеральной дисперсии, а равно:
Легко «исправить» выборочную дисперсию так, чтобы ее математическое
ожидание было равно генеральной дисперсии. Достаточно для этого умножить
на дробь
.
Сделав это, получим исправленную дисперсию, которую обычно обозначают через
:
Исправленная дисперсия является, конечно, несмещенной оценкой
генеральной дисперсии. Действительно:
Итак, в качестве оценки генеральной дисперсии принимают
исправленную дисперсию:
Для оценки среднего квадратического
отклонения генеральной совокупности используют исправленное среднее квадратическое отклонение, которое равно квадратному корню
из исправленной дисперсии:
При достаточно больших значениях
объема выборки выборочная и исправленная
дисперсия отличаются мало. На практике используются исправленной дисперсией,
если примерно
.
Пример решения задачи
Задача
Найти
несмещенную выборочную дисперсию на основании данного распределения выборки.
Решение
На сайте можно заказать решение контрольной или самостоятельной работы, домашнего задания, отдельных задач. Для этого вам нужно только связаться со мной:
ВКонтакте
WhatsApp
Telegram
Мгновенная связь в любое время и на любом этапе заказа. Общение без посредников. Удобная и быстрая оплата переводом на карту СберБанка. Опыт работы более 25 лет.
Подробное решение в электронном виде (docx, pdf) получите точно в срок или раньше.
Выборочная дисперсия является смещенной оценкой генеральной дисперсии, поэтому в статистике применяют также исправленную выборочную дисперсию, которая является несмещенной оценкой генеральной дисперсии.
Сумма
частот:
Вычислим
среднюю:
Средняя квадратов:
Несмещенная
выборочная дисперсия:
Ответ:
Кроме этой задачи на другой странице сайта есть
пример расчета исправленной выборочной дисперсии и среднего квадратического отклонения для интервального вариационного ряда
Оценка математического ожидания
Оценкой
математического ожидания является
среднее арифметическое значений:
.
В
случае, когда n
велико оценка
математического ожидания
вычисляется
по формуле:
,
где
хi
– значения
случайной величины, mi
– частоты
появления значений,
n
– общее количество проведенных
испытаний, k–
количество значений случайной величины.
Если частоты
mi
не учитывают,
то используют формулу:
,
где
хi
– значения
случайной величины,
n
– общее количество проведенных
испытаний.
Оценку
математического ожидания называют
также выборочной
средней.
Оценка дисперсии
Запишем формулу
дисперсии дискретной случайной
величины:
Так
как
,
а
,
то получим:
.
Полученная
величина называется дисперсией
выборки и обозначается
.
Однако, эта оценка
является смещенной
оценкой для дисперсии.
Несмещенной
оценкой дисперсии
считают величину:
.
Несмещенную
оценку дисперсии можно вычислять в
зависимости от представления
статистического ряда по формулам:
или 
.
Оценка среднего квадратического отклонения
Несмещенная
оценка
среднего квадратического отклонения
.
Оценка
средней квадратической погрешности
среднего арифметического
Оценка
среднеквадратической погрешности
среднего арифметического вычисляется
по формуле:
.
При
решении задач на вычисление оценок
дисперсий расчеты удобно проводить в
таблице.
Интервальные оценки
Интервальной
оценкой называется множество точечных
оценок, которое зависит от результатов
наблюдений и, следовательно, является
случайным. Интервальной называется
оценку, которая определяется двумя
числами – концами интервала. Поэтому
каждой интервальной оценке ставится
в соответствие доверительная вероятность
или надежность, с которой эта оценка
накроет неизвестный параметр. В качестве
надежности берут число близкое к
единице.
Вероятность того,
что интервал (**
заключает в
себе (покрывает) неизвестный параметр
,
равна p:
Р**=p.
Доверительным
называется интервал (**,
который
покрывает неизвестный параметр с
заданной надежностью .
Наиболее часто p
равно 0,9;
0,95; 0,99; 0,999.
При исследованиях в фармации, медицине
и биологии доверительную вероятность
принимают равной 0,95.
Нахождение
доверительного интервала для оценки
нормального
распределения при
неизвестном .
Распределение Стьюдента
Пусть случайная
величина Х
имеет нормальное распределение, причем
и
неизвестны. По данным выборки можно
построить случайную величину Т
(ее возможные значения обозначим через
t):
,
где
–
выборочная средняя из n
наблюдений; 
– оценка среднего квадратического
отклонения выборочной средней (оценка
среднеквадратической погрешности
среднего арифметического вычисляется
по формуле:
)
Распределение
Т с f=n-1 степенями свободы называется
t-распределением или распределением
Стьюдента. Функция плотности вероятности
зависит от числа степеней свободы f и
не зависит от дисперсии случайных
величин .
Пользуясь распределением Стьюдента
можно определить доверительный интервал,
покрывающий неизвестный параметр μ с
надежностью
.
Таким образом,
интервальной оценкой математического
ожидания является доверительный
интервал
.
Решение задач
1. Построить полигон
относительных частот, если дискретный
ряд распределения представлен в
таблице:
-
хi
37
38
39
40
41
42
43
mi
1
5
5
8
15
4
12
Решение.
Найдем объем выборки
.
Так как относительная частота
,
запишем в таблицу полученные значения:
-
хi
37
38
39
40
41
42
43
mi
1
5
5
8
15
4
12
p*
0,02
0,1
0,1
0,16
0,3
0,08
0,24
=1
Проконтролируем
результат, вычислив сумму полученного
ряда (по определению
).
Построим полигон относительных частот
(рис. 9.3).
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]
- #
- #
- #
- #
- #
- #
- #
- #
- #
- #
- #
Задача 55. Из генеральной совокупности извлечена выборка объема N, заданная вариантами ХI и соответствующими им частотами. Найти несмещенную оценку генеральной средней.
|
Варианта ХI |
2 |
5 |
7 |
10 |
|
Частота Ni |
16 |
12 |
8 |
14 |
Решение. Множество всех объектов, подлежащих изучению, называется Генеральной совокупностью. Множество случайно отобранных объектов называется выборочной совокупностью или Выборкой.
Для оценки неизвестных параметров теоретического распределения служат статистические оценки. Статистическая оценка, определяемая одним числом, называется Точечной оценкой.
Точечная статистическая оценка, математическое ожидание которой равно оцениваемому параметру при любом объеме выборки, называется Несмещенной оценкой. Статистическая оценка, математическое ожидание которой не равно оцениваемому параметру является Смещенной.
Несмещенной оценкой генеральной средней (математического ожидания) служит выборочная средняя
(1),
Где ХI – варианта выборки (элемент выборки); Ni – частота варианты ХI (число наблюдений варианты ХI); 
– объем выборки (число элементов совокупности).
Объем данной выборки равен 
.
Далее по формуле (1) вычисляем несмещенную оценку генеральной средней:
Задача 56. По выборке объема N=41 найдена смещенная оценка генеральной дисперсии 
. Найти несмещенную оценку дисперсии генеральной совокупности.
Решение. Смещенной оценкой генеральной дисперсии служит выборочная дисперсия
Несмещенной оценкой генеральной дисперсии является «исправленная дисперсия»
или 
Таким образом, мы получаем искомую несмещенную оценку дисперсии генеральной совокупности:
Задача 57. Найти доверительный интервал для оценки с надежностью P=0,95 неизвестного математического ожидания A нормально распределенного признака Х генеральной совокупности, если даны генеральное среднее квадратическое отклонение S=5, выборочная средняя 
, а объем выборки N=25.
Решение. Интервальной оценкой называется интервал, покрывающий оцениваемый параметр. Доверительным интервалом является интервал, который с данной надежностью покрывает оцениваемый параметр.
Для оценки математического ожидания A нормально распределенного количественного признака Х по выборочной средней 
при известном среднем квадратическом отклонении s генеральной совокупности служит доверительный интервал
,
Где 
– точность оценки, T – значение аргумента функции Лапласа 
(приложение, таблица 2).
В данной задаче T находим из условия 
. По таблице 2 определяем 
. Таким образом, T=1,96.
Далее получаем
Или 
Задача 58. По данным N=9 независимых равноточных измерений некоторой физической величины найдены среднее арифметическое результатов измерений 
и исправленное среднее квадратическое отклонение S=6. Оценить истинное значение измеряемой величины при помощи доверительного интервала с надежностью 
=0,99.
Решение. Оценкой математического ожидания A нормально распределенного количественного признака Х в случае неизвестного среднего квадратического отклонения является доверительный интервал
.
По таблице 3 приложения, по заданным N и 
находим 
=3,36.
Таким образом
Окончательно получаем
Задача 59. Из генеральной совокупности извлечена выборка объема N. Оценить с надежностью =0,95 математическое ожидание A нормально распределенного признака Х генеральной совокупности по выборочной средней с помощью доверительного интервала.
|
Значение признака ХI |
-2 |
1 |
1 |
3 |
4 |
5 |
|
Частота Ni |
2 |
1 |
2 |
2 |
2 |
1 |
Решение. Объем данной выборки равен 
По данным задачи находим выборочную среднюю:
Далее находим исправленное среднее квадратическое отклонение S:
Для оценки математического ожидания A нормально распределенного количественного признака Х в случае неизвестного среднего квадратического отклонения служит доверительный интервал
.
По таблице 3 приложения по заданным N и находим =2,26.
Таким образом
Окончательно получаем
Задача 60. Построить полигон частот и эмпирическую функцию по данному распределению выборки:
|
Варианты ХI |
-3 |
0 |
1 |
4 |
6 |
7 |
|
Частоты Ni |
3 |
6 |
1 |
2 |
5 |
1 |
Решение. Полигоном частот называют ломаную, отрезки которой соединяют точки 
; 
;…;
, где ХI – варианты выборки, Ni – соответствующие им частоты.
Полигон частот для данного распределения изображен на рисунке 15.
Рис. 15
Эмпирической функцией распределения (функцией распределения выборки) называют функцию 
, определяющую для каждого значения X относительную частоту события 
:
,
Где 
– число вариант, меньших Х; N – объем выборки.
Из определения следует, что 
.
Найдем эмпирическую функцию распределения.
Объем данной выборки равен =18.
Если 
, то =0 (так как -3 – наименьшая варианта). Если 
, то значение 
, а именно 
наблюдалось 3 раза, следовательно, 
. При 
значения 
, а именно и 
наблюдались 3+6=9 раз, следовательно, 
.
Аналогично получаем, что при 
функция распределения 
; при 
функция распределения 
; при 
функция распределения 
. Далее, если 
, то 
(так как 7 – наибольшая варианта).
Таким образом, эмпирическая функция распределения равна:
График полученной эмпирической функции распределения изображен на рисунке 16.
Задача 61. Найти методом сумм асимметрию и эксцесс по заданному распределению выборки объема N=100:
|
Варианта ХI |
48 |
52 |
56 |
60 |
64 |
68 |
72 |
76 |
80 |
84 |
|
Частота Ni |
2 |
4 |
6 |
8 |
12 |
30 |
18 |
8 |
7 |
5 |
Решение. Асимметрия 
эмпирического распределения определяется равенством:
,
Где 
— центральный эмпирический момент третьего порядка, вычисляемый по формуле: 
Эксцесс 
эмпирического распределения определяется равенством:
,
Где 
— центральный эмпирический момент четвертого порядка, вычисляемый по формуле: 
Асимметрия и эксцесс служат для оценки отклонения эмпирического распределения от нормального. Для нормального распределения эти характеристики равны нулю. Поэтому, если для изучаемого распределения асимметрия и эксцесс имеют небольшие значения, то можно предположить близость этого распределения к нормальному. Наоборот, большие значения асимметрии и эксцесса указывают на значительное отклонение от нормального. Кроме того, если эксцесс положительный, то распределение будет островершинным; если отрицательный, то распределение будет плосковершинным по сравнению с нормальным распределением.
Для практического расчета асимметрии и эксцесса непосредственно пользоваться вышеуказанными формулами довольно затруднительно, поэтому воспользуемся методом сумм. Составим расчетную таблицу 1, для этого:
1) Запишем варианты в первый столбец.
2) Запишем частоты во второй столбец; сумму частот (100) поместим в нижнюю клетку столбца.
3) В качестве ложного нуля С выберем варианту (68), которая имеет наибольшую частоту (в качестве С можно взять любую варианту, расположенную примерно в середине столбца); в клетках строки, содержащей ложный нуль, запишем нули; в четвертом столбце над и под уже помещенным нулем запишем еще по одному нулю.
4) В оставшихся незаполненными над нулем клетках третьего столбца (исключая самую верхнюю) запишем последовательно накопленные частоты:
2; 2+4=6; 6+6=12; 12+8=20; 20+12=32.
Сложив все накопленные частоты, получим число B1=72, которое поместим в верхнюю клетку третьего столбца. В оставшихся незаполненными под нулем клетках третьего столбца (исключая самую нижнюю) запишем последовательно накопленные частоты:
5; 5+7=12; 12+8=20; 20+18=38.
Сложив все накопленные частоты, получим число A1=75, которое поместим в нижнюю клетку третьего столбца.
5) Аналогично заполняется четвертый столбец, причем суммируют частоты третьего столбца. Сложив все накопленные частоты, расположенные над нулем, получим число B2=70, которое поместим в верхнюю клетку четвертого столбца. Сумма накопленных частот, расположенных под нулем, равна числу A2=59, которое поместим в нижнюю клетку четвертого столбца.
6) Для заполнения столбца 5 запишем нуль в клетке строки, содержащей ложный нуль (68); над этим нулем и под ним поставим еще по два нуля. В клетках над нулями запишем накопленные частоты, для чего просуммируем частоты столбца 4 сверху вниз; в итоге будем иметь следующие накопленные частоты:
2; 2+8=10; 10+20=30.
Сложив накопленные частоты, получим число B3=42, которое поместим в верхнюю клетку пятого столбца. В клетках под нулями запишем накопленные частоты, для чего просуммируем частоты столбца 4 снизу вниз; в итоге будем иметь следующие накопленные частоты:
5; 5+17=22.
Сложив накопленные частоты, получим число A3=27, которое поместим в нижнюю клетку пятого столбца.
7) Аналогично заполняется столбец 6, причем суммируют частоты столбца 5.
В итоге получим расчетную таблицу 1:
Расчетная таблица 1
|
1 |
2 |
3 |
4 |
5 |
6 |
|
ХI |
Ni |
B1=72 |
B2=70 |
B3=42 |
B4=14 |
|
48 |
2 |
2 |
2 |
2 |
2 |
|
52 |
4 |
6 |
8 |
10 |
12 |
|
56 |
6 |
12 |
20 |
30 |
0 |
|
60 |
8 |
20 |
40 |
0 |
0 |
|
64 |
12 |
32 |
0 |
0 |
0 |
|
68 |
30 |
0 |
0 |
0 |
0 |
|
72 |
18 |
38 |
0 |
0 |
0 |
|
76 |
8 |
20 |
37 |
0 |
0 |
|
80 |
7 |
12 |
17 |
22 |
0 |
|
84 |
5 |
5 |
5 |
5 |
5 |
|
N=100 |
A1=75 |
A2=59 |
A3=27 |
A4=5 |
Теперь найдем Di (I=1, 2, 3) и si (I=1, 2, 3, 4):
; 
; 
;
; 
;
; 
.
Найдем условные моменты первого, второго, третьего и четвертого порядков:
; 
;
;
.
Найдем далее центральные эмпирические моменты третьего и четвертого порядков, учитывая, что шаг 
(разность между двумя соседними вариантами):
;
Так как дисперсия 
, то выборочное среднее квадратическое отклонение 
.
Учитывая определения асимметрии и эксцесса, окончательно получаем:
; 
.
| < Предыдущая | Следующая > |
|---|
Приветствую посетителей блога statanaliz.info. В данной статье рассмотрим, что такое «выборочная несмещенная дисперсия».
Тема не нова, так как с таким показателями как размах значений, среднее линейное отклонение, дисперсия, среднеквадратичное (стандартное) отклонение, коэффициент вариации мы уже знакомы.
Понятие о сплошном и выборочном наблюдении
С точки зрения охвата объекта исследования, статистический анализ можно разделить на два вида: сплошной и выборочный. Сплошной статанализ предполагает изучение генеральной совокупности данных, то есть всего явления во всем его многообразии без распространения выводов на другие элементы, не входящие в анализируемую совокупность. Из названия данного типа явствует, что наблюдению подвергаются тотально все элементы. Результат анализа распространяется на всю генеральную совокупность без каких-либо допущений и поправок на ошибку. Данный тип статистического исследования является наиболее полным и точным, так как дополнительные знания почерпнуть уже неоткуда – информация собрана со всех элементов объекта исследования. Это бесспорный плюс.
Отличным примером сплошного наблюдения является перепись населения. «Всесоюзная перепись населения» — красиво звучало! Кстати, советская статистика, как и наука в целом, была одной из самых лучших в мире. Денег на проведение сплошных обследований не жалели, так как при СССР статистика выполняла свою прямую функцию – исследовала реальность, без чего невозможно было строить «светлое будущее». При этом советские ученые-статистики справедливо критиковали буржуазную статистику за то, что те скрывают от народа реальное положение дел и используют статистику для промывки мозгов. Об этом, кстати, писали и сами буржуи. Более практичный пример сплошного наблюдения – опрос жителей многоэтажного дома на предмет заваривания мусоропровода. Опрашиваются все, результат дает вполне однозначный ответ об отношении жителей к мусоропроводу. Ошибки в выводах маловероятны.
Как бы там ни было, у сплошного наблюдения есть отрицательное качество: на организацию и проведение исследования могут потребоваться значительные ресурсы. Одно дело взять пробу из партии товаров, другое – проверять всю партию. Одно дело опросить тысячу прохожих на улице, совсем другое – организовать перепись населения.
В противовес сплошному придумали выборочное наблюдение. Название метода точно отражает его суть: из генеральной совокупности отбирается и анализируется только часть данных, а выводы распространяют на всю генеральную совокупность. Отбор данных происходит таким образом, чтобы выборка была репрезентативной, то есть, сохранила внутреннюю структуру и закономерности генеральной совокупности. Если это условие не соблюдено, то дальнейший анализ во многом теряет смысл.
Сам анализ выборочных данных происходит так же, как и при сплошном наблюдении (рассчитываются различные показатели, делаются прогнозы и т.д.), только с поправкой на ошибку. Это значит, что рассчитывая тот или иной показатель, мы понимаем, что при повторной выборке его значение будет другим. К примеру, провели опрос общественного мнения. Опрос показал, что за кандидата N желают проголосовать 60% опрошенных. Если провести еще один такой же опрос, даже в том же месте, то результат будет отличаться. То есть, взяв первое значение 60%, следует понимать, что с той или иной вероятностью оно могло быть, скажем, и 58%, и 62%. Точность и разброс выборочных показателей зависят от характера данных и их количества.
У выборочного наблюдения есть один существенный плюс и один минус, однако по сравнению со сплошным наблюдением крайности меняются местами. Плюс заключается в том, что для проведения выборочного обследования требуется гораздо меньше ресурсов. Минус – в том, что выборочное наблюдение всегда ошибочно. Поэтому основная задача проведения выборочного наблюдения – добиться максимальной точности при приемлемых затратах на его проведение.
Выборочная несмещенная дисперсия
И вот, стало быть, дисперсия. Дисперсия, как и доля или средняя арифметическая, также меняет свое значение от выборки к выборке, но здесь есть интересная особенность. Дисперсия ведь рассчитывается от средней величины, а она в свою очередь, тоже рассчитывается по выборке, то есть является ошибочной. Как же это обстоятельство влияет на саму дисперсию?
Если бы мы знали истинную среднюю величину (по генеральной совокупности), то ошибка дисперсии была бы связана только с нерепрезентативностью, то есть с тем, что данные в выборке оказались бы ближе или дальше от средней, чем в целом по генеральной совокупности. При этом при многократном повторении данные стремились бы к своему реальному расположению относительно средней.
Выборочный показатель, который при многократном повторении выборки стремится к своему теоретическому значению, называется несмещенной оценкой. Почему оценкой? Потому что мы не знаем реальное значение показателя (по генеральной совокупности), и с помощью выборочного наблюдения пытаемся его оценить. Оценка показателя – это есть его характеристика, рассчитанная по выборке.
Теперь смотрим внимательно на выборочную среднюю. Выборочная средняя – это несмещенная оценка математического ожидания, так как средняя из выборочных средних стремится к своему теоретическому значению по генеральной совокупности. Где она расположена? Правильно, в центре выборки! Средняя всегда находится в центре значений, по которым рассчитана – на то она и средняя. А раз выборочная средняя находится в центре выборки, то из этого следует, что сумма квадратов расстояний от каждого значения выборки до выборочной средней всегда меньше, чем до любой другой точки, в том числе и до генеральной средней. Это ключевой момент. А раз так, то дисперсия в каждой выборке будет занижена. Средняя из заниженных дисперсий также даст заниженное значение. То есть при многократном повторении эксперимента выборочная дисперсия не будет стремиться к своему истинному значению (как выборочная средняя), а будет смещена относительно истинного значения по генеральной совокупности.
Отклонение выборочной средней от генеральной показано на рисунке.
Несмещенность оценки – одна из важных характеристик статистического показателя. Смещенная оценка показателя заранее говорит о тенденции к ошибке. Поэтому показатели стараются оценивать таким образом, чтобы их оценки были несмещенными (как у средней арифметической). Чтобы решить проблему смещенности выборочной дисперсии, в ее расчет вносят корректировку – умножают на n/(n-1), либо сразу при расчете в знаменатель ставят не n, а n-1. Получается так.
Выборочная смещенная дисперсия:
Выборочная несмещенная дисперсия:
Под выборочной дисперсией понимают, как правило, именно несмещенный вариант.
Теперь посмотрим на практическую сторону отличия смещенной и несмещенной дисперсии. Соотношение между выборочной и генеральной дисперсией составляет n/n-1. Несложно догадаться, что с ростом n (объема выборки) данное выражение стремится к 1, то есть разница между значениями выборочной и генеральной дисперсиями уменьшается.
Так, в выборке из 11 наблюдений относительная разница составляет 11/10 = 10%. При 21 наблюдениях, отличие сокращается до 5%, при 31 наблюдении – до 3,3%, при 51 – до 2%, при 101 – до 1%. Короче, при достаточно большой выборке данных (50 и выше наблюдений) относительная разница между смещенной и несмещенной дисперсией практически исчезает. Оценка параметра, когда с ростом выборки его отклонение от теоретического значения уменьшается, называется асимптотически несмещенной оценкой.
При переходе к среднеквадратичном отклонению по выборке (корень из выборочной дисперсии) разница становится еще меньше.
Таким образом, эффект смещенной дисперсии проявляется в небольших выборках. В больших выборках можно использовать генеральную дисперсию, что как бы не усложняет и не упрощает жизнь. Вручную сейчас никто не считает. Все легко посчитать в Excel. Но понимать различие в терминологии и в сути показателей все же следует.
Из данной статьи неплохо бы усвоить следующее.
1. Формула генеральной дисперсии в выборке дает смещенную оценку.
2. В знаменателе несмещенной оценки n-1 вместо n.
3. При большом объеме выборки (от 100 наблюдений) разница между смещенной и несмещенной дисперсиями практически исчезает.
4. Стандартное отклонение по выборке – это корень из выборочной дисперсии.
До новых встреч на блоге statanaliz.info.
Поделиться в социальных сетях: