Ниже представлена таблица значений критических точек распределения χ2 (хи-квадрат) критерия Пирсона, широко используемые в задачах математической статистики, таких как построение доверительных интервалов,
проверка статистических гипотез и непараметрическое оценивание.
|
Число степеней свободы k |
Уровень значимости α | |||||
| 0,01 | 0,025 | 0,05 | 0,95 | 0,975 | 0,99 | |
| 1 | 6,6 | 5 | 3,8 | 0,0039 | 0,00098 | 0,00016 |
| 2 | 9,2 | 7,4 | 6 | 0,103 | 0,051 | 0,02 |
| 3 | 11,3 | 9,4 | 7,8 | 0,352 | 0,216 | 0,115 |
| 4 | 13,3 | 11,1 | 9,5 | 0,711 | 0,484 | 0,297 |
| 5 | 15,1 | 12,8 | 11,1 | 1,15 | 0,831 | 0,554 |
| 6 | 16,8 | 14,4 | 12,6 | 1,64 | 1,24 | 0,872 |
| 7 | 18,5 | 16 | 14,1 | 2,17 | 1,69 | 1,24 |
| 8 | 20,1 | 17,5 | 15,5 | 2,73 | 2,18 | 1,65 |
| 9 | 21,7 | 19 | 16,9 | 3,33 | 2,7 | 2,09 |
| 10 | 23,2 | 20,5 | 18,3 | 3,94 | 3,25 | 2,56 |
| 11 | 24,7 | 21,9 | 19,7 | 4,57 | 3,82 | 3,05 |
| 12 | 26,2 | 23,3 | 21 ,0 | 5,23 | 4,4 | 3,57 |
| 13 | 27,7 | 24,7 | 22,4 | 5,89 | 5,01 | 4,11 |
| 14 | 29,1 | 26,1 | 23,7 | 6,57 | 5,63 | 4,66 |
| 15 | 30,6 | 27,5 | 25 | 7,26 | 6,26 | 5,23 |
| 16 | 32 | 28,8 | 26,3 | 7,96 | 6,91 | 5,81 |
| 17 | 33,4 | 30,2 | 27,6 | 8,67 | 7,56 | 6,41 |
| 18 | 34,8 | 31,5 | 28,9 | 9,39 | 8,23 | 7,01 |
| 19 | 36,2 | 32,9 | 30,1 | 10,1 | 8,91 | 7,63 |
| 20 | 37,6 | 34,2 | 31,4 | 10,9 | 9,59 | 8,26 |
| 21 | 38,9 | 35,5 | 32,7 | 11,6 | 10,3 | 8,9 |
| 22 | 40,3 | 36,8 | 33,9 | 12,3 | 11 | 9,54 |
| 23 | 41,6 | 38,1 | 35,2 | 13,1 | 11,7 | 10,2 |
| 24 | 43 | 39,4 | 36,4 | 13,8 | 12,4 | 10,9 |
| 25 | 44,3 | 40,6 | 37,7 | 14,6 | 13,1 | 11,5 |
| 26 | 45,6 | 41,9 | 38,9 | 15,4 | 13,8 | 12,2 |
| 27 | 47 | 43,2 | 40,1 | 16,2 | 14,6 | 12,9 |
| 28 | 48,3 | 44,5 | 41,3 | 16,9 | 15,3 | 13,6 |
| 29 | 49,6 | 45,7 | 42,6 | 17,7 | 16 | 14,3 |
| 30 | 50,9 | 47 | 43,8 | 18,5 | 16,8 | 15 |
Пример решения задачи
Задача
Имеется
три независимых реализации нормальной случайной величины: 0.6, 3.4, 2.0.
Проверить
гипотезу
: дисперсия равна
10.0.
Используются
таблицы распределения хи-квадрат.
На сайте можно заказать решение контрольной или самостоятельной работы, домашнего задания, отдельных задач. Для этого вам нужно только связаться со мной:
ВКонтакте
WhatsApp
Telegram
Мгновенная связь в любое время и на любом этапе заказа. Общение без посредников. Удобная и быстрая оплата переводом на карту СберБанка. Опыт работы более 25 лет.
Подробное решение в электронном виде (docx, pdf) получите точно в срок или раньше.
Решение
Вычислим
среднее и
исправленную дисперсию:
Для
того, чтобы при заданном уровне значимости
проверить нулевую гипотезу
о равенстве неизвестной генеральной дисперсии
гипотетическому значению
при конкурирующей гипотезе
вычисляем наблюдаемое значение критерия:
При
уровне значимости
находим:
— нет
оснований отвергнуть нулевую гипотезу
До конца XIX века нормальное распределение считалась всеобщим законом вариации данных. Однако К. Пирсон заметил, что эмпирические частоты могут сильно отличаться от нормального распределения. Встал вопрос, как это доказать. Требовалось не только графическое сопоставление, которое имеет субъективный характер, но и строгое количественное обоснование.
Так был изобретен критерий χ2 (хи квадрат), который проверяет значимость расхождения эмпирических (наблюдаемых) и теоретических (ожидаемых) частот. Это произошло в далеком 1900 году, однако критерий и сегодня на ходу. Более того, его приспособили для решения широкого круга задач. Прежде всего, это анализ категориальных данных, т.е. таких, которые выражаются не количеством, а принадлежностью к какой-то категории. Например, класс автомобиля, пол участника эксперимента, вид растения и т.д. К таким данным нельзя применять математические операции вроде сложения и умножения, для них можно только подсчитать частоты.
Наблюдаемые частоты обозначим О (Observed), ожидаемые – E (Expected). В качестве примера возьмем результат 60-кратного бросания игральной кости. Если она симметрична и однородна, вероятность выпадения любой стороны равна 1/6 и, следовательно, ожидаемое количество выпадения каждой из сторон равна 10 (1/6∙60). Наблюдаемые и ожидаемые частоты запишем в таблицу и нарисуем гистограмму.
Нулевая гипотеза заключается в том, что частоты согласованы, то есть фактические данные не противоречат ожидаемым. Альтернативная гипотеза – отклонения в частотах выходят за рамки случайных колебаний, расхождения статистически значимы. Чтобы сделать строгий вывод, нам потребуется.
- Обобщающая мера расхождения между наблюдаемыми и ожидаемыми частотами.
- Распределение этой меры при справедливости гипотезы о том, что различий нет.
Начнем с расстояния между частотами. Если взять просто разницу О — E, то такая мера будет зависеть от масштаба данных (частот). Например, 20 — 5 =15 и 1020 – 1005 = 15. В обоих случаях разница составляет 15. Но в первом случае ожидаемые частоты в 3 раза меньше наблюдаемых, а во втором случае – лишь на 1,5%. Нужна относительная мера, не зависящая от масштаба.
Обратим внимание на следующие факты. В общем случае количество категорий, по которым измеряются частоты, может быть гораздо больше, поэтому вероятность того, что отдельно взятое наблюдение попадет в ту или иную категорию, довольно мала. Раз так, то, распределение такой случайной величины будет подчинятся закону редких событий, известному под названием закон Пуассона. В законе Пуассона, как известно, значение математического ожидания и дисперсии совпадают (параметр λ). Значит, ожидаемая частота для некоторой категории номинальной переменной Ei будет являться одновременное и ее дисперсией. Далее, закон Пуассона при большом количестве наблюдений стремится к нормальному. Соединяя эти два факта, получаем, что, если гипотеза о согласии наблюдаемых и ожидаемых частот верна, то, при большом количестве наблюдений, выражение
имеет стандартное нормальное распределение.
Важно помнить, что нормальность будет проявляться только при достаточно больших частотах. В статистике принято считать, что общее количество наблюдений (сумма частот) должна быть не менее 50 и ожидаемая частота в каждой группе должна быть не менее 5. Только в этом случае величина, показанная выше, имеет стандартное нормальное распределение. Предположим, что это условие выполнено.
У стандартного нормального распределения почти все значение находятся в пределах ±3 (правило трех сигм). Таким образом, мы получили относительную разность в частотах для одной группы. Нам нужна обобщающая мера. Просто сложить все отклонения нельзя – получим 0 (догадайтесь почему). Пирсон предложил сложить квадраты этих отклонений.
Это и есть статистика для критерия Хи-квадрат Пирсона. Если частоты действительно соответствуют ожидаемым, то значение статистики Хи-квадрат будет относительно не большим (отклонения находятся близко к нулю). Большое значение статистики свидетельствует в пользу существенных различий между частотами.
«Большой» статистика Хи-квадрат становится тогда, когда появление наблюдаемого или еще большего значения становится маловероятным. И чтобы рассчитать такую вероятность, необходимо знать распределение статистики Хи-квадрат при многократном повторении эксперимента, когда гипотеза о согласии частот верна.
Как нетрудно заметить, величина хи-квадрат также зависит от количества слагаемых. Чем больше слагаемых, тем больше ожидается значение статистики, ведь каждое слагаемое вносит свой вклад в общую сумму. Следовательно, для каждого количества независимых слагаемых, будет собственное распределение. Получается, что χ2 – это целое семейство распределений.
И здесь мы подошли к одному щекотливому моменту. Что такое число независимых слагаемых? Вроде как любое слагаемое (т.е. отклонение) независимо. К. Пирсон тоже так думал, но оказался неправ. На самом деле число независимых слагаемых будет на один меньше, чем количество групп номинальной переменной n. Почему? Потому что, если мы имеем выборку, по которой уже посчитана сумма частот, то одну из частот всегда можно определить, как разность общего количества и суммой всех остальных. Отсюда и вариация будет несколько меньше. Данный факт Рональд Фишер заметил лет через 20 после разработки Пирсоном своего критерия. Даже таблицы пришлось переделывать.
По этому поводу Фишер ввел в статистику новое понятие – степень свободы (degrees of freedom), которое и представляет собой количество независимых слагаемых в сумме. Понятие степеней свободы имеет математическое объяснение и проявляется только в распределениях, связанных с нормальным (Стьюдента, Фишера-Снедекора и сам Хи-квадрат).
Чтобы лучше уловить смысл степеней свободы, обратимся к физическому аналогу. Представим точку, свободно движущуюся в пространстве. Она имеет 3 степени свободы, т.к. может перемещаться в любом направлении трехмерного пространства. Если точка движется по какой-либо поверхности, то у нее уже две степени свободы (вперед-назад, вправо-влево), хотя и продолжает находиться в трехмерном пространстве. Точка, перемещающаяся по пружине, снова находится в трехмерном пространстве, но имеет лишь одну степень свободы, т.к. может двигаться либо вперед, либо назад. Как видно, пространство, где находится объект, не всегда соответствует реальной свободе перемещения.
Примерно также распределение статистики может зависеть от меньшего количества элементов, чем нужно слагаемых для его расчета. В общем случае количество степеней свободы меньше наблюдений на число имеющихся зависимостей.
Таким образом, распределение хи квадрат (χ2) – это семейство распределений, каждое из которых зависит от параметра степеней свободы. Формальное определение следующее. Распределение χ2 (хи-квадрат) с k степенями свободы — это распределение суммы квадратов k независимых стандартных нормальных случайных величин.
Далее можно было бы перейти к самой формуле, по которой вычисляется функция распределения хи-квадрат, но, к счастью, все давно подсчитано за нас. Чтобы получить интересующую вероятность, можно воспользоваться либо соответствующей статистической таблицей, либо готовой функцией в Excel.
Интересно посмотреть, как меняется форма распределения хи-квадрат в зависимости от количества степеней свободы.
С увеличением степеней свободы распределение хи-квадрат стремится к нормальному. Это объясняется действием центральной предельной теоремы, согласно которой сумма большого количества независимых случайных величин имеет нормальное распределение. Про квадраты там ничего не сказано )).
Проверка гипотезы по критерию Хи квадрат Пирсона
Вот мы и подошли к проверке гипотез по методу хи-квадрат. В целом техника остается прежней. Выдвигается нулевая гипотеза о том, что наблюдаемые частоты соответствуют ожидаемым (т.е. между ними нет разницы, т.к. они взяты из той же генеральной совокупности). Если этот так, то разброс будет относительно небольшим, в пределах случайных колебаний. Меру разброса определяют по статистике Хи-квадрат. Далее либо полученную статистику сравнивают с критическим значением (для соответствующего уровня значимости и степеней свободы), либо, что более правильно, рассчитывают наблюдаемый p-value, т.е. вероятность получить такое или еще больше значение статистики при справедливости нулевой гипотезы.
Т.к. нас интересует согласие частот, то отклонение гипотезы произойдет, когда статистика окажется больше критического уровня. Т.е. критерий является односторонним. Однако иногда (иногда) требуется проверить левостороннюю гипотезу. Например, когда эмпирические данные уж оооочень сильно похожи на теоретические. Тогда критерий может попасть в маловероятную область, но уже слева. Дело в том, что в естественных условиях, маловероятно получить частоты, практически совпадающие с теоретическими. Всегда есть некоторая случайность, которая дает погрешность. А вот если такой погрешности нет, то, возможно, данные были сфальсифицированы. Но все же обычно проверяют правостороннюю гипотезу.
Вернемся к задаче с игральной костью. Рассчитаем по имеющимся данным значение статистики критерия хи-квадрат.
Теперь найдем критическое значение при 5-ти степенях свободы (k) и уровне значимости 0,05 (α) по таблице критических значений распределения хи квадрат.
То есть квантиль 0,05 хи квадрат распределения (правый хвост) с 5-ю степенями свободы χ20,05; 5 = 11,1.
Сравним фактическое и табличное значение. 3,4 (χ2) < 11,1 (χ20,05; 5). Расчетный значение оказалось меньшим, значит гипотеза о равенстве (согласии) частот не отклоняется. На рисунке ситуация выглядит вот так.
Если бы расчетное значение попало в критическую область, то нулевая гипотеза была бы отклонена.
Более правильным будет рассчитать еще и p-value. Для этого нужно в таблице найти ближайшее значение для заданного количества степеней свободы и посмотреть соответствующий ему уровень значимости. Но это прошлый век. Воспользуемся ЭВМ, в частности MS Excel. В эксель есть несколько функций, связанных с хи-квадрат.
Ниже их краткое описание.
ХИ2.ОБР – критическое значение Хи-квадрат при заданной вероятности слева (как в статистических таблицах)
ХИ2.ОБР.ПХ – критическое значение при заданной вероятности справа. Функция по сути дублирует предыдущую. Но здесь можно сразу указывать уровень α, а не вычитать его из 1. Это более удобно, т.к. в большинстве случаев нужен именно правый хвост распределения.
ХИ2.РАСП – p-value слева (можно рассчитать плотность).
ХИ2.РАСП.ПХ – p-value справа.
ХИ2.ТЕСТ – по двум диапазонам частот сразу проводит тест хи-квадрат. Количество степеней свободы берется на одну меньше, чем количество частот в столбце (так и должно быть), возвращая значение p-value.
Давайте пока рассчитаем для нашего эксперимента критическое (табличное) значение для 5-ти степеней свободы и альфа 0,05. Формула Excel будет выглядеть так:
=ХИ2.ОБР(0,95;5)
Или так
=ХИ2.ОБР.ПХ(0,05;5)
Результат будет одинаковым – 11,0705. Именно это значение мы видим в таблице (округленное до 1 знака после запятой).
Рассчитаем, наконец, p-value для 5-ти степеней свободы критерия χ2 = 3,4. Нужна вероятность справа, поэтому берем функцию с добавкой ПХ (правый хвост)
=ХИ2.РАСП.ПХ(3,4;5) = 0,63857
Значит, при 5-ти степенях свободы вероятность получить значение критерия χ2 = 3,4 и больше равна почти 64%. Естественно, гипотеза не отклоняется (p-value больше 5%), частоты очень хорошо согласуются.
А теперь проверим гипотезу о согласии частот с помощью теста хи квадрат и функции Excel ХИ2.ТЕСТ.
Никаких таблиц, никаких громоздких расчетов. Указав в качестве аргументов функции столбцы с наблюдаемыми и ожидаемыми частотами, сразу получаем p-value. Красота.
Представим теперь, что вы играете в кости с подозрительным типом. Распределение очков от 1 до 5 остается прежним, но он выкидывает 26 шестерок (количество всех бросков становится 78).
p-value в этом случае оказывается 0,003, что гораздо меньше чем, 0,05. Есть серьезные основания сомневаться в правильности игральной кости. Вот, как выглядит эта вероятность на диаграмме распределения хи-квадрат.
Статистика критерия хи-квадрат здесь получается 17,8, что, естественно, больше табличного (11,1).
Надеюсь, мне удалось объяснить, что такое критерий согласия χ2 (хи-квадрат) Пирсона и как с его помощью проверяются статистические гипотезы.
Напоследок еще раз о важном условии! Критерий хи-квадрат исправно работает только в случае, когда количество всех частот превышает 50, а минимальное ожидаемое значение для каждой группы не меньше 5. Если в какой-либо категории ожидаемая частота менее 5, но при этом сумма всех частот превышает 50, то такую категорию объединяют с ближайшей, чтобы их общая частота превысила 5. Если это сделать невозможно, или сумма частот меньше 50, то следует использовать более точные методы проверки гипотез. О них поговорим в другой раз.
Ниже находится видео ролик о том, как в Excel проверить гипотезу с помощью критерия хи-квадрат.
Скачать файл с примером.
Поделиться в социальных сетях:
Критерий хи-квадрат – метод в математической статистике. Он показывает различия между фактическими данными в выборке и теоретическими результатами, которые предположил исследователь. С помощью метода оценивают, соответствует ли выборка законам распределения. Частный случай – критерий согласия Пирсона, который употребляется чаще всего.
При начале анализа информации исследователь предполагает, что фактические данные соответствуют какому-нибудь закону распределения. Например, результаты распределены равномерно. Это предположение называют нулевой гипотезой. Затем с помощью критерия хи квадрат исследователь проверяет, насколько фактические результаты отклоняются от предполагаемых. Так удается проверить, насколько верна нулевая гипотеза.
Понятие критерия хи-квадрат общее. В него входят разные методы. Но критерий Пирсона – самый популярный из них, поэтому названия иногда используют как синонимы. Критерий Пирсона помогает проверять гипотезы с помощью таблиц сопряженности, которые уже существуют и рассчитаны для многих распространенных ситуаций. Поэтому его удобно использовать.
Кто пользуется критерием хи-квадрат
Критерий часто используется в научных исследованиях, в маркетинге, в медицине и в других областях – везде, где бывает нужна статистика. Это популярный метод анализа, который помогает найти корреляцию или отвергнуть ее – а знание корреляции между разными факторами важно для прогнозов и стратегий.
- Ученые и статисты используют критерий хи-квадрат в расчетах, исследованиях, при интерпретации экспериментов и в других похожих задачах.
- ·Дата-аналитики и дата-саентисты применяют критерий в бизнес-целях. Например, с его помощью делают выводы о поведении пользователей или о тенденциях на рынке.
- Врачи и другие сотрудники здравоохранения могут использовать критерий при проведении клинических исследований и написании научных работ.
- Маркетологи и прочие диджитал-специалисты пользуются результатами, которые показывает критерий хи-квадрат, чтобы составить стратегию развития продукта.
Когда применяют критерий хи-квадрат
Критерий хи-квадрат используют, когда нужно определить наличие или отсутствие связи между двумя категориальными переменными — такими, которые могут принимать ограниченное количество уникальных значений. Категориальные переменные обычно не имеют числовых значений: например, цвет волос или любимое блюдо. Еще употребляют фразу «переменные, распределенные по номинальной шкале» – это означает примерно то же.
Например, исследование может пытаться установить, есть ли связь между образованием и доходом, или между полом и предпочтениями в музыке. В обоих случаях переменные категориальные – значит, критерий хи-квадрат использовать можно.
Есть еще несколько правил.
- С самого начала нужно отобрать правильные показатели – такие, которые вероятнее окажутся наглядными и репрезентативными. Они должны быть качественными и целочисленными, категориальными.
- Группы, которые сравниваются между собой, должны быть независимы друг от друга. Например, для сравнения одной и той же группы «до» и «после» какой-то манипуляции критерий не подойдет.
- Количество наблюдений для точных результатов – не менее 20 (иногда считается, что не менее 50).
- Ожидаемая частота – то, сколько раз значение теоретически должно появиться в выборке – должна быть больше или равна 5-10 для критерия Пирсона. Если она меньше, понадобится критерий Фишера.
Как выглядит распределение хи-квадрат
В критерии хи-квадрат используют определенное распределение – то, как распределяются показатели из выборки на графике. Распределение хи-квадрат описывается как «распределение суммы квадратов n независимых стандартных нормальных случайных величин». На практике это означает вот что.
Если реальные показатели распределяются по хи-квадрату – значит, наблюдаемые величины независимы друг от друга.
Первая картинка — это плотность распределения (вероятность получить в выборке каждое из чисел на горизонтальной оси), вторая — интегральная функция распределения (вероятность получить значение меньше, чем на горизонтальной оси).
Стандартная нормальная величина – такая, которая подчиняется нормальному распределению. Нормальное распределение – это пик посередине графика, который сглаживается по краям. Если измерить подчиняющийся ему показатель много раз и построить график – получится такая картинка. Нормальное распределение значит, что на величину действует много случайных факторов.
Как выглядит распределение хи квадрат – зависит от количества степеней свободы (df). Степени свободы – это количество величин, которые мы измеряем. Например, распределение хи-квадрат с 5 степенями свободы представляет собой график, построенный по сумме квадратов 5 случайных переменных с нормальным распределением.
Как рассчитываются результаты по критерию Пирсона
Самый часто применяемый среди семейства критериев хи квадрат – критерий Пирсона. Он довольно универсален, и под его требования подпадает довольно много исследований. При использовании этого метода наблюдаемые значения сравниваются с ожидаемыми. Наблюдаемые значения – фактические результаты, которые исследователь получил в ходе эксперимента. Ожидаемые значения вычисляются по формуле: составляется таблица, потом сумма ее строк и столбцов умножается на определенное значение. Подбор значений зависит от количества степеней свободы.
Рассмотрим этот процесс подробнее.
Создание таблицы. Первый шаг в применении критерия – составление таблицы реальных и ожидаемых значений. В таблице перечислены категориальные переменные, взаимосвязь которых проверяет исследователь. Таблица состоит из строк и столбцов, в каждой ячейке записано количество наблюдений в соответствующей категории.
Разобраться проще, если посмотреть на пример. Скажем, таблица может выглядеть вот так.
Формирование гипотез. Исследователь составляет две гипотезы — нулевую и альтернативную. Нулевая гипотеза говорит, что переменные не связаны друг с другом. Альтернативная гипотеза предполагает наличие связи между переменными. Обычно нулевую гипотезу формулируют так, чтобы ее опровержение доказывало существование связи между переменными.
Например, мы хотим узнать, есть ли связь между полом и предпочтениями в музыкальных жанрах. Тогда нулевая гипотеза будет говорить, что пол не влияет на предпочтения в музыке.
Ожидаемые значения. Затем нужно подсчитать ожидаемые значения — такие, какие должны получиться, если нулевая гипотеза верна. Их тоже нужно занести в таблицу, для этого в ней создают отдельный столбец. Так будет легче сравнить ожидаемые значения с реальными.
Ожидаемые значения рассчитываются так:
- берется общее число наблюдений для каждой переменной, записанной в таблице;
- общее число для каждого столбца умножается на общее число для каждой строки;
- полученные значения делятся на полное количество наблюдений.
Понять, как это работает, поможет картинка.
Расчеты. Когда исследователь подсчитал ожидаемые значения для каждой ячейки, он переходит к расчету статистики критерия хи-квадрат. Для каждой ячейки таблицы нужно:
- подсчитать квадрат разности между наблюдаемым и ожидаемым значением;
- разделить получившееся число на ожидаемое значение.
Подсчитанные значения нужно сложить. Получится число, которое называется статистикой критерия хи-квадрат. Чем больше это число, тем сильнее отличия между наблюдаемыми и ожидаемыми значениями — и тем вероятнее, что между факторами действительно есть связь.
Выводы. Маленькое значение статистики критерия хи-квадрат говорит, что нулевую гипотезу отвергнуть нельзя — но нельзя и подтвердить. А большое значение позволяет отвергнуть нулевую гипотезу и подтвердить связь между факторами. Остается вопрос: как понять, достаточно ли большое получилось число?
Специально для этого существуют таблицы критических значений. В них описаны «пограничные» значения статистики критерия хи-квадрат для разных условий. Если рассчитанный результат больше табличного — значит, нулевая гипотеза неверна, и связь есть. Если меньше — нулевую гипотезу нельзя отвергнуть.
Все, что должен сделать исследователь на этом этапе, — найти в таблице критическое значение критерия для своего случая. То есть — для нужного количества степеней свободы и уровня значимости. Уровень значимости — это число, которое показывает вероятность получить статистически значимый результат по ошибке. Исследователь выбирает этот уровень сам.
Некоторые другие критерии хи-квадрат
Критерий Пирсона — не единственный критерий хи квадрат. Выше мы говорили в основном о нем, но существуют и другие методики для разных ситуаций. Вот несколько примеров — в реальности их больше.
Критерий Тьюки. В отличие от критерия Пирсона, этот метод используется для сравнения нескольких групп – обычно трех и более. Он помогает оценить различия между средними значениями в группах и сделать вывод, насколько они значимы.
Критерий Фишера. Его применяют, если ожидаемая частота меньше 5. Ожидаемая частота говорит, сколько раз тот или иной результат должен появиться в таблице ожидаемых значений.
Поправка Йейтса. Это модификация критерия хи квадрат, которая используется для сравнения небольших выборок с ожидаемой частотой меньше 5. Дело в том, что если значения в таблице маленькие, классический критерий даст большую вероятность ошибки. Поправка помогает уменьшить этот риск. Она проще, чем критерий Фишера: от значений в таблице просто отнимается 0,5 или 1. После этого вычисляется статистика: она будет меньше, чем без поправки, поэтому риск ошибки окажется ниже.
Тесты семейства хи-квадрат
Критерий можно использовать для тестирования разных показателей. Тесты семейства хи-квадрат помогают проанализировать выборку, подтвердить или опровергнуть какую-нибудь гипотезу. Чаще всего говорят о тестах гомогенности, независимости и дисперсии.
Гомогенность. Тест гомогенности проверяет гипотезу, что распределение какой-либо переменной в разных группах – одинаковое. Например, с его помощью можно оценить, одинаково ли распределяются доходы населения в разных городах. При этом сам по себе критерий хи квадрат – непараметрический, то есть параметры распределения для него неважны. Значение имеют только наблюдения.
Независимость. Тест независимости проверяет, верно ли, что две категориальные переменные не связаны друг с другом. Он помогает определить, есть ли связь между разными переменными: пол и предпочтения в еде, образование и любимая музыка, и так далее. Обычно критерий хи-квадрат используют как раз для оценки независимости и поиска связей между переменными.
Дисперсия. С помощью этого теста исследователи оценивают дисперсию – то, насколько велик разброс между результатами в выборке. Тест дисперсии помогает оценить, одинакова ли дисперсия в разных выборках, соответствует ли она какому-то принятому значению – и так далее. Например, с помощью этого теста можно проанализировать разброс оценок учеников в разных классах: одинаковый ли этот разброс, соответствует ли он какому-то стандарту, и так далее.
Как начать применять критерий хи-квадрат
Объяснения выше могут показаться сложными. Это нормально. Статистические критерии редко рассчитывают вручную – обычно для этого используют специальное ПО или привычный всем Excel. «Ручные» расчеты чаще всего нужны при обучении, когда важно, чтобы ученик понял, как это работает.
Понять критерий хи-квадрат до конца можно, если начать им пользоваться. Так легче разобраться, чем при изучении теории. Поэтому мы рекомендуем тренироваться и выполнять задачи – можно начать с заданий из учебников и уроков в открытом доступе. Сначала будет сложно, но со временем понять принципы расчета будет легче.
Критерий Пирсона.
Достоинством
критерия Пирсона является его
универсальность: с его помощью можно
проверять гипотезы о различных законах
распределения.
1.
Проверка гипотезы о нормальном
распределении. Пусть
получена выборка достаточно большого
объема п
с большим количеством различных значений
вариант. Для удобства ее обработки
разделим интервал от наименьшего до
наибольшего из значений вариант на s
равных частей и будем считать, что
значения вариант, попавших в каждый
интервал, приближенно равны числу,
задающему середину интервала. Подсчитав
число вариант, попавших в каждый интервал,
составим так называемую сгруппированную
выборку:
варианты………..х1
х2
… хs
частоты………….п1
п2
… пs
,
где хi
– значения середин интервалов, а пi
– число вариант, попавших в i-й
интервал (эмпирические частоты). По
полученным данным можно вычислить
выборочное среднее
и выборочное среднее квадратическое
отклонение σВ.
Проверим предположение, что генеральная
совокупность распределена по нормальному
закону с параметрами M(X)
=
,
D(X)
=
.
Тогда можно найти количество чисел из
выборки объема п,
которое должно оказаться в каждом
интервале при этом предположении (то
есть теоретические частоты). Для этого
по таблице значений функции Лапласа
найдем вероятность попадания в i-й
интервал:
,
где аi
и bi
— границы
i-го
интервала. Умножив полученные вероятности
на объем выборки п, найдем теоретические
частоты: пi
=n·pi.
Наша цель –
сравнить эмпирические и теоретические
частоты, которые, конечно, отличаются
друг от друга, и выяснить, являются ли
эти различия несущественными, не
опровергающими гипотезу о нормальном
распределении исследуемой случайной
величины, или они настолько велики, что
противоречат этой гипотезе. Для этого
используется критерий в виде случайной
величины
.
(7)
Смысл ее очевиден:
суммируются части, которые квадраты
отклонений эмпирических частот от
теоретических составляют от соответствующих
теоретических частот. Можно доказать,
что вне зависимости от реального закона
распределения генеральной совокупности
закон распределения случайной величины
(7) при
стремится к закону распределения
с числом степеней свободы k
= s
– 1 – r,
где r
– число
параметров предполагаемого распределения,
оцененных по данным выборки. Нормальное
распределение характеризуется двумя
параметрами, поэтому k
= s
– 3. Для
выбранного критерия строится правосторонняя
критическая область, определяемая
условием
(8)
где α
– уровень значимости. Следовательно,
критическая область задается неравенством
а область принятия гипотезы —
.
Итак, для проверки
нулевой гипотезы Н0:
генеральная совокупность распределена
нормально – нужно вычислить по выборке
наблюдаемое значение критерия:
,
(7`)
а по таблице
критических точек распределения χ2
найти критическую точку
,
используя известные значения α и k
= s
– 3. Если
— нулевую гипотезу принимают, при
ее отвергают.
Пример.
Результаты исследования спроса на товар
представлены в таблице:
|
Стоимость, руб. |
120–160 |
160–180 |
180–200 |
200–220 |
220–280 |
|
Кол-во, шт. |
5 |
10 |
14 |
12 |
9 |
Выдвинуть
гипотезу о виде распределения и проверить
её на уровне значимости =0,01.
I. Выдвижение
гипотезы.
Для указания вида
эмпирического распределения построим
гистограмму
120
160 180 200 220 280
По
виду гистограммы можно сделать
предположение о нормальном законе
распределения изучаемого признака в
генеральной совокупности.
II.
Проверим выдвинутую гипотезу о нормальном
распределении, используя критерий
согласия Пирсона.
1.
Вычисляем
,
В.
В
качестве вариант возьмём среднее
арифметическое концов интервалов:
;
.
2.
Найдём интервалы (Zi;
Zi+1):
;
.
За
левый конец первого интервала примем
(-),
а за правый конец последнего интервала
— (+).
Результаты представлены в табл. 4.
3.
Найдем теоретические вероятности Рi
и теоретические частоты
(см. табл. 4).
Таблица
4
|
i |
Граница |
Ф(Zi) |
Ф(Zi+1) |
Pi= |
|
|||
|
xi |
xi+1 |
Zi |
Zi+1 |
|||||
|
1 |
120 |
160 |
- |
-1,14 |
-0,5 |
-0,3729 |
0,1271 |
6,36 |
|
2 |
160 |
180 |
-1,14 |
-0,52 |
-0,3729 |
-0,1985 |
0,1744 |
8,72 |
|
3 |
180 |
200 |
-0,52 |
0,11 |
-0,1985 |
0,0438 |
0,2423 |
12,12 |
|
4 |
200 |
220 |
0,11 |
0,73 |
0,0438 |
0,2673 |
0,2235 |
11,18 |
|
5 |
220 |
280 |
0,73 |
+ |
0,2673 |
0,5 |
0,2327 |
11,64 |
4.
Сравним эмпирические и теоретические
частоты. Для этого:
а)
вычислим наблюдаемое значение критерия
Пирсона.
Вычисления
представлены в табл.5.
Таблица
5
|
i |
|
|
|
|
|
|
1 |
5 |
6,36 |
-1,36 |
1,8496 |
0,291 |
|
2 |
10 |
8,72 |
1,28 |
1,6384 |
0,188 |
|
3 |
114 |
12,12 |
1,88 |
3,5344 |
0,292 |
|
4 |
12 |
11,18 |
0,82 |
0,6724 |
0,060 |
|
5 |
9 |
11,64 |
-2,64 |
6,9696 |
0,599 |
|
|
50 |
50 |
|
б) по
таблице критических точек распределения
2
при заданном уровне значимости =0,01
и числе степеней свободы k=m–3=5–3=2
находим критическую точку
;
имеем
.
Сравниваем
c
.
.
Следовательно,
нет оснований отвергать гипотезу о
нормальном законе распределения
изучаемого признака генеральной
совокупности. Т.е. расхождение между
эмпирическими и теоретическими частотами
незначимо (случайно). ◄
Замечание.
Интервалы, содержащие малочисленные
эмпирические частоты (ni<5),
следует объединить, а частоты этих
интервалов сложить. Если производилось
объединение интервалов, то при определении
числа степеней свободы по формуле K=m-3
следует в качестве m
принять число оставшихся после объединения
интервалов.
Пример.
По выборке из 24 вариант выдвинута
гипотеза о нормальном распределении
генеральной совокупности. Используя
критерий Пирсона при уровне значимости
среди заданных значений
= {34, 35, 36, 37, 38} указать: а) наибольшее, для
которого нет оснований отвергать
гипотезу; б) наименьшее, начиная с
которого гипотеза должна быть отвергнута.
Найдем число
степеней свободы
с помощью формулы:
,
где
—
число групп выборки (вариант),
— число параметров распределения.
Так как нормальное
распределение имеет 2 параметра (
и
),
получаем
.
По таблице
критических точек распределения
,
по заданному уровню значимости
и числу степеней свободы
определяем критическую точку
.
В случае а) для
значений
,
равных 34 и 35, нет оснований отвергать
гипотезу о нормальном распределении,
так как
.
А наибольшее среди этих значений
.
В случае б) для
значений 36, 37, 38 гипотезу отвергают, так
как
.
Наименьшее среди них
.◄
2.
Проверка гипотезы о равномерном
распределении.
При использовании критерия Пирсона для
проверки гипотезы о равномерном
распределении генеральной совокупности
с предполагаемой плотностью вероятности
необходимо, вычислив
по имеющейся выборке значение
,
оценить параметры а
и b
по формулам:
, (9)
где а*
и b*
— оценки а
и b.
Действительно, для равномерного
распределения М(Х)
=
,
,
откуда можно получить систему для
определения а*
и b*:
,
решением которой являются выражения
(9).
Затем, предполагая,
что
,
можно найти теоретические частоты по
формулам
Здесь s
– число интервалов, на которые разбита
выборка.
Наблюдаемое
значение критерия Пирсона вычисляется
по формуле (7`), а критическое – по таблице
с учетом того, что число степеней свободы
k
= s
– 3. После
этого границы критической области
определяются так же, как и для проверки
гипотезы о нормальном распределении.
3.
Проверка гипотезы о показательном
распределении. В
этом случае, разбив имеющуюся выборку
на равные по длине интервалы, рассмотрим
последовательность вариант
,
равноотстоящих друг от друга (считаем,
что все варианты, попавшие в i
– й интервал, принимают значение,
совпадающее с его серединой), и
соответствующих им частот ni
(число вариант
выборки, попавших в i
– й интервал). Вычислим по этим данным
и примем в качестве оценки параметра λ
величину
.
Тогда теоретические частоты вычисляются
по формуле
Затем сравниваются
наблюдаемое и критическое значение
критерия Пирсона с учетом того, что
число степеней свободы k
= s
– 2.
Пример.
Для выборки, интервальный статистический
ряд которой имеет вид
|
Номер |
Границы |
Эмпирические |
|
1 |
2 |
6 |
|
2 |
5 |
8 |
|
3 |
8 |
15 |
|
4 |
11 |
22 |
|
5 |
14 |
14 |
|
6 |
17 |
5 |
проверить при
уровне значимости α
= 0,05 гипотезу о:
а) показательном;
б) равномерном; в) нормальном законе
распределения генеральной совокупности
с помощью критерия Пирсона.
Объем выборки п
= 70. Будем считать вариантами середины
частичных интервалов: х1
= 3,5, х2
= 6,5,…, х6
= 18,5.
Найдем
= 11,43; σВ
= 4,03; s
= 4,05.
а) Вычислим
теоретические частоты в предположении
о показательном распределении генеральной
совокупности при
аналогично
Наблюдаемое значение критерия
Критическая точка χ2(0,05;4)=9,5;
и гипотеза о показательном распределении
отклоняется.
б) Для равномерного
распределения
теоретические
частоты:
Наблюдаемое значение критерия
Критическая
точка
и гипотеза о равномерном распределении
отклоняется.
в) Теоретические
частоты для нормального распределения:
Так же вычисляются
Наблюдаемое значение критерия
Критическая точка
Поскольку
гипотеза о нормальном распределении
генеральной совокупности принимается.
◄
Критерий
Колмогорова.
Этот критерий
применяется для проверки простой
гипотезы Н0
о том, что независимые одинаково
распределенные случайные величины Х1,
Х2,
…, Хп
имеют заданную непрерывную функцию
распределения F(x).
Найдем функцию
эмпирического распределения Fn(x)
и будем искать границы двусторонней
критической области, определяемой
условием
.
(10)
А.Н.Колмогоров
доказал, что в случае справедливости
гипотезы Н0
распределение статистики Dn
не зависит от функции F(x),
и при
где
—
(11)
— критерий
Колмогорова, значения которого можно
найти в соответствующих таблицах.
Критическое значение критерия λп(α)
вычисляется по заданному уровню
значимости α
как корень уравнения
.
Можно показать,
что приближенное значение вычисляется
по формуле
,
где z
– корень уравнения
На практике для
вычисления значения статистики Dn
используется то, что
,
где
а
— вариационный ряд, построенный по
выборке Х1,
Х2,
…, Хп.
Можно дать следующее геометрическое
истолкование критерия Колмогорова:
если изобразить на плоскости Оху
графики функций Fn(x),
Fn(x)
±λn(α)
(рис. 1), то гипотеза Н0
верна, если график функции F(x)
не выходит за пределы области, лежащей
между графиками функций Fn(x)
-λn(α)
и Fn(x)
+λn(α).