Как найти смещение оценки параметра

Статистические оценки параметров генеральной совокупности

Определение статистической оценки. Точечные статистические оценки: смещенные и несмещенные, эффективные и состоятельные. Интервальные статистические оценки. Точность и надежность оценки; определение доверительного интервала; построение доверительных интервалов для средней при известном и неизвестном среднеквадратическом отклонении.

Определение статистической оценки

Пусть требуется изучить количественный признак генеральной совокупности. Допустим, что из теоретических соображений удалось установить, какое именно распределение имеет признак. Возникает задача оценки параметров, которыми определяется это распределение. Например, если известно, что изучаемый признак распределен в генеральной совокупности по нормальному закону, то необходимо оценить математическое ожидание и среднеквадратическое отклонение, так как эти два параметра полностью определяют нормальное распределение. Если имеются основания считать, что признак имеет распределение Пуассона, то необходимо оценить параметр , которым это распределение определяется. Обычно имеются лишь данные выборки, полученные в результате наблюдений: . Через эти данные и выражают оцениваемый параметр. Рассматривая как значения независимых случайных величин можно сказать, что найти статистическую оценку неизвестного параметра теоретического распределения означает найти функцию от наблюдаемых случайных величин, которая и дает приближенное значение оцениваемого параметра.

---

Точечные статистические оценки

Статистической оценкой неизвестного параметра теоретического распределения называют функцию от наблюдаемых случайных величин. Статистическая оценка неизвестного параметра генеральной совокупности одним числом называется точечной. Рассмотрим следующие точечные оценки: смещенные и несмещенные, эффективные и состоятельные.

Для того чтобы статистические оценки давали хорошие приближения оцениваемых параметров, они должны удовлетворять определенным требованиям. Укажем эти требования. Пусть есть статистическая оценка неизвестного параметра теоретического распределения. Допустим, что по выборке объема найдена оценка . Повторим опыт, т. е. извлечем из генеральной совокупности другую выборку того же объема и по ее данным найдем оценку и т. д. Получим числа , которые будут различаться. Таким образом, оценку можно рассматривать как случайную величину, а числа — как возможные ее значения.

Если оценка дает приближенное значение с избытком, то найденное по данным выборок число будет больше истинного значения . Следовательно, и математическое ожидание (среднее значение) случайной величины будет превышать , то есть . Если дает приближенное значение с недостатком, то .

Использование статистической оценки, математическое ожидание которой не равно оцениваемому параметру, приводит к систематическим ошибкам. Поэтому нужно потребовать, чтобы математическое ожидание оценки было равно оцениваемому параметру. Соблюдение требования устраняет систематические ошибки.

Несмещенной называют статистическую оценку , математическое ожидание которой равно оцениваемому параметру , то есть .

Смещенной называют статистическую оценку , математическое ожидание которой не равно оцениваемому параметру.

Однако ошибочно считать, что несмещенная оценка всегда дает хорошее приближение оцениваемого параметра. Действительно, возможные значения могут быть сильно рассеяны вокруг своего среднего значения, т. е. дисперсия величины может быть значительной. В этом случае найденная по данным одной выборки оценка, например , может оказаться удаленной от своего среднего значения , а значит, и от самого оцениваемого параметра . Приняв в качестве приближенного значения , мы допустили бы ошибку. Если потребовать, чтобы дисперсия величины была малой, то возможность допустить ошибку будет исключена. Поэтому к статистической оценке предъявляются требования эффективности.

Эффективной называют статистическую оценку, которая (при заданном объеме выборки ) имеет наименьшую возможную дисперсию. При рассмотрении выборок большого объема к статистическим оценкам предъявляется требование состоятельности.

Состоятельной называют статистическую оценку, которая при стремится по вероятности к оцениваемому параметру. Например, если дисперсия несмещенной оценки при стремится к нулю, то такая оценка оказывается также состоятельной.

Рассмотрим вопрос о том, какие выборочные характеристики лучше всего в смысле несмещённости, эффективности и состоятельности оценивают генеральную среднюю и дисперсию.

Пусть изучается дискретная генеральная совокупность относительно количественного признака. Генеральной средней называется среднее арифметическое значений признака генеральной совокупности. Она вычисляется по формуле

или

где — значения признака генеральной совокупности объема ; — соответствующие частоты, причем

Пусть из генеральной совокупности в результате независимых наблюдений над количественным признаком извлечена выборка объема со значениями признака . Выборочной средней называется среднее арифметическое значений признака выборочной совокупности и вычисляется по формуле

или

где — значения, признака в выборочной совокупности объема ; — соответствующие частоты, причем

Если генеральная средняя неизвестна и требуется оценить ее по данным выборки, то в качестве оценки генеральной средней принимают выборочную среднюю, которая является несмещенной и состоятельной оценкой. Отсюда следует, что если по нескольким выборкам достаточно большого объема из одной и той же генеральной совокупности будут найдены выборочные средние, то они будут приближенно равны между собой. В этом состоит свойство устойчивости выборочных средних.

Если дисперсии двух совокупностей одинаковы, то близость выборочных средних к генеральным не зависит от отношения объема выборки к объему генеральной совокупности. Она зависит- от объема выборки: чем больше объем выборки, тем меньше выборочная средняя отличается от генеральной.

Для того чтобы охарактеризовать рассеяние значений количественного признака генеральной совокупности вокруг своего среднего значения, вводят сводную характеристику — генеральную дисперсию. Генеральной дисперсией называется среднее арифметическое квадратов отклонений значений признака генеральной совокупности от их среднего значения , которое вычисляется по формуле

или

Для того чтобы охарактеризовать рассеяние наблюденных значений количественного признака выборки вокруг своего среднего значения хв, вводят сводную характеристику — выборочную дисперсию. Выборочной дисперсией называется среднее арифметическое квадратов отклонений наблюденных значений признака от их среднего значения , которое вычисляется по формуле

или

Кроме дисперсии для характеристики рассеяния значений признака генеральной (выборочной) совокупности вокруг своего среднего значения используют сводную характеристику — среднее квадратическое отклонение. Генеральным средним квадратическим отклонением называют квадратный корень из генеральной дисперсии: . Выборочным средним квадратическим отклонением называют квадратный корень из выборочной дисперсии: .

Пусть из генеральной совокупности в результате независимых наблюдений над количественным признаком извлечена выборка объема . Требуется по данным выборки оценить неизвестную генеральную дисперсию . Если в качестве оценки генеральной дисперсии принять выборочную дисперсию, то эта оценка приведет к систематическим ошибкам, давая заниженное значение генеральной дисперсии. Объясняется это тем, что выборочная дисперсия является смещенной оценкой . Другими словами, математическое ожидание выборочной дисперсии не равно оцениваемой генеральной дисперсии, а равно .

Легко исправить выборочную дисперсию так, чтобы ее математическое ожидание было равно генеральной дисперсии. Для этого нужно умножить на дробь . В результате получим исправленную дисперсию , которая будет несмещенной оценкой генеральной дисперсии:

---

Интервальные оценки

Наряду с точечным оцениванием, статистическая теория оценивания параметров занимается вопросами интервального оценивания. Задачу интервального оценивания можно сформулировать так: по данным выборки построить числовой интервал, относительно которого с заранее выбранной вероятностью можно сказать, что внутри него находится оцениваемый параметр. Интервальное оценивание особенно необходимо при малом количестве наблюдений, когда точечная оценка малонадежна.

Доверительным интервалом для параметра называется такой интервал, относительно которого с заранее выбранной вероятностью , близкой к единице, можно утверждать, что он содержит неизвестное значение параметра , то есть . Чем меньше для выбранной вероятности число , тем точнее оценка неизвестного параметра . И, наоборот, если это число велико, то оценка, проведенная с помощью данного интервала, малопригодна для практики. Так как концы доверительного интервала зависят от элементов выборки, то значения и могут изменяться от выборки к выборке. Вероятность принято называть доверительной (надежностью). Обычно надежность оценки задается наперед, причем в качестве берут число, близкое к единице. Выбор доверительной вероятности не является математической задачей, а определяется конкретной решаемой проблемой. Наиболее часто задают надежность, равную 0,95; 0,99; 0,999.

Доверительный интервал для генеральной средней при известном значении среднего квадратического отклонения и при условии, что случайная величина (количественный признак ) распределена нормально, задается выражением

где — наперед заданное число, близкое к единице, а значения функции приведены в таблице прил. 2.

Смысл этого соотношения заключается в следующем: с надежностью можно утверждать, что доверительный интервал покрывает неизвестный параметр , точность оценки . Число определяется из равенства , или . По прил. 2 находят аргумент , которому соответствует значение функции Лапласа, равное .

---

Пример 1. Случайная величина имеет нормальное распределение с известным средним квадратическим отклонением . Найти доверительные интервалы для оценки неизвестной генеральной средней по выборочным средним, если объем выборок и надежность оценки .

Решение. Найдем . Из соотношения получим, что . По прил. 2 находим . Найдем точность оценки . Доверительные интервалы будут таковы: . Например, если , то доверительный интервал имеет следующие доверительные границы: . Таким образом, значения неизвестного параметра , согласующиеся с данными выборки, удовлетворяют неравенству .

---

Доверительный интервал для генеральной средней нормального распределения признака при неизвестном значении среднего квадратического отклонения задается выражением

Отсюда следует, что с надежностью можно утверждать, что доверительный интервал покрывает неизвестный параметр .

Существуют таблицы (прил. 4), пользуясь которыми, по заданным и находят вероятность и, наоборот, по заданным и находят .

---

Пример 2. Количественный признак генеральной совокупности распределен нормально. По выборке объема найдены выборочная средняя и исправленное среднеквадратическое отклонение . Оценить неизвестную генеральную среднюю с помощью доверительного интервала с надежностью .

Решение. Найдем . Пользуясь прил. 4 по и находим . Найдем доверительные границы:

Итак, с надежностью неизвестный параметр заключен в доверительном интервале .

Математический форум (помощь с решением задач, обсуждение вопросов по математике).

Если заметили ошибку, опечатку или есть предложения, напишите в комментариях.

Дисциплина «Статистическая обработка информации»

1. Разделы статистической обработки информации: теория оценок, теория проверки статистических гипотез

Статистика
является разделом математики, посвященным
анализу экспериментальных данных,
полученных в ходе наблюдения за некоторым
объектом. В зависимости от решаемых в
ходе анализа задач можно провести
условное разделение математической
статистики на два направления:
описательная (дескриптивная) статистика
и теория статистических выводов
(индуктивная статистика).

Описательная
(дескриптивная) статистика (англ.
descriptive statistics) решает задачи систематизации
экспериментальных данных, их наглядного
представления в виде графиков и
эмпирических зависимостей, а также
количественного анализа отдельных
статистических показателей (напр.
среднего значения, разброса, тренда и
пр.). Типичным примером применения
описательной статистики является
представление результатов соц. опроса
в виде круговых диаграмм или графики
колебания цен на нефть.

Теория
статистических выводов
(англ.
inferential statistics) решает задачи применения
выборочной информации (полученной,
например, в ходе эксперимента) для
выявления количественных и качественных
характеристик наблюдаемого объекта.
Примером может служить экспериментальная
оценка среднего времени выполнения
запроса к базе данных или попытка дать
ответ на вопрос, прием данных с какого
из доступных серверов наиболее надежен.

Приведенное
деление является в известной степени
условным, и зачастую статистическая
обработка информации начинается с
применения чисто описательных методов,
а в дальнейшем завершается применением
теории статистических выводов.

Теорию
статистических выводов, в свою очередь,
можно разделить на теорию оценивания
и
теорию проверки гипотез. Теория
оценивания призвана количественно
охарактеризовать интересующий
исследователя параметр объекта: либо
предположить его конкретное значение
(точечное оценивание), либо предположить
наиболее вероятный диапазон его значений
(интервальное оценивание). Теория
проверки гипотез позволяет на основе
экспериментальных данных
дать
ответ на заранее заданный вопрос
касательно свойств объекта (осуществить
выбор одной из альтернативных гипотез).

1. Смещенность оценки; примеры смещенных и несмещенных оценок

Так
как оценка является функцией от
нескольких случайных величин (элементов
выборки), то очевидно, что и сама оценка
является случайной величиной. Таким
образом, оценка может принимать значение
как превышающее истинное, так и, наоборот,
заниженное. Естественным желанием
является то, чтобы в
среднем
оценка совпадала с истинным значением,
т.е.:

.

Такая
оценка называется несмещенной.
Можно ввести величину

,
характеризующую величину смещения,
вносимого при использовании алгоритма

по выборке объема N:

Здесь
и далее

обозначает оценку параметра

при помощи алгоритма

по выборке объема N.
Если

,
то оценка является смещенной.
Возможны также случаи, когда для
конечного N
оценка – смещенная, но:

.

Данная
оценка называется асимптотически
несмещенной.
Т.е. при достаточно большом объеме
выборки N,
величиной смещения можно пренебречь.

Таким
образом, можно сказать, что смещение
оценки –
это разность между математическим
ожиданием оценки и истинным значением
оцениваемого параметра, несмещенная
оценка –
это оценка, имеющая нулевое смещение
при любом объеме выборки, а смещенная
оценка –
это оценка, имеющая не нулевое смещение.

Пример
несмещенной оценки:

При
анализе трафика, передаваемого с сервера
на компьютеры клиентов, производится
оценка среднего размера пакета
передаваемого по сети. Для этого из
общего потока выбирается N
пакетов,
размеры которых фиксируются и усредняются.
В данном примере случайная величина

характеризует размер пакета, искомый
параметр

— среднее значение

(т.е.

),
элементы выборки

— размеры зарегистрированных пакетов,
алгоритм оценивания

.
Проверим, является ли данная оценка
смещенной:

Таким
образом, данная оценка является
несмещенной.

Пример
смещенной оценки:

Пусть
известно, что время отклика базы данных
на запрос пользователя является
равномерно распределенной случайной
величиной в диапазоне

.
Задачей исследователя является выяснение
величины

— т.е. худшего случая, при котором задержка
максимальна. Применяется следующая
оценка:

,
т.е. максимальная задержка, зарегистрированная
в ход проведения эксперимента, состоящего
из N
запросов. Для упрощения выкладок при
проверке смещенности данной оценки
введем следующее обозначение для
максимального элемента выборки

(т.е.

и

).
Найдем интегральную функцию распределения
величины

:

Для
того чтобы максимальный элемент выборки
не превосходил x,
необходимо и достаточно, чтобы каждый
элемент выборки не превосходил x.
Обратное также верно. Тогда, учитывая
независимость случайных величин

получим:

Учитывая,
что функция

описывает равномерное распределение
в диапазоне

,
получим:

.

Воспользовавшись
формулой

получим
выражение для плотности вероятности

:

.

Тогда:

Таким
образом, данная оценка является
смещенной, причем:

Очевидно,
что

и рассмотренная оценка является
асимптотически несмещенной.

Соседние файлы в предмете Государственный экзамен

• #
• #

Содержание:

Точечные оценки:

Пусть случайная величина имеет неизвестную характеристику а. Такой характеристикой может быть, например, закон распределения, математическое ожидание, дисперсия, параметр закона распределения, вероятность определенного значения случайной величины и т.д. Пронаблюдаем случайную величину n раз и получим выборку из ее возможных значений

Существует два подхода к решению этой задачи. Можно по результатам наблюдений вычислить приближенное значение характеристики, а можно указать целый интервал ее значений, согласующихся с опытными данными. В первом случае говорят о точечной оценке, во втором – об интервальной.

Определение. Функция результатов наблюдений

Для одной и той же характеристики можно предложить разные точечные оценки. Необходимо иметь критерии сравнения оценок, для суждения об их качестве. Оценка как функция случайных результатов наблюдений сама является случайной величиной. Значения найденные по разным сериям наблюдений, могут отличаться от истинного значения характеристики в ту или другую сторону. Естественно потребовать, чтобы оценка систематически не завышала и не занижала оцениваемое значение, а с ростом числа наблюдений становилась более точной. Формализация названных требований приводит к следующим понятиям.

Определение. Оценка называется несмещенной, если ее математическое ожидание равно оцениваемой величине: В противном случае оценку называют смещенной.

Определение. Оценка называется состоятельной, если при увеличении числа наблюдений она сходится по вероятности к оцениваемой величине, т.е. для любого сколь угодно малого

 

Если известно, что оценка несмещенная, то для ее состоятельности достаточно, чтобы

Последнее условие удобно для проверки. В качестве меры разброса значений оценки относительно можно рассматривать величину Из двух оценок предпочтительней та, для которой эта величина меньше. Если оценка имеет наименьшую меру разброса среди всех оценок характеристики, построенных по наблюдениям, то оценку называют эффективной.

Следует отметить, что несмещенность и состоятельность являются желательными свойствами оценок, но не всегда разумно требовать наличия этих свойств у оценки. Например, может оказаться предпочтительней оценка хотя и обладающая небольшим смещением, но имеющая значительно меньший разброс значений, нежели несмещенная оценка. Более того, есть характеристики, для которых нет одновременно несмещенных и состоятельных оценок.

Оценки для математического ожидания и дисперсии

Пусть случайная величина имеет неизвестные математическое ожидание и дисперсию, причем Если – результаты независимых наблюдений случайной величины, то в качестве оценки для математического ожидания можно предложить среднее арифметическое наблюдаемых значений 

Несмещенность такой оценки следует из равенств

В силу независимости наблюдений 

При условии имеем что означает состоятельность оценки .

Доказано, что для математического ожидания нормально распределенной случайной величины оценка еще и эффективна.

Оценка математического ожидания посредством среднего арифметического наблюдаемых значений наводит на мысль предложить в качестве оценки для дисперсии величину

 

Преобразуем величину обозначая для краткости через

В силу (3.1.2) имеем Поэтому 

Последняя запись означает, что оценка имеет смещение. Она систематически занижает истинное значение дисперсии. Для получения несмещенной оценки введем поправку в виде множителя и полученную оценку обозначим через

Величина

 

является несмещенной и состоятельной оценкой дисперсии.

Пример:

Оценить математическое ожидание и дисперсию случайной величины Х по результатам ее независимых наблюдений: 7, 3, 4, 8, 4, 6, 3.

Решение. По формулам (3.1.1) и (3.1.3) имеем 

Ответ. 

Пример:

Данные 25 независимых наблюдений случайной величины представлены в сгруппированном виде:

Требуется оценить математическое ожидание и дисперсию этой случайной величины.

Решение. Представителем каждого интервала можно считать его середину. С учетом этого формулы (3.1.1) и (3.1.3) дают следующие оценки:

Ответ.  

Метод наибольшего правдоподобия для оценки параметров распределений

В теории вероятностей и ее приложениях часто приходится иметь дело с законами распределения, которые определяются некоторыми параметрами. В качестве примера можно назвать нормальный закон распределения Его параметры и имеют смысл математического ожидания и дисперсии соответственно. Их можно оценить с помощью и В общем случае параметры законов распределения не всегда напрямую связаны со значениями числовых 179 характеристик. Поэтому практический интерес представляет следующая задача.

Пусть случайная величина Х имеет функцию распределения причем тип функции распределения F известен, но неизвестно значение параметра По данным результатов наблюдений нужно оценить значение параметра. Параметр может быть и многомерным.

Продемонстрируем идею метода наибольшего правдоподобия на упрощенном примере. Пусть по результатам наблюдений, отмеченных на рис. 3.1.1 звездочками, нужно отдать предпочтение одной из двух функций плотности вероятности или  

Из рисунка видно, что при значении параметра такие результаты наблюдений маловероятны и вряд ли бы реализовались. При значении же эти результаты наблюдений вполне возможны. Поэтому значение параметра более правдоподобно, чем значение . Такая аргументация позволяет сформулировать принцип наибольшего правдоподобия: в качестве оценки параметра выбирается то его значение, при котором данные результаты наблюдений наиболее вероятны.

Этот принцип приводит к следующему способу действий. Пусть закон распределения случайной величины Х зависит от неизвестного значения параметра Обозначим через для непрерывной случайной величины плотность вероятности в точке а для дискретной случайной величины – вероятность того, что Если в независимых наблюдениях реализовались значения случайной величины то выражение

называют функцией правдоподобия. Величина зависит только от параметра при фиксированных результатах наблюдений При каждом значении параметра функция равна вероятности именно тех значений дискретной случайной величины, которые получены в процессе наблюдений. Для непрерывной случайной величины равна плотности вероятности в точке выборочного пространства

Сформулированный принцип предлагает в качестве оценки значения параметра выбрать такое при котором принимает наибольшее значение. Величина  будучи функцией от результатов наблюдений  называется оценкой наибольшего правдоподобия.

Во многих случаях, когда дифференцируема, оценка наибольшего правдоподобия находится как решение уравнения 

которое следует из необходимого условия экстремума. Поскольку  достигает максимума при том же значении , что и , то можно решать относительно эквивалентное уравнение

Это уравнение называют уравнением правдоподобия. Им пользоваться удобнее, чем уравнением (3.1.5), так как функция равна произведению, а – сумме, а дифференцировать проще.

Если параметров несколько (многомерный параметр), то следует взять частные производные от функции правдоподобия по всем параметрам, приравнять частные производные нулю и решить полученную систему уравнений.

Оценку, получаемую в результате поиска максимума функции правдоподобия, называют еще оценкой максимального правдоподобия.

Известно, что оценки максимального правдоподобия состоятельны. Кроме того, если для q существует эффективная оценка, то уравнение правдоподобия имеет единственное решение, совпадающее с этой оценкой. Оценка максимального правдоподобия может оказаться смещенной.

Метод моментов

Начальным моментом го порядка случайной величины Х называется математическое ожидание й степени этой величины, т.е.  Само математическое ожидание считается начальным моментом первого порядка.

Центральным моментом го порядка называется  Очевидно, что дисперсия – это центральный момент второго порядка. Если закон распределения случайной величины зависит от некоторых параметров, то от этих параметров зависят и моменты случайной величины.

Для оценки параметров распределения по методу моментов находят на основе опытных данных оценки моментов в количестве, равном числу оцениваемых параметров. Эти оценки приравнивают к соответствующим теоретическим моментам, величины которых выражены через параметры. Из полученной системы уравнений можно определить искомые оценки. 

Например, если Х имеет плотность распределения то 

Если воспользоваться величиной как оценкой для на основе опытных данных, то оценкой по методу моментов будет решение уравнения 

Пример:

Найти оценку параметра показательного закона распределения по методу моментов.

Решение. Плотность вероятности показательного закона распределения имеет вид Поэтому  Откуда 

Ответ. 

Пример:

Пусть имеется простейший поток событий неизвестной интенсивности . Для оценки параметра проведено наблюдение потока и зарегистрированы  – длительности последовательных интервалов времени между моментами наступления событий. Найти оценку для .

Решение. В простейшем потоке интервалы времени между последовательными моментами наступления событий потока имеют показательный закон распределения Так как плотность вероятности показательного закона распределения равна  то функция правдоподобия (3.1.4) имеет вид

Тогда   и уравнение правдоподобия  имеет решение 

При таком значении функция правдоподобия действительно достигает наибольшего значения, так как 

Ответ. 

Определение. Пусть  – результаты n независимых наблюдений случайной величины X. Если расставить эти результаты в порядке возрастания, то получится последовательность значений, которую называют вариационным рядом и обозначают: 

В этой записи  

Величины называют порядковыми статистиками.

Пример:

Случайная величина Х имеет равномерное распределение на отрезке где и неизвестны. Пусть  – результаты независимых наблюдений. Найти оценку параметра .

Решение. Функция плотности вероятности величины Х имеет вид

В этом случае функция правдоподобия от явно не зависит. Дифференцировать по такую функцию нельзя и нет возможности записать уравнение правдоподобия. Однако легко видеть, что  возрастает при уменьшении . Все результаты наблюдений лежат в  поэтому можно записать:

 

где – наименьший, а – наибольший из результатов наблюдений. При минимально возможном  

откуда или

Оценкой наибольшего правдоподобия для параметра будет величина

Ответ. 

Пример:

Случайная величина X имеет функцию распределения

где неизвестный параметр.

Пусть  – результаты независимых наблюдений случайной величины X. Требуется найти оценку наибольшего правдоподобия для параметра и найти оценку для M(X).

Решение. Для построения функции правдоподобия найдем сначала функцию плотности вероятности

 

Тогда функция правдоподобия: 

Логарифмическая функция правдоподобия: 

Уравнение правдоподобия

 

не имеет решений. Критических точек нет. Наибольшее и наименьшее значения находятся на границе допустимых значений .

По виду функции можно заключить, что значение тем больше, чем меньше величина . Но не может быть меньше Поэтому наиболее правдоподобное значение

Так как , то оценкой наибольшего правдоподобия для будет величина
Ответ.

Пример:

Случайная величина Х имеет нормальный закон распределения c неизвестными параметрами и  По результатам независимых наблюдений найти наиболее правдоподобные значения этих параметров.

Решение. В соответствии с (3.1.4) функция правдоподобия имеет вид 

а логарифмическая функция правдоподобия: 

Необходимые условия экстремума дают систему двух уравнений: 

Решения этой системы имеют вид: 

Отметим, что обе оценки являются состоятельными, причем оценка для несмещенная, а для смещенная (сравните с формулой (3.1.3)).

Ответ. 

Пример:

По данным эксперимента построен статистический ряд: 

Найти оценки математического ожидания, дисперсии и среднего квадратического отклонения случайной величины X.
Решение. 1) Число экспериментальных данных вычисляется по формуле:

Значит, объем выборки n = 50.

2) Вычислим среднее арифметическое значение эксперимента:

Значит, найдена оценка математического ожидания = 12,3.

3) Вычислим исправленную выборочную дисперсию:

Значит, найдена оценка дисперсии:  = 1,44.

5) Вычислим оценку среднего квадратического отклонения:

Ответ:

Пример:

По данным эксперимента построен статистический ряд: 

Найти оценки математического ожидания, дисперсии и среднего квадратического отклонения случайной величины X.
Решение. По формуле

перейдем к условным вариантам: 

Для них произведем расчет точечных оценок параметров:

Следовательно, вычисляем искомые точечные оценки: 

Ответ: 

Пример:

По данным эксперимента построен интервальный статистический ряд: 

Найти оценки математического ожидания, дисперсии и среднего квадратического отклонения.
Решение. 1) От интервального ряда перейдем к статистическому ряду, заменив интервалы их серединами  

2) Объем выборки вычислим по формуле:

3) Вычислим среднее арифметическое значений эксперимента:

3) Вычислим исправленную выборочную дисперсию:

Можно было воспользоваться следующей формулой:

5)  Вычислим оценку среднего квадратического отклонения: 

Ответ: 

Пример:

Найти доверительный интервал с надежностью 0,95 для оценки математического ожидания M(X) нормально распределенной случайной величины X, если известно среднее квадратическое отклонение σ = 2, оценка математического ожидания  объем выборки n = 25.
 

Решение. Доверительный интервал для истинного математического ожидания с доверительной вероятностью  = 0,95 при известной дисперсии σ находится по формуле:

где m = M(X) – истинное математическое ожидание; 𝑥̅ − оценка M(X) по выборке; n – объем выборки;  – находится по доверительной вероятности  = 0,95 из равенства:

Из табл. П 2.2 приложения 2 находим:  = 1,96. Следовательно, найден доверительный интервал для M(X): 

Ответ: (9,216 ; 10,784).

Пример:

По данным эксперимента построен статистический ряд: 

Найти доверительный интервал для математического ожидания M (X) с надежностью 0,95.
 

Решение. Воспользуемся формулой для доверительного интервала математического ожидания при неизвестной дисперсии:

где n – объем выборки; 𝑥̅ оценка M(X);  s – оценка среднего квадратического отклонения;   − находится по доверительной вероятности  = 0,95.

По числам  = 0,95 и n = 20 находим:  = 2,093.
Теперь вычисляем оценки для M(X) и D(X):

Следовательно, s ≈ 1,685. Поэтому искомый доверительный интервал математического ожидания задается формулой: 

Ответ: (– 0,76; 0,76).

Пример:

По данным десяти независимых измерений найдена оценка квадратического отклонения  = 0,5. Найти доверительный интервал точности измерительного прибора с надежностью 99 %.
 

Решение. Задача сводится к нахождению доверительного интервала для истинного квадратического отклонения, так как точность прибора характеризуется средним квадратическим отклонением случайных ошибок измерений.

Доверительный интервал для среднего квадратического отклонения находим по формуле:

где   = 0,5 − оценка среднего квадратического отклонения;  – число, определяемое из табл. П 2.4 приложения 2 по заданной доверительной вероятности   = 0,99 и заданному объему выборки  n = 10.
Находим:  
Тогда можно записать: 

Ответ: (0; 1,04).

Содержание:

1. Точечные статистические оценки параметров генеральной совокупности 
2. Методы определения точечных статистических оценок
3. Законы распределения вероятностей для 
4. Интервальные статистические оценки для параметров генеральной совокупности 
5. Построение доверчивого интервала для  при известном значении  с заданной надежностью  
6. Построение доверительного интервала для  при неизвестном значении  из заданной надежности 
7. Построение доверительных интервалов с заданной надежностью  для 
8. Построение доверительного интервала для  генеральной совокупности с заданной надежностью 
9. Построение доверительного интервала для  с помощью неравенства Чебишова с заданной надежностью 

Информация, которую получили на основе обработки выборки про признак генеральной совокупности, всегда содержит определенные погрешности, поскольку выборка содержит только незначительную часть от нее  то есть объем выборки значительно меньше объема генеральной совокупности. 

Потому, следует организовать выборку так, чтобы эта информация была более полной (выборка может быть репрезентабельной) и обеспечивала с наибольшей степенью доверия о параметрах генеральной совокупности ил закон распределение ее признака. 

Параметры генеральной совокупности  являются величинами постоянными, но их числовые значения неизвестные. Эти параметры оцениваются параметрами выборки:   которые получаются при обработке выборки. Они являются величинами непредсказуемыми, то есть случайными. Схематично это можно показать так (рис. 115). 

Тут через   обозначен оценочный параметр генеральной совокупности, а через    — его статистическую оценку, Которую называют еще статистикой. При этом   а  — случайная величина, что имеет полный закон распределения вероятностей. заметим, что для реализации выборки каждую ее варианту рассматривают как случайную величину, что имеет закон распределения вероятностей признака генеральной совокупности с соответственными числовыми характеристиками: 

Точечные статистические оценки параметров генеральной совокупности 

Статистическая оценка  , которая обозначается одном числом, называется точечной. Возьмем во внимание, что  является случайной величиной, точечная статистическая оценка может быть смещенной или несмещенной: когда математическое надежда этой оценки точно равны оценочному параметру  а именно: 

то  называется несмещенной; в противоположном случае, то есть когда 

 

точечная статистическая оценка     называется смещенной относительно параметра генеральной совокупности 

 Разница 

называется смещением статистической оценки 

Оценочный параметр может иметь несколько точечных несмещенных статистических оценок, что можно изобразить так (рис. 116):

Например, пусть  которая имеет две несмещенные точечные статистические оценки —   и  Тогда плотность вероятностей для    имеют такой вид (рис. 117): 

Из графиков плотности видим, что оценка   сравнено с оценкой  имеет то преимущество, что около параметра   Отсюда получается,  что оценка  чаще получает значение в этой области, чем оценка 

Но на «хвостах» распределений имеет другую картину: большие отклонения от  будут наблюдаться для статистической оценки , чаще, чем для  Потому, сравнивая дисперсии статистических  как меру рассеивания, видим, что   имеет меньшую дисперсию, чем оценка . 

Точечная статистическая оценка называется эффективной, когда при заданном объеме выборки она имеет минимальную дисперсию. Следует, оценка  будет несмещенной и эффективной. 

Точечная статистическая оценка называется основой, если в случае неограниченного увеличения объема выборки  приближается к оценке параметра , а именно: 

Методы определения точечных статистических оценок

Существует три метода определения точечных статистических оценок для параметров генеральной совокупности. 

Метод аналогий. Этот метод основывается на том, что для параметров генеральной совокупности выбирают такие же параметры выборки, то есть для оценки  выбирают аналогичные статистики — 

Метод наименьших квадратов. Согласно с этим методом статистические оценки обозначаются с условием минимизации суммы квадратов отклонений вариант выборки от статистической оценки . 

Итак, используя метод наименьших квадратов, можно, например, обозначить статистическую оценку для  Для этого воспользуемся функцией   Используя условие экстремума, получим: 

Отсюда, для  точечной статистической оценкой будет  — выборочная средняя. 

Метод максимальной правдоподобности. Этот метод занимает центральное место в теории статистической оценки параметров  На него в свое время обратил внимание К. Гаусс, а  разработал его Р. Фишер. Этот метод рассмотрим подробнее. 

Пусть признак генеральной совокупности   обозначается только одном параметром   и имеет плотность вероятности   В случае реализации выборки с вариантами   плотность вероятности выборки будет такой: 

В этом варианте рассматриваются как независимые случайные величины, которые имеют один и тот же закон распределения, что ее признак генеральной совокупности . 

Суть этого метода состоит в том, что фиксируя значение вариант ,  обозначают такие значение параметра  , при котором функция   максимизуется. Она называется функцией максимальной правдоподобности и обозначается так: 

Например, когда признак генеральной совокупности   имеет нормальный закон распределения, то функция максимальной правдоподобности приобретет такой вид: 

При этом статистические оценки   выбирают и ее значения, по которых заданная выборка будет верной, то есть функция   достигает максимума. 

На практике удобно от функции  перейти к ее логарифму, а именно: 

согласно с необходимым условием экстремума для этой функции получим: 

Из первого уравнения системы    получим: 

из уравнение системы   получим: 

Следует, для  точечной функции статистической оценкой будет    для  

Свойства  Исправленная дисперсия, исправленное среднее квадратичное отклонение. Точечной несмещенной статистической оценкой для   будет 

И на самом деле, 

  учитывая то. что  

Следует, 

Проверим на несмещенность статистической оценки 

Таким образом, получим 

Следует,  будет точечной смещенной статистической оценкой для ,  где   — коэффициент смещения, который уменьшается с увеличением объема выборки  

Когда  умножить на   то получим 

Тогда 

Следует,  будут точеной несмещенной статистической оценкой для  Ее называли исправленной дисперсией и обозначили через  

Отсюда точечной несмещенной статистической оценкой для  будет исправленная дисперсия    или 

Величину 

называют исправленным средним квадратичным отклонением.

Исправленное среднее квадратичное отклонение, следует подчеркнуть, будет смещенной точечной статистической оценкой для      поскольку 

где  является ступенью свободы;

  — коэффициенты смещения. 

Пример. 200 однотипных деталей были отданы на шлифование. Результаты измерения приведены как дискретное статистическое распределение, подан в табличной форме: 

Найти точечные смещенные статистические оценки для  

Решение. Поскольку точечной несмещенной оценки для   будет   то вычислим 

Для обозначение точечной несмещенной статистической оценки для   вычислим 

тогда точечная несмещенная статистическая оценка для  равно: 

Пример. Граничная нагрузка на стальной болт   что измерялась в лабораторных условий, задано как интервальное статистическое распределение: 

Обозначить точечные несмещенные статистические оценки для 

Решение. Для обозначения точечных несмещенных статистических распределений к дискретному, который приобретает такой вид: 

Вычислим 

Следует, точечная несмещенная статистическая оценка для  

Для обозначения   вычислим 

Отсюда точечная несмещенная статистическая оценка для   будет 

Законы распределения вероятностей для 

Как уже обозначалось, числовые характеристики выборки являются случайными величинами, что имеют определенные законы распределения вероятностей. Так,   (выборочная средняя) на основании центральной граничной теоремы теории вероятностей (теоремы Ляпунова) имеем нормальный закон распределения с числовыми характеристиками 

следует, случайная величина   имеет закон распределения 

Чтобы обозначить закон распределения для  необходимо выявить связь между  и распределением . 

Пусть признак генеральной совокупности    имеет нормальный закон распределения . При реализации выборки каждую из вариант   рассматривают как случайную величину. то также имеет закон распределения . При этом вариант выборки является независимым, то есть   а случайная величина   соответственно имеет закон распределения 

Рассмотрим случай,  когда варианты выборки имеют частоты  тогда 

 

Перейдем от случайных величин  к случайным величинам  которые линейно выражаются через  а именно:  

Поскольку случайные величины    будут линейными комбинациями случайных величин  то  тоже имеют нормальный закон распределения с числовыми характеристиками: 

Следует, случайные величины  имеют закон распределения 

Построим матрицу   элементы которой будут коэффициенты при    в линейных зависимостях для 

Транспортируем матрицу  получим:

Если перемножить матрицы  и  то получим: 

где   будет единичная матрица. 

Следует, случайные величины  обозначены ортогональными преобразованиями случайных величин   В векторной — матричной форме это можно записать так: 

Из курса алгебры известно, что во время ортогональных преобразований вектора сохраняется его длина, то есть 

Тогда из формулы для   получим: 

Поскольку   далее вычислим: 

Следует, получим 

Когда поделим левую и правую часть    на  то получим, 

Поскольку  имеет закон распределения   то  получим закон распределения  то есть нормированный нормальный закон. 

То случайная величина 

получим распределение   из   ступенями свободы. 

Отсюда получается, что случайная величина   получим распределение  из   ступенями свободы. 

Таким образом, приведена: случайная величина  тут символ  нужно читать «распределена как»; 

случайная величина 

случайная величина 

Интервальные статистические оценки для параметров генеральной совокупности 

Точечные статистические оценки   являются случайными величинами, а потому приближенная замена   на  часто приводит к существенным погрешностям, особенно когда объем выборки не большой. В этом случае используют интервальные статистические оценки.

Статистическая оценка, что обозначается двумя числами, концами интервалов, называется интервальной. 

Разница между статистической оценкой  и ее оценкой параметром   взята с абсолютным значением, называется точностью оценки, а именно: 

где   является точностью оценки. 

Поскольку  является случайной величиной, то и  будет случайной, потому неравенство   справедливо с определенной вероятностью. 

Вероятность, с которой берется неравенство , то есть 

называется надежностью

Равенство  можно записать так:

Интервал  что покрывает оценочный параметр  генеральной совокупности с заданной надежностью  называют доверчивым. 

Построение доверчивого интервала для  при известном значении  с заданной надежностью  

Пусть признак  генеральной совокупностью имеет нормальный закон распределению. Построим доверительный интервал для  зная числовое значение среднего квадратичному отклонению генеральной совокупности     с заданной надежностью  Поскольку  как точечная несмещенная статистическая оценка для   имеет нормальный закон распределения с числовыми характеристиками    то воспользовавшись  получим 

Случайная величина  имеет нормальный закон распределения с числовыми характеристиками 

Потому   будет нормированный нормальный закон распределения 

Отсюда равенство   можно записать, обозначив  так; 

или 

Согласно с формулой нормированного нормального закона 

для  она получает такой вид: 

Из равенства   находим аргументы   а именно: 

Аргумент   находим значение функции Лапласа, которая равна   по таблице (дополнение 2). 

Следует, доверительный интервал равен: 

что можно изобразить условно на рисунке 118. 

Величина    называется точностью оценки, или погрешностью выборки. 

Пример. Измеряя 40 случайно отобранных после изготовления деталей, нашли выборку средней, что равна 15 см. Из надежности   построить доверительный интервал для средней величины всей партии деталей, если генеральная дисперсия равна 

 Решение. Для построенного доверчивого интервала необходимо найти: 

Из условия задачи имеем:   Величина  вычисляется из уравнения

 {с таблицей значения функции Лапласа}. 

Найдем числовые значения концов доверчивого интервала: 

Таким образом, получим: 

Следует, с надежностью   (99%  гарантии) оценочный параметр   пребывает в середина интервала 

Пример. Имеем такие данные про размеры основных фондов (в млн руб.) на 30-ти случайно выбранных предприятий: 

построить интервальное статистическое распределение с длиной шага  млн рублей. 

С надежностью  найти доверительный интеграл для  если  млн рублей. 

Решение. Интервальное статистическое распределение будет таким: 

Для обозначение  необходимо построить дискретное статистическое распределение, что имеет такой вид: 

Тогда 

  млн рублей. 

Для построения доверительного интервала с заданной надежностью  необходимо найти 

Вычислим концы интервала: 

 млн руб.

млн руб.

Следует, доверительный интервал для  будет 

Пример. Какое значение может получит надежность оценки  чтобы за объем выборки  погрешность ее не превышала  при 

Решение. Обозначим погрешность выборки 

Далее получим: 

как видим, надежность мала. 

Пример. Обозначить объем выборки  по которому погрешность  гарантируется с вероятностью   если 

 Решение. По условию задачи  Поскольку   то получим:  Величину   находим из равенства  Тогда 

Построение доверительного интервала для  при неизвестном значении  из заданной надежности 

Для малых выборок, с какими сталкиваемся, исследуя разные признаки в техники или сельском хозяйстве, для оценки   при неизвестном значении  невозможно воспользоваться нормальным законом распределения. Потому для построения доверительного интервала используется случайная величина. 

что имеет распределение Стьюдента с  ступенями свободы. 

Тогда  получает вид: 

поскольку  для распределения Стьюдента является функцией четной. 

Вычислив по данному статистическому распределению   и обозначив по таблице распределения Стьюдента значения  построим доверительный интервал 

Тут  вычислим по заданной надежностью   и числом степеней свободы   по таблице (дополнение 3).

Пример. Случайно выбранная партия из двадцати примеров была испытана относительно срока безотказной работы каждого из них  Результаты испытаний приведено в виде дискретного статистического распределения: 

С надежностью  построить доверительный интервал для  (среднего времени безотказной работы прибора.)

Решение. Для построения доверительного интеграла необходимо найти среднее выборочное и исправленное среднее квадратичное отклонение. 

Вычислим 

следует, получили  часов. 

Обозначим 

следует, 

Исправленное среднее квадратичное отклонение равно: 

 часов.

По таблице значений  (дополнение 3) распределение Стьюдента по заданной надежностью   и числом ступеней свободы  находим значение 

Вычислим концы доверительного интервала: 

 час.

 час. 

Следует, с надежностью  можно утверждать, что   будет содержится в интервале 

При больших объемах выборки, а именно:  на основании центральной граничной теоремы теории вероятностей (теоремы Ляпунова) распределение Стьюдента приближается к нормальному закону. В этом случае  находиться по таблице значений функции Лапласа. 

Пример. В таблице приведены отклонения диаметров валиков, изготовленных на станке, от номинального размера: 

с надежностью  построить доверительный интервал для 

Решение. Для постройки доверительного интервала необходимо найти 

Для этого от интегрального статистического распределения, приведенного в условии задачи, необходимо перейти к дискретному, а именно: 

Вычислим 

 поскольку 

Следует, 

Обозначим 

Вычислим исправленное среднее квадратичное отклонение 

Учитывая  на большой  объем выборки можно считать, что распределение Стьюдента близкий к нормальному закону. Тогда по таблице значения функции Лапласа

Вычислим концы интервалов: 

Итак, доверчивый интервал для среднего значения отклонений будет таким: 

Отсюда с  надежностью  можно утверждать, что

Построение доверительных интервалов с заданной надежностью  для 

В случае, если признак  имеем нормальный закон распределения, для построения доверительного интервала с заданной надежностью  для   используем случайную величину 

что имеет распределение  из  ступенями свободы. 

Поскольку случайные действия 

 и 

являются равновероятными, то есть их вероятности равны  получим: 

Подставляя в   получим 

Следует, доверительный интервал для  получит вид: 

Тогда доверительный интервал для  получается из  и будет таким: 

Значения  находятся по таблице (дополнение 4) согласно с равенствами: 

где 

Пример. Проверена  партия однотипных телевизоров  на чувствительность к видео-программ   данные проверки приведены как дискретное статистическое распределение: 

С надежностью  построить доверительные интервалы для 

Решение. Для построении доверительных интервалов  необходимо найти значения 

Вычислим значения 

 так как 

Вычислим 

Следует 

Исправленная дисперсия и исправленное среднее квадратичное отклонение равны:  

Поскольку  то согласно с  находим значения  а именно: 

По таблице (дополнение 4) находим: 

вычислим концы доверительного интервала для 

Следует, доверительный интеграл для  будет таким: 

Доверительный интервал для  станет

Доверительный интервал для  можно построить с заданной надежностью  взяв распределение 

Поскольку 

то равенство  можно записать так: 

или 

Обозначив  получим

чтобы найти  возьмем случайную величину 

что имеет распределение 

Учитывая то, что события

 и 

при  является равновероятными, получим: 

Если умножить все члены двойного неравенства  на  то получим: 

Отсюда получим: 

Из уравнения  по заданной надежностью  и объемом выборки  находим по таблице (дополнение 5) значение величины 

Доверительный интервал будет таким: 

Пример. С надежностью  построить доверительный интервал вычислим значения  по таблице (дополнение 5). 

Обозначим концы интервала: 

Следует, доверительный интервал для  с надежностью  будет такой 

Построение доверительного интервала для  генеральной совокупности с заданной надежностью 

Как величина, полученная по результатам выборки,  является случайной и представляет собой точечную несмещенную статистическую оценку для 

Исправленное среднее квадратичное отклонение для  

Для построения доверительного интервала для  используется случайная величина

что имеет нормированный нормальный закон распределения  

Воспользовавшись  получим 

Следует. доверительный интервал для будет таким: 

где  находим из равенства 

по таблице значений функции Лапласа. 

Пример. Случайно выбранных студентов из потока университета были подвергнуты тестированию по математике и химии. Результаты этих тестирования преподнесено статистическим распределением, где  — оценки по математике,  — по химии. Ответы оценивались по десятибалльной системе: 

Необходимо: 

1) с надежностью  построить доверительный интервал для   если 

2) с надежностью  построить доверительный интервал для 

Решение. Вычислим основные числовые характеристики признак  и  а также  Поскольку  получим: 

1. Построим доверительный интервал с надежностью  для  если 

нам известные значения  Значения   вычисляем из уравнения  

где  находим по таблице значений функции Лапласа. 

Обозначим концы интервала: 

Следует, доверительный интервал для  будет таким: 

2. Построим доверительный интервал с надежностью  для 

Поскольку    нам не известно, то доверительный интервал в этом случае обозначается так: 

На известное значение  находим по таблице распределения Стьюдента (дополнение 3),

Вычислим концы доверительного интервала: 

Таким образом, доверительный интервал для  будет в таких границах: 

Доверительный интеграл с надежностью  для  будет таким: 

Нам известно значение  Учитывая, что  найдем по таблице (дополнение 5) значения 

Обозначим концы доверительного интервала: 

Следует, доверительный интервал для  подается таким неравенством: 

Доверительный интервал для  с заданной надежностью  будет таким: 

Нам известны значения  обозначаем по таблице значений функции Лапласа  где 

Обозначим концы доверительного интервала: 

таким образом, доверительный интервал для  будет в таких границах: 

Построение доверительного интервала для  с помощью неравенства Чебишова с заданной надежностью 

В случае, если отсутствует информация про закон распределения признака генеральной совокупности   оценка вероятностей события  где  и построение доверительного интервала для  с заданной надежностью  выполняется с использованием неравенства Чебишова по условию, что известно значение   а именно: 

Из  обозначаем величину 

Доверительный интервал дается таким неравенством: 

Когда  неизвестно, используем исправленную дисперсию  и доверительный интервал приобретает такой вид: 

Пример. Полученные данные с 100 наугад выбранных предприятий относительно возрастания выработки на одного работника  которые имеют такой интервальное статистическое распределение: 

Воспользовавшись неравенством Чебишова, построить доверительный интервал для  если известно значение  с надежностью 

Решение. Для построения доверительного интервала с помощью неравенства Чебишова необходимо вычислить  Чтобы обозначить  перейдем от интервального к дискретному статистическому распределению, а именно: 

Тогда получим: 

Воспользовавшись  вычислим 

таким образом, доверительный интервал для  преподноситься такими неравенствами: 

или 

Пример. Заданы размеры основных фондов  на 30- ти предприятий дискретным статистическим распределением: 

Воспользовавшись неравенством Чебишова с надежностью  построить доверительный интервал для 

Решение. Для постройки доверительного интервала для    с помощью неравенства Чебишова необходимо вычислить 

 млн руб. 

Следует,  млн рублей. 

  млн рублей.

Обозначить концы доверительного интервала: 

 млн рублей

н рублей

Итак, доверительный интервал для  подается неравенствами