Как найти значение квантиля

Рассмотрим вычисление квантилей для некоторых функций распределений, представленных в

MS

EXCEL

.

Понятие

Квантиля

основано на определении

Функции распределения

. Поэтому, перед изучением

Квантилей

рекомендуем освежить в памяти понятия из статьи

Функция распределения вероятности

.

Содержание статьи:

• Определение
• Квантили специальных видов
• Квантили стандартного нормального распределения
• Квантили распределения Стьюдента
• Квантили распределения ХИ-квадрат
• Квантили F-распределения
• Квантили распределения Вейбулла
• Квантили экспоненциального распределения

Сначала дадим формальное определение

квантиля,

затем приведем примеры их вычисления в MS EXCEL.

Определение

Пусть случайная величина

X

, имеет

функцию распределения

F

(

x

).

α-квантилем

(

альфа-

квантиль,

x

_a

,

квантиль

порядка

α, нижний

α-

квантиль

) называют решение уравнения

x

_a

=F

^-1

(α), где

α

— вероятность, что случайная величина х примет значение меньшее или равное x

_a

, т.е. Р(х<= x

_a

)=

α.

Из определения ясно, что нахождение

квантиля

распределения является обратной операцией нахождения вероятности. Т.е. если при вычислении

функции распределения

мы находим вероятность

α,

зная x

_a

, то при нахождении

квантиля

мы, наоборот, ищем

x

_a

зная

α

.

Чтобы пояснить определение, используем график функции

стандартного нормального распределения

(см.

файл примера Лист Определение

):

Примечание

: О построении графиков в MS EXCEL можно прочитать статью

Основные типы диаграмм в MS EXCEL

.

Например, с помощью графика вычислим 0,21-ю

квантиль

, т.е. такое значение случайной величины, что Р(X<=x

_0,21

)=0,21.

Для этого найдем точку пересечения горизонтальной линии на уровне вероятности равной 0,21 с

функцией распределения

. Абсцисса этой точки равна -0,81. Соответственно, 0,21-я

квантиль

равна -0,81. Другими словами, вероятность того, что случайная величина, распределенная

стандартному нормальному закону,

примет значение

меньше

-0,81, равна 0,21 (21%).

Примечание

: При вычислении

квантилей

в MS EXCEL используются

обратные функции распределения

:

НОРМ.СТ.ОБР()

,

ЛОГНОРМ.ОБР()

,

ХИ2.ОБР(),

ГАММА.ОБР()

и т.д. Подробнее о распределениях, представленных в MS EXCEL, можно прочитать в статье

Распределения случайной величины в MS EXCEL

.

Точное значение

квантиля

в нашем случае можно найти с помощью формулы

=НОРМ.СТ.ОБР(0,21)

СОВЕТ

: Процедура вычисления

квантилей

имеет много общего с вычислением

процентилей

выборки

(см. статью

Процентили в MS EXCEL

).

Квантили специальных видов

Часто используются

Квантили

специальных видов:

• процентили

  x
  
  _p/100
  
  , p=1, 2, 3, …, 99

• квартили

  x
  
  _p/4
  
  , p=1, 2, 3

• медиана

  x
  
  _1/2
  

В качестве примера вычислим

медиану (0,5-квантиль)

логнормального распределения

LnN(0;1) (см.

файл примера лист Медиана

).

Это можно сделать с помощью формулы

=ЛОГНОРМ.ОБР(0,5; 0; 1)

Квантили стандартного нормального распределения

Необходимость в вычислении квантилей

стандартного нормального распределения

возникает при

проверке статистических гипотез

и при

построении доверительных интервалов.

Примечание

: Про

проверку статистических гипотез

см. статью

Проверка статистических гипотез в MS EXCEL

. Про

построение доверительных интервалов

см. статью

Доверительные интервалы в MS EXCEL

.

В данных задачах часто используется специальная терминология:

• 
  Нижний квантиль уровня
  
  альфа
  
  (
  
  α
  
  percentage point)
  
  ;
• 
  Верхний квантиль уровня альфа (upper
  
  α
  
  percentage point)
  
  ;
• 
  Двусторонние квантили уровня
  
  альфа
  
  .

Нижний квантиль уровня альфа

— это обычный

α-квантиль.

Чтобы пояснить название «

нижний» квантиль

, построим график

плотности вероятности

и

функцию вероятности

стандартного нормального

распределения

(см.

файл примера лист Квантили

).

Выделенная площадь на рисунке соответствует вероятности, что случайная величина примет значение меньше

α-квантиля

. Из определения

квантиля

эта вероятность равна

α

. Из графика

функции распределения

становится понятно, откуда происходит название »

нижний квантиль» —

выделенная область расположена в нижней части графика.

Для

α=0,05,

нижний 0,05-квантиль

стандартного нормального распределения

равен -1,645. Вычисления в MS EXCEL можно сделать по формуле:

=НОРМ.СТ.ОБР(0,05)

Однако, при

проверке гипотез

и построении

доверительных интервалов

чаще используется «верхний»

α-квантиль.

Покажем почему.

Верхним

α

—

квантилем

называют такое значение x

_α

, для которого вероятность, того что случайная величина X примет значение

больше или равное

x

_α

равна

альфа:

P(X>= x

_α

)=

α

. Из определения понятно, что

верхний альфа

—

квантиль

любого распределения равен

нижнему (1-

α)

—

квантилю.

А для распределений, у которых

функция плотности распределения

является четной функцией,

верхний

α

—

квантиль

равен

нижнему

α

—

квантилю

со знаком минус

.

Это следует из свойства четной функции f(-x)=f(x), в силу симметричности ее относительно оси ординат.

Действительно, для

α=0,05,

верхний 0,05-квантиль

стандартного нормального распределения

равен 1,645. Т.к.

функция плотности вероятности

стандартного нормального

распределения

является четной функцией, то вычисления в MS EXCEL

верхнего квантиля

можно сделать по двум формулам:

=НОРМ.СТ.ОБР(1-0,05)

=-НОРМ.СТ.ОБР(0,05)

Почему применяют понятие

верхний

α

—

квантиль?

Только из соображения удобства, т.к. он при

α<0,5

всегда положительный (в случае

стандартного нормального

распределения

). А при проверке гипотез

α

равно

уровню значимости

, который обычно берут равным 0,05, 0,1 или 0,01. В противном случае, в процедуре

проверки гипотез

пришлось бы записывать условие отклонения

нулевой гипотезы

μ>μ

₀

как Z

₀

>Z

<sub>1-

α</sub>

, подразумевая, что Z

<sub>1-

α</sub>

–

обычный

квантиль

порядка

1-

α

(или как Z

₀

>-Z

_α

). C верхнем квантилем эта запись выглядит проще Z

₀

>Z

_α

.

Примечание

: Z

₀

— значение

тестовой статистики

, вычисленное на основе

выборки

. Подробнее см. статью

Проверка статистических гипотез в MS EXCEL о равенстве среднего значения распределения (дисперсия известна)

.

Чтобы пояснить название «

верхний»

квантиль

, построим график

плотности вероятности

и

функцию вероятности

стандартного нормального

распределения

для

α=0,05.

Выделенная площадь на рисунке соответствует вероятности, что случайная величина примет значение больше

верхнего 0,05-квантиля

, т.е.

больше

значения 1,645. Эта вероятность равна 0,05.

На графике

плотности вероятности

площадь выделенной области равна 0,05 (5%) от общей площади под графиком (равна 1). Из графика

функции распределения

становится понятно, откуда происходит название «верхний»

квантиль

—

выделенная область расположена в верхней части графика. Если Z

₀

больше

верхнего квантиля

, т.е. попадает в выделенную область, то

нулевая гипотеза

отклоняется.

Также при

проверке двухсторонних гипотез

и построении соответствующих

доверительных интервалов

иногда используется понятие «двусторонний»

α-квантиль.

В этом случае условие отклонения

нулевой гипотезы

звучит как |Z

₀

|>Z

<sub>α

/2</sub>

, где Z

<sub>α

/2</sub>

–

верхний

α/2-квантиль

. Чтобы не писать

верхний

α/2-квантиль

, для удобства используют «двусторонний»

α-квантиль.

Почему двусторонний? Как и в предыдущих случаях, построим график

плотности вероятности стандартного нормального распределения

и график

функции распределения

.

Невыделенная площадь на рисунке соответствует вероятности, что случайная величина примет значение

между

нижним квантилем уровня α

/2 и

верхним квантилем

уровня α

/2, т.е. будет между значениями -1,960 и 1,960 при α=0,05. Эта вероятность равна в нашем случае 1-(0,05/2+0,05/2)=0,95. Если Z

₀

попадает в одну из выделенных областей, то

нулевая гипотеза

отклоняется.

Вычислить

двусторонний

0,05

—

квантиль

это можно с помощью формул MS EXCEL:

=НОРМ.СТ.ОБР(1-0,05/2)

или

=-НОРМ.СТ.ОБР(0,05/2)

Другими словами,

двусторонние α-квантили

задают интервал, в который рассматриваемая случайная величина попадает с заданной вероятностью α.

Квантили распределения Стьюдента

Аналогичным образом

квантили

вычисляются и для

распределения Стьюдента

. Например, вычислять

верхний

α/2-

квантиль

распределения Стьюдента с

n

-1 степенью свободы

требуется, если проводится

проверка двухсторонней гипотезы

о

среднем значении

распределения при

неизвестной

дисперсии

(

см. эту статью

).

Для

верхних квантилей

распределения Стьюдента

часто используется запись t

_α/2,n-1

. Если такая запись встретилась в статье про

проверку гипотез

или про построение

доверительного интервала

, то это именно

верхний квантиль

.

Примечание

:

Функция плотности вероятности распределения Стьюдента

, как и

стандартного нормального распределения

, является четной функцией.

Чтобы вычислить в MS EXCEL

верхний

0,05/2

—

квантиль

для t-распределения с 10 степенями свободы (или тоже самое

двусторонний

0,05-квантиль

), необходимо записать формулу

=СТЬЮДЕНТ.ОБР.2Х(0,05; 10)

или

=СТЬЮДРАСПОБР(0,05; 10)

или

=СТЬЮДЕНТ.ОБР(1-0,05/2; 10)

или

=-СТЬЮДЕНТ.ОБР(0,05/2; 10)

.2X означает 2 хвоста, т.е.

двусторонний квантиль

.

Квантили распределения ХИ-квадрат

Вычислять

квантили

распределения ХИ-квадрат

с

n

-1 степенью свободы

требуется, если проводится

проверка гипотезы

о

дисперсии нормального распределения

(см. статью

Проверка статистических гипотез в MS EXCEL о дисперсии нормального распределения

).

При

проверке таких гипотез

также используются

верхние квантили.

Например, при

двухсторонней гипотезе

требуется вычислить 2

верхних

квантиля

распределения

ХИ

²

: χ

²

_α/2,n-1

и

χ

²

<sub>1-

α/2,n-1</sub>

. Почему требуется вычислить два

квантиля

, не один, как при

проверке гипотез о среднем

, где используется

стандартное нормальное распределение

или

t-распределение

?

Дело в том, что в отличие от

стандартного нормального распределения

и

распределения Стьюдента

, плотность распределения

ХИ

²

не является четной (симметричной относительно оси х). У него все

квантили

больше 0, поэтому

верхний альфа-квантиль

не равен

нижнему (1-альфа)-квантилю

или по-другому:

верхний альфа-квантиль

не равен

нижнему альфа-квантилю

со знаком минус.

Чтобы вычислить

верхний

0,05/2

—

квантиль

для

ХИ

²

-распределения

с

числом степеней свободы

10, т.е.

χ

²

_0,05/2,n-1

, необходимо в MS EXCEL записать формулу

=ХИ2.ОБР.ПХ(0,05/2; 10)

или

=ХИ2.ОБР(1-0,05/2; 10)

Результат равен 20,48. .ПХ означает правый хвост распределения, т.е. тот который расположен вверху на графике

функции распределения

.

Чтобы вычислить

верхний

(1-0,05/2)-

квантиль

при том же

числе степеней свободы

, т.е.

χ

²

_1-0,05/2,n-1

и необходимо записать формулу

=ХИ2.ОБР.ПХ(1-0,05/2; 10)

или

=ХИ2.ОБР(0,05/2; 10)

Результат равен 3,25.

Квантили F-распределения

Вычислять

квантили

распределения Фишера

с

n

₁

-1 и

n

₂

-1 степенями свободы

требуется, если проводится

проверка гипотезы

о равенстве

дисперсий двух нормальных распределений

(см. статью

Двухвыборочный тест для дисперсии: F-тест в MS EXCEL

).

При

проверке таких гипотез

используются, как правило,

верхние квантили.

Например, при

двухсторонней гипотезе

требуется вычислить 2

верхних

квантиля

F

-распределения:

F

<sub>α/2,n1-1,

n

2

-1</sub>

и

F

<sub>1-α/2,n1-1,

n

2

-1</sub>

. Почему требуется вычислить два

квантиля

, не один, как при

проверке гипотез о среднем

? Причина та же, что и для распределения ХИ

²

– плотность

F-распределения

не является четной

.

Эти

квантили

нельзя выразить один через другой как для

стандартного нормального распределения

.

Верхний альфа-квантиль

F

-распределения

не равен

нижнему альфа-квантилю

со знаком минус.

Чтобы вычислить

верхний

0,05/2-квантиль

для

F

-распределения

с

числом степеней свободы

10 и 12, необходимо записать формулу

=F.ОБР.ПХ(0,05/2;10;12) =FРАСПОБР(0,05/2;10;12) =F.ОБР(1-0,05/2;10;12)

Результат равен 3,37. .ПХ означает правый хвост распределения, т.е. тот который расположен вверху на графике

функции распределения

.

Квантили распределения Вейбулла

Иногда

обратная функция распределения

может быть представлена в явном виде с помощью элементарных функций, например как для

распределения Вейбулла

. Напомним, что функция этого распределения задается следующей формулой:

После логарифмирования обеих частей выражения, выразим x через соответствующее ему значение F(x) равное P:

Примечание

: Вместо обозначения

α-квантиль

может использоваться

p

—

квантиль.

Суть от этого не меняется.

Это и есть обратная функция, которая позволяет вычислить

P

—

квантиль

(

p

—

quantile

). Для его вычисления в формуле нужно подставить известное значение вероятности P и вычислить значение х

_p

(вероятность того, что случайная величина Х примет значение меньше или равное х

_p

равна P).

Квантили экспоненциального распределения

Задача

:

Случайная величина имеет

экспоненциальное распределение

:

Требуется выразить

p

-квантиль

x

_p

через параметр распределения λ и заданную вероятность

p

.

Примечание

: Вместо обозначения

α-квантиль

может использоваться

p-квантиль

. Суть от этого не меняется.

Решение

: Вспоминаем, что

p

-квантиль

– это такое значение x

_p

случайной величины X, для которого P(X<=x

_p

)=

p

. Т.е. вероятность, что случайная величина X примет значение меньше или равное x

_p

равна

p

. Запишем это утверждение с помощью формулы:

По сути, мы записали

функцию вероятности экспоненциального распределения

: F(x

_p

)=

p

.

Из определения

квантиля

следует, что для его нахождения нам потребуется

обратная функция распределения

.

Проинтегрировав вышеуказанное выражение, получим:

Используя это уравнение, выразим x

_p

через λ и вероятность

p

.

Конечно, явно выразить

обратную функцию распределения

можно не для всех

функций распределений

.

In statistics and probability, quantiles are cut points dividing the range of a probability distribution into continuous intervals with equal probabilities, or dividing the observations in a sample in the same way. There is one fewer quantile than the number of groups created. Common quantiles have special names, such as quartiles (four groups), deciles (ten groups), and percentiles (100 groups). The groups created are termed halves, thirds, quarters, etc., though sometimes the terms for the quantile are used for the groups created, rather than for the cut points.

q—quantiles are values that partition a finite set of values into q subsets of (nearly) equal sizes. There are q − 1 partitions of the q-quantiles, one for each integer k satisfying 0 < k < q. In some cases the value of a quantile may not be uniquely determined, as can be the case for the median (2-quantile) of a uniform probability distribution on a set of even size. Quantiles can also be applied to continuous distributions, providing a way to generalize rank statistics to continuous variables (see percentile rank). When the cumulative distribution function of a random variable is known, the q-quantiles are the application of the quantile function (the inverse function of the cumulative distribution function) to the values {1/q, 2/q, …, (q − 1)/q}.

Specialized quantiles[edit]

Some q-quantiles have special names:^{[citation needed]}

• The only 2-quantile is called the median
• The 3-quantiles are called tertiles or terciles → T
• The 4-quantiles are called quartiles → Q; the difference between upper and lower quartiles is also called the interquartile range, midspread or middle fifty → IQR = Q₃ − Q₁.
• The 5-quantiles are called quintiles or pentiles → QU
• The 6-quantiles are called sextiles → S
• The 7-quantiles are called septiles → SP
• The 8-quantiles are called octiles → O
• The 10-quantiles are called deciles → D
• The 12-quantiles are called duo-deciles or dodeciles → DD
• The 16-quantiles are called hexadeciles → H
• The 20-quantiles are called ventiles, vigintiles, or demi-deciles → V
• The 100-quantiles are called percentiles or centiles → P
• The 1000-quantiles have been called permilles or milliles, but these are rare and largely obsolete^[1]

Quantiles of a population[edit]

As in the computation of, for example, standard deviation, the estimation of a quantile depends upon whether one is operating with a statistical population or with a sample drawn from it. For a population, of discrete values or for a continuous population density, the k-th q-quantile is the data value where the cumulative distribution function crosses k/q. That is, x is a k-th q-quantile for a variable X if

Pr[X < x] ≤ k/q or, equivalently, Pr[X ≥ x] ≥ 1 − k/q

and

Pr[X ≤ x] ≥ k/q.

For a finite population of N equally probable values indexed 1, …, N from lowest to highest, the k-th q-quantile of this population can equivalently be computed via the value of I_p = N k/q. If I_p is not an integer, then round up to the next integer to get the appropriate index; the corresponding data value is the k-th q-quantile. On the other hand, if I_p is an integer then any number from the data value at that index to the data value of the next index can be taken as the quantile, and it is conventional (though arbitrary) to take the average of those two values (see Estimating quantiles from a sample).

If, instead of using integers k and q, the «p-quantile» is based on a real number p with 0 < p < 1 then p replaces k/q in the above formulas. This broader terminology is used when quantiles are used to parameterize continuous probability distributions. Moreover, some software programs (including Microsoft Excel) regard the minimum and maximum as the 0th and 100th percentile, respectively. However, this broader terminology is an extension beyond traditional statistics definitions.

Examples[edit]

The following two examples use the Nearest Rank definition of quantile with rounding. For an explanation of this definition, see percentiles.

Even-sized population[edit]

Consider an ordered population of 10 data values [3, 6, 7, 8, 8, 10, 13, 15, 16, 20]. What are the 4-quantiles (the «quartiles») of this dataset?

Quartile	Calculation	Result
Zeroth quartile	Although not universally accepted, one can also speak of the zeroth quartile. This is the minimum value of the set, so the zeroth quartile in this example would be 3.	3
First quartile	The rank of the first quartile is 10×(1/4) = 2.5, which rounds up to 3, meaning that 3 is the rank in the population (from least to greatest values) at which approximately 1/4 of the values are less than the value of the first quartile. The third value in the population is 7.	7
Second quartile	The rank of the second quartile (same as the median) is 10×(2/4) = 5, which is an integer, while the number of values (10) is an even number, so the average of both the fifth and sixth values is taken—that is (8+10)/2 = 9, though any value from 8 through to 10 could be taken to be the median.	9
Third quartile	The rank of the third quartile is 10×(3/4) = 7.5, which rounds up to 8. The eighth value in the population is 15.	15
Fourth quartile	Although not universally accepted, one can also speak of the fourth quartile. This is the maximum value of the set, so the fourth quartile in this example would be 20. Under the Nearest Rank definition of quantile, the rank of the fourth quartile is the rank of the biggest number, so the rank of the fourth quartile would be 10.	20

So the first, second and third 4-quantiles (the «quartiles») of the dataset [3, 6, 7, 8, 8, 10, 13, 15, 16, 20] are [7, 9, 15]. If also required, the zeroth quartile is 3 and the fourth quartile is 20.

Odd-sized population[edit]

Consider an ordered population of 11 data values [3, 6, 7, 8, 8, 9, 10, 13, 15, 16, 20]. What are the 4-quantiles (the «quartiles») of this dataset?

Quartile	Calculation	Result
Zeroth quartile	Although not universally accepted, one can also speak of the zeroth quartile. This is the minimum value of the set, so the zeroth quartile in this example would be 3.	3
First quartile	The first quartile is determined by 11×(1/4) = 2.75, which rounds up to 3, meaning that 3 is the rank in the population (from least to greatest values) at which approximately 1/4 of the values are less than the value of the first quartile. The third value in the population is 7.	7
Second quartile	The second quartile value (same as the median) is determined by 11×(2/4) = 5.5, which rounds up to 6. Therefore, 6 is the rank in the population (from least to greatest values) at which approximately 2/4 of the values are less than the value of the second quartile (or median). The sixth value in the population is 9.	9
Third quartile	The third quartile value for the original example above is determined by 11×(3/4) = 8.25, which rounds up to 9. The ninth value in the population is 15.	15
Fourth quartile	Although not universally accepted, one can also speak of the fourth quartile. This is the maximum value of the set, so the fourth quartile in this example would be 20. Under the Nearest Rank definition of quantile, the rank of the fourth quartile is the rank of the biggest number, so the rank of the fourth quartile would be 11.	20

So the first, second and third 4-quantiles (the «quartiles») of the dataset [3, 6, 7, 8, 8, 9, 10, 13, 15, 16, 20] are [7, 9, 15]. If also required, the zeroth quartile is 3 and the fourth quartile is 20.

Relationship to the mean[edit]

For any population probability distribution on finitely many values, and generally for any probability distribution with a mean and variance, it is the case that

where Q(p) is the value of the p-quantile for 0 < p < 1 (or equivalently is the k-th q-quantile for p = k/q), where μ is the distribution’s arithmetic mean, and where σ is the distribution’s standard deviation.^[2] In particular, the median (p = k/q = 1/2) is never more than one standard deviation from the mean.

The above formula can be used to bound the value μ + zσ in terms of quantiles.
When z ≥ 0, the value that is z standard deviations above the mean has a lower bound

For example, the value that is z = 1 standard deviation above the mean is always greater than or equal to Q(p = 0.5), the median, and the value that is z = 2 standard deviations above the mean is always greater than or equal to Q(p = 0.8), the fourth quintile.

When z ≤ 0, there is instead an upper bound

For example, the value μ + zσ for z = −3 will never exceed Q(p = 0.1), the first decile.

Estimating quantiles from a sample[edit]

One problem which frequently arises is estimating a quantile of a (very large or infinite) population based on a finite sample of size N.

The asymptotic distribution of the p-th sample quantile is well-known: it is asymptotically normal around the p-th population quantile with variance equal to

where f(x_p) is the value of the distribution density at the p-th population quantile ().^[3]

However, this distribution relies on knowledge of the population distribution; which is equivalent to knowledge of the population quantiles, which we are trying to estimate! Modern statistical packages thus rely on a different technique — or selection of techniques — to estimate the quantiles.

Hyndman and Fan compiled a taxonomy of nine algorithms^[4] used by various software packages.
All methods compute Q_p, the estimate for the p-quantile (the k-th q-quantile, where p = k/q) from a sample of size N by computing a real valued index h. When h is an integer, the h-th smallest of the N values, x_h, is the quantile estimate. Otherwise a rounding or interpolation scheme is used to compute the quantile estimate from h, x_⌊h⌋, and x_⌈h⌉. (For notation, see floor and ceiling functions).

The first three are piecewise constant, changing abruptly at each data point, while the last six use linear interpolation between data points, and differ only in how the index h used to choose the point along the piecewise linear interpolation curve, is chosen.

Mathematica,^[5] Matlab,^[6] R^[7] and GNU Octave^[8] programming languages support all nine sample quantile methods. SAS includes five sample quantile methods, SciPy^[9] and Maple^[10] both include eight, EViews^[11] includes the six piecewise linear functions, Stata^[12] includes two, Python^[13] includes two, and Microsoft Excel includes two. Mathematica and SciPy support arbitrary parameters for methods which allow for other, non-standard, methods.

The estimate types and interpolation schemes used include:

Type	h	Qp	Notes
R‑1, SAS‑3, Maple‑1	Np	x⌈h⌉	Inverse of empirical distribution function.
R‑2, SAS‑5, Maple‑2, Stata	Np + 1/2	(x⌈h – 1/2⌉ + x⌊h + 1/2⌋) / 2	The same as R-1, but with averaging at discontinuities.
R‑3, SAS‑2	Np − 1/2	x⌊h⌉	The observation numbered closest to Np. Here, ⌊h⌉ indicates rounding to the nearest integer, choosing the even integer in the case of a tie.
R‑4, SAS‑1, SciPy‑(0,1), Maple‑3	Np	x⌊h⌋ + (h − ⌊h⌋) (x⌈h⌉ − x⌊h⌋)	Linear interpolation of the inverse of the empirical distribution function.
R‑5, SciPy‑(1/2,1/2), Maple‑4	Np + 1/2	Piecewise linear function where the knots are the values midway through the steps of the empirical distribution function.
R‑6, Excel, Python, SAS‑4, SciPy‑(0,0), Maple‑5, Stata‑altdef	(N + 1)p	Linear interpolation of the expectations for the order statistics for the uniform distribution on [0,1]. That is, it is the linear interpolation between points (ph, xh), where ph = h/(N+1) is the probability that the last of (N+1) randomly drawn values will not exceed the h-th smallest of the first N randomly drawn values.
R‑7, Excel, Python, SciPy‑(1,1), Maple‑6, NumPy, Julia	(N − 1)p + 1	Linear interpolation of the modes for the order statistics for the uniform distribution on [0,1].
R‑8, SciPy‑(1/3,1/3), Maple‑7	(N + 1/3)p + 1/3	Linear interpolation of the approximate medians for order statistics.
R‑9, SciPy‑(3/8,3/8), Maple‑8	(N + 1/4)p + 3/8	The resulting quantile estimates are approximately unbiased for the expected order statistics if x is normally distributed.

Notes:

• R‑1 through R‑3 are piecewise constant, with discontinuities.
• R‑4 and following are piecewise linear, without discontinuities, but differ in how h is computed.
• R‑3 and R‑4 are not symmetric in that they do not give h = (N + 1) / 2 when p = 1/2.
• Excel’s PERCENTILE.EXC and Python’s default «exclusive» method are equivalent to R‑6.
• Excel’s PERCENTILE and PERCENTILE.INC and Python’s optional «inclusive» method are equivalent to R‑7. This is R’s default method.
• Packages differ in how they estimate quantiles beyond the lowest and highest values in the sample, i.e. p < 1/N and p > (N − 1)/N. Choices include returning an error value, computing linear extrapolation, or assuming a constant value.

Of the techniques, Hyndman and Fan recommend R-8, but most statistical software packages have chosen R-6 or R-7 as the default.^[14]

The standard error of a quantile estimate can in general be estimated via the bootstrap. The Maritz–Jarrett method can also be used.^[15]

Approximate quantiles from a stream[edit]

Computing approximate quantiles from data arriving from a stream can be done efficiently using compressed data structures. The most popular methods are t-digest^[16] and KLL.^[17] These methods read a stream of values in a continuous fashion and can, at any time, be queried about the approximate value of a specified quantile.

Both algorithms are based on a similar idea: compressing the stream of values by summarizing identical or similar values with a weight. If the stream is made of a repetition of 100 times v1 and 100 times v2, there is no reason to keep a sorted list of 200 elements, it is enough to keep two elements and two counts to be able to recover the quantiles. With more values, these algorithms maintain a trade-off between the number of unique values stored and the precision of the resulting quantiles. Some values may be discarded from the stream and contribute to the weight of a nearby value without changing the quantile results too much. The t-digest maintains a data structure of bounded size using an approach motivated by k-means clustering to group similar values. The KLL algorithm uses a more sophisticated «compactor» method that leads to better control of the error bounds at the cost of requiring an unbounded size if errors must be bounded relative to p.

Both methods belong to the family of data sketches that are subsets of Streaming Algorithms with useful properties: t-digest or KLL sketches can be combined. Computing the sketch for a very large vector of values can be split into trivially parallel processes where sketches are computed for partitions of the vector in parallel and merged later.

Discussion[edit]

Standardized test results are commonly reported as a student scoring «in the 80th percentile», for example. This uses an alternative meaning of the word percentile as the interval between (in this case) the 80th and the 81st scalar percentile.^[18] This separate meaning of percentile is also used in peer-reviewed scientific research articles.^[19] The meaning used can be derived from its context.

If a distribution is symmetric, then the median is the mean (so long as the latter exists). But, in general, the median and the mean can differ. For instance, with a random variable that has an exponential distribution, any particular sample of this random variable will have roughly a 63% chance of being less than the mean. This is because the exponential distribution has a long tail for positive values but is zero for negative numbers.

Quantiles are useful measures because they are less susceptible than means to long-tailed distributions and outliers. Empirically, if the data being analyzed are not actually distributed according to an assumed distribution, or if there are other potential sources for outliers that are far removed from the mean, then quantiles may be more useful descriptive statistics than means and other moment-related statistics.

Closely related is the subject of least absolute deviations, a method of regression that is more robust to outliers than is least squares, in which the sum of the absolute value of the observed errors is used in place of the squared error. The connection is that the mean is the single estimate of a distribution that minimizes expected squared error while the median minimizes expected absolute error. Least absolute deviations shares the ability to be relatively insensitive to large deviations in outlying observations, although even better methods of robust regression are available.

The quantiles of a random variable are preserved under increasing transformations, in the sense that, for example, if m is the median of a random variable X, then 2^m is the median of 2^X, unless an arbitrary choice has been made from a range of values to specify a particular quantile. (See quantile estimation, above, for examples of such interpolation.) Quantiles can also be used in cases where only ordinal data are available.

See also[edit]

References[edit]

Further reading[edit]

• Serfling, R. J. (1980). Approximation Theorems of Mathematical Statistics. John Wiley & Sons. ISBN 0-471-02403-1.

External links[edit]

• Media related to Quantiles at Wikimedia Commons

В примерах в данной статье данные генерятся при каждой загрузке страницы. Если Вы хотите посмотреть пример с другими значениями —
обновите страницу .

---

1. Квантили

Также
важной характеристикой структуры
совокупности являются квантили.

Квантили
— величины, разделяющие совокупность
на определенное количество равных по
численности элементов частей.

Наиболее известные – медиана, квартили,
децили, перцентили.

Квантили (квартили, децили и перцентили
чаще всего применяются для интервальных
рядов, т.к. в с их помощью удобно
анализировать большой объем данных.

Общие формулы для квантилей

1. Рассчитать номер квантиля
   

2. Если ряд дискретный, то рассчитать
   значение квантиля по формуле

+
(

1. Если ряд интервальный, то рассчитать
   значение квантиля по формуле

Где– квантиль,– номер квантиля,j–
порядковый номер квантиля,—
сумма всех частот (количество элементов
в совокупности),
– размерность квантиля (на сколько
частей эти квантили делят совокупность),—
нижняя границаквантильного интервала,

– ширина квантильного интервала,—
накопленная частота предквантильного
интервала,—
частота квантильного интервала.

1. Медиана

Самый
известный квантиль – медиана,делящая совокупность на две равные
части.

Медиана для дискретного ряда.

Для
определения медианы в дискретном
рядусначалапорядковый номер
медианы по формуле:  ,
а затем определяют, какое значение
признака обладает накопленной частотой,
равной номеру медианы.

Если
ряд содержит четноечисло элементов,
то номер медианы будет нецелым числом
имедиана будет равна средней из двух
значений признака, находящихся в
середине. Номер первого из этих
признаков – целая часть номера медианы,
для второго —  номер медианы, округленный
до целого числа.

Пример
1. Найти медиану

Заработная плата рабочего, тыс.руб;	бригада 1	бригада 2
, число рабочих	, накопленная частота	, число рабочих	, накопленная частота
15	20	20	20	20
18	35	55	34	54
20	14	69	14	68
25	6	75	6	74
Итого:	75		74

1.
Определяем номер медианы

для
первой бригады
;для
второй бригады;

2.
Для первой бригады номер медианы –
целое число. Следовательно, нужно найти
элемент совокупности, для которого
накопленная частота Sравна номеру медианы. Для этогоопределяем
самую первую накопленную частоту,
которая больше или равна номеру медианы.
Это накопленная частота второго значения
признака Х_i=18,S_i=55.

Определяем значение медианы. Для первой
бригады Ме = х₃₈=
18 тыс.руб.,

3.
Номер медианы для второй бригады —
нецелое число. Для определения медианы
нужны значения двух элементов – х₃₇и х₃₈. Определяем их значение с
помощью самой первой накопленной частоты
большей или равной порядковым номерам
элементов (37 и 38). Х₃₇= 18, х₃₈=
18. Теперь определяем значение медианы

18
тыс. руб.

Медиана для интервального ряда

При
вычислении медианы для интервального
вариационного рядасначала
определяют медианный интервал, в пределах
которого находится медиана.

Для
этого:

1.
определяется номер медианы по формуле: ,

2.
затем по накопленной частоте определяется
интервал, в который входит элемент с
таким номером.Это
первый интервал, для которого накопленная
частота будет больше или равна номеру
медианы.

3.
затем определяем значение медианы по
формуле:

где:

Ме —
искомая медиана

 —
нижняя граница интервала, который
содержит медиану

—
ширина интервала (верхняя граница
интервала – нижняя граница)

—
сумма частот или число элементов в
группе

 —
накопленная частота интервала,
предшествующего медианному

—
частота медианного интервала

Пример.
Найти медиану для интервального ряда.

Возрастные группы	Число студентов	Накопленная частота
До 20 лет	346	346
20 — 25	872	1218
25 — 30	1054	2272
30 — 35	781	3053
35 — 40	212	3265
40 — 45	121	3386
45 лет и более	76	3462
Итого	3462

Решение:

1. Определим номер медианы (Σf_i/2 =
   3462/2 = 1731),

2. Медианный интервал находится в возрастной
   группе 25-30 лет, так как это первый
   интервал, для которого накопленная
   частота больше (или равна) номера медианы
   (1218<1731, 2272 > 1731).

3. Далее подставляем в формулу необходимые
   числовые данные и получаем значение
   медианы:

4. 

Это
значит, что одна половина студентов
находится в возрасте до 27,4 года.

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

• #
• #
• #
• #
• #
• #
• #
• #
• #
• #
• #

Время на прочтение
8 мин

Количество просмотров 24K

Как понять, что выборка данных принадлежит определенному распределению? Есть 2 метода: аналитический тест Колмогорова-Смирнова (тест Шапиро-Уилка для нормального) и графический метод при помощи графика квантиль-квантиль плот.

Чем так замечателен второй вариант? Q-Q plot позволяет кроме принадлежности:

• оценить степень отклонения данных от теоретического распределения

• графически проиллюстрировать такие параметры как расположение данных, масштаб и скошенность. Читаем: медиану, дисперсию и наклон функции плотности распределения.

• сравнить две выборки между собой

• делать выводы, не основываясь на таких спорных показателях как p.value.

Фактически, p.value в случае Q-Q Plot будет оценивать человеческий мозг на основе визуального изучения.

Графический метод является мощнейшим инструментом анализа, но как сказано в англоязычной статье википедии про Q-Q Plots, требует серьезных навыков для интерпретации. В данной статье я представляю дорожную карту пути к пониманию квантильных графиков.

С чего начинать? Сперва стоит посмотреть видео на YouTube от StatQuest. Это тот самый автор, который на обложке видеороликов пишет «… Clearly Explained». Если у вас Яндекс-браузер, то вы можете смотреть его видео почти на русском. Есть упомянутая статья в википедии, а также отличный текст на Медиуме. Мне показалось, что это лучшее, что можно найти в поиске по теории, если просто вбивать в строку браузера «Understanding QQ-Plots». Напишите в комментариях вашу любимую статью по квантильным графикам.

Несмотря на замечательные материалы, которые я упомянул, у меня не сложилось полноценного понимания QQ-Plots. Я до сих пор не могу с ходу представить в голове распределение, если мне показать квантильный график. Но в процессе их изучения я смог осознать несколько важных тезисов, с которыми и хочу вас познакомить при помощи визуализаций на Wolfram Mathematica.

В статье я представляю идеальные квантильные графики. Выводы, сделанные на их основе легко переносятся на соответствующие распределения выборочных данных в случае большого их объема (см. Рис. 1). На графиках в статье по горизонтальной оси я буду откладывать только теоретические квантили стандартного нормального распределения.

1. Квантили

Начнем с трех важнейших определений: дискретный квантиль выборки, дискретный квантиль функции плотности распределения и квантиль-функция.

Квантиль дискретной выборки — это одна из точек, делящих упорядоченную последовательность чисел на равные части.

Обращаю ваше внимание, что понятия 0.25 квантиль, 1 квартиль и 25 персентиль обозначают одно и то же, как и 2 квартиль, 0.5 квантиль и 50 персентиль.

Квантиль непрерывного распределения — это одна из точек, делящих функцию плотности распределения на участки, вероятность попадания в которые одинакова, то есть на участки одинаковой площади.

Квантиль-функция — это функция, которая по значению вероятности возвращает такое число (квантиль) , что вероятность того, что случайная величина примет значение меньше равняется.

Можно представлять себе квантиль-функцию непрерывного распределения, как зависимость арифметического уровня воды в вазе, стенками которой является функция плотности вероятности от объема налитой воды. Эта интерпретация хорошо показана в видео одного бразильского инструктора по статистике.

2. Главный квантильный график

Для начала построим базовый Q-Q Plot — теоретических квантилей стандартного нормального распределения от теоретических квантилей стандартного нормального распределения. На следующей картинке (рисунок слева) в виде непрерывной прямой показана зависимость этих теоретических квантилей. Горизонтальные прямые делят распределение оси y на 8 равных по площади промежутков, а вертикальные прямые делят распределение на оси x на 8 равных промежутков и визуализируют появление непрерывной прямой, которую вы наблюдаете.

На рисунке справа я тоже построил квантильный график, но в этом случае по оси y отложил квантили выборки из 200 чисел, случайно выбранных из стандартного нормального распределения. Обращаю ваше внимание, что в случае квантильного графика выборки, за квантиль выбирается каждая точка наших данных, как показано в нижней части на рисунке 1. Далее в статье я буду опускать построение выборочного квантильного графика. Повторюсь, что на больших объемах выборки квантильный график будет полностью повторять теоретическую зависимость.

Как мы видим, в случае одинаковых распределений Q-Q Plot представляет собой прямую линию , причем масштаб нормальных распределений не имеет значения, главное, чтобы у них совпадали средние значения и стандартное отклонение. Этот вывод переносится на случай произвольных распределений.

3. Физический смысл коэффициентов прямой

Что произойдет с прямой, если у распределения на оси y поменять среднее значение (и медиану, соответственно)? Построенная прямая сместится таким образом, чтобы медиане квантилей на оси x соответствовала медиана квантилей на оси y. На рисунке слева визуально ничего не изменилось, только по оси y отложены квантили нормального распределения со средним 5 стандартным отклонением 1.

Таким образом:

• При построении Q-Q Plot от теоретических квантилей стандартного нормального распределения значение квантильной зависимости в нуле имеет смысл медианы распределения, которое мы строим на оси y.

А что произойдет с прямой, если у распределения на оси y поменять стандартное отклонение?

Ответ представлен на Рисунке 6. Поигравшись с параметрами можно сделать следующий вывод:

• При построении Q-Q Plot от теоретических квантилей стандартного нормального распределения тангенс наклона прямой имеет смысл стандартного отклонения распределения, которое мы строим на оси y. Если прямая положе, чем y = x (Рис. 4а), то нормальное распределение, построенное на вертикальной оси менее дисперсно, чем распределение, построенное на горизонтальной оси. Если прямая круче, чем y = x (Рис. 4б), то распределение, построенное не вертикальной оси более дисперсно, чем распределение, построенное на горизонтальной оси.

Мы разобрались с основными понятиями и выяснили, что QQ-Plot нормального распределения или выборки из нормального распределения хорошо визуализирует медиану и стандартное отклонение, чем являются коэффициенты прямой.

4. Линия главного тренда на примере скошенных распределений

Все бы хорошо, да кроме нормальных распределений есть еще много других. Если в случае построения околонормального распределения все точки стелятся вдоль прямой линии как на Рис. 4б (коэффициенты которой очень легко интерпретируются), то в случае, например, скошенных распределений точки на прямую ложиться не будут.

При построении Q-Q Plot многие программные пакеты подбирают и изображают некоторую прямую, которая называется линией главного тренда (англ. Reference Line).

Intercept и slope этой контрольной прямой имеют смысл среднего и стандартного отклонения нормального распределения, «наилучшим образом» подходящего к нашим данным. Как написано в замечательном гайде по q-q plots на языке SAS есть 3 способа это сделать:

1. Провести прямую по двум точкам: через 1 и 3 квартили.

2. Провести прямую методом наименьших квадратов.

3. К выборочным данным подобрать среднее и стандартное отклонение генеральной совокупности, используя метод максимального правдоподобия и провести прямую, иллюстрирующую зависимость теоретических квантилей подобранного идеального нормального распределения от теоретических квантилей стандартного нормального (или любого другого, используемого при построении).

Мнение автора по интерпретации 1 и 2 способа.

Разные программные пакеты строят эту линию, используя один из указанных подходов. Если есть большая потребность узнать методы построения, можно заглянуть в документацию. Но если это не принципиально, можно ориентироваться на главную идею: линия главного тренда представляет прямую идеального нормального распределения для наших данных.

Выводы:

• Если оба конца квантильного графика находятся выше прямой главного тренда, то скорее всего это распределение скошено вправо.

• Если оба конца квантильного графика находится ниже прямой главного тренда, то скорее всего это распределение скошено влево.

5. Изогнутые Q-Q Plots: Равномерное, Бимодальное и t-распределения.

Следующие 4 графика предназначены для настройки машинного обучения в голове. С помощью них можно научиться отличать равномерное распределение от двугорбого.

Квантиль-квантиль плот для равномерного и бимодальных распределений представляют собой — Образную кривую. В случае равномерного распределения кривая стелется вдоль линии главного тренда, а в случае бимодального пересекает ее. Обращаю также ваше внимание на поведение буквы в нуле в случае бимодального распределения. Если разрыв между горбами велик, то квантильная зависимость в этом месте становится почти вертикальной.

Стоит прямо здесь научиться распознавать распределение Стьюдента, которое, как известно имеет более толстые хвосты, по сравнению со стандартным нормальном. Внимание на экран.

Здесь мы тоже видим змееобразную кривую, но она представляет собой букву зеркально-отраженную относительно линии главного тренда.

Бонус: Экспоненциальное распределение

На следующем рисунке изображён первый график из англоязычной статьи Википедии про Q-Q Plots. Обращаю еще раз ваше внимание на то, что значение квантильного графика в нуле — это медиана распределения, которое мы строим вдоль оси y. На данном квантильном графике не изображена линия главного тренда. Пунктирная прямая представляет график функции y = x.

Заключение

Если делать summary, то главным является следующее.

• Если точки на графике Q-Q Plot стелятся вдоль какой-то прямой, то наши данные неплохо соответствуют теоретическим квантилям, отложенным по горизонтальной оси.

Если мы строим Q-Q Plot от теоретических квантилей стандартного нормального распределения, то:

• Значение получившейся функции в нуле — это медиана нашей выборки. Вообще все квантили нашей выборки соответствуют квантилям распределения на оси x, а не только медиана

• Тангенс линии тренда соответствует стандартному отклонению нормального распределения, наилучшим образом описывающем нашу выборку. Значение линии главного тренда в нуле соответствует его среднему значению

• Равномерное распределение — это S-образная кривая, стелющаяся вдоль линии тренда, бимодальное распределение — это S-образная кривая, пересекающая линию тренда. t-распределение — это зеркально отраженная S-образная кривая.

Я буду рад, если моя статья поможет кому-то в понимании QQ-Plots. Поделитесь в комментариях вашим любимым учебным материалом по квантильным графикам или примером реального их использования в анализе данных.

Благодарю Анастасию Котликову за ценное обсуждение способов построения линии главного тренда и за помощь в интерпретации ее коэффициентов.