Как найти сумму квадратов остатков

From Wikipedia, the free encyclopedia

In statistics, the residual sum of squares (RSS), also known as the sum of squared residuals (SSR) or the sum of squared estimate of errors (SSE), is the sum of the squares of residuals (deviations predicted from actual empirical values of data). It is a measure of the discrepancy between the data and an estimation model, such as a linear regression. A small RSS indicates a tight fit of the model to the data. It is used as an optimality criterion in parameter selection and model selection.

In general, total sum of squares = explained sum of squares + residual sum of squares. For a proof of this in the multivariate ordinary least squares (OLS) case, see partitioning in the general OLS model.

One explanatory variable[edit]

In a model with a single explanatory variable, RSS is given by:^[1]

where y_i is the i^th value of the variable to be predicted, x_i is the i^th value of the explanatory variable, and is the predicted value of y_i (also termed ).
In a standard linear simple regression model, , where and are coefficients, y and x are the regressand and the regressor, respectively, and ε is the error term. The sum of squares of residuals is the sum of squares of ; that is

where is the estimated value of the constant term and is the estimated value of the slope coefficient .

Matrix expression for the OLS residual sum of squares[edit]

The general regression model with n observations and k explanators, the first of which is a constant unit vector whose coefficient is the regression intercept, is

where y is an n × 1 vector of dependent variable observations, each column of the n × k matrix X is a vector of observations on one of the k explanators, is a k × 1 vector of true coefficients, and e is an n× 1 vector of the true underlying errors. The ordinary least squares estimator for is

The residual vector ; so the residual sum of squares is:

,

(equivalent to the square of the norm of residuals). In full:

,

where H is the hat matrix, or the projection matrix in linear regression.

Relation with Pearson’s product-moment correlation[edit]

The least-squares regression line is given by

,

where and , where and

Therefore,

where

The Pearson product-moment correlation is given by therefore,

See also[edit]

• Akaike information criterion#Comparison with least squares
• Chi-squared distribution#Applications
• Degrees of freedom (statistics)#Sum of squares and degrees of freedom
• Errors and residuals in statistics
• Lack-of-fit sum of squares
• Mean squared error
• Reduced chi-squared statistic, RSS per degree of freedom
• Squared deviations
• Sum of squares (statistics)

References[edit]

• Draper, N.R.; Smith, H. (1998). Applied Regression Analysis (3rd ed.). John Wiley. ISBN 0-471-17082-8.

Вычисление
остатков производим с помощью СервисАнализ
данныхРегрессия
(п.1)

Таблица
4

Остаточная
сумма квадратов:

∑e(t)Это
значение можно найти в третьем столбце
таблицы 2, равное – 11,35.

Дисперсия
остатков S²

²

= 1,42 (значение из 4 столбца таблицы 2).

3.
Проверить
выполнение предпосылок МНК.

Предпосылки
МНК:

1)
В задании у
(объем выпуска продукции) является
результативным признаком, а х₁
(объем
капиталовложений) – факторным признаком.

2)
Так как у нас парная регрессия, то
отсутствие мультиоколлинеарности
выполняется автоматически.

3)
Наличие (отсутствие) автокорреляции в
отклонениях проверяют с помощью критерия
Дарбина-Уотсона. Численное значение
коэффициента равно:

dw
= 110,5458 / 45,8017 = 2,4135

Определим
выполняется МНК или нет:

1,08
1,36 2

На
оси найдем точку dw = 2,4135, она находится
в IV области. Следовательно, можно сделать
вывод о том, что автокорреляция остатков
в ряду динамики присутствует.

4)
Равенство математического ожидания
остатков 0 проверяется по t-критерию
Стьюдента.

Проанализировав
сумму остатков (таблица 4) получили -1,33
* 10^-14
/
10 ≈ 0. значит t = (׀
Ē

׀/
S_E)*
√ n
→ 0, следовательно, данная предпосылка
МНК выполняется, так как t_табл
= 2,31 > t

5)
Постоянная дисперсия (т.е. выполнение
свойства гомоскедастичности по тесту
Голдфельда-Квандта)

 Упорядочим
n наблюдений по мере возрастания переменой
х.

 Разделим
исходный блок на 3 части, причем 1 3 части
равны по размеру n = 4

 2
часть из рассмотрения исключается.

 Для
1 и 3 частей строится уравнения регрессии.

1
уравнение

2
уравнение

Следовательно
уравнения регрессии будут иметь вид:

у₁
= 0,048 + 0,796х₁

у₂
=
-2 + 1,33х₁

По
уравнениям регрессии определяется
остаточная дисперсия. Сравнение дисперсий
происходит по F-критерию Фишера.

Если
F_{наблюд.}
=S_1ŷ/S_2ŷ
>F_{кр.(a;k1;k2)},
то
выполняется свойство гомоскедастичности
(ГО)

Если
F _расч
>
F _табл,
то
имеет место гетероскедастичность (ГЕ).

Чтобы
найти значение F _табл

данного критерия определим степени
свободы по формуле

К1=К2=(n-C-2*p)/2

n=10,

C=2
– количество исключаемых наблюдений
во 2 части блока исходных данных

р=1
– число факторов

К1=К2=(10-2-2*1)/2
= 3

F
_табл

= 10,13

Найдем
F _расч

σ²
= ∑
ε_i²
/
(n-1)

σ²(1
ур.) = 3,33 / 9 = 0,37

σ²(2
ур.) = 4,75 / 9 = 0,53

F
_расч
=
0,53 / 0,37 = 1,4324

Так
как F _расч
<
F _табл
,
то можно сказать что больше нарушена
предпосылка о равенстве дисперсий
остаточных величин и следовательно
выполняется свойство гомоскедастичности.

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

• #
• #
• #
• #
• #
• #
• #
• #
• #
• #
• #

В статистике, то остаточная сумма квадратов ( RSS), также известные как сумма квадратов остатков ( SSR) или сумму квадратов оценки ошибок ( SSE), является суммой из квадратов из остатков (отклонения предсказывали от реальных эмпирических значений данных). Это мера расхождения между данными и моделью оценки, такой как линейная регрессия. Небольшой RSS указывает на точное соответствие модели данным. Он используется как критерий оптимальности при выборе параметров и выбора модели.

В общем, общая сумма квадратов = объясненная сумма квадратов + остаточная сумма квадратов. Для доказательства этого в многомерном обычном случае наименьших квадратов (OLS) см. Разделение в общей модели OLS.

СОДЕРЖАНИЕ

• 1 Одна объясняющая переменная
• 2 Матричное выражение для остаточной суммы квадратов OLS
• 3 Связь с корреляцией продукта и момента Пирсона
• 4 См. Также
• 5 ссылки

Одна объясняющая переменная

В модели с единственной независимой переменной RSS задается следующим образом:

RSS знак равно ∑ я знак равно 1 п ( у я — ж ( Икс я ) ) 2 { displaystyle operatorname {RSS} = sum _ {i = 1} ^ {n} (y_ {i} -f (x_ {i})) ^ {2}}

где y i — это i- ^е значение переменной, которую нужно спрогнозировать, x i — это i- ^е значение объясняющей переменной, и — это предсказанное значение y i (также называемое). В стандартной линейной простой модели регрессии, где и являются коэффициентами, у и х являются regressand и регрессор, соответственно, а ε является вектор ошибок. Сумма квадратов остатков — это сумма квадратов ; это ж ( Икс я ) { displaystyle f (x_ {i})} у я ^ { displaystyle { hat {y_ {i}}}} у я знак равно α + β Икс я + ε я { displaystyle y_ {i} = alpha + beta x_ {i} + varepsilon _ {i} ,} α { displaystyle alpha} β { displaystyle beta} ε ^ я { Displaystyle { widehat { varepsilon ,}} _ {я}}

RSS знак равно ∑ я знак равно 1 п ( ε ^ я ) 2 знак равно ∑ я знак равно 1 п ( у я — ( α ^ + β ^ Икс я ) ) 2 { displaystyle operatorname {RSS} = sum _ {i = 1} ^ {n} ({ widehat { varepsilon ,}} _ {i}) ^ {2} = sum _ {i = 1} ^ {n} (y_ {i} — ({ widehat { alpha ,}} + { widehat { beta ,}} x_ {i})) ^ {2}}

где — оценочное значение постоянного члена, а — оценочное значение коэффициента наклона. α ^ { displaystyle { widehat { alpha ,}}} α { displaystyle alpha} β ^ { displaystyle { widehat { beta ,}}} β { displaystyle beta}

Матричное выражение для остаточной суммы квадратов OLS

Общая регрессионная модель с n наблюдениями и k объяснителями, первый из которых представляет собой постоянный единичный вектор, коэффициент которого является пересечением регрессии, имеет вид

у знак равно Икс β + е { Displaystyle у = Х бета + е}

где y — вектор наблюдений зависимой переменной размера n × 1, каждый столбец матрицы X размера n × k — вектор наблюдений на одном из k объяснителей, — вектор истинных коэффициентов k × 1, а e — размер n × 1 вектор истинных основных ошибок. В обычный метод наименьших квадратов Оценщик IS β { displaystyle beta} β { displaystyle beta}

Икс β ^ знак равно у ⟺ { Displaystyle Х { шляпа { бета}} = у iff}

Икс Т Икс β ^ знак равно Икс Т у ⟺ { displaystyle X ^ { operatorname {T}} X { hat { beta}} = X ^ { operatorname {T}} y iff}

β ^ знак равно ( Икс Т Икс ) — 1 Икс Т у . { displaystyle { hat { beta}} = (X ^ { operatorname {T}} X) ^ {- 1} X ^ { operatorname {T}} y.}

Остаточный вектор = ; поэтому остаточная сумма квадратов равна: е ^ { displaystyle { hat {e}}} у — Икс β ^ знак равно у — Икс ( Икс Т Икс ) — 1 Икс Т у { displaystyle yX { hat { beta}} = yX (X ^ { operatorname {T}} X) ^ {- 1} X ^ { operatorname {T}} y}

RSS знак равно е ^ Т е ^ знак равно ‖ е ^ ‖ 2 { displaystyle operatorname {RSS} = { hat {e}} ^ { operatorname {T}} { hat {e}} = | { hat {e}} | ^ {2}},

(эквивалентно квадрату нормы остатков). В полном объеме:

RSS знак равно у Т у — у Т Икс ( Икс Т Икс ) — 1 Икс Т у знак равно у Т [ я — Икс ( Икс Т Икс ) — 1 Икс Т ] у знак равно у Т [ я — ЧАС ] у { displaystyle operatorname {RSS} = y ^ { operatorname {T}} yy ^ { operatorname {T}} X (X ^ { operatorname {T}} X) ^ {- 1} X ^ { operatorname {T}} y = y ^ { operatorname {T}} [IX (X ^ { operatorname {T}} X) ^ {- 1} X ^ { operatorname {T}}] y = y ^ { имя оператора {T}} [IH] y},

где H — матрица шляпы или матрица проекции в линейной регрессии.

Связь с корреляцией продукта и момента Пирсона

Линия регрессии методом наименьших квадратов определяется выражением

у знак равно а Икс + б { displaystyle y = ax + b},

где и, где и б знак равно у ¯ — а Икс ¯ { displaystyle b = { bar {y}} — а { bar {x}}} а знак равно S Икс у S Икс Икс { displaystyle a = { frac {S_ {xy}} {S_ {xx}}}} S Икс у знак равно ∑ я знак равно 1 п ( Икс ¯ — Икс я ) ( у ¯ — у я ) { displaystyle S_ {xy} = sum _ {i = 1} ^ {n} ({ bar {x}} — x_ {i}) ({ bar {y}} — y_ {i})} S Икс Икс знак равно ∑ я знак равно 1 п ( Икс ¯ — Икс я ) 2 . { displaystyle S_ {xx} = sum _ {i = 1} ^ {n} ({ bar {x}} — x_ {i}) ^ {2}.}

Следовательно,

RSS знак равно ∑ я знак равно 1 п ( у я — ж ( Икс я ) ) 2 знак равно ∑ я знак равно 1 п ( у я — ( а Икс я + б ) ) 2 знак равно ∑ я знак равно 1 п ( у я — а Икс я — у ¯ + а Икс ¯ ) 2 знак равно ∑ я знак равно 1 п ( а ( Икс ¯ — Икс я ) — ( у ¯ — у я ) ) 2 знак равно а 2 S Икс Икс — 2 а S Икс у + S у у знак равно S у у — а S Икс у знак равно S у у ( 1 — S Икс у 2 S Икс Икс S у у ) { displaystyle { begin {align} operatorname {RSS} amp; = sum _ {i = 1} ^ {n} (y_ {i} -f (x_ {i})) ^ {2} = sum _ {i = 1} ^ {n} (y_ {i} — (ax_ {i} + b)) ^ {2} = sum _ {i = 1} ^ {n} (y_ {i} -ax_ {i } — { bar {y}} + a { bar {x}}) ^ {2} \ [5pt] amp; = sum _ {i = 1} ^ {n} (a ({ bar {x }} — x_ {i}) — ({ bar {y}} — y_ {i})) ^ {2} = a ^ {2} S_ {xx} -2aS_ {xy} + S_ {yy} = S_ {yy} -aS_ {xy} = S_ {yy} left (1 — { frac {S_ {xy} ^ {2}} {S_ {xx} S_ {yy}}} right) end {выровнено} }}

где S у у знак равно ∑ я знак равно 1 п ( у ¯ — у я ) 2 . { displaystyle S_ {yy} = sum _ {i = 1} ^ {n} ({ bar {y}} — y_ {i}) ^ {2}.}

Соотношение произведение-момент Пирсона определяется следующим образом: р знак равно S Икс у S Икс Икс S у у ; { displaystyle r = { frac {S_ {xy}} { sqrt {S_ {xx} S_ {yy}}}};} RSS знак равно S у у ( 1 — р 2 ) . { displaystyle operatorname {RSS} = S_ {yy} (1-r ^ {2}).}

Смотрите также

• Информационный критерий Акаике # Сравнение методом наименьших квадратов
• Распределение хи-квадрат # Приложения
• Степени свободы (статистика) # Сумма квадратов и степеней свободы
• Ошибки и неточности в статистике
• Неподходящая сумма квадратов
• Среднеквадратичная ошибка
• Сниженная статистика хи-квадрат, RSS на степень свободы
• Квадратные отклонения
• Сумма квадратов (статистика)

Рекомендации

• Draper, NR; Смит, Х. (1998). Прикладной регрессионный анализ (3-е изд.). Джон Вили. ISBN   0-471-17082-8.