Как найти коэффициент корреляции по пирсону

In statistics, the Pearson correlation coefficient (PCC, pronounced ) ― also known as Pearson’s r, the Pearson product-moment correlation coefficient (PPMCC), the bivariate correlation,^[1] or colloquially simply as the correlation coefficient^[2] ― is a measure of linear correlation between two sets of data. It is the ratio between the covariance of two variables and the product of their standard deviations; thus, it is essentially a normalized measurement of the covariance, such that the result always has a value between −1 and 1. As with covariance itself, the measure can only reflect a linear correlation of variables, and ignores many other types of relationships or correlations. As a simple example, one would expect the age and height of a sample of teenagers from a high school to have a Pearson correlation coefficient significantly greater than 0, but less than 1 (as 1 would represent an unrealistically perfect correlation).

Naming and history[edit]

It was developed by Karl Pearson from a related idea introduced by Francis Galton in the 1880s, and for which the mathematical formula was derived and published by Auguste Bravais in 1844.^{[a][6][7][8][9]} The naming of the coefficient is thus an example of Stigler’s Law.

Definition[edit]

Pearson’s correlation coefficient is the covariance of the two variables divided by the product of their standard deviations. The form of the definition involves a «product moment», that is, the mean (the first moment about the origin) of the product of the mean-adjusted random variables; hence the modifier product-moment in the name.

For a population[edit]

Pearson’s correlation coefficient, when applied to a population, is commonly represented by the Greek letter ρ (rho) and may be referred to as the population correlation coefficient or the population Pearson correlation coefficient. Given a pair of random variables , the formula for ρ^[10] is^[11]

where

The formula for can be expressed in terms of mean and expectation. Since^[10]

the formula for can also be written as

where

The formula for can be expressed in terms of uncentered moments. Since

the formula for can also be written as

Pearson’s correlation coefficient does not exist when either or are zero, infinite or undefined.

For a sample[edit]

Pearson’s correlation coefficient, when applied to a sample, is commonly represented by and may be referred to as the sample correlation coefficient or the sample Pearson correlation coefficient. We can obtain a formula for by substituting estimates of the covariances and variances based on a sample into the formula above. Given paired data consisting of pairs, is defined as

where

Rearranging gives us this formula for :

where are defined as above.

This formula suggests a convenient single-pass algorithm for calculating sample correlations, though depending on the numbers involved, it can sometimes be numerically unstable.

Rearranging again gives us this^[10] formula for :

where are defined as above.

An equivalent expression gives the formula for as the mean of the products of the standard scores as follows:

where

Alternative formulae for are also available. For example, one can use the following formula for :

where

Practical issues[edit]

Under heavy noise conditions, extracting the correlation coefficient between two sets of stochastic variables is nontrivial, in particular where Canonical Correlation Analysis reports degraded correlation values due to the heavy noise contributions. A generalization of the approach is given elsewhere.^[12]

In case of missing data, Garren derived the maximum likelihood estimator.^[13]

Some distributions (e.g., stable distributions other than a normal distribution) do not have a defined variance.

Mathematical properties[edit]

The values of both the sample and population Pearson correlation coefficients are on or between −1 and 1. Correlations equal to +1 or −1 correspond to data points lying exactly on a line (in the case of the sample correlation), or to a bivariate distribution entirely supported on a line (in the case of the population correlation). The Pearson correlation coefficient is symmetric: corr(X,Y) = corr(Y,X).

A key mathematical property of the Pearson correlation coefficient is that it is invariant under separate changes in location and scale in the two variables. That is, we may transform X to a + bX and transform Y to c + dY, where a, b, c, and d are constants with b, d > 0, without changing the correlation coefficient. (This holds for both the population and sample Pearson correlation coefficients.) More general linear transformations do change the correlation: see § Decorrelation of n random variables for an application of this.

Interpretation[edit]

The correlation coefficient ranges from −1 to 1. An absolute value of exactly 1 implies that a linear equation describes the relationship between X and Y perfectly, with all data points lying on a line. The correlation sign is determined by the regression slope: a value of +1 implies that all data points lie on a line for which Y increases as X increases, and vice versa for −1.^[14] A value of 0 implies that there is no linear dependency between the variables.^[15]

More generally, (X_i − X)(Y_i − Y) is positive if and only if X_i and Y_i lie on the same side of their respective means. Thus the correlation coefficient is positive if X_i and Y_i tend to be simultaneously greater than, or simultaneously less than, their respective means. The correlation coefficient is negative (anti-correlation) if X_i and Y_i tend to lie on opposite sides of their respective means. Moreover, the stronger either tendency is, the larger is the absolute value of the correlation coefficient.

Rodgers and Nicewander^[16] cataloged thirteen ways of interpreting correlation or simple functions of it:

• Function of raw scores and means
• Standardized covariance
• Standardized slope of the regression line
• Geometric mean of the two regression slopes
• Square root of the ratio of two variances
• Mean cross-product of standardized variables
• Function of the angle between two standardized regression lines
• Function of the angle between two variable vectors
• Rescaled variance of the difference between standardized scores
• Estimated from the balloon rule
• Related to the bivariate ellipses of isoconcentration
• Function of test statistics from designed experiments
• Ratio of two means

Geometric interpretation[edit]

For uncentered data, there is a relation between the correlation coefficient and the angle φ between the two regression lines, y = g_X(x) and x = g_Y(y), obtained by regressing y on x and x on y respectively. (Here, φ is measured counterclockwise within the first quadrant formed around the lines’ intersection point if r > 0, or counterclockwise from the fourth to the second quadrant if r < 0.) One can show^[17] that if the standard deviations are equal, then r = sec φ − tan φ, where sec and tan are trigonometric functions.

For centered data (i.e., data which have been shifted by the sample means of their respective variables so as to have an average of zero for each variable), the correlation coefficient can also be viewed as the cosine of the angle θ between the two observed vectors in N-dimensional space (for N observations of each variable)^[18]

Both the uncentered (non-Pearson-compliant) and centered correlation coefficients can be determined for a dataset. As an example, suppose five countries are found to have gross national products of 1, 2, 3, 5, and 8 billion dollars, respectively. Suppose these same five countries (in the same order) are found to have 11%, 12%, 13%, 15%, and 18% poverty. Then let x and y be ordered 5-element vectors containing the above data: x = (1, 2, 3, 5, and y = (0.11, 0.12, 0.13, 0.15, 0.18).

By the usual procedure for finding the angle θ between two vectors (see dot product), the uncentered correlation coefficient is

This uncentered correlation coefficient is identical with the cosine similarity.
The above data were deliberately chosen to be perfectly correlated: y = 0.10 + 0.01 x. The Pearson correlation coefficient must therefore be exactly one. Centering the data (shifting x by ℰ(x) = 3.8 and y by ℰ(y) = 0.138) yields x = (−2.8, −1.8, −0.8, 1.2, 4.2) and y = (−0.028, −0.018, −0.008, 0.012, 0.042), from which

as expected.

Interpretation of the size of a correlation[edit]

Several authors have offered guidelines for the interpretation of a correlation coefficient.^[19][20] However, all such criteria are in some ways arbitrary.^[20] The interpretation of a correlation coefficient depends on the context and purposes. A correlation of 0.8 may be very low if one is verifying a physical law using high-quality instruments, but may be regarded as very high in the social sciences, where there may be a greater contribution from complicating factors.

Inference[edit]

Statistical inference based on Pearson’s correlation coefficient often focuses on one of the following two aims:

• One aim is to test the null hypothesis that the true correlation coefficient ρ is equal to 0, based on the value of the sample correlation coefficient r.
• The other aim is to derive a confidence interval that, on repeated sampling, has a given probability of containing ρ.

We discuss methods of achieving one or both of these aims below.

Using a permutation test[edit]

Permutation tests provide a direct approach to performing hypothesis tests and constructing confidence intervals. A permutation test for Pearson’s correlation coefficient involves the following two steps:

1. Using the original paired data (x_i, y_i), randomly redefine the pairs to create a new data set (x_i, y_i′), where the i′ are a permutation of the set {1,…,n}. The permutation i′ is selected randomly, with equal probabilities placed on all n! possible permutations. This is equivalent to drawing the i′ randomly without replacement from the set {1, …, n}. In bootstrapping, a closely related approach, the i and the i′ are equal and drawn with replacement from {1, …, n};
2. Construct a correlation coefficient r from the randomized data.

To perform the permutation test, repeat steps (1) and (2) a large number of times. The p-value for the permutation test is the proportion of the r values generated in step (2) that are larger than the Pearson correlation coefficient that was calculated from the original data. Here «larger» can mean either that the value is larger in magnitude, or larger in signed value, depending on whether a two-sided or one-sided test is desired.

Using a bootstrap[edit]

The bootstrap can be used to construct confidence intervals for Pearson’s correlation coefficient. In the «non-parametric» bootstrap, n pairs (x_i, y_i) are resampled «with replacement» from the observed set of n pairs, and the correlation coefficient r is calculated based on the resampled data. This process is repeated a large number of times, and the empirical distribution of the resampled r values are used to approximate the sampling distribution of the statistic. A 95% confidence interval for ρ can be defined as the interval spanning from the 2.5th to the 97.5th percentile of the resampled r values.

Standard error[edit]

If and are random variables, a standard error associated to the correlation in the null case is

where is the correlation (assumed r≈0) and the sample size.^[21][22]

Testing using Student’s t-distribution[edit]

For pairs from an uncorrelated bivariate normal distribution, the sampling distribution of the studentized Pearson’s correlation coefficient follows Student’s t-distribution with degrees of freedom n − 2. Specifically, if the underlying variables have a bivariate normal distribution, the variable

has a student’s t-distribution in the null case (zero correlation).^[23] This holds approximately in case of non-normal observed values if sample sizes are large enough.^[24] For determining the critical values for r the inverse function is needed:

Alternatively, large sample, asymptotic approaches can be used.

Another early paper^[25] provides graphs and tables for general values of ρ, for small sample sizes, and discusses computational approaches.

In the case where the underlying variables are not normal, the sampling distribution of Pearson’s correlation coefficient follows a Student’s t-distribution, but the degrees of freedom are reduced.^[26]

Using the exact distribution[edit]

For data that follow a bivariate normal distribution, the exact density function f(r) for the sample correlation coefficient r of a normal bivariate is^[27][28][29]

where is the gamma function and is the Gaussian hypergeometric function.

In the special case when (zero population correlation), the exact density function f(r) can be written as

where is the beta function, which is one way of writing the density of a Student’s t-distribution, as above.

Using the exact confidence distribution[edit]

Confidence intervals and tests can be calculated from a confidence distribution. An exact confidence density for ρ is^[30]

where is the Gaussian hypergeometric function and .

Using the Fisher transformation[edit]

In practice, confidence intervals and hypothesis tests relating to ρ are usually carried out using the Fisher transformation, :

F(r) approximately follows a normal distribution with

    and standard error

where n is the sample size. The approximation error is lowest for a large sample size and small and and increases otherwise.

Using the approximation, a z-score is

under the null hypothesis that , given the assumption that the sample pairs are independent and identically distributed and follow a bivariate normal distribution. Thus an approximate p-value can be obtained from a normal probability table. For example, if z = 2.2 is observed and a two-sided p-value is desired to test the null hypothesis that , the p-value is 2 Φ(−2.2) = 0.028, where Φ is the standard normal cumulative distribution function.

To obtain a confidence interval for ρ, we first compute a confidence interval for F():

The inverse Fisher transformation brings the interval back to the correlation scale.

For example, suppose we observe r = 0.7 with a sample size of n=50, and we wish to obtain a 95% confidence interval for ρ. The transformed value is arctanh(r) = 0.8673, so the confidence interval on the transformed scale is 0.8673 ± 1.96/√47, or (0.5814, 1.1532). Converting back to the correlation scale yields (0.5237, 0.8188).

In least squares regression analysis[edit]

The square of the sample correlation coefficient is typically denoted r² and is a special case of the coefficient of determination. In this case, it estimates the fraction of the variance in Y that is explained by X in a simple linear regression. So if we have the observed dataset and the fitted dataset then as a starting point the total variation in the Y_i around their average value can be decomposed as follows

where the are the fitted values from the regression analysis. This can be rearranged to give

The two summands above are the fraction of variance in Y that is explained by X (right) and that is unexplained by X (left).

Next, we apply a property of least square regression models, that the sample covariance between and is zero. Thus, the sample correlation coefficient between the observed and fitted response values in the regression can be written (calculation is under expectation, assumes Gaussian statistics)

Thus

where is the proportion of variance in Y explained by a linear function of X.

In the derivation above, the fact that

can be proved by noticing that the partial derivatives of the residual sum of squares (RSS) over β₀ and β₁ are equal to 0 in the least squares model, where

.

In the end, the equation can be written as

where

The symbol is called the regression sum of squares, also called the explained sum of squares, and is the total sum of squares (proportional to the variance of the data).

Sensitivity to the data distribution[edit]

Existence[edit]

The population Pearson correlation coefficient is defined in terms of moments, and therefore exists for any bivariate probability distribution for which the population covariance is defined and the marginal population variances are defined and are non-zero. Some probability distributions, such as the Cauchy distribution, have undefined variance and hence ρ is not defined if X or Y follows such a distribution. In some practical applications, such as those involving data suspected to follow a heavy-tailed distribution, this is an important consideration. However, the existence of the correlation coefficient is usually not a concern; for instance, if the range of the distribution is bounded, ρ is always defined.

Sample size[edit]

• If the sample size is moderate or large and the population is normal, then, in the case of the bivariate normal distribution, the sample correlation coefficient is the maximum likelihood estimate of the population correlation coefficient, and is asymptotically unbiased and efficient, which roughly means that it is impossible to construct a more accurate estimate than the sample correlation coefficient.
• If the sample size is large and the population is not normal, then the sample correlation coefficient remains approximately unbiased, but may not be efficient.
• If the sample size is large, then the sample correlation coefficient is a consistent estimator of the population correlation coefficient as long as the sample means, variances, and covariance are consistent (which is guaranteed when the law of large numbers can be applied).
• If the sample size is small, then the sample correlation coefficient r is not an unbiased estimate of ρ.^[10] The adjusted correlation coefficient must be used instead: see elsewhere in this article for the definition.
• Correlations can be different for imbalanced dichotomous data when there is variance error in sample.^[31]

Robustness[edit]

Like many commonly used statistics, the sample statistic r is not robust,^[32] so its value can be misleading if outliers are present.^[33][34] Specifically, the PMCC is neither distributionally robust,^{[citation needed]} nor outlier resistant^[32] (see Robust statistics § Definition). Inspection of the scatterplot between X and Y will typically reveal a situation where lack of robustness might be an issue, and in such cases it may be advisable to use a robust measure of association. Note however that while most robust estimators of association measure statistical dependence in some way, they are generally not interpretable on the same scale as the Pearson correlation coefficient.

Statistical inference for Pearson’s correlation coefficient is sensitive to the data distribution. Exact tests, and asymptotic tests based on the Fisher transformation can be applied if the data are approximately normally distributed, but may be misleading otherwise. In some situations, the bootstrap can be applied to construct confidence intervals, and permutation tests can be applied to carry out hypothesis tests. These non-parametric approaches may give more meaningful results in some situations where bivariate normality does not hold. However the standard versions of these approaches rely on exchangeability of the data, meaning that there is no ordering or grouping of the data pairs being analyzed that might affect the behavior of the correlation estimate.

A stratified analysis is one way to either accommodate a lack of bivariate normality, or to isolate the correlation resulting from one factor while controlling for another. If W represents cluster membership or another factor that it is desirable to control, we can stratify the data based on the value of W, then calculate a correlation coefficient within each stratum. The stratum-level estimates can then be combined to estimate the overall correlation while controlling for W.^[35]

Variants[edit]

Variations of the correlation coefficient can be calculated for different purposes. Here are some examples.

Adjusted correlation coefficient[edit]

The sample correlation coefficient r is not an unbiased estimate of ρ. For data that follows a bivariate normal distribution, the expectation E[r] for the sample correlation coefficient r of a normal bivariate is^[36]

therefore r is a biased estimator of

The unique minimum variance unbiased estimator r_adj is given by^[37]

(1)

where:

An approximately unbiased estimator r_adj can be obtained^{[citation needed]} by truncating E[r] and solving this truncated equation:

(2)

An approximate solution^{[citation needed]} to equation (2) is

(3)

where in (3)

• are defined as above,
• r_adj is a suboptimal estimator,^{[citation needed][clarification needed]}
• r_adj can also be obtained by maximizing log(f(r)),
• r_adj has minimum variance for large values of n,
• r_adj has a bias of order 1⁄(n − 1).

Another proposed^[10] adjusted correlation coefficient is^{[citation needed]}

r_adj ≈ r for large values of n.

Weighted correlation coefficient[edit]

Suppose observations to be correlated have differing degrees of importance that can be expressed with a weight vector w. To calculate the correlation between vectors x and y with the weight vector w (all of length n),^[38][39]

• Weighted mean:

  

• Weighted covariance

  

• Weighted correlation

  

Reflective correlation coefficient[edit]

The reflective correlation is a variant of Pearson’s correlation in which the data are not centered around their mean values.^{[citation needed]} The population reflective correlation is

The reflective correlation is symmetric, but it is not invariant under translation:

The sample reflective correlation is equivalent to cosine similarity:

The weighted version of the sample reflective correlation is

Scaled correlation coefficient[edit]

Scaled correlation is a variant of Pearson’s correlation in which the range of the data is restricted intentionally and in a controlled manner to reveal correlations between fast components in time series.^[40] Scaled correlation is defined as average correlation across short segments of data.

Let be the number of segments that can fit into the total length of the signal for a given scale :

The scaled correlation across the entire signals is then computed as

where is Pearson’s coefficient of correlation for segment .

By choosing the parameter , the range of values is reduced and the correlations on long time scale are filtered out, only the correlations on short time scales being revealed. Thus, the contributions of slow components are removed and those of fast components are retained.

Pearson’s distance[edit]

A distance metric for two variables X and Y known as Pearson’s distance can be defined from their correlation coefficient as^[41]

Considering that the Pearson correlation coefficient falls between [−1, +1], the Pearson distance lies in [0, 2]. The Pearson distance has been used in cluster analysis and data detection for communications and storage with unknown gain and offset.^[42]

The Pearson «distance» defined this way assigns distance greater than 1 to negative correlations. In reality, both strong positive correlation and negative correlations are meaningful, so care must be taken when Pearson «distance» is used for nearest neighbor algorithm as such algorithm will only include neighbors with positive correlation and exclude neighbors with negative correlation. Alternatively, an absolute valued distance, , can be applied, which will take both positive and negative correlations into consideration. The information on positive and negative association can be extracted separately, later.

Circular correlation coefficient[edit]

For variables X = {x₁,…,x_n} and Y = {y₁,…,y_n} that are defined on the unit circle [0, 2π), it is possible to define a circular analog of Pearson’s coefficient.^[43] This is done by transforming data points in X and Y with a sine function such that the correlation coefficient is given as:

where and are the circular means of X and Y. This measure can be useful in fields like meteorology where the angular direction of data is important.

Partial correlation[edit]

If a population or data-set is characterized by more than two variables, a partial correlation coefficient measures the strength of dependence between a pair of variables that is not accounted for by the way in which they both change in response to variations in a selected subset of the other variables.

Decorrelation of n random variables[edit]

It is always possible to remove the correlations between all pairs of an arbitrary number of random variables by using a data transformation, even if the relationship between the variables is nonlinear. A presentation of this result for population distributions is given by Cox & Hinkley.^[44]

A corresponding result exists for reducing the sample correlations to zero. Suppose a vector of n random variables is observed m times. Let X be a matrix where is the jth variable of observation i. Let be an m by m square matrix with every element 1. Then D is the data transformed so every random variable has zero mean, and T is the data transformed so all variables have zero mean and zero correlation with all other variables – the sample correlation matrix of T will be the identity matrix. This has to be further divided by the standard deviation to get unit variance. The transformed variables will be uncorrelated, even though they may not be independent.

where an exponent of −+1⁄2 represents the matrix square root of the inverse of a matrix. The correlation matrix of T will be the identity matrix. If a new data observation x is a row vector of n elements, then the same transform can be applied to x to get the transformed vectors d and t:

This decorrelation is related to principal components analysis for multivariate data.

Software implementations[edit]

• R’s statistics base-package implements the correlation coefficient with cor(x, y), or (with the P value also) with cor.test(x, y).
• The SciPy Python library via pearsonr(x, y).
• The Pandas Python library implements Pearson correlation coefficient calculation as the default option for the method pandas.DataFrame.corr
• Wolfram Mathematica via the Correlation function, or (with the P value) with CorrelationTest.
• The Boost C++ library via the correlation_coefficient function.
• Excel has an in-built correl(array1, array2) function for calculationg the pearson’s correlation coefficient.

See also[edit]

• Anscombe’s quartet
• Association (statistics)
• Coefficient of colligation
  • Yule’s Q
  • Yule’s Y
• Concordance correlation coefficient
• Correlation and dependence
• Correlation ratio
• Disattenuation
• Distance correlation
• Maximal information coefficient
• Multiple correlation
• Normally distributed and uncorrelated does not imply independent
• Odds ratio
• Partial correlation
• Polychoric correlation
• Quadrant count ratio
• RV coefficient
• Spearman’s rank correlation coefficient

Footnotes[edit]

References[edit]

External links[edit]

• «cocor». comparingcorrelations.org. – A free web interface and R package for the statistical comparison of two dependent or independent correlations with overlapping or non-overlapping variables.
• «Correlation». nagysandor.eu. – an interactive Flash simulation on the correlation of two normally distributed variables.
• «Correlation coefficient calculator». hackmath.net. Linear regression. –
• «Critical values for Pearson’s correlation coefficient» (PDF). frank.mtsu.edu/~dkfuller. – large table.
• «Guess the Correlation». – A game where players guess how correlated two variables in a scatter plot are, in order to gain a better understanding of the concept of correlation.

Термин
«корреляция» был введен в науку выдающимся
английским естествоиспытателем Френсисом
Гальтоном в 1886 г. Однако точную формулу
для подсчета коэффициента корреляции
разработал его ученик Карл Пирсон.
Знакомство с корреляционным анализом
мы начнем с изучения этого коэффициента.
Сам коэффициент характеризует наличие
только линейной связи между признаками,
обозначаемыми, как правило, символами
X
и
Y.
Формула
расчета коэффициента корреляции
построена таким образом, что, если связь
между признаками имеет линейный характер,
коэффициент Пирсона точно устанавливает
тесноту этой связи. Поэтому он называется
также коэффициентом линейной корреляции
Пирсона.

Величина
коэффициента линейной корреляции
Пирсона не может превышать +1 и быть
меньше чем -1. Эти два числа +1 и -1 –
являются границами для коэффициента
корреляции. Когда при расчете получается
величина большая +1 или меньшая -1 –
следовательно, произошла ошибка в
вычислениях.

Если
коэффициент корреляции по модулю
оказывается близким к 1, то это соответствует
высокому уровню связи между переменными.
Так, в частности, при корреляции переменной
величины с самой собой величина
коэффициента корреляции будет равна
+1. Подобная связь характеризует прямо
пропорциональную зависимость. Если же
значения переменной X
будут
распложены в порядке возрастания, а те
же значения (обозначенные теперь уже
как переменная Y)
будут
распола­гаться в порядке убывания,
то в этом случае корреляция между
переменными X
и Y
будет равна точно –1. Такая величина
коэффициента корреляции характеризует
обратно пропорциональную зависимость.

Знак
коэффициента корреляции очень важен
для интерпретации полученной связи.
Подчеркнем еще раз, что если знак
коэффициента линейной корреляции –
плюс, то связь между коррелирующими
признаками такова, что большей величине
одного признака (переменной) соответствует
большая величина другого признака
(другой переменной). Иными словами, если
один показатель (переменная) увеличивается,
то соответственно увеличивается и
другой показатель (переменная). Такая
зависимость носит название прямо
пропорциональной зависимости.

Если
же получен знак минус, то большей величине
одного признака соответствует меньшая
величина другого. Иначе говоря, при
наличии знака минус, увеличению одной
переменной (признака, значения)
соответствует уменьшение другой
переменной. Такая зависимость носит
название обратно пропорциональной
зависимости. При этом выбор переменной,
которой приписывается характер
(тенденция) возрастания – произволен.
Это может быть как переменная X,
так
и переменная Y.
Однако
если психолог будет считать, что
увеличивается переменная X,
то
переменная Y
будет
соответственно уменьшаться, и наоборот.
Эти положения очень важно четко усвоить
для правильной интерпретации полученной
корреляционной зависимости.

В
общем виде формула для подсчета
коэффициента корреляции такова:

, (9.1)

где
x_i
– значения, принимаемые переменной X;

y_i
–
значения, принимаемые переменной Y;

М_х
–
средняя по X;

М_у
–
средняя по Y.

Расчет
коэффициента корреляции Пирсона
предполагает, что переменные X
и Y
распределены
нормально.

Формула
(9.1) предполагает, что из каждого значения
x_i
переменной X,
должно
вычитаться ее среднее значение М_х.
Это
неудобно. Поэтому для расчета коэффициента
корреляции используют не эту формулу,
а ее аналог, получаемый простыми
преобразованиями:

,
(9.2)

где и,

или
модификацию этой формулы:

.
(9.3)

Согласно
формулам (9.2) и (9.3) необходимо подсчитать
сумму каждой переменной, сумму квадратов
каждой переменной и сумму последовательных
произведений переменных друг на друга.
Подчеркнем, что сумма квадратов – не
равняется квадрату суммы!

Обратим
внимание еще вот на какое обстоятельство.
В формуле (9.1) встречается величины

.
(9.4)

При
делении на n
(число
значений переменной X
или Y)
она
называется ковариацией. Выражение (9.4)
может быть подсчитано только в тех
случаях, когда число значений переменной
X
равно
числу значений переменной Y
и равно n.
Формула
(9.4) предполагает также, что при расчете
коэффициентов корреляции нельзя
произвольно переставлять элементы в
коррелируемых столбцах, как это делается,
например, в случае расчета по критерию
S
Джонкира.

Используя
формулу (9.3), решим следующую задачу.

Пример
9.1.
20
школьникам были даны тесты на
наглядно-образное и вербальное мышление.
Измерялось среднее время решения заданий
теста в секундах. Психолога интересует
вопрос: существует ли взаимосвязь между
временем решения этих задач? Переменная
X
обозначает
среднее время решения наглядно-образных,
а переменная Y
– среднее
время решения вербальных заданий тестов.

Решение.
Прежде всего, сформулируем
гипотезы.

Н₀:
связь
между временем решения наглядно-образных
и вербальных задач отсутствует.

Н₁:
связь
между временем решения наглядно-образных
и вербальных задач присутствует.

Представим
исходные данные в виде таблицы, в которой
введены дополнительные столб­цы,
необходимые для расчета по формуле
(9.3). В таблице 9.1 даны индивидуальные
значения переменных X
и
Y,
построчные
произведения переменных Х
и Y,
квадраты
переменных всех индивидуальных значений
переменных X
и
Y,
а
также суммы всех вышеперечисленных
величин.

Таблица
9.1

№ испытуемых	X	Y	X∙Y	X∙X	Y∙Y
Среднее время решения наглядно-образных заданий	Среднее время решения вербальных заданий
1	19	17	323	361	289
2	32	7	224	1024	49
3	33	17	561	1089	289
4	44	28	1232	1936	784
5	28	27	756	784	729
6	35	31	1085	1225	961
7	39	20	780	1521	400
8	39	17	663	1521	289
9	44	35	1540	1936	1225
10	44	43	1892	1936	1849
11	24	10	240	576	100
12	37	28	1036	1369	784
13	29	13	377	841	169
14	40	43	1720	1600	1849
15	42	45	1890	1764	2025
16	32	24	768	1024	5760
17	48	45	2160	2304	2025
18	42	26	1092	1764	679
19	33	16	528	1089	256
20	47	26	1222	2209	676
Сумма	731	518	20089	27873	16000

Рассчитываем
эмпирическую величину коэффициента
корреляции по формуле (9.3).

.

Определяем
критические значения для полученного
коэффициента корреляции по таблице
критических значений коэффициента
корреляции Пирсона (таблица 1 приложения
1). Особо отметим, что в этой таблице
величины критических значений
коэффициентов линейной корреляции
Пирсона даны по абсолютной величине.
Следовательно, при получении как
положительного, так и отрицательного
коэффициента корреляции по формуле
(9.3) оценка уровня значимости этого
коэффициента проводится по той же
таблице без учета знака, а знак добавляется
для дальнейшей интерпретации характера
связи между переменными X
и
Y.

При
нахождении критических значений для
вычисленного коэффициента линейной
корреляции Пирсона г_эмп
число
степеней свободы рассчитывается как k
=
n
–
2. В нашем случае к
=
20, поэтому n
– 2
= 20 – 2 = 18. В первом столбце таблицы 1
приложения 1 в строке, обозначенной
числом 18, находим:

Строим
соответствующую ось значимости.

Ввиду
того, что величина расчетного коэффициента
корреляции попала в зону значимости –
гипотеза Н₀
отвергается
и принимается гипотеза Н₁.
Иными словами, связь между временем
решения наглядно-образных и вербальных
задач статистически значима на 1% уровне
и положительна. Полученная прямо
пропорциональная зависимость говорит
о том, что чем выше среднее время решения
наглядно-образных задач, тем выше среднее
время решения вербальных, и наоборот.

Для
применения коэффициента корреляции
Пирсона необходимо соблюдать следующие
условия:

1. Сравниваемые
   переменные должны быть получены в
   интервальной шкале или шкале отношений.

2. Распределения
   переменных Х
   и Y
   должны быть близки к нормальному.

3. Число
   варьирующих признаков в сравниваемых
   переменных X
   и
   Y
   должно быть одинаковым.

4. Таблицы
   уровней значимости для коэффициента
   корреляции Пирсона рассчитаны от n
   =
   5 до n
   = 1000.
   Оценка уровня значимости по таблицам
   осуществ­ляется при числе степеней
   свободы k
   =
   n
   – 2.

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

• #
• #
• #
• #
• #
• #
• #
• #
• #
• #
• #

Обычно принято количественно оценивать линейные связи с помощью коэффициента корреляции Пирсона. Чтобы указать силу и направление связи между двумя переменными, он принимает значение от -1 до 1.

Это может помочь инвесторам в диверсификации. Расчеты по диаграммам рассеяния исторических доходностей между парами активов, такими как акции-облигации, акции-товары, облигации-недвижимость и т.д., помогут инвесторам строить портфели риск-доходность.

Теперь мы познакомимся с коэффициентом корреляции Пирсона и узнаем, как с его помощью измерить связь между двумя связанными переменными.

Индекс содержания

1. Что такое коэффициент корреляции Пирсона?
2. Что делает тест коэффициента корреляции Пирсона?
3. Формула и расчет коэффициента корреляции Пирсона
4. Определение силы коэффициента корреляции Пирсона по продуктивному моменту
5. Примеры коэффициента корреляции Пирсона
6. Вывод

Что такое коэффициент корреляции Пирсона?

Коэффициент корреляции Пирсона или коэффициент корреляции Пирсона или r Пирсона определяется в статистике как измерение силы связи между двумя переменными и их ассоциации друг с другом.

Проще говоря, коэффициент корреляции Пирсона рассчитывает эффект изменения одной переменной при изменении другой переменной.

Например: До определенного возраста (в большинстве случаев) рост ребенка будет увеличиваться по мере увеличения его возраста. Конечно, его рост зависит от различных факторов, таких как гены, местоположение, диета, образ жизни и т.д.

Этот подход основан на ковариации и, таким образом, является лучшим методом для измерения взаимосвязи между двумя переменными.

Что делает тест коэффициента корреляции Пирсона?

Коэффициент корреляции Пирсона имеет высокую статистическую значимость. Он рассматривает взаимосвязь между двумя переменными. Он стремится провести линию через данные двух переменных, чтобы показать их взаимосвязь. Связь между переменными измеряется с помощью калькулятора коэффициента корреляции Пирсона. Эта линейная связь может быть положительной или отрицательной.

Например:

• Положительная линейная связь: В большинстве случаев, универсально, доход человека увеличивается по мере увеличения его возраста.
• Отрицательная линейная зависимость: Если автомобиль увеличивает скорость, время, затраченное на поездку, уменьшается, и наоборот.

Из приведенного выше примера видно, что коэффициент корреляции Пирсона, r, пытается выяснить две вещи — силу и направление связи при заданных объемах выборки.

Коэффициент корреляции Пирсона формула и расчет

Формула коэффициента корреляции выявляет связь между переменными. Она возвращает значения от -1 до 1. Используйте приведенный ниже калькулятор корреляции коэффициента Пирсона для измерения силы связи между двумя переменными.

Формула коэффициента корреляции Пирсона:

Где:
N = количество пар оценок
?xy = сумма произведений парных оценок
?x = сумма оценок x
?y = сумма оценок y
?x2 = сумма квадратов оценок x
?y2 = сумма квадратов оценок y

Расчет

Здесь представлено пошаговое руководство по расчету коэффициента корреляции Пирсона:

Шаг первый:Создайте таблицу коэффициентов корреляции.
Постройте график данных, включив в него обе переменные. Пометьте эти переменные ‘x’ и ‘y’. Добавьте три дополнительных столбца — (xy), (x^2) и (y^2). Обратитесь к этой простой диаграмме данных.

Шаг второй: Используйте базовое умножение для завершения таблицы.

Шаг третий: Сложите все колонки снизу вверх.

Шаг четвертый: Подставьте значения в формулу корреляции.

Если результат отрицательный, то между двумя переменными существует отрицательная корреляционная связь. Если результат положительный, между переменными существует положительная корреляционная связь. Результаты также могут определять силу линейной связи, т.е, сильная положительная связь, сильная отрицательная связь, средняя положительная связь и так далее.

Определение силы коэффициента продукционно-моментной корреляции Пирсона

.

Коэффициент продукционно-моментной корреляции Пирсона, или просто коэффициент корреляции Пирсона или коэффициент корреляции r, определяет силу линейной связи между двумя переменными.

Чем сильнее связь между двумя переменными, тем ближе ваш ответ будет склоняться к 1 или -1. Значения 1 или -1 означают, что все точки данных расположены на прямой линии «наилучшего соответствия». Это означает, что изменение факторов какой-либо переменной не ослабляет корреляцию с другой переменной. Чем ближе ваш ответ лежит к 0, тем больше разброс в переменных.

Как интерпретировать коэффициент корреляции Пирсона

Ниже приведены предлагаемые рекомендации по интерпретации корреляции коэффициента Пирсона:

Обратите внимание, что сила связи переменных зависит от того, что вы измеряете, и от объема выборки.

На графике можно заметить связь между переменными и сделать предположения еще до их расчета. Графики рассеяния, если они расположены близко к линии, показывают сильную связь между переменными.

Чем ближе графики рассеяния лежат к линии, тем сильнее связь между переменными. Чем дальше они удаляются от линии, тем слабее взаимосвязь. Если линия почти параллельна оси x из-за беспорядочного расположения точек разброса на графике, можно предположить, что корреляция между двумя переменными отсутствует.

Что означают термины сила и направление?

Термины «сила» и «направление» имеют статистическое значение. Вот прямое объяснение этих двух слов:

• Сила: Сила означает корреляцию отношений между двумя переменными. Она означает, насколько последовательно будет изменяться одна переменная в результате изменения другой. Значения, близкие к +1 или -1, указывают на сильную взаимосвязь. Эти значения достигаются, если точки данных лежат на линии или очень близко к ней.

  Чем дальше удаляются точки данных, тем слабее сила линейной зависимости. Когда нет практического способа провести прямую линию, потому что точки данных разбросаны, сила линейной зависимости самая слабая.

• Направление: Направление линии указывает на положительную линейную или отрицательную линейную связь между переменными. Если линия имеет восходящий наклон, переменные имеют положительную связь.

  Это означает, что увеличение значения одной переменной приведет к увеличению значения другой переменной. Отрицательная корреляция показывает нисходящий наклон. Это означает, что увеличение значения одной переменной приводит к уменьшению значения другой переменной.

.Примеры коэффициента корреляции Пирсона

Рассмотрим несколько наглядных примеров, которые помогут вам интерпретировать таблицу коэффициента корреляции:

Большая положительная корреляция

• На рисунке выше показана корреляция почти +1.
• Трассы рассеяния почти выстроены в прямую линию.
• Наклон положительный, что означает, что если одна переменная увеличивается, другая переменная также увеличивается, показывая положительную линейную линию.
• Это означает, что изменение одной переменной прямо пропорционально изменению другой переменной.
• Примером большой положительной корреляции может быть: «По мере роста детей увеличиваются размеры их одежды и обуви».

Средняя положительная корреляция

• На рисунке выше изображена положительная корреляция.
• Корреляция выше +0,8, но ниже 1+.
• Она показывает довольно сильный линейный восходящий паттерн.
• Примером средней положительной корреляции может быть — По мере увеличения количества автомобилей увеличивается спрос на топливо.

Малая отрицательная корреляция

• На рисунке выше графики рассеяния не так близки к прямой линии по сравнению с предыдущими примерами
• Она показывает отрицательную линейную корреляцию приблизительно -0.5
• Изменение одной переменной обратно пропорционально изменению другой переменной, так как наклон отрицательный.
• Примером небольшой отрицательной корреляции может быть — Чем больше кто-то ест, тем меньше он голоден.

Слабая корреляция / отсутствие корреляции

• Площадки рассеяния находятся далеко от линии.
• Трудно провести линию практически.
• Корреляция приблизительно равна +0.15
• Невозможно утверждать, что изменение одной переменной прямо пропорционально или обратно пропорционально другой переменной.
• Примером слабой/отсутствующей корреляции может быть — Повышение цен на топливо приводит к тому, что меньше людей заводят домашних животных.

Conclusion

Коэффициент корреляции Пирсона можно определить, собрав данные о двух интересующих вас переменных с помощью опроса. С его помощью можно узнать, является ли корреляция между двумя переменными положительной или отрицательной и насколько она сильна.

Research Suite — это набор инструментов для проведения исследований и преобразования информации, которые можно использовать для сбора данных для анализа коэффициента корреляции Пирсона. После экспорта данных опроса из и импорта их в электронную таблицу или статистическое приложение вы можете провести корреляционный анализ.

предлагает полезные инструменты анализа данных, такие как перекрестная табуляция, визуализация данных и статистическое тестирование, в дополнение к расчету коэффициента корреляции. Эти качества могут помочь вам в исследовании и понимании взаимосвязи ваших переменных.

Готовы обнаружить взаимосвязь между вашими переменными и продвинуться в анализе данных? Начните бесплатную пробную версию сегодня, чтобы узнать, как наше программное обеспечение для проведения опросов может помочь вам легко определить коэффициент корреляции Пирсона. Не упустите этот шанс улучшить анализ данных и исследования.