I’m trying to find ways to normalize my dataset (represented as a matrix with documents as rows and columns as features) and I came across a technique called feature scaling. I found a Wikipedia article on it here.
One of the methods listed is Standardization which says «Feature standardization makes the values of each feature in the data have zero-mean and unit-variance.» What does that mean (no pun intended)?
In this method, «we subtract the mean from each feature. Then we divide the values (mean is already subtracted) of each feature by its standard deviation.» When they say ‘subtract the mean’, is it the mean of the entire matrix or the mean of the column pertaining to that feature?
Also, if this feature scaling method is applied, does the mean not have to be subtracted from columns when performing Principal Component Analysis (PCA) on the data?
asked Jul 14, 2014 at 4:15
The basic idea is to do a simple (and reversible) transformation on your dataset set to make it easier to handle. You are subtracting a constant from each column and then dividing each column by a (different) constant. Those constants are column-specific.
When they say ‘subtract the mean’, is it the mean of the entire matrix
or the mean of the column pertaining to that feature?
The mean of the column pertaining to that feature.
…does the mean not have to be subtracted from columns when performing Principal Component Analysis (PCA) on the data?
Correct. PCA requires data with a mean of zero. Usually this is enforced by subtracting the mean as a first step. If the mean has already been subtracted that step is not required. However, there is no harm in performing the «subtract the mean» operation twice. Because the second time the mean will be zero, so nothing will change. Formally, we might say that standardization is idempotent.
answered Mar 23, 2018 at 15:45
From looking at the article, my understanding is that you would subtract the mean of that feature. This will give you a set of data for the feature that describes the same layout of the data but normalized.
Imagine you added data for a new feature. You’re probably going to want the data for your original features to remain the same, and not be influenced by the new feature.
I guess you would still get a «standardized» range of values if you subtracted the mean of the whole data set, but that would be something different — you’re probably more interested in how the data of a single feature lies around its mean.
You could also have a look (or ask the question) on math.stackexchange.com.
answered Jul 14, 2014 at 5:01
wwkuduwwkudu
2,7683 gold badges28 silver badges41 bronze badges
Я пытаюсь найти способы нормализовать свой набор данных (представленный в виде матрицы с документами в виде строк и столбцов в качестве функций), и я наткнулся на метод, называемый масштабированием функций. Я нашел статью в Википедии об этом здесь.
Одним из перечисленных методов является стандартизация, в котором говорится: «Стандартизация признаков делает значения каждого признака в данных нулевым средним и единичной дисперсией». Что это значит (без каламбура)?
В этом методе «мы вычитаем среднее значение из каждого признака. Затем мы делим значения (среднее значение уже вычтено) каждого признака на его стандартное отклонение». Когда они говорят «вычесть среднее», это среднее значение всей матрицы или среднее значение столбца, относящегося к этой функции?
Кроме того, если применяется этот метод масштабирования признаков, не нужно ли вычитать среднее значение из столбцов при выполнении анализа основных компонентов (PCA) для данных?
2 ответа
Основная идея состоит в том, чтобы выполнить простое (и обратимое) преобразование набора данных, чтобы упростить его обработку. Вы вычитаете константу из каждого столбца, а затем делите каждый столбец на (другую) константу. Эти константы зависят от столбца.
Когда они говорят «вычесть среднее», это среднее значение всей матрицы или среднее значение столбца, относящегося к этой функции?
Среднее значение столбца, относящегося к этой функции.
… не нужно ли вычитать среднее значение из столбцов при выполнении анализа основных компонентов (PCA) для данных?
Правильный. PCA требует данных со средним значением, равным нулю. Обычно это обеспечивается путем вычитания среднего значения в качестве первого шага. Если среднее значение уже вычтено, этот шаг не требуется. Однако нет ничего плохого в том, чтобы дважды выполнить операцию «вычесть среднее». Потому что во второй раз среднее значение будет равно нулю, так что ничего не изменится. Формально можно сказать, что стандартизация идемпотентна.
1
Jamie Ballingall
23 Мар 2018 в 18:45
Посмотрев на статью, я понял, что вы бы вычли среднее значение этой функции. Это даст вам набор данных для функции, описывающий тот же макет данных, но нормализованный.
Представьте, что вы добавили данные для новой функции. Вы, вероятно, захотите, чтобы данные для ваших исходных функций оставались прежними и не подвергались влиянию новой функции.
Я предполагаю, что вы все равно получите «стандартизированный» диапазон значений, если вычтете среднее значение всего набора данных, но это будет что-то другое — вас, вероятно, больше интересует, как данные одной функции лежат вокруг ее среднего значения.
Вы также можете посмотреть (или задать вопрос) на math.stackexchange.com.
0
Community
13 Апр 2017 в 15:19
Нулевое среднее и единичная дисперсия
Я изучаю масштабирование данных, и в частности метод стандартизации. Я понял математику, стоящую за этим, но мне не понятно, почему важно дать функциям нулевое среднее и единичную дисперсию.
Можете ли вы объяснить мне?
Ответы:
Вопрос о том, важно ли это и почему, зависит от контекста.
-
Например, для деревьев решений с градиентным усилением это не важно — эти алгоритмы ML «не заботятся» о монотонных преобразованиях данных; они просто ищут точки, чтобы разделить его.
-
Например, для линейных предикторов масштабирование может улучшить интерпретируемость результатов. Если вы хотите думать о величине коэффициентов как о некотором показателе того, насколько объект влияет на результат, тогда объекты нужно как-то масштабировать до той же области.
-
Для некоторых предикторов, в частности NN, масштабирование и, в частности, масштабирование до определенного диапазона, может быть важным по техническим причинам. Некоторые из слоев используют функции, которые эффективно изменяются только в некоторой области (аналогично гиперболическому семейству функций ), и если объекты находятся слишком далеко от диапазона, может произойти насыщение. Если это произойдет, числовые производные будут работать плохо, и алгоритм не сможет сходиться к хорошей точке.
В случае нулевого среднего это связано с тем, что некоторые модели машинного обучения не включают термин смещения в свое представление, поэтому мы должны перемещать данные вокруг источника, прежде чем подавать его в алгоритм, чтобы компенсировать отсутствие термина смещения. В случае единичной дисперсии это происходит потому, что многие алгоритмы машинного обучения используют какое-то расстояние (например, евклидово) для определения или прогнозирования. Если конкретный объект имеет широкие значения (т. Е. Большое отклонение), расстояние будет сильно зависеть от этого объекта, а влияние других объектов будет игнорироваться. Кстати, некоторые алгоритмы оптимизации (включая градиентный спуск) имеют лучшую производительность при стандартизации данных.
- Всякий раз, когда мы начинаем с какого-либо набора данных в машинном обучении, мы часто предполагаем, что все функции данных одинаково важны с точки зрения вывода, и одна функция не должна доминировать над другой функцией. Это ОБЩАЯ причина, по которой мы решили привести все функции в одном масштабе.
Однако здесь может возникнуть сомнение, что даже если функции не нормализованы, то веса, присвоенные ему во время обучения, могут помочь сбору данных в ожидаемом результате во время обучения. Проблема в том, что для обучения и получения результатов потребуется очень много времени. - Выбрать конкретное число 0 в качестве среднего значения и дисперсию 1 — просто удобство визуализации, и сохранение таких небольших чисел поможет в ускорении обучения.
Следовательно, предлагается привести все функции в один и тот же масштаб, чтобы они были достаточно легкими для обучения. Ниже ссылка также обсуждает аналогичную концепцию.
/stats/41704/how-and-why-do-normalization-and-feature-scaling-work
В машине обучение проблемы регрессии, а также обучить нейронную сеть процесс, как правило, требует централизованной (с нулевым средним) и стандартизации (нормализация) для предварительной обработки исходных данных.
Цель: стандартизировано через центр и, наконец, полученное среднее 0 и стандартное отклонение данных подлежат стандартное нормальное распределение.
принцип:
Централизованное (также известный как нулевое среднее): это относится к переменной минус ее среднее. Это на самом деле процесс перевода, перевод всех центров обработки данных (0,0).
Стандартизация (известный как нормализация): это значение индекса минус среднее делится на стандартное отклонение.
Нулевой средний:
Почему нулевое среднее?
- Это, как правило, на информации об изображении, взятой из уровня пикселя не является значением цвета, но с разницей в цвете между пикселями в противоположном. С нулевым средним, а не относительная разность (обмен информацией) между пикселями, чтобы устранить лишь устранить влияние информации постоянного тока. (Во многих случаях мы не заинтересованы в освещении изображения, и больше с его содержанием, хотя изображение превращается в нулевой средней группы черного цвета, но компьютер вполне может понять)
- Существует слишком много данных может также привести к тому, средний градиент параметр слишком велик.
- Если последующая обработка, данные могут потребовать нулевое среднее значение, например, PCA.
Предполагается, что данные, хранящиеся в матрице X, форма X представляет собой (N, D), N представляет собой число выборок, D является размер образца, нулевым средним операция может быть реализована Numpy Python:
X -= numpy.mean(X, axis=0)Каждый столбец, который X минус среднее из всех столбцов.
Для черно-белых изображений, вы можете также вычесть среднее всей картины:
X -= numpy.mean(X)Для получения цветных изображений, описанная выше операция может быть проведена соответственно в трех цветовых каналах.
Нормализация (Нормализация)
Почему нормализуют?
Нормализация является предоставление данных из различных размеров одного и того же масштаба распределения.
Если двумерные данные (x1, x2) являются двумерными нормальное распределение с нулевым средним, но дисперсия x1 100, x2 дисперсия 1. Мыслимо (x1, x2) и случайной выборки очень вытянутого эллипса в изображении и системе координат маркеров, она должна быть.
Эти особенности делают извлечение данных будет использоваться в виде выражения:
S = w1*x1 + w2*x2 + b
но:
dS / dw1 = x1 ， dS / dw2 = x2
Из-за больших различий в распределении x1 и x2 шкалы, w1 и w2 производных будут изменяться в широких пределах. В это время, целевая функция рисования (не S) Фигура изогнута, как и глубокая долина, изменяется направление вдоль каньона w2, небольшой наклона, изменение долины в вертикальном направлении w1, очень крутой склон.
Поскольку мы ожидаем, что целевая функция выглядит следующим образом:
А теперь целевая функция может выглядеть следующим образом:
Цель очень трудно оптимизировать функцию. W1 и W2, потому что разность градиента является слишком большой, требуют различной итерационной схемы в двух измерениях. Однако, на практике, для простоты, мы обычно устанавливаем одинаковые размеры для всех этапов, с итерационным уменьшением размера шага между различными размерами синхронизируются. Для этого требуется примерно такое же распределение W-шкала различных размеров, и все это начинается с нормализованными данными.
Типичная нормализуется для достижения:
X /= numpy.std(X, axis = 0)При обучении в естественном изображении не могут быть нормализованы операции, так как статистические свойства (в теории) к любой части изображения должны быть частью одного и того же, и других, характеристик изображения, которое упоминается стационарности (стационарности). (Обратите внимание, что такое же распределение, не являются независимыми и одинаково распределенными)
На рисунке приведен пример двумерный данных: слева показывает необработанные данные, является промежуточным центр обработки данных, данные перемещаются вокруг большого происхождения, справа центр данных , деленных на стандартном отклонении, нормализованных дать данные можно увидеть по шкале одно и то же в каждом измерении (длина отрезка линии указывает на красную шкалу).
Цитировать:
https://blog.csdn.net/f110300641/article/details/85099520
https://my.oschina.net/findbill/blog/661817
Среднее арифметическое
Онлайн калькулятор поможет найти среднее арифметическое чисел. Среднее арифметическое множества чисел (ряда чисел) — число, равное сумме всех чисел множества, делённой на их количество.
Программа вычисляет среднее арифметическое элементов массива, среднее арифметическое натуральных чисел, целых чисел, набора дробных чисел.
Формула которая используется для расчета среднего арифметического значения:
Приведём примеры нахождения среднего арифметического ряда чисел:
Среднее арифметическое двух чисел: (2+5)/2=3.5;
Среднее арифметическое трёх чисел: (2+5+7)/3=4.66667;
Среднее арифметическое 4 чисел: (2+5+7+2)/4=4;
Найти выборочное среднее (математические ожидание):
Среднее арифметическое 5 чисел: (2+5+7+2+3)/5=3.8;
Среднее арифметическое 6 чисел: (2+5+7+2+3+4)/6=3.833;
Среднее арифметическое 7 чисел: (2+5+7+2+3+4+8)/7=4.42857;
Среднее арифметическое 8 чисел: (2+5+7+2+3+4+8+5)/8=4.5;
Среднее арифметическое 10 чисел: (2+5+7+2+3+4+8+5+9+1)/10=4.6;
×
Пожалуйста напишите с чем связна такая низкая оценка:
×
Для установки калькулятора на iPhone — просто добавьте страницу
«На главный экран»
Для установки калькулятора на Android — просто добавьте страницу
«На главный экран»
