Как составить количественную оценку

Количественные исследования: виды, методы, анализ результатов

Привет! Я Олег Королев, директор по аналитике в AGIMA. Когда я прошу начинающих аналитиков провести количественное исследование, у них возникает куча вопросов. Я собрал самые популярные из них и написал эту статью. Подробно рассказываю, как проводить количественные исследования, как строить выборку, сколько вопросов задавать и как обрабатывать результаты. Уверен, аналитики и продакт-менеджеры найдут для себя что-то полезное.

Виды количественных исследований

Количественное исследование — это опрос, который можно отправить большому количеству людей. Его результаты помогают провалидировать гипотезы, собрать обратную связь или получить оценки от пользователей. Цель опроса — проверить гипотезы, собрать метрики или получить информацию по текущим процессам.

Такие опросы можно классифицировать по регулярности:

• разовые — для статистической проверки гипотез;

• регулярные — для отслеживания динамики оценки.

Регулярные опросы часто проводят по устоявшейся методологии. Например:

CES-индекс позволит проанализировать уровень усилий, которые пользователю необходимо затратить для решения вопроса при взаимодействии с компанией.

Цель разовых опросов — получить сведения в данный момент. Они не предполагают изучения динамики и тенденций. В зависимости от того, на каком этапе и с какой целью проводят опрос, он поможет узнать базовую информацию о целевой аудитории, выяснить их отношение к продукту или услуге, отобрать респондентов для исследований, узнать, насколько сложно пользоваться интерфейсом, и проверить удовлетворенность дизайн-решениями.

Опросы можно проводить на любой стадии проекта. Но наиболее эффективны они будут на этапах исследования, теста и сбора обратной связи после разработки.

Такой опрос не поможет:

1. Выявить глубинные цели и переживания пользователей.

   Всё это качественная информация, которую сложно добыть через опрос. Опросы чаще всего проводят в письменном виде, а люди в большинстве случаев не хотят писать подробный ответ. В этом случае подойдет глубинное интервью.

2. Проверить сложные гипотезы и сценарии.

   Нельзя точно сказать, реальны ли будут ответы клиента или прохождение сценария. Для проверки больше подойдет наблюдение или интервью.

3. Получить 100%-ную правду.

   В опросе люди часто только предполагают, как они поступили бы в какой-то ситуации, не могут вспомнить релевантную информацию. Иногда они лгут (осознанно или нет), чтобы предстать в лучшем свете или получить вознаграждение за прохождение опроса. Нужно делать на это поправку в любых исследованиях. 

Разберем детальнее разовые опросы, с ними обычно больше всего сложностей.
В CSAT, NPS, CSI формат опросов и выборка зачастую ясна.

Как провести разовый опрос

Важно правильно сформулировать проблему. В противном случае мы уйдем в сторону от решения истинной проблемы или вообще будем решать проблему, которой нет.

Тут же мы формируем цели нашего опроса. На каждом этапе цели будут отличаться, поэтому разберем их подробнее.

Цели опроса на этапе исследования

На этом этапе мы мало что знаем, но у нас много гипотез. Часто мы даже не понимаем, кто наши конечные пользователи, какие у них цели и что они любят. Исследование — этап сбора информации и «расширения сознания». 

Каких целей поможет достичь опрос:

1. С помощью закрытых вопросов проверить простые гипотезы о ЦА.

2. Выяснить отношение потенциальных пользователей к услуге или сервису.

3. Узнать подробности о целевой аудитории: пол, возраст, интересы, привычки и т. д.

4. Узнать, какие продукты-конкуренты используют потенциальные пользователи.

5. Сортировать аудиторию, если планируются дальнейшие исследования.

Как собрать выборку

Ответить на этот вопрос помогут специальные калькуляторы. Например, этот: https://socioline.ru/rv.php. Они сами посчитают, сколько ответов собрать, исходя из размера аудитории. Например:

Как работают калькуляторы статистической значимости, я расскажу в другой раз. В этой статье просто предложу использовать их как удобный инструмент.

Но мой опыт показывает, что почти никогда не приходится собирать более 400 ответов на сегмент.

Пригласить поучаствовать в исследовании стоит тех, кто даст объективную обратную связь и сможет ответить на вопросы. Логика тут простая:

Если вопросы про продукт — зовите тех, кто им активно пользуется.
Если исследуете конкретные фичи — зовите тех, кто ими пользуется.

Лучше всего работать с основным сегментом пользователей — с теми, кого вы считаете ядром в возрастном и социально-демографическом поле.

Как задавать вопросы

Перед опросом стоит объяснить, зачем он нужен, сколько времени займет и как поможет улучшить сервис. Эта логика должна прослеживаться в каждом вопросе, чтобы не испугать респондента и чтобы он понимал важность своего мнения.

При подготовке вопросов стоит в первую очередь сформулировать главные, а уже потом их детализировать. К этому процессу нужно подойти серьезно: неправильно подобранное слово, последовательность вопросов, структура вопроса — всё это повлияет на ответ.

Вопрос нужно сформулировать так, чтобы респонденты дали полный и однозначный ответ. Поэтому заранее подумайте, кто будет отвечать и какие решения вам нужно принять на основании этих ответов. Если кажется, что вопрос не связан с гипотезой, лучше его переформулировать или убрать.

Классификация вопросов по способу коммуникации

Способ коммуникации зависит от целевой аудитории. К подросткам лучше обратиться через соцсети, к деловым партнерам — по почте. Вопросы должны соответствовать каналу общения.

Например, электронная почта — более формальный канал. Респонденты, которые привыкли общаться по почте, отвечают более развернуто. Поэтому тут можно использовать:

• длинные заходы; 

• больше вопросов (5–7), в том числе открытых; 

• пояснения в скобках.

Чат МП/ЛК — этот более расслабленный канал. Поэтому:

• текст может быть проще; 

• лучше использовать шкалы, анимацию и вообще геймифицировать процесс;

• вопросы с вариантами ответов предпочтительнее.

Во время телефонного звонка лучше подстроиться под стиль общения собеседника. Некоторые предпочитают сухое деловое общение, другие — более дружелюбное и неформальное.

Классификация по типу вопросов

• Номинальные — это вопрос с множественным выбором, который определяет разные категории ответов.

• Вопросы по шкале Лайкерта — это 5- или 7-балльная шкала, которая помогает оценить отношение респондентов к чему-либо. Такие вопросы пригодятся, когда у нас уже есть представление о том, что думают наши клиенты. 

• Рейтинговые вопросы предполагают несколько вариантов ответа, каждый из которых имеют числовой эквивалент. Например, оценка поддержки клиентов по шкале от 1 до 10 или вероятность рекомендовать продукт от 0 до 5. Когда вы используете такой тип вопроса, важно пояснить, что означает шкала.

Смешанные вопросы: чтобы респондентам было комфортно проходить опрос, а мы могли получить нужную информацию, лучше совмещать открытые и закрытые вопросы.

Уточняющие вопросы: их лучше использовать после открытых вопросов — чем больше информации, тем лучше.

Классификация по типу клиентов

Клиентов можно разбить на несколько категорий, каждой из которых следует задавать определенный вопросы.

Не клиенты компании: они зачастую ничего не знают о продукте или не пользуются им. Чаще всего они не хотят проходить опрос, у них нет на это мотивации. В данном случае, чтобы мотивировать человека, можно предложить какой-либо бонус: скидку, промокод или, если это возможно, денежное вознаграждение. При проведении опроса среди таких клиентов мы вопросами стараемся прощупать почву, узнать, в каком случае клиент будет готов к нам прийти.

Наблюдатели: клиенты, которые заходят, смотрят условия, но заявку не оформляют.

Пассивные пользователи: клиенты, которые оформили продукт, но так и не воспользовались им. Нужно узнать, что их остановило.

Активные пользователи: люди, которые пользуются продуктами, сервисами и т. д. Проведение опросов среди них помогает выделить болевые точки действующих клиентов и привлечь новых.

Уснувшие пользователи: следующим шагом таких клиентов может стать отток, а мы этого допустить не должны.

Ушедшие пользователи: стоит выяснить, почему они ушли, чтобы избежать оттока клиентов в будущем.

Классификация по типу

Опросы при раннем оттоке: они полезны и результативны, так как недовольные клиенты чаще готовы поделиться недостатками и болями. 

Спасибо-опросы: они проводятся у лояльных клиентов, которые доброжелательно настроены к компании. Такие опросы помогут определить области, которые нам нужно улучшить или исправить.

Опросы после тестирования продукта: их лучше проводить после UX-исследования. Опрос поможет найти проблемы в юзабилити и решить их.

Важно на этом этапе  

• Не должно быть лишних вопросов.

  Не стоит спрашивать про семейное положение, если это не будет полезно в дальнейшем и не повлияет на продукт.

• Сначала вопросы со шкалой или закрытые.

  На такие вопросы респондентам легче ответить. К тому же, как только пользователь ответит на первые вопросы, он с большей вероятностью ответит на открытые.

• Вопросы идут от общего к частному, последовательны и логичны.

  В этом случае респондент будет развивать мысль, погружаться в тему и даст больше информации. Если прыгать с  темы на тему, он потеряет фокус.

Как этого добиться

• Объединять взаимосвязанные вопросы в группы.

• Внутри одной темы ставить общие вопросы раньше конкретных.

• Ставить общие вопросы об удовлетворенности клиентов работой компании раньше конкретных. 

• Если вопросов много, размещать вопросы о лояльности раньше, чем вопросы о конкретных сферах деятельности компании.

• Размещать открытые вопросы ближе к концу опроса.

• Не допускать в вопросах и вариантах ответа оценочных суждений.  

• Не использовать вопросы про будущее типа «что, если бы».

• Составлять вопросы так, чтобы они были понятны целевой аудитории.

• Не задавать слишком много вопросов.

• Заканчивать опрос на хорошей ноте — поблагодарить респондента, поделиться с ним информацией.

Как считать метрики

Как анализировать разовые опросы:

• Собрать все ответы на каждый вопрос, сделать диаграммы и посмотреть распределение — так мы получим статистические данные.

• Посмотреть сочетание ответов на несколько вопросов, цепочек ответов — так мы сможем понять связь и зависимость одного варианта от другого.

• На существующую выгрузку навесить дополнительные флаги и посмотреть ответы — например, посмотреть разные возрастные группы или узнать, сколько клиентов впервые воспользовались продуктом. Так мы поймем модель поведения каждого сегмента.

• Рассмотреть динамику ответов в течение года — так станет ясно, что и почему изменилось. 

• Выделить конкретные инсайты, записав их фритекстом — так выявим болевые точки.

• Сформировать статистику по инсайтам, если одна и та же мысль повторяется более одного раза — так выявим проблемы, которые следует решить первым делом.

Какие ошибки бывают

1. Смещенность мнений.

Когда вы в опросе спрашиваете о конкурентах и сравниваете свою компанию с другой, пользователь будет отвечать в вашу пользу и говорить, что вы лучше остальных.

1. Дежурные ответы.

Если за прохождение опроса вы предлагаете какой-то бонус, есть вероятность, что пользователь будет проходить опрос только ради него. Насторожить должно, например, то, что респондент ставит только высшие или низшие оценки в вопросах со шкалой.

1. Много полей со свободным вводом.

Чаще всего пользователи будут писать в поле со свободным вводом малоинформативные сообщения. При анализе такие ответы сложно типизировать. Поэтому чем меньше свободы в ответах, тем лучше. Лучше продумать варианты за пользователя заранее.

Если такой возможности нет, можно запустить опрос со свободным вводом на небольшую выборку. Это поможет собрать возможные варианты. Затем можно запустить новый опрос уже с теми вариантами, которые сами пользователи предложили.

1. Попытка сгладить острые углы.

Чаще всего аудитория опроса — это либо лояльные пользователи, либо пользователи, которые столкнулись с негативным опытом. Вторая категория — самые полезные респонденты. Они дадут обратную связь, с которой можно работать. В то время как лояльный пользователь проигнорирует недостатки и попытается сгладить острые углы.

1. Слишком много вопросов.

Если опрос занимает больше 5 минут, респондент просто прокликает его в надежде поскорее завершить. Из-за этого последние вопросы могут быть смещены во мнениях. В идеале задавать не больше 20 вопросов в большом исследовании.

Важный последний пункт

Полезные ссылки:

• Качественные исследования: как повысить эффективность, избежать типичных ошибок и выпустить полезный продукт

• Телеграм-канал «Продуктовый подход. By AGIMA»

• Какими должны быть сайт и приложение, чтобы считаться успешными (видео)

Остановимся
теперь на основных способах экспертных
из­мерений — методах получения
экспертных оценок, играющих во
многих случаях определяющую роль при
принятии важных управленческих
решений.

Методы
получения количественных
экспертных оценок

1. Непосредственная количественная оценка

Непосредственная
количественная оценка используется
как
в случае, когда надо определить значение
показателя, из­меряемого количественно,
так и в случае, когда надо оценить степень
сравнительной предпочтительности
различных объек­тов.

В
первом случае каждый из экспертов
непосредственно указывает значение
показателя для оцениваемого объекта.
Это может быть конкретное численное
значение показателя для оцениваемого
объекта, например стоимость жилой
квартиры; цена единицы продукции, при
которой она может иметь кон­курентоспособный
спрос; предполагаемая емкость рынка;
оп­тимальный
объем производства и т. д.

Если
эксперт затрудняется указать конкретное
значение по­казателя,
он может указать диапазон, в котором
лежит значе­ние
оцениваемого показателя.

Во
втором случае, когда оценивается
сравнительная пред­почтительность
объектов по тому или иному показателю,
ко­личественная
оценка, указываемая экспертом, определяет
сте­пень
их сравнительной предпочтительности.

Заранее
необходимо условиться, что, скажем,
большее зна­чение оценки соответствует
более предпочтительному альтер­нативному
варианту. Иногда количественную оценку
сравнительной предпочтительности
объектов целесообразнее произ­водить
в баллах, используя специально
разработанные балль­ные шкалы.

2. Метод средней точки

Метод
используется, когда альтернативных
вариантов до­статочно
много. Если через f(a₁)
обозначим
оценку первого альтернативного варианта
значения показателя, относительно
которого
определяется сравнительная
предпочтительность объектов,
через f(a₂)

— оценку второго альтернативного
вари­анта,
то далее эксперту предлагается подобрать
третий альтер­нативный
вариант a₃,
оценка которого f(a₃)
расположена
в се­редине
между значениями f(a₁)
и
f(a₂)
и
равна f(a₁)
+ f(a₂)/2.

При
этом в качестве первого и второго
альтернативных ва­риантов
целесообразно выбирать наименее и
наиболее пред­почтительные
альтернативные варианты.

Далее
эксперт указывает альтернативный
вариант a₄,
значе­ние которого
f(a₄)
расположено посередине между f(a₁)
и
f(a₃),
и альтернативный вариант a₅,
значение которого f(a₅)
располо­жено
посередине между значениями f(a₁)
и f(a₄).

Процедура
завершается, когда определяется
сравнительная предпочтительность
всех участвующих в экспертизе
альтерна­тивных
вариантов.

3. Метод Черчмена — Акофа

Метод
Черчмена — Акофа используется при
количествен­ной
оценке сравнительной предпочтительности
альтернатив­ных
вариантов и допускает корректировку
оценок, даваемых экспертами.

В
методе предполагается, что оценки
альтернативных вари­антов —
неотрицательные числа, что если
альтернативный ва­риант
a₁
предпочтительнее альтернативного
варианта а₂,
то
f(a₁)
больше,
чем f(a₂),
а
оценка одновременной реализации
альтернативных
вариантов a₁
и а₂
равняется
f(a₁)
+ f(a₂)).

Все
альтернативные варианты ранжируются
по предпочти­тельности,
и каждому из них эксперт назначает
количествен­ные
оценки, как правило, в долях единицы.

Соседние файлы в папке управленческие решения

• #
• #
• #
• #
• #
• #
• #
• #
• #
• #
• #

Количественная и качественная оценка обучения.

В современной педагогической практике применяются количественные и качественные методы оценивания. Количественные методы однозначно предполагают наличие точки отсчета, единицы измерения. К такого рода методам можно отнести, например, определение темпа чтения по числу слов в минуту, темпа письма, выставление балльной оценки за диктант (качество обучения языку) в зависимости от количества допущенных ошибок

Количественная шкала предназначена для представления оценки числом, это, например, хорошо известная школьная система балльных оценок. Так, в нашей стране принята 5-ти балльная система оценок. Если начало отсчета не связано с учеником, не зависит от него, а ученику лишь находится соответствующее место на шкале, то это абсолютная оценочная шкала. Контрольные работы, тесты достижений нацелены на идентификацию состояния ученика по абсолютной количественной шкале. Ее недостаток в том, что она не учитывает индивидуальных особенностей учащихся. «Бывают такие случаи, когда мальчик или девочка проявили титанические, не свойственные для себя усилия над выполнением задания. И в подобной ситуации их результат может казаться всем ниже, чем результат отличника, обладающего превосходной памятью и способностью без особых усилий осваивать материал. Именно тут и возникает впечатление о несправедливости оценок учителя». В таких случаях требуется переход к относительной шкале, которая предполагает сравнение текущего состояния ученика с его же состоянием некоторое время назад. То есть относительная шкала, в отличие от абсолютной, связана с учеником и отражает его изменение, развитие. Будучи более гуманной, чем абсолютная, относительная шкала, тем не менее конфликтогенна в условиях совместного обучения группы детей.

Использование абсолютной шкалы целесообразно для контроля итоговых результатов некоторого учебного периода. Для контроля внутри процесса более подходящей является относительная шкала, так как подвергать оценке баллом то, что находится в стадии становления, будет изменяться, психологически неоправданно.

Сложившаяся в России 5-ти балльная система оценивания была удобна для единого содержания образования, для единой и единообразной школы. В новых условиях, когда существует множество типов образовательных учреждений, вариативность программ, одна и та же оценка несет разную информацию. Очевидно, встал вопрос о пересмотре системы оценивания. Но пока нет на этот счет общих решений, каждое образовательное учреждение, учитель ищет свое решение в соответствии с требованиями общества и исходя из интересов учащихся. Тем более, что законом об образовании РФ разрешено текущую проверку и оценку и промежуточную аттестацию учащихся проводить в образовательных учреждениях в соответствии с их уставом. Образовательное учреждение самостоятельно в выборе системы оценок, формы, порядка и периодичности промежуточной аттестации учащихся.

Кроме количественных шкал существуют порядковые шкалы, к которым относятся ранговые, предполагающие упорядочивание измеряемых объектов по какому-то набору признаков (критериев). Частным случаем является рейтинговая система. Рейтинг — это действительное число, которое получается либо путем опроса субъективных мнений экспертов, либо путем набора очков за выполнение различных действий в ходе занятия. В конце учебного периода все очки, набранные учеником, суммируются и получается его рейтинг. Недостаток этой системы в том, что количество очков за то или иное учебное достижение назначается экспертным способом и может сильно варьироваться от школы к школе. Достоинства в том, что, во-первых, оценка не зависит от межличностных отношений учителя и ученика; во-вторых, незнание не наказывается; в-третьих, ученик сам выбирает стратегию своей деятельности, так как оценки предполагаемых видов деятельности определены заранее.

К порядковым шкалам относят описательные (дескриптивные) шкалы, в них описываются достижения учащихся, — папки достижений. Эту систему оценки используют также сторонники безотметочного обучения.

К наиболее распространенным методам качественной оценки относится метод экспертных оценок или педагогический консилиум, правомерность и достоверность которого для оценки реальных учебных и воспитательных возможностей учащегося была доказана Ю.К. Бабанским и Н.А. Менчинской.

О критериях оценки результатов обучения. Для объективной оценки результатов учебной работы используются различные критерии, которые делят на два вида – количественные и качественные. Рассмотрим критерии, которые рекомендует А. А. Кыверялг. В качестве количественных критериев он выделяет объем усвоенных знаний, коэффициент усвоения учебного материала, скорость усвоения учебного материала, коэффициент прочности усвоения.

Объем усвоенных знаний можно измерить количеством правильно решенных задач в контрольной работе или тесте. Коэффициент усвоения учебного материала равен отношению объема учебного материала, усвоенного учащимися в течение определенной единицы времени к материалу, сообщенному за то же время. Скорость усвоения равна отношению объема учебного материала, усвоенного учащимися к времени, затраченному на его усвоение. Коэффициент прочности усвоения учебного материала равен отношению запомнившегося учащимися учебного материала к учебному материалу, сообщенному им в процессе обучения .

И. Я. Лернер выделяет следующие требования к качеству знаний: полнота, глубина, систематичность, системность, оперативность, гибкость, конкретность, обобщенность, развернутость, свернутость, осознанность, прочность. Рассмотрим некоторые из них. Полнота знаний это предусмотренный программой определенный минимально необходимый объем знаний об изучаемом объекте. Совокупность осознанных учащимся существенных связей между соотносимыми знаниями характеризует глубину знаний, другое их качество. В отличие от полноты, которая допускает изолированность знаний друг от друга, глубина предполагает существенность связей. Систематичность знаний характеризуется осознанием состава некоторой совокупности знаний, их иерархии и последовательности, т.е. осознанием одних знаний как базовых для других. Системность предусматривает осознание учеником знаний по их месту в структуре научной теории. Оперативность — качество, характеризуемое числом ситуаций, в которых ученик может заведомо применить то или иное знание, или числом способов, которыми он может это знание применить. Гибкость проявляется в готовности ученика к самостоятельному нахождению способов применения знаний при изменении ситуации или различных способов в одной и той же ситуации. Осознанность знаний выражается в понимании учеником их связей и путей их получения, в умении их доказывать, в понимании принципа действия связей и механизма их становления.

К качественным критериям оценки результатов учебной работы, относятся уровни усвоения учебного материала. Каждому уровню сопоставляется учебно-познавательная задача, проектирующая выполнение характерных для него образцов деятельности. В связи с этим заслуживает внимания таксономия учебных задач чешского педагога Д.Толлингеровой, построенная на основе таксономии учебных целей Б. Блума. В таксономии учебных задач все задачи проранжированы по возрастанию когнитивной сложности и операциональной ценности. Учебные задачи, по мнению Д. Толлингеровой, выступают как разновидность опережающего управления когнитивной деятельностью, как «проект будущего учебного действия», определяющий интеллектуальное пространство, в котором ученик станет выполнять мыслительные действия.

Использование для оценки результатов обучения выше приведенных критериев позволит преодолеть субъективный, произвольный характер оценивания, который ставит ученика в незащищенную позицию.

	Министерство образования, науки и молодёжной политики Краснодарского края
Государственное бюджетное профессиональное образовательное учреждение Краснодарского края «ЕЙСКИЙ ПОЛИПРОФИЛЬНЫЙ КОЛЛЕДЖ»

Сообщение на тему: «Количественная и качественная оценка обучения»

Выполнила:

cтудентка Ш-31 группы

Долматович Мария

Преподаватель:

Великановская Л.А.

Ейск, 2019г.