Как составить критерии оценивания анкеты

Экспертная
оценка анкеты

Для
составления экспертной оценки представленной анкеты студентов группы ПО/б-21-О
Татьяны Кузьминой и Алины Химиной были выбраны критерии и показатели оценивания
из Таблицы 1.

Таблица 1. Критерии и показатели
экспертной оценки анкеты

Согласно
выбранным критериям и показателем были определены уровни и уровневые показатели
качества анкеты (см. Таблица 2).

Таблица 2. Уровни и уровневые показатели
качества анкеты

Анкета,
составленная Татьяной Кузьминой и Алиной Химиной, получила оценку 8
баллов. Уровень качества данного опросного продукта был определен
экспертами как средний.

По
некоторым критериям требуется существенная доработка: рекомендуется включить в
анкету другие типы вариантов построения вопросов; сократить в объеме правила
заполнения анкеты, устранить излишние повторы; устранить неоднозначные по
смыслу вопросы.

Также
экспертами были отмечены положительные стороны анкеты: достаточно высокая
актуальность темы для младших школьников; соответствие вопросов заявленной
теме; качественное оформление анкеты.

Состав
экспертной комиссии:

Студенты
группы ПО/б-21-О

Мацкевич
Ольга                                                            ______________

Попова
Екатерина                                                         ______________

От того, как будет выглядеть шкала в опросе, зависит достоверность полученных данных. Однако это лишь одна сторона медали. На надежность исследования влияет и то, как эти данные будут обработаны. Рассказываем, какую шкалу лучше выбрать для анкеты и какие ошибки чаще всего совершают при анализе результатов.

Оценочные шкалы необходимы в исследованиях, поскольку они помогают измерить чувствительность людей к определенным вопросам. Ведь ответы «да» и «нет» не всегда могут точно передать восприятие и чувства респондентов. Однако нередко исследователи сталкиваются со сложностями в выборе шкалы: какую лучше использовать для анализа и какую легче воспринимать самим участникам?

В первую очередь, проблемы возникают с телефонными опросами и бумажными анкетами. В этом случае у шкалы не может быть слишком большой диапазон, например, от 0 до 100, или слишком много дескрипторов — обозначений каждой точки на шкале: «полностью доволен», «частично доволен», «отношусь нейтрально» и т. д. В то же время, если ограничиваться слишком малым количеством вариантов, к примеру, всего тремя делениями на шкале, то в результате мы получим весьма малоинформативные данные.

Гораздо проще использовать шкалы в онлайн-опросах. В них можно уместить больше вариантов ответа и при этом не бояться, что их количество напугает респондентов. Таким образом, онлайн-анкеты позволяют найти «золотую середину» между вовлеченностью участников и надежностью полученных аналитических данных. Однако и здесь есть ряд нюансов, которые стоит учитывать, чтобы результаты действительно принесли вам пользу. О них мы расскажем далее.

Четное и нечетное число точек на шкале

Количество делений на шкале может быть самым разным. Например, от 1 до 10 (десять вариантов) или от 0 до 10 (одиннадцать вариантов); от 0 до 7 (восемь вариантов) или от 1 до 7 (семь вариантов) и т. д. Принято считать, что шкалы с четным количеством делений эффективны, так как из-за отсутствия среднего, то есть нейтрального варианта они заставляют респондентов склоняться к одной из сторон в вопросе. Но правда в том, что иногда люди действительно не испытывают никаких чувств по отношению к тому, о чем их спрашивают. Поэтому, если вы исключите нейтральный вариант, это внесет предвзятость в результаты исследования. 

Количество отметок на шкале

Чем больше делений на шкале, тем лучше для анализа. Однако при использовании точечной шкалы, где респонденту необходимо выбирать определенный числовой вариант, эксперты не советуют добавлять более 11 позиций. Кроме того, если вы собираетесь отображать на ней каждое число, то максимальный диапазон шкалы, вероятно, должен быть от 0 до 10. Такая шкала обычно понятна респондентам, и, используя ее, им легче оценить свои чувства. Ноль воспринимается как самая низкая оценка, а 10 – как самая высокая. Шкала от 1 до 11 будет менее эффективна, поскольку такой диапазон почти не используют в рейтингах, а само число 11 не ассоциируется с наивысшим баллом.

Еще удобнее использовать непрерывную шкалу. В этом случае респонденту нужно поставить отметку или остановить ползунок в любой точке на линии, которая соединяет противоположные значения, например, 0 и 10 или 0 и 100. Так, непрерывная шкала избавляет вас от необходимости указывать числа. Кроме того, вам не нужно беспокоится о том, что из-за слишком большого количества делений респонденты просто запутаются. Однако меру все же лучше знать. Хотя технически вы будете свободны выбирать любой диапазон, шкала от 0 до 1 миллиарда будет выглядеть странновато. Также, если вы не хотите использовать диапазон из 101 точки, то можете взять 101 деление от 0 до 10, просто добавив десятые числа. 

Начинать шкалу с 1 или 0?

Когда вы решаете указывать числа на своей шкале, то наверняка задумываетесь: начинать с нуля или единицы? На самом деле, вы можете сделать выбор в пользу любой цифры. В конечном счете, именно общее количество точек определяет эффективность вашего исследования. Шкала от 1 до 10 по сути такая же, как шкала от 0 до 9 или, как бы странно это ни выглядело, шкала от 2 до 11. Довольно очевидно, что если под самым нижним делением вы подразумеваете ответ «совсем нет, никогда», то лучше выбрать ноль. Что касается выбора единицы для обозначения начальной точки, то нет оснований считать, что это лучше скажется на ответах респондентов или анализе полученных данных. А вот шкалу от 0 до 10 проще всего преобразовать в проценты.

Анализ данных и подводные камни

Сложности кроются не только на этапе разработки шкалы. Иногда достоверность данных зависит от того, как их анализируют. Мы разобрали самые распространенные случаи, в которых исследователей могут подстерегать ошибки.

Рассчитывать медиану — не всегда хорошая идея

Медианы полезны, когда в данных опроса есть резко выделяющиеся значения. Например, при анализе доходов граждан, где из-за одного миллиардера может резко увеличиться средний показатель. Но, поскольку мы анализируем шкалу, то имеем дело с четко установленным диапазоном. В таком случае, если сравнивать данные разных лет, то разница между средними числами и разница между медианами могут сильно отличаться. Рассмотрим это подробнее на примере двух погодовых исследований:

Здесь мы видим, что в 2011 году среднее значение было выше медианы на 19%, а в 2012 году – напротив, ниже на 11%. Кроме того, можно заметить, что с 2011-го по 2012-ый средняя оценка увеличилась на 12%, в то время как медианное значение стало выше на 50%. Это наглядно показывает: при использовании шкалы лучше делать выбор в пользу средних величин, а не медиан.

Округление средних значений тоже может сыграть злую шутку

На Рисунке 2, где средний балл у респондентов из группы А равен 4, а у опрошенных из группы B — 5, во втором случае показатель выше на 25%. Теперь представим, что среднее значение у группы А на самом деле составляет 4,49 балла, а у группы B — 4,50. Тогда разница будет минимальной. Возьмем и третий сценарий, где респонденты из первой группы поставили 3,50 балла, а из второй — 5,49. Теперь мы видим, что у группы B средний балл выше аж на 57%. 

Выходит, диапазон разницы между значениями составляет от 0 до 57%. Согласитесь, это довольно большой размах. Поэтому прежде чем округлять значения, стоит убедиться, что это не исказит данные в вашем анализе. А может быть, лучше и вовсе обойтись без округлений.

Группировка данных порой приводит к ложным выводам

Иногда исследователи группируют данные при анализе. Например, объединяют ответы тех, кто поставил оценку от 7 до 10. Однако не все осознают, насколько неточными могут быть такие группировки.

Так, на Рисунке 3 представлены шесть сценариев, когда от 7 до 10 баллов могут поставить 25% от общего числа опрошенных. Если вы внимательно изучите данные, то обнаружите, что несмотря на одинаковый процент поставивших оценку 7 и более в 3 и 4 примерах (25%), средний балл у 4-го на 19% выше, чем у 3-го.

Кроме того, если сравнивать сценарии, когда все респонденты ставят максимально низкую или максимально высокую оценку, которые обозначены в таблице как «чрезмерный минимум» и «чрезмерный максимум», разница может доходить до 300%.

Преобразование в проценты

Стоит также упомянуть, что при анализе шкалы баллы иногда удобнее преобразовать в проценты. И на этом этапе исследователи тоже совершают ошибки. Если вы используете шкалу от 0 до 10, то тут все просто — нужно лишь переместить десятичную точку на один знак вправо. Тогда 0 на вашей шкале будет соответствовать также 0, а 10 – 100 баллам. Если же вы используете другой диапазон чисел, то вам потребуется пересчитать данные. Это можно сделать по общей формуле, где N – это средняя оценка, Х₁ – самая низкая точка на шкале (0, 1 и т. д.), а Хₙ – самая высокая точка (9, 10 и т. д.):

(N — Х₁) : (Хₙ — Х₁)

Как вы уже поняли, не все шкалы бывают одинаково полезны. А в некоторых случаях они могут вести к откровенно ложным выводам. Надеемся, что наши рекомендации помогут вам избежать ошибок и при составлении опроса, и при анализе результатов. Главное, что важно помнить при работе со шкалой — по возможности используйте диапазон от 0 до 10, анализируйте средние неокругленные значения и внимательно преобразовывайте результаты в проценты.

Критерии оценки различных форм опроса

Примечание:
«+»
означает наличие у данной формы опроса
преимуществ с
точки зрения этого критерия; «-» —
наличие недостатков; «0» — отсутствие
как
особых преимуществ, так и недостатков.

предлагает
свой набор и формулировки вопро­сов.
При этом анкета должна строиться так,
чтобы четко просматри­валась
ее внутренняя логика.

Анкета
всегда нуждается во вводной
части. В
ней
указывается, кто и
с какой целью проводит опрос; дается
инструкция заполнения ан­кеты;
указывается способ возврата заполненных
анкет. Вводная часть
должна подчеркивать уважительное
отношение к опрашивае­мым, пробуждать
у них желание отвечать на вопросы,
разъяснять; каким
образом результаты опроса могут быть
использованы в инте­ресах потребителя
(для расширения ассортимента товаров,
повыше­ния
их качества, совершенствования уровня
обслуживания и т.п.).

Далее
в анкете располагаются контактные
вопросы. Их
задача — заинтересовать
собеседника, ввести в курс изучаемых
проблем, провести «разминку». Эти вопросы
должны быть относительно простыми,
легкими: это убедит респондента, что он
без труда мо­жет
заполнить анкету. Например, для
исследований, связанных с
эксплуатацией товаров, контактным может
быть следующий во­прос:
«Считаете ли Вы, что своевременное
обслуживание оборудования способствует
сохра­нению
его надежности?»

Каждой
поставленной задаче опроса должен
соответствовать блок
основных вопросов, которые
можно разделить на закрытые, от­крытые
и полузакрытые.

Закрытые
вопросы
предполагают выбор ответов из набора
вари­антов,
приводимых в анкете. Основное преимущество
вопросов данного типа состоит в том,
что они позволяют использовать
авто­матизированную
обработку данных. Однако у них есть и
существен­ный
недостаток: выбор ответов со стороны
респондента ограни­чен — поэтому при
использовании закрытых вопросов все
значи­мые
аспекты исследуемой проблемы обязательно
должны быть отражены
в предлагаемых респонденту вариантах
ответов.

Существуют два типа закрытых вопросов:

• альтернативный (дихотомический);

• с
  выборочным ответом (многовариантного
  выбора).

Альтернативный
вопрос предполагает выбор из двух
вариантов ответа (ответ типа «да» или
«нет»).

Открытые
вопросы
(табл. 3.4), в отличие от закрытых, не
содержат подсказок,
не «навязывают» тот или иной вариант,
а рассчита­ны
на получение неформализованных
(нестандартных) ответов. Обработка
результатов
в этом случае более сложна. Однако
постановка
открытых вопросов в ряде случаев
оказывается предпочтительной, так как
возможная находка неожиданного решения
в дан­ном
случае может сполна компенсировать
затраты.

Полузакрытые вопросы кроме
определенного числа вариантов ответов
содержат позицию «другое — укажите
какое» или «другие — укажите
какие». Это дает возможность респонденту
представить от­вет,
который не был предварительно предусмотрен
в анкете.

Таблица 3.4

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

• #
• #
• #
• #
• #
• #
• #
• #
• #
• #
• #

Критерии оценки по результатам индивидуального и фронтального опроса

по математике 

Отметка «5» ставится ученику, если он:

даёт правильные, осознанные ответы на все поставленные вопросы, может подтвердить правильность ответа предметно-практическими действиями, знает и умеет применять правила, умеет самостоятельно оперировать изученными математическими представлениями;

умеет самостоятельно, с минимальной помощью учителя, правильно решить задачу, объяснить ход решения;

умеет производить и объяснять устные и письменные вычисления;

правильно узнаёт и называет геометрические фигуры, их элементы,  положение фигур по отношению друг к другу на плоскости и в пространстве;

правильно выполняет работы по измерению и черчению с помощью измерительного и чертёжного инструментов, умеет объяснять последовательность работы.

Отметка «4» ставится ученику, если его ответ в основном соответствует требованиям, установленным для оценки «5», но:

при ответе ученик допускает отдельные неточности, оговорки, нуждается в дополнительных вопросах, помогающих ему уточнить ответ;

при вычислениях, в отдельных  случаях, нуждается в дополнительных промежуточных записях, назывании промежуточных результатов вслух, опоре на образы реальных предметов;

при решении задач нуждается в дополнительных вопросах учителя, помогающих анализу предложенной задачи, уточнению вопросов задачи, объяснению выбора действий;

с незначительной помощью учителя правильно узнаёт и называет геометрические фигуры, их элементы, положение фигур на плоскости, в пространстве, по отношению друг к другу;

выполняет работы по измерению и черчению с недостаточной точностью.

Все недочёты в работе ученик легко исправляет при незначительной помощи учителя, сосредоточивающего внимание ученики на существенных особенностях задания, приёмах его выполнения, способах объяснения. Если ученик в ходе ответа замечает и самостоятельно исправляет допущенные ошибки, то ему может быть поставлена оценка «5».

Отметка «3» ставится ученику, если он:

при незначительной помощи учителя или учащихся класса даёт правильные ответы на поставленные вопросы, формулирует правила, может их применять;

производит вычисления с опорой на различные виды счётного материала, но с соблюдением алгоритмов действий;

понимает и записывает после обсуждения решение задачи под руководством учителя;

узнаёт и называет геометрические фигуры, их элементы, положение фигур на плоскости и в пространстве со значительной помощью учителя, или учащихся, или с использованием записей и чертежей в тетрадях, учебниках, на таблицах, с помощью вопросов учителя;

правильно выполняет измерение и черчение после предварительного обсуждения последовательности работы, демонстрации приёмов её выполнения.

Критерии оценки письменных работ по математике 

Учитель проверяет и оценивает все письменные работы учащихся. При оценке письменных работ используются нормы оценок письменных контрольных работ, при этом учитывается уровень самостоятельности ученика, особенности его развития.

По своему содержанию контрольные работы могут быть либо однородными (только задачи, только примеры, только построение геометрических фигур и т.д.), либо комбинированными, —  это зависит от цели работы, класса и объёма проверяемого материала.

Объём контрольной работы должен быть таким, чтобы на её выполнение учащимся требовалось: во втором полугодии 1 класса 25-35 минут, во 2-3 классах 25-40 минут, в 4-9 классах 35-40 минут. Причём за указанное время учащиеся должны не только выполнить работу, но и успеть её проверить.

В комбинированную контрольную работу могут быть включены: 1 простая задача, или 1 составная, примеры в одно и несколько арифметических действий (в том числе и на порядок действий), математический диктант, сравнение чисел, математических выражений, вычислительные, измерительные задачи или другие геометрические задания.