Как составить педагогический тест

Наверняка вы сами хоть раз в жизни составляли тесты и уж точно неоднократно проходили разнообразное тестирование – от серьезного до совсем шуточного из серии «Какой ты овощ во время карантина?».

Очень часто, за неимением нужных знаний и подготовки, разработчики придумывают тесты, опираясь исключительно на свой опыт, интуицию и здравый смысл (за исключением «овоща на карантине»). Многие, приступая к разработке собственных тестов, поначалу думают: что тут может быть сложного? Составить вопросы, придумать к ним ответы — вот и вся недолга! Это очень глубокое заблуждение. Создание хорошего задания в тестовой форме – настоящее искусство. 

Существуют разработанные учеными методики составления тестовых заданий. В этой статье я хочу рассказать об одной из таких методик, которую используют в системе общего и профессионального образования. В частности, ее нередко применяем и мы в учебном центре «Сетевая Академия ЛАНИТ» для разработки проверочных тестов и систем аттестации сотрудников.

Источник

Вместо предисловия

Почему я решила, что вам это может пригодиться? Во-первых, потому что многим из вас – людям, совсем далеким от педагогики, приходится проводить разнообразные обучающие мероприятия, разрабатывать учебные курсы и т.п., а все это требует проверки усвоения учебного материала. А какой еще способ, кроме тестирования, способен проверить знания быстро, надежно и объективно?

Во-вторых, потому что использование педагогических тестов актуально не только для образования, но и для областей, весьма далеких от него. Тесты – очень полезный инструмент для решения многих задач: и для аттестации сотрудников, и для первичной проверки соответствия знаний и навыков соискателей вакансии, и для оценки степени информированности аудитории о какой-либо проблеме, и много для чего еще. 

Сразу оговорюсь, что эта статья в первую очередь рассчитана на людей, не имеющих большого опыта в составлении тестовых заданий. Ее цель – предоставить новичкам достаточный объем материала, который помог бы им научиться составлять качественные педагогические тесты разных видов.

Да простят меня «продвинутые» в вопросах тестовой теории читатели, речь пойдет о базовых сведениях. Хотя, как показывает практика, вспомнить основы тоже никогда не вредно. 

Методику, о которой пойдет речь, разработали ведущие отечественные специалисты в области тестологии: В. С. Аванесов, М. Б. Челышкова, А.Н. Майоров и другие. 

В качестве примеров приводятся тестовые задания из открытого банка заданий ЕГЭ, размещенного на официальном сайте ФГБНУ «Федеральный институт педагогических измерений», из книги М. Б. Челышковой «Теория и практика конструирования педагогических тестов», из книги В. С. Аванесова «Композиция тестовых заданий», а также задания, составленные автором статьи и преподавателями разных образовательных организаций.

Сначала немного теории

Говоря о тестах в разных сферах деятельности, подразумевают разное. Например, в вычислительной технике тест – это задача с известным решением, с помощью которой проверяется правильность работы системы, а в медицине тестом будет называться метод исследования, заключающийся в пробном воздействии на организм. В общем понимании, тест – это объективное и стандартизированное измерение, которое легко поддается количественной оценке, статистической обработке и анализу. 

В рамках наших целей нас интересует педагогический тест со своей спецификой. Это система тестовых заданий различной трудности, созданная для качественного и эффективного измерения структуры и качества подготовленности испытуемых. Тестовое задание является одним из элементов педагогического теста, включает в себя инструкцию, тестовую задачу и эталон ответа.

Преподаватели используют тесты, чтобы:

1. оценить исходные знания учащихся перед началом обучения и скорректировать план и содержание занятия; 
2. сделать срез знаний во время курса, чтобы вовремя внести изменения в процесс обучения, если слушатели недостаточно хорошо усваивают учебный материал;
3. проверить финальный результат обучения.

Наиболее часто используются закрытые тесты, в которых ответы уже есть, как в игре «Кто хочет стать миллионером?». Но встречаются и открытые тестовые задания, требующие самостоятельно сконструировать или дополнить ответ.

Итак, выполняя закрытые тесты, обычно надо:

• выбрать один или несколько ответов среди заданных вариантов;
• установить соответствие между элементами двух множеств; 
• установить правильный порядок действий или процессов, перечисленных автором теста.

Открытые тесты требуют:

• дополнить имеющийся ответ;
• полностью сконструировать ответ самостоятельно.

Какой материал следует включить в тест

Содержание теста зависит от того, какие цели вы перед собой ставите и зачем вам вообще нужен этот тест. Прежде всего, нужно самому себе ответить на вопрос, можно ли с помощью составленных вами заданий проверить подготовленность аудитории. 

Вот такое тестовое задание предложил своим ученикам преподаватель анатомии по теме «Скелет грудной клетки». Одна из целей занятия – знать количество ребер у человека. 

Инструкция

: Выберите один правильный ответ.
Количество ребер 

1. у мужчин больше, чем у женщин
2. у женщин больше, чем у мужчин
3. индивидуально у каждого человека
4. зависит от жизненных обстоятельств

Как вы понимаете, при помощи этого задания невозможно проверить, знают испытуемые, сколько у человека ребер или нет. Поэтому, строго говоря, нет смысла включать такой тест в материалы контроля. Отдельный разговор о качестве подобранных автором вариантов ответа. Особенно интересно влияние жизненных обстоятельств на количество ребер. Но правила подбора неправильных ответов (дистракторов) к тестовым заданиям мы рассмотрим позже.

Основные правила подбора материала для теста следующие:

1. Материал, заложенный в тест, должен соответствовать содержанию темы тестирования и программы учебного курса.
2. В тест включается только то содержание темы, которое является признанным, объективно истинным и поддается рациональной аргументации. Спорные точки зрения в тестовые задания включать не рекомендуется. Суть тестовых заданий заключается как раз в том, что они требуют четкого, заранее известного преподавателям ответа, признанного ими в процессе разработки заданий объективно истинным.
3. Уровень детализации содержания теста зависит от целей тестирования. Если вы планируете использовать тесты для сравнения уровня подготовки тестируемых в какой-то области (например, для конкурсного отбора соискателей вакансии или кандидатов на обучение), то уровень детализации материала должен быть низким. В заданиях такого теста достаточно отобразить только наиболее значимые элементы содержания.
4. Если же тесты предназначены для выяснения, насколько успешно испытуемый освоил учебный материал (курс, раздел, тему) и освоил ли он его вообще, то уровень детализации области содержания должен быть довольно подробным. Это позволит сделать вывод о знаниях каждого испытуемого, при необходимости аттестовать его, а также проанализировать, какой материал лучше или хуже освоили испытуемые.
5. Вместе с тем в тест необходимо включать те элементы содержания, которые можно отнести к наиболее важным, без которых знания по заявленной теме становятся несущественными. Нет смысла перегружать тест второстепенными деталями, не имеющими большого значения. 
6. Если с помощью тестовых заданий планируется оценивать знания по всему учебному курсу, следует равномерно включить в итоговый тест задания по всем изучаемым темам курса, убедившись в том, что они охватывают все самые важные аспекты предметной области и в правильной пропорции.

   Например, если вы составляете тесты по курсу «Microsoft Excel» и включаете в него задания, посвященные исключительно созданию сводных таблиц и диаграмм, то при помощи этих тестов вы явно не сможете полноценно оценить уровень знаний по всему курсу в целом. 

7. Не всякое содержание можно выразить в форме тестового задания, то есть тесты – не универсальная форма для проверки знаний. 

Сколько времени нужно выделить для тестирования

Сидеть над тестом невозможно бесконечно долго: начало и завершение тестирования должны быть фиксированными. К сожалению, довольно часто временной интервал для этого процесса выбирается спонтанно. И если ошибиться – дать слишком мало времени или слишком много, эффективность теста снизится.

Тестирование в спешке приведет к тому, что как «слабые», так и «сильные» испытуемые не успеют выполнить все задания, и мы не поймем – тестируемый не выполнил задание, поскольку не знал ответа, или вообще не успел к нему обратиться.

Если времени вагон и маленькая тележка, «сильные» испытуемые, успевшие быстро пройти тестирование, начинают отвлекать других, подсказывать ответы, что нарушает процедуру тестирования (мы не соблюдаем правило равных условий для всех испытуемых). 

Если человек проходит тестирование в одиночестве или тестируется онлайн, при избытке времени он будет долго сидеть над заданиями, не решаясь выбрать ответ. Это вызовет утомление, снижение концентрации внимания, расслабление, что также снижает точность тестирования.

Всегда нужно иметь в виду, что испытуемые устают. А значит, тестирование не должно занимать слишком много времени, что напрямую связано с объемом самого теста. Практика показывает, что объем осознанно воспринимаемой информации начинает существенно снижаться примерно через 40-45 минут с начала тестирования (Ким В. С. Тестирование учебных достижений. – Уссурийск, 2007, стр. 29-35). 

Общее время тестирования определяется количеством и сложностью заданий. Некоторые преподаватели используют, например, такие методики расчета времени тестирования: 

1. Время, затраченное преподавателем на выполнение составленного им теста, умножить на 3.
2. Суммировать время, необходимое для выполнения каждого задания:

   • задание закрытой формы с выбором одного правильного ответа – примерно 10 секунд;
   • задание более сложных форм – в среднем от 30 секунд до 1 минуты.

Однако бывает, что теоретически рассчитать время тестирования невозможно, поэтому рекомендуется использовать эмпирические данные по результатам первичной апробации теста.

Составление тестовых заданий закрытой формы 

А теперь давайте рассмотрим конкретные примеры и поймем, как составлять свои тесты. В фокусе нашего внимания – тестовые задания закрытой формы.

В таких тестовых заданиях выделяют следующие элементы:

• инструкцию (содержит общие требования к выполнению задания – рис. 1);
• основную часть (задание, постановка проблемы – рис. 2);
• варианты ответа (верный ответ(ы) и ответы-обманки – рис. 3).

Рекомендуется, чтобы задания в тесте представляли собой не вопросы, а утверждения, которые в зависимости от ответов могут превращаться в истинные или ложные высказывания. 

Среди готовых ответов правильным чаще всего бывает только один, хотя не исключаются и варианты с выбором нескольких правильных ответов.

Неправильные, но похожие на правильные (и поэтому правдоподобные) ответы называются дистракторами (от англ. distract – отвлекать). Они используются для отвлечения внимания от правильного ответа тех, кто либо совсем не знает правильный ответ, либо пытается угадать его во время тестирования. Сделать неправильные ответы правдоподобными – одна из самых сложных задач разработчика теста.

Отдельно от тестовых заданий в программу тестирования вводится эталон выполнения заданий и разрабатываются критерии оценки.

Если вы проводите тестирование по старинке, в письменном виде, то вам потребуется ответник, трафарет для проверки ответника и эталон выполнения тестового задания. 

Как оформить тестовые задания

Тестовое задание должно быть оформлено таким образом, чтобы облегчить тестируемому работу над ним. 

Существует несколько вариантов дизайна тестовых заданий закрытой формы, но все сходятся в одном: все элементы тестового задания тем или иным образом должны быть графически выделены.

Как написать инструкцию к тестам 

Инструкция – это общие требования к выполнению тестового задания. Она должна устранить все вопросы испытуемых об оформлении своих ответов. Кроме того, в тексте инструкции оговаривают специфику задания, например, указывают количество правильных ответов в тесте (один/несколько).

При написании инструкции используют стандартные формулировки. Формулировка инструкции зависит от формы тестового задания, количества правильных ответов и пр.

Для тестовых заданий с выбором одного правильного ответа в зависимости от способа проведения тестирования можно предложить следующие варианты инструкций.

• Выберите один правильный ответ.
• Внимательно прочитайте текст задания и выберите верный ответ из списка.
• Выпишите номер тестового задания и индекс правильного ответа. 
• Обведите кружком букву (номер) правильного ответа.
• Для ответа нажмите клавишу с буквой (номером) правильного ответа.

Иногда, по замыслу автора, при разработке задания закладываются несколько правильных ответов, среди которых есть более и менее предпочтительные. В этом случае задание может сопровождаться следующей инструкцией: «Выберите наиболее правильный ответ».

Для тестовых заданий с выбором нескольких правильных ответов в зависимости от способа проведения тестирования можно предложить следующие варианты инструкций.

• Выберите несколько правильных ответов.
• Выберите все правильные ответы.
• Отвечая на задание теста, нажимайте на клавиши с буквами (номерами) всех правильных ответов.

Для тестовых заданий на выбор неправильного ответа инструкция может быть такой: «Выберите неправильный ответ».

Для группы однотипных заданий допускается делать одну инструкцию, которая помещается в начале теста или данной группы заданий в тесте.

Как правильно сформулировать основную часть задания 

Эффективность и технологичность теста во многом зависят от того, насколько грамотно сформулированы задания. Если тестируемый не поймет смысл вопроса, ему придется отвечать наугад. А это уже минус к объективности конечного результата. Потому важно тщательно проработать каждое задание. Вот несколько рекомендаций.

1. Рекомендуется, чтобы задания в тесте были формулированы в форме утверждений, которые после ответов испытуемых естественным образом превратятся в истинные или ложные высказывания (рис. 1).

Если продолжить утверждение из основной части этого задания правильным ответом (в данном случае это вариант Б), получится истинное высказывание: Признаком протекания химической реакции между оксидом меди и водородом является изменение цвета. При «подстановке» неправильного ответа высказывание получится ложным. 

По мнению многих отечественных тестологов (В.С. Аванесова, М.Б. Челышковой, В.С. Кима и др.), смысл тестового утверждения улавливается всегда лучше, чем смысл вопроса, потому что в тестовых утверждениях нет ни одного лишнего слова и даже знака, в то время как вопрос требует ряда дополнительных слов и знаков для выражения требуемого смысла, значения и интонации. Вопросы и ответы на них иногда бывают столь неопределенными и многословными, что для выявления их истинности требуются большие затраты времени и сил, в то время как технологичная методика тестирования предполагает четкую и быструю дифференцируемость ответов.

Действительно, если трансформировать задание, составленное в форме вопроса, в логическое утверждение, мы увидим, что задание уж точно не стало хуже, а даже выиграло – стало более кратким, понятным, лаконичным. После выбора ответа такое утверждение превратится в законченное высказывание, истинность или ложность которого легко поддается пониманию и оценке. 

Пример 1. Задание в вопросительной форме:

Инструкция

: Выберите один правильный ответ.
С каким из названных событий связано окончание периода разрядки международной напряженности в 1970-е гг.?

1. начало Корейской войны
2. разрыв отношений с Югославией
3. конфликт с Китаем
4. ввод советских войск в Афганистан

То же задание в виде логического утверждения:

Окончание периода разрядки международной напряженности в 1970-е гг. связано c

1. началом Корейской войны
2. разрывом отношений с Югославией
3. конфликтом с Китаем
4. вводом советских войск в Афганистан

Пример 2. Задание в вопросительной форме:

Инструкция

: Выберите несколько правильных ответов.
Какие из перечисленных примеров относят к ароморфозам?

1. возникновение теплокровности у позвоночных
2. развитие трехкамерного сердца у земноводных
3. формирование торпедообразного тела у акул
4. развитие зародыша внутри матки
5. появление рогов у копытных
6. формирование крыльев у летучих мышей

То же задание в виде логического утверждения:

К ароморфозам относят

1. возникновение теплокровности у позвоночных
2. развитие трехкамерного сердца у земноводных
3. формирование торпедообразного тела у акул
4. развитие зародыша внутри матки
5. появление рогов у копытных
6. формирование крыльев у летучих мышей

Подобной трансформации легко поддается большинство заданий, сформулированных в вопросительной форме. Иногда возникают ситуации, когда, казалось бы, задание формулируется только в виде вопроса. Однако после тщательного анализа цели задания и его содержания все же удается подобрать утвердительную форму задания.

Конечно, утверждение об использовании в заданиях исключительно утвердительной формы не категорично. К тому же иногда встречаются задания, в которых вопросительная форма выглядит удобнее и короче. 

Вопросительная форма заданий по-прежнему используется при составлении тестов и в России, и за рубежом, и имеет много сторонников. Выбор остается за вами. Главное – не забывать, что выбранная вами форма задания должна быть максимально понятна для испытуемых.

Лично я являюсь сторонником формулировки заданий в виде утверждений, считаю эту форму наиболее удачной, использую только ее и ничего с собой поделать не могу.   

2. Текст задания должен содержать достаточную, недвусмысленную и релевантную информацию для ответа. 

3. Формулировка задания должна быть грамотной, согласованной с формой вариантов ответа (простите за капитанство).

4. Формулировка задания должна быть предельно лаконичной, но не в ущерб пониманию сути задания. Необходимо исключить повторы слов и, тем более, целых фраз. Чем лаконичнее задание, тем лучше оно воспринимается. 

5. Рекомендуется, чтобы основная часть задания состояла из одного предложения (не более 7-8 слов), а во всем задании было не более одного придаточного предложения. Эта рекомендация подходит, конечно, не ко всем случаям. Например, тестовое задание может представлять собой кейс/ситуационную задачу, тогда одним предложением точно не обойтись.

6. Если задание сформулировано в вопросительной форме, предпочтительнее применять прямые вопросы, представляющие собой полное предложение с вопросительным знаком в конце.

7. В основной части задания не должна присутствовать дополнительная информация, не существенная для поставленной проблемы.

8. Из текста задания нужно исключить все вербальные ассоциации, по которым можно догадаться о правильном ответе.

9. Стоит исключить из формулировки задания частицу «не». А если НЕ получается, ее надо выделить прописными буквами (как в этом предложении).

10. Исключаются задания, содержащие оценочные суждения тестируемого: «на ваш взгляд», «по вашему мнению», «что вы думаете…», «согласны ли вы с …», «как бы вы сформулировали…» и т.п. 

11. Рисунки, графики, схемы, используемые в задании, должны соответствовать тексту (рис. 2). И, конечно же, присутствие графических объектов в задании должно быть оправдано. Не стоит «добавлять картинку» просто для красоты. 

12. Элементы рисунка, графика, схемы рекомендуется обозначать по часовой стрелке (рис. 3).

13. В большинстве случаев варианты ответов замыкают задания (так было и в примерах выше), образуя завершенное истинное или ложное высказывание. Но иногда ответы приходится ставить в середине или за одно-два слова от конца содержательной основы задания теста. Тогда можно использовать такой вариант:

Инструкция

: Выберите один правильный ответ.
Невская битва произошла в … году.

1. 1198
2. 1240
3. 1242
4. 1245

14. Ответ на одно тестовое задание не должен служить ключом к правильным ответам на другие задания теста. Это нарушает условие локальной независимости заданий. В этом случае невозможно сделать корректный вывод о том,  знает ли испытуемый ответ на второе и последующие задания, или он не справился с ними потому что неправильно ответил на первый вопрос. 

Как подобрать дистракторы

К каждому тестовому заданию нужно подобрать правдоподобные неправильные варианты ответа (дистракторы). Это одна из самых сложных задач, стоящих перед составителем тестов. Перед вами основные рекомендации по подбору дистракторов: 

1. Все предложенные в задании дистракторы должны быть правдоподобными, теоретически вероятными.

Наиболее хороши дистракторы, подобранные на основе типичных ошибок, которые допускают тестируемые, или на основе распространенных заблуждений.

2. Все дистракторы к заданию должны быть одинаково привлекательными для тестируемых, не знающих правильного ответа.

Дистрактор, который никто не выбирает в качестве правильного ответа, обычно называют неработающим. Если в задании имеется хотя бы один неработающий дистрактор, удалите его, и вы сразу увидите реальное, а не формальное число ответов к заданию теста. 

Если все дистракторы в задании не работают, все испытуемые выполнят даже сложное задание верно, выбрав единственный правдоподобный ответ. Например, такое задание: 

Инструкция

: Выберите один правильный ответ.
Во вращении предплечья наружу участвует

1. двуглавая мышца плеча
2. двуглавая мышца бедра 
3. икроножная мышца
4. прямая мышца живота
5. собственно жевательная мышца

Даже не будучи знатоком данной предметной области, нетрудно догадаться, что мышцы, расположенные на нижней конечности, животе или черепе, не могут приводить в движение предплечье. Получается, что в тесте нет ни одного работающего дистрактора. Имеется всего один работающий вариант ответа, его и выберут испытуемые как единственно правильный. 

Вы спросите: «А что же здесь плохого»? Как мы писали выше, педагогические тесты создаются для объективной оценки структуры и качества знаний. А о какой объективной оценке можно говорить, если правильный ответ можно просто угадать, не имея совсем никакого представления о предмете? Конечно, если целью тестирования было узнать, отличает ли испытуемый живот или бедро от предплечья, то можно сказать, что все прошло успешно. Но все же перед тестами обычно ставятся более серьезные задачи.    

Если в предложенном задании мы заменим неработающие дистракторы на правдоподобные, теоретически вероятные (все перечисленные мышцы тем или иным образом двигают предплечье), справиться с ним так просто будет нельзя:

Во вращении предплечья наружу участвует

1. плечевая мышца
2. двуглавая мышца плеча
3. трехглавая мышца плеча
4. локтевая мышца
5. круглый пронатор

3. Дистракторы должны быть однородными, подобранными по общему (единому) основанию. 

Пример 1: Задание с однородными дистракторами

Инструкция

: Выберите один правильный ответ.
Телиоспоры возникают из

1. урединиоспор
2. эциоспор
3. базидиоспор
4. пикниоспор

Здесь все дистракторы подобраны по одному основанию, т.к. все они отвечают на вопрос «из чего?» и характеризуют то, из чего могут возникнуть телиоспоры.  

А в следующем задании дистракторы подобраны неудачно. 

Пример 2: Задание с неоднородными дистракторами

Инструкция

: Выберите несколько правильных ответов.
Телиоспоры возникают

1. из урединиоспор
2. из эциоспор
3. поздней осенью на том же мицелии, на котором летом формировались урединиоспоры
4. весной в результате слияния дикариона и последующего мейоза

В этом задании два первых ответа выбраны по одному основанию т.к. все они отвечают на вопрос «из чего?». Третий ответ подобран по другому основанию, поскольку соответствует вопросам «когда?» и «где?». 

Последний ответ не совпадает по основанию выбора ни с одним из предыдущих, он отвечает на вопросы «когда?» и «в результате чего?».

Самая частая причина появления в заданиях неоднородных дистракторов понятна – при невозможности подобрать нужное число дистракторов по одному основанию автор теста увеличивает их число, включая дополнительные, выбранные по другому основанию ответы. 

Иногда причиной является желание автора проверить с помощью одного задания как можно больше знаний испытуемых. Возможно, это оправдано спецификой предмета, однако некорректно с точки зрения требований тестовой технологии. 

Тестовое задание должно проверять один элемент знания. Если это не так, то становится неясным, с каким именно элементом знания тестируемый не справляется, в чем заключена причина невыполнения задания.

4. Все ответы должны быть параллельными по конструкции и грамматически согласованными с основной частью задания теста.

5. Все повторяющиеся в вариантах ответа слова (как в примере ниже) следует перенести в формулировку заданий.

Инструкция

: Выберите один правильный ответ.
Заштрихованная территория на карте России показывает районы

1. газовых месторождений
2. нефтяных месторождений
3. месторождений каменного угля
4. месторождений калийной соли

Вот что получится после небольшой правки этого примера:

Инструкция

: Выберите один правильный ответ.
Заштрихованная территория на карте России показывает районы месторождений

1. газовых
2. нефтяных
3. каменного угля
4. калийной соли

6. Рекомендуется использовать длинные задания и короткие ответы. В противоположном случае на прочтение и анализ ответов тратится слишком много времени.

7. Из числа неправильных исключаются ответы, вытекающие один из другого.

8. Ни один из дистракторов не должен быть частично правильным ответом, который при определенных условиях превратится в правильный ответ.

9. Ответы не должны отрицать смысл самого задания. «Почему? – спросите вы, – ведь так часто делают». Давайте разберемся на примере следующего задания:

Инструкция

: Выберите один правильный ответ.
PDF-файл можно преобразовать в документ Word, если на вкладке «Файл» выбрать команду

1. Открыть
2. Сохранить как 
3. Экспорт
4. PDF-файл нельзя преобразовать в документ Word

В этом примере четвертый ответ прямо противоречит основной части, утверждающей существование возможности преобразовать PDF-файл в документ Word. Налицо явная логическая ошибка. В задании же не спрашивается, можно ли преобразовать, а утверждается, что можно, а варианты ответов представляют собой перечисление способов преобразования.   

Если четвертый ответ – дистрактор, то в качестве правдоподобного ответа его вряд ли выберет хотя бы один тестируемый. Тогда этот ответ как неработающий дистрактор необходимо удалить из теста.

Если именно четвертый ответ является верным, все задание будет нерабочим, т.к. большинство тестируемых увидят логическую несообразность формулировок и пропустят задание, посчитав его ошибкой разработчика теста.

Если цель задания – выяснить, знает ли испытуемый, можно ли вообще преобразовать PDF-файл в документ Word или нет, лучше сформулировать вопрос по-другому, без нарушения логики: 

Преобразовать PDF-файл в документ Word

1. можно
2. нельзя

10. Не следует использовать в заданиях ответы типа «все вышеперечисленные», «ни один из вышеперечисленных» или, того хуже, – «все ответы неправильные» и «правильного ответа нет». Эта рекомендация, кстати, так же часто вызывает вопросы и несогласие аудитории, как и предыдущая. 

С точки зрения большинства тестологов, применение подобных ответов не оправдано по следующим причинам:

• повышение вероятности угадывания правильного ответа, так как чаще всего это будет неработающий дистрактор, добавленный составителем «для количества» при трудностях с подбором качественных дистракторов;
• нарушение логического закона исключенного третьего – если инструкция предписывает выбрать один верный ответ, то в задании он должен быть. Это придает однозначность замыслу самого задания и не допускает противоречивых толкований у испытуемых.

11. Не рекомендуется использовать слова «всегда», «никогда», «ни одного» и т.п., так как в отдельных случаях они способствуют угадыванию.

12. Частота выбора одного и того же номера места для правильного ответа в различных заданиях теста должна быть примерно одинакова или номер места для правильного ответа выбирается в случайном порядке.

13. Дистракторы из одного задания не используются в качестве ответов к другим заданиям теста.

14. Все ответы к одному заданию должны быть примерно одной длины. Если это трудновыполнимо, возможен вариант, когда в задании половина длинных ответов, половина коротких. Это нужно для того, чтобы исключить вероятность угадывания правильного ответа по признаку его полноты или краткости. Многие разработчики тестов грешат тем, что в их заданиях правильные ответы почти всегда или длиннее, или короче неправильных. Эта тенденция очень быстро «считывается» испытуемыми и делает общий результат теста необъективным. Следующая рекомендация имеет такое же обоснование.

15. Правильный ответ не должен быть длиннее других.

16. Дистракторы располагаются в логической последовательности: числа – по возрастанию, буквы – по алфавиту. Это удобнее при поиске тестируемым правильного ответа.

17. Количество дистракторов к заданию подбирается таким образом, чтобы задание не было слишком громоздким, но и чтобы исключить большую вероятность угадывания правильного ответа. Поэтому чаще всего в заданиях бывает три или четыре дистрактора и один правильный ответ.

В отдельных случаях, например, в заданиях с выбором нескольких правильных ответов, количество дистракторов может достигать шести–семи.

18. Число дистракторов и правильных ответов в разных заданиях может быть разным. Оно не должно быть одинаковым во всех заданиях теста.

Источник

По какому принципу придумывают тестовые задания

Из десяти принципов разработки тестовых заданий закрытой формы, которые выделяет В. С. Аванесов, предлагаю рассмотреть основные. Для наглядности будем это делать на примерах.

1. Принцип противоречия применяется при создании заданий с двумя вариантами ответов. Здесь один ответ отрицает другой. Например:

Инструкция

: Выберите один правильный ответ.
Поощрения в трудовую книжку

1. записываются
2. не записываются

2. Принцип противоположности ответов близок по смыслу к принципу противоречия, но при противоречии используется отрицание, а при противоположности один ответ заменяется другим, антонимичным по смыслу. Например:

Инструкция

: Выберите один правильный ответ.
С увеличением заряда ядра активность щелочных металлов

1. возрастает
2. убывает

Возможность промежуточных состояний при использовании принципа противоречия позволяет увеличить число ответов, например, до трех. Например:

Инструкция

: Выберите один правильный ответ.
При движении тягового органа конвейера реле скорости

1. включено
2. выключено
3. заблокировано

3. Тесты, основанные на принципе однородности, содержат ответы, относящиеся к одному роду, виду, или отображают основные стороны, грани явления. Например:

Инструкция

: Выберите один правильный ответ.
Основателем андрагогики как науки является

1. Ноулз
2. Джарвис
3. Холтон
4. Ушинский

Инструкция

: выберите несколько правильных ответов.
Буква «о» пишется в словах

1. пл_вец
2. пок_рить вершину
3. распол_гать 
4. осн_щенный
5. ум_лять значение

4. Принцип кумуляции означает, что второй ответ вбирает в себя (аккумулирует) содержание первого, третий – содержание второго и т.д.

Пример:

Инструкция

: Выберите один правильный ответ.
Чтобы задать движение точки естественным способом, надо знать

1. траекторию
2. траекторию и закон движения
3. траекторию, закон движения, начало отсчета
4. траекторию, закон движения, начало отсчета, скорость

Тестируемые, привыкшие давать полные и правильные ответы, выбирают обычно последний ответ в таких заданиях, ошибочно полагая, что он всегда самый правильный. Поэтому при разработке заданий по принципу кумуляции полезно иметь большую часть правильных ответов не на последнем месте. 

5. Принцип сочетания. Используется сочетание слов (знаков) по два или по три, реже четыре, в каждом ответе.

Пример 1: сочетание более или менее однородных и правдоподобных пар ответов

Инструкция

: Выберите один правильный ответ.
Ф. Шопен писал

1. оперы и симфонии
2. балеты и оратории
3. мазурки и ноктюрны

Пример 2: сочетание одного слова (понятия) с несколькими другими

Инструкция

: Выберите один правильный ответ.
НЕ имеют ядра клетки крови

1. эритроциты и лейкоциты
2. эритроциты и тромбоциты
3. эритроциты и лимфоциты
4. эритроциты и базофилы

Пример 3: сочетание ответов по правилу цепочки, когда последнее слово в первом ответе становится первым во втором ответе, последнее во втором – первым в третьем и т.д.)

Инструкция

: Выберите один правильный ответ.
Служебными частями речи являются

1. предлоги, союзы, частицы
2. частицы, союзы, местоимения
3. местоимения, частицы, предлоги

6. При использовании принципа градуирования ответы располагаются по возрастанию (увеличению) или по убыванию (уменьшению). Этот принцип применим для заданий с тремя и большим числом ответов. Например:

Инструкция

: Выберите один правильный ответ.
Растворимость газов при повышении температуры

1. увеличивается
2. остается без изменений
3. уменьшается

Согласно ч. 3 ст. 5.63 КоАП РФ, нарушение должностным лицом порядка или сроков рассмотрения жалобы влечет наложение административного штрафа в размере … рублей.

1. от трех тысяч до пяти тысяч 
2. от пяти тысяч до десяти тысяч 
3. от десяти тысяч до пятнадцати тысяч 
4. от двадцати тысяч до тридцати тысяч 

7. Принцип формулирования заданий с ответами, правильными в различной мере, требует изменения инструкции, содержания задания и логики подбора ответов.

Инструкция, как мы уже говорили, обычно пишется так: Выберите наиболее правильный ответ.

Задача таких заданий – проверить сопоставительные знания, а ответы формулируются так, чтобы был реальный выбор между ответами, правильными в разной степени. Например:

Инструкция

: Выберите наиболее правильный ответ.
Зигота – это

1. одна яйцеклетка
2. оплодотворенная яйцеклетка
3. диплоидная клетка, образующаяся в результате оплодотворения
4. одноклеточная стадия развития многоклеточного организма млекопитающих

В этом задании наиболее правильным считается третий ответ (он наиболее емко и точно описывает все характеристики зиготы), следующий по степени правильности – второй ответ (он содержит совершенно правильное, но менее полное определение зиготы), затем четвертый (потому что зиготы образуются не только у млекопитающих). На последнем месте по степени правильности находится первый ответ – он самый неполный, ведь одной яйцеклетки для образования зиготы явно недостаточно.

Задания на выбор наиболее правильного ответа разрабатывать довольно сложно: наиболее правильный ответ далеко не всегда должен быть самым полным. В противном случае тестируемый при выполнении задания будет выбирать правильный ответ только по признаку полноты. 

Составили тест? Не поленитесь и пройдите по этому чек-листу.

Проверка качества тестовых заданий

• Соответствует ли задание целям тестирования?
• Все высказывания логичны?
• Все формулировки однозначны и лаконичны?
• Технологичен ли тест? (Задания становятся технологичными, если их содержание точно и быстро понимается испытуемыми, и если форма заданий способствует процессу компьютеризации тестирования)
• Правильно ли выбрана форма задания?
• Содержание корректно?
• Правила оценки ответов разработаны заранее и соответствуют форме теста?
• Правильно ли расположены элементы задания?
• Инструкции одинаковы для всех тестируемых?
• Инструкция соответствует форме и содержанию задания?

В этой статье мы обсудили основные аспекты составления тестовых заданий закрытой формы с одним или несколькими правильными ответами. Благодарю вас за внимание и терпение и надеюсь, что эта статья будет полезной для вас. 

Если вы считаете, что стоит продолжить цикл подобных статей и поговорить о методике составления тестовых заданий других видов, напишите, пожалуйста, об этом в комментариях. А если вам нужны готовые инструменты оценки качества обучения, обращайтесь к нам в «Сетевую Академию ЛАНИТ». Будем рады помочь.

Технология разработки педагогических тестов                                          

(методические рекомендации для педагогов СГКСТД)

Самара 2012

Костина А.А. Методические рекомендации по технологии разработки педагогических тестов для оценки уровня обученности студентов СПО.

Самара, ГБОУ СПО СГК СТД, 2012, 45

Методические рекомендации составлены на основе книги заведующего кафедрой качества образования Федерального института развития образования, к.п.н., профессора

 В.Ю. Переверзева «Технология разработки тестовых заданий: справочное руководство»

Рецензент:

       Рекомендовано к изданию Методическим советом Самарского государственного  колледжа сервисных технологий и дизайна.

© Самарский государственный колледж сервисных технологий и дизайна

Содержание

1. Педагогические тесты………………………………………	4
1.1. Понятие педагогического теста…………………….	4
1.2. Этапы разработки педагогического теста……………	6
2. Тестовые задания……………………………………………	12
2.1. Понятие  тестового задания…………………………	12
2.2. Классификация тестовых заданий…………………	12
2.3. Критерии качества и эффективности тестовых заданий	13
2.4. Понятие валидности педагогического теста………	13
2.5. Принципы отбора содержания тестовых заданий……	14
2.6. Использование таксономии Блума и ее модификаций для разработки тестовых заданий……………	16
2.7. Создание спецификации содержания теста………	18
3. Технология создания тестов различных форм…………..	19
3.1. Технология создания заданий с выбором ответа (закрытой формы)……………………………………………	19
3.1.1. Достоинства и недостатки заданий с выбором ответа	19
3.1.2. Основные правила правописания и оформления тестовых задания с выбором варианта ответов………………..	19
3.1.3. Правила составления дополнительных инструкций к заданию………………………………………………………….	21
3.1.4. Правила составления вариантов ответов……………	22
3.1.5. Правила создания правдоподобных и эффективных дистракторов……………………………………………………	23
3.1.6. Оценка времени на выполнение задания………………	23
3.1.7. Рекомендации для создания заданий с выбором ответа………………………………………………………………	24
3.2. Модификация заданий с выбором ответа………………….	31
3.2.1. Задания типа «верно-неверно», «да-нет»……………	31
3.2.2. Блоки заданий с множеством выбором расширенного формата…………………………………………..	32
3.3. Задания открытой формы……………………………………	33
3.4. Задания на установление соответствия…………………….	34
3.5. Задания на установление правильной последовательности	36
Приложение. Словарь специальных терминов по тестовой теории и технологии разработки тестовых заданий…………..	37

1. Педагогические тесты

1.1. Понятие педагогического теста

 Наиболее распространенное в отечественной тестологии определение педагогического теста принадлежит B.C. Аванесову: «Педагогический тест — это система заданий возрастающей трудности специфической формы, позволяющая качественно оценить структуру и эффективно измерить уровень знаний, умений и навыков учащихся». Необходимо сделать некоторые пояснения, к вышеприведенному определению. По форме тест представляет собой систему заданий. Тестовые задания обычно бывают краткими, так чтобы на выполнение каждого не тратилось бы много времени. Это является одним из факторов эффективности применения тестов в педагогическом контроле. Нельзя не согласиться с B.C. Аванесовым, что не всякое задание включается в тест. Оно должно быть строго определенным по форме, содержанию и специальным параметрам — показателям качества, оцениваемым в ходе экспертного и статистического анализа. Свойства заданий обуславливают качество всего теста. Хорошие, валидные, эффективные задания определяют основные качественные характеристики всего педагогического теста. Поэтому и говорят, что педагогический тест представляет собой не просто набор, а систему заданий.

Педагогический тест рассматривается именно как система, как упорядоченное множество из тестовых заданий. Задания — это те элементы, «кирпичики», из которых составляется педагогический тест. Заметим, что данное достаточно емкое и точное определение можно дополнить утверждением, сводящимся к тому, что педагогический тест отличается от других методов контроля функциональной независимостью от субъекта процесса обучения — преподавателя. Другими словами, сама процедура тестирования не обязательно требует присутствие преподавателя в группе испытуемых и может проводиться в автоматизированном (компьютерном) формате.

Таким образом, суммируя вышесказанное, можно предложить следующее определение: «Педагогический тест — это система заданий специфической формы, позволяющая объективно и функционально независимо от преподавателя измерить уровень образовательных достижений обучаемых, совокупность их представлений, знаний, умений и навыков на той или иной области содержания».^[1]

Педагогические тесты в системе среднего и высшего профессионального образования подразделяются на вступительные (входные), текущие, тематические, а также на тесты промежуточной (рубежной) и итоговой аттестации.

 Педагогические тесты по своему содержанию различаются на гомогенные и гетерогенные.

Гомогенный педагогический тест основывается на содержании какой-либо одной дисциплины. При его разработке авторы должны четко отслеживать, чтобы каждое задание не выходило по своему содержанию за рамки данной дисциплины. Гомогенный тест может быть как нормативно-ориентированным, так и критериально-ориентированным, в зависимости от цели его создания. Такой тип педагогического теста наиболее распространен в учебном процессе.

Гетерогенный педагогический тест основывается на содержании нескольких дисциплин. Гетерогенный педагогический тест является по своему существу междисциплинарным. В большинстве случаев каждое задание гетерогенного теста включает в себя элементы содержания нескольких дисциплин. При его разработке авторы должны представлять себе цели его создания и быть компетентными во многих дисциплинах.

Педагогические тесты классифицируются по методологии интерпретации результатов тестирования на нормативно-ориентированные и критериально-ориентированные.

Нормативно-ориентированный педагогический тест (по-английски norm-referenced test) позволяет сравнивать учебные достижения (уровень подготовки, уровень профессиональных знаний и умений) отдельных испытуемых друг с другом. Нормативно-ориентированные педагогические гесты используются для получения надежных и нормально распределенных баллов для сравнения испытуемых.  

Критериально-ориентированный педагогический тест (по-английски criterion-referenced test) позволяет оценивать, в какой степени испытуемые овладели необходимым учебным материалом. Критериально-ориентированные педагогические тесты применяются для интерпретации результатов тестирования в соответствии уровнем обученности испытуемых на определенной области содержания.

Выделяют два основных вида критериально-ориентированных тестов, отличающихся друг от друга по ряду характеристик: domain-referenced test, предназначенный для оценки доли от полного объема учебного материала, которую усвоил испытуемый, и mastery tests, то есть «тесты на мастерство» или «квалификационные тесты», применяемые для определения в группе испытуемых квалифицированных и неквалифицированных (masters and nonmasters) в какой-то области. Установившейся терминологии для этих видов тестов на русском языке пока не существует.

Существенное значение приобретает использование критериально-ориентированных тестов для текущей, промежуточной и итоговой аттестации студентов.

По формату предъявления педагогические тесты различаются на бланковые, когда испытуемому предоставляется распечатка теста на бумаге, и на компьютерные, когда студент должен отвечать на задания работая на компьютере.

Педагогические тесты можно различать по масштабу применения на классные (авторские), академические (для учебного контроля в образовательном учреждении), отраслевые (для профессиональной аттестации кадров), национальные и международные.

1.2. Этапы разработки педагогического теста

Этап 1. Определите области содержания, измеряемых интелектуальных умений и основных целей тестирования. Анализ содержания учебной дисциплины и отбор содержания для теста Первоначально организаторам и разработчикам теста следует ответить на основные и самые важные вопросы. Для измерения чего предназначен тест, то есть, какова область содержания, основные измеряемые интеллектуальные умения и цели тестирования? Кто будет тестироваться, то есть, какая специфическая выборка экзаменующихся будет участвовать в тестировании? Кто будет пользователем результатов тестирования и для каких целей им нужна измерительная информация, то есть, кто реально заинтересован в получении результатов по данному тестированию и какую информацию нужно предоставить пользователям?

Тщательное определение всех данных аспектов, целей тестирования, для которых будет разрабатываться тест, совершенно необходимы даже тогда, когда область содержания точно определена. Гораздо более тщательную детализацию подробностей в целях тестирования необходимо провести в итоговых тестах по контролю за академической подготовленностью студентов, где могут быть существовать значительные теоретические расхождения среди экспертов-составителей заданий по самим основам содержания.

Окончательная, четкая детализация и формализация того, для чего тест предназначен, и что именно будет измерять тестирование, необходима и для оценки валидности самого теста.

Этап 2. Определение практических ограничений и выбор подходов к процессу разработки. Создание спецификации теста и спецификаций тестовых заданий.

Основное практическое ограничение, стоящее перед организаторами и разработчиками теста, — это материальные и временные ресурсы, которые находятся в их распоряжении. В случае массового педагогического тестирования необходимо проверить большое количество экзаменующихся по значительному количеству дисциплин, но время разработки теста, время тестирования и время интерпретации всегда ограничено. Ограничены также ресурсы и затраты на составление тестов.

Если на предыдущем этапе были адекватно определены все детали, то создание спецификации теста не должно вызывать больших трудностей. Полная спецификация педагогического теста определяет область содержания (по темам, разделам и пр.), формулирует интеллектуальные умения и количество тестовых заданий для каждого элемента спецификации. Спецификация теста может составляться как в линейной, так и в матричной (в виде таблицы) формах. Можно предложить следующую схему выполнения этого этапа:

1. Определение специфической области содержания и использованные источники информации. Типичные источники информации о содержании — это образовательный стандарт, программы по предмету, основные учебники и научно-методические пособия и другие учебные материалы. Другие источники информации — это мнение специалистов по содержанию дисциплин, профессорско-преподавательского состава, ученых-педагогов, методистов. Задача организаторов и составителей теста, это собрать воедино всю полученную информацию и составить точный и определенный образец спецификации теста.

2. Необходимо определить количество частей (секций) в тесте, предварительное количество тестовых заданий в каждой части и время тестирования. Предусмотреть в пробном тестировании специальные исследования для определения точного времени тестирования и точного количество тестовых заданий — длины теста. Естественно, когда новые тестовые задания, или их новые типы применяются в тесте, желательно проведение пробного тестирования для исследования того, как экзаменующиеся отвечают на эти задания и за какое время. В зависимости от опыта авторов тестовых заданий, каждый тип тестовых заданий, который используется в пробном гесте, должен быть составлен в количестве в три раза большем, чем необходимо для окончательного теста, и желательно, чтобы все эти тестовые (часто их называют претестовые задания) были включены в пробное тестирование или в пробный банк тестовых заданий.

1. Для бланкового формата предъявления необходимо определить количество вариантов теста для тиражирования и их технические характеристики — бумагу, количество страниц и т.д.
2. Определить количество сопроводительных к тесту документов, таких как ответные листы, инструкции для проведения тестирования, справочники и таблицы для пользователей теста и технические отчеты, административные отчеты о результатах тестирования и т.д.
3. Необходимо определить типы тестовых заданий и спецификациюкаждого типа тестового задания.
4. Установить предварительные технические характеристики и другиекритерии теста.  Например, распределение значения уровней трудности заданий, критериальные баллы  (или стандарты оценивания) для критериально -ориентированных тестов и др.
5. Необходимо определить количество параллельных вариантов для пробного и реального тестирования и процедуру отбора тестовых заданий их банка.
6. Определить процедуру стандартизации (если она предусмотрена) и определение норм и шкал, используемых для данного теста. Установить процедуру шкалирования и нормирования.
7. Определить основные модели статистических исследований по надежности и валидности теста, и других параметров теста и тестовых заданий.

Этап 3. Составление тестовых заданий.

Составление эффективных, валидных (часто употребляют термин конгруэнтных) тестовых заданий — это вторая по важности процедура после составления адекватной спецификации самой области содержания и целей тестирования. Даже тщательно отредактированные тестовые задания могут оказаться неудовлетворительными, и естественно, что качество банка тестовых заданий может установить ограничение и на качество окончательных вариантов теста. Экспертный анализ тестовых заданий не может быть единственным средством определения дефектов в самих заданиях. Необходимо проведение эмпирических статистических исследований на основе пробного тестирования и, если это необходимо, составление новых тестовых заданий.

Этап 4. Анализ заданий экспертами для оценки конгруэнтности заданий области содержания и целям тестирования. Подготовка материалов для пробного тестирования.

После составления множества тестовых заданий разработчикам необходимо провести экспертную проверку их качества. Каждому эксперту предлагается оценить степень конгруэнтности каждого задания области содержания и целям тестирования. От этого этапа напрямую зависит одна из важнейших характеристик теста — содержательная валидность.

После выбора подходящих заданий из банка разработчики составляют тест (или несколько его параллельных вариантов) для пробного тестирования.

Этап 5. Проведение пробного (апробированного) тестирования и анализ его результатов.

Одна из основных проблем при проведении пробного тестирования — это отсутствие мотивации у экзаменующихся (при условии, что они знают о том, что данное тестирование является пробным). Необходимо приложить определенные усилия, чтобы адекватная мотивация студентов в пробном тестировании была достигнута. Если этого не будет сделано, то информация, полученная в процессе пробного тестирования, не будет точной, адекватной. Одним из альтернативных решений этой проблемы является включение пробных (претестовых) заданий в уже существующий тест.

Параллельные варианты пробного теста должны быть достаточно большими, то есть содержать достаточное количество заданий, чтобы обепечить приемлемую надежность данных тестирования и представлять ионный диапазон возможностей теста в измерении данного содержания. Выборка студентов должна быть статистически гетерогенной и адекватно представлять все группы студентов по полу, возрасту, регионам и т.д. Анализ тестовых заданий чрезвычайно существенен, для того, чтобы найти скрытые дефекты в тестовых заданиях, удостовериться в их эффективности. Эффективные, хорошо работающие тестовые задания, скорее всего могут составлять половину или даже менее половины от всего банка претестовых заданий, используемых в пробном тестировании. Персонал, который проводит пробное тестирование (обычно это преподаватели или учебно-вспомогательный персонал), должен записать время тестирования, сколько студентов закончило до окончания времени тестирования и прокомментировать условия проведения тестирования. Как показывает опыт, во время тестирования персонал может заметить значительные недоработки во всем тесте или определенную проблему с каким-либо тестовым заданием.

Этап 6. Выбор критериального балла (критериев или стандартов оценивания) экспертными и (или) эмпирическими методами.

Для итогового критериально-ориентированного теста выбор стандарта оценивания «удовлетворительно» — «неудовлетворительно», или стандартов оценивания в традиционной шкале «неудовлетворительно- удовлетворительно — хорошо — отлично» является чрезвычайно важным этапом разработки теста. В конечном итоге правильно выбранный стандарт оценивания определяет критериальную валидность теста. Для экспертного выбора стандарта можно использовать модифицированный метод Агноффа (который неоднократно применял автор), согласно которому каждому эксперту предлагается количественно оценить вероятность выполнения каждого тестового задания минимально подготовленным студентом. Суммируя эти вероятности можно получить приблизительное значения стандарта оценивания «удовлетворительно» — «неудовлетворительно». Эмпирический выбор стандарта оценивания рекомендуется проводить методом «контрастных групп»^[2].

2. Тестовые задания

2.1. Понятие  тестового задания

Тестовое задание — минимальная содержательно законченная единица педагогического измерения, имеющая основу, в которой формулирована проблема (задача), и предписанный порядок для ответа. Цель тестового задания — получить ответ от испытуемого, на основе которого может быть сделан вывод о его знаниях, интеллектуальных умениях, способностях, представлениях, навыках на определенной области содержания.

2.2. Классификация тестовых заданий

В трудах зарубежных и отечественных тестологов выделены основные формы тестовых заданий для педагогических тестов, а именно:

1. Задание с выбором ответа (у некоторых авторов — задание закрытой формы, в англо-американской литературе установился термин «multiplechoice item — задания с множественным выбором») — форма тестового задания, при которой испытуемый должен выбрать правильный ответ из нескольких предлагаемых вариантов.
2. Задание открытой формы (в англо-американской литературе существуют термины «free-response item , open-response item , limited-responseitem» и др.) — форма тестового задания, при которой испытуемый должен предоставить правильный ответ, например, дополнить основной текст таким элементом, чтобы получилось истинное высказывание.
3. Задание на установление соответствия (англ. — matching item) — форма задания, в котором испытуемому предлагается установить соответствие между элементами двух списков (двух множеств).
4. Задание на установление правильной последовательности (англ. -sequences) — форма задания, в котором испытуемому требуется установить правильную последовательность элементов, действий, операций и т.д.

Критерии качества тестовых заданий

Цели и задачи педагогического теста как аттестационной процедуры диктуют автору тестовых заданий ряд направляющих принципов.

Наиболее важный критерий конструирования эффективных тестовых заданий заключается в следующем: должна быть высокая степень соответствия между конкретным заданием и ключевой целью всего педагогического теста. Проще говоря, главный вопрос формулируется так: «Как хорошо данное тестовое задание соответствует предназначенной цели всего теста?»

2.3. Критерии качества и эффективности тестовых заданий

• Тестовые задания должны быть конгруэнтны (должны соответствовать) ключевой цели тестирования. Ключевая цель тестирования должна быть ясно и четко определена и сформулирована.
• Автор должен минимизировать вклад, который тестовые задания могут внести в общую ошибку педагогического измерения.
• Форма тестовых заданий должна соответствовать целям тестирования.
• Должны быть выполнены технологические условия создания тестовых заданий: -одномерность шкалирования; — локальная независимость; -дифференцирующая способность.
• Тестовые задания должны отвечать общему стилю и стандартам редактирования.

2.4. Понятие валидности педагогического теста

Валидность педагогического теста — важнейший критерий его качества. Педагогический тест называется валидным (от англ. validity — значимость, обоснованность, пригодность, аргументированность, действительность, вескость, мотивированность, доказанность достоверность, истинность; справедливость, адекватность, обоснованность, общезначимость, правильность, применимость), если доказана   адекватная оценка степени соответствия структуры системы тестирования ее конечным целям, т.е. тест измеряет то, для чего он предназначен.

Содержательная валидность (content validity) —  применяется по отношению ко всем педагогическим тестам. Если пользователь теста может доказать, что тест адекватно отражает все основные аспекты исследуемой области содержания, то можно утверждать, что он обладает содержательной валидностью.

Критериальная валидность — степень соответствия между результатами тестирования и внешним, не относящимся к тесту критерием.

2.5. Принципы отбора содержания тестовых заданий

Рассмотрим  основополагающие принципы отбора содержания тестовых заданий для педагогических тестов.

Принцип конгруэнтности заключается в соответствии содержания педагогического теста (в особенности критериально-ориентированного) содержанию учебной дисциплины. Однако, содержание теста всегда значительно уже объема содержания дисциплины из-за невозможности включения всех разделов измеряемой области содержания. С другой стороны, чем вышее содержание теста, тем выше его содержательная валидность, тем больше обоснованность и значимость результатов тестирования и тем больше уверенность пользователей теста в качественной оценке знаний испытуемых. Необходима также уверенность в том, что задания теста охватывают все важные аспекты области содержания и в правильной пропорции.

Принцип значимости отражает необходимость включения в тесты только тех знаний, которые являются наиболее важными, значимыми, базовыми, которые выражают сущность, содержание, законы и закономерности рассматриваемых явлений.

Принцип научной достоверности заключается в том, что в тесты включается такое содержание учебной дисциплины, которое является истинным, научно обоснованным, достоверным. Все спорные точки зрения, вполне нормальные в науке, следует исключить из тестовых заданий для педагогических измерений.

Принцип соответствия содержания теста уровню современного состояния научного знания вытекает из естественной необходимости готовить специалистов и проверять их знания и умения на современном материале. Однако, трудность реализации этого принципа заключается в некоторой временной задержке связи содержания теста с уровнем развития науки и с содержанием учебной дисциплины. Преодолеть эту трудность можно только постоянным совершенствованием теста и постоянным расширением банка новых тестовых заданий.

Принцип репрезентативности заключается в наиболее точном отражении необходимого знания в тестовых заданиях. Репрезентативность не означает обязательного включения в тест всех значимых элементов содержания. Ведь многие из них явно связаны между собой в общей структуре знаний, включены один в другой полностью или частично. Кроме того, много элементов в структуре знаний иерархически соподчинены.

Принцип вариативности содержания. Содержание теста не может оставаться неизменным и независимым от развития науки, научно — технического прогресса, от нового содержания учебной дисциплины и от новых учебников. По мере изменения содержания учебной дисциплины должно варьироваться и содержание теста.

Принцип возрастающей трудности тестовых заданий означает, что каждый учебный элемент в процессе контроля обладает некоторой усредненной для студентов мерой трудности, на которую и ориентируются преподаватели. Практически все учебники и пособия построены по принципу возрастающей трудности. В таких учебных дисциплинах, как логика, математика, иностранные языки, статистика, философия, и др., значение последующих элементов курса жестко привязано к знанию предыдущих учебных элементов. Поэтому изучать такие дисциплины можно только с само го начала, и без пробелов. Трудному содержанию обычно соответствуют и трудные задания. Студент, правильно отвечающий на трудные задания, с большой вероятностью отвечает правильно и на легкие задания.

Принцип  системности,  комплексности и сбалансированности теста  указывает на подбор такого содержания тестовых заданий, который отвечал бы требованиям системности знаний. Помимо подбора заданий с системным содержанием, важно иметь задания, связанные между собой общей структурой знаний, а также задания, комплексно отображающие основные, если не все, темы учебной дисциплины. Кроме того, нужно сбалансировано отобразить в тесте основной теоретический материал — понятия, законы и закономерности, гипотезы, факты, структурные компоненты теории с методами научной и практической деятельности, с умениями эффективно решать типовые профессиональные задачи.

Принцип взаимосвязи содержания и формы. Педагогический тест можно охарактеризовать как результат взаимовлияния содержания заданий с наиболее подходящей формой. Уже на стадии замысла содержание задания начинает обретать свою форму. Однако, не всякое содержание поддается представлению в форме тестового задания. Доказательства, обширные вычисления, многословные описания весьма сложно (а порой невозможно) выразить в тестовой форме.

Кроме того, содержание теста должно отвечать логическим и семантическим требованиям и нормам.

2.6. Использование таксономии Блума и ее модификаций

для разработки тестовых заданий

Таксономия Блума, вероятно, — наиболее широко используемая схема индентификации уровней познавательных   процессов (в литературе употребляется также термин «когнитивные процессы») при создании педагогических тестов. В различных модифицированных версиях она применяется во многих широко распространенных  массовых педагогических тестах. В (отечественной практике педагогического тестирования в том или ином виде таксономия Блума также используется разработчиками тестов, однако, иногда они сами этого не осознают. Оригинальная работа Блума по описанию и классификации умственных процессов получила широкое признание и с успехом применяется в педагогических измерениях во всем мире.^[3]

Таксономия (или систематизация и классификация) целей обучения Блума позволяет сформулировать список из нескольких познавательных категорий, типично измеряемых в педагогических тестах. Эти категории внесены в иерархический список в Таблице. Они включают: Знание, Понимание, Применение, Анализ, Синтез и Оценку. Если все эти категории (или часть из них) — целевые результаты обучения, то тесты для измерения этих категорий должны включать оценку этих категорий.

Таблица 2.6.1

Уровни познавательных процессов (когнитивных уровней) по Блуму и примеры их использования для педагогических измерений

Познавательный уровень (категория)	Познавательный процесс (интеллектуальное умение)	Ключевые слова (глаголы, вопросы) для использования в основе тестовых заданий
Знание	Узнавание   фактов,   терминов, условий, понятий определений, принципов	Определите,       перечислите, идентифицируйте,   назовите. кто? когда? где? какой (что)?
Понимание	Объяснение,     интерпретация знакомого учебного материала	Объясните,        предскажите интерпретируйте,   выведите, суммируйте,     преобразуйте, переведите,   дайте    пример, вычислите, перескажите
Применение	Использование   понятий или   принципов,   чтобы решить проблему (задачу)  в знакомых  и  конкретных ситуациях	Примените, решите, покажите,   используйте,   измените, продемонстрируйте,    вычислите
Анализ	Деструктурирование системы    на ее составляющие части для выявление отношений и   иерархии, организация связи между частями	Дифференцируйте, сравните отличите, свяжите с, почему?
Синтез	Создание чего-то нового или оригинального из составляющих частей (элементов)	Спроектируйте, сконструируйте, разрвбтайте, сформулируйте, вообразите, создайте, измените так, чтобы…, напишите эссе (короткое сочинение)
Оценка	Формирование      суждения, основанного на предустановленном    наборе критериев	Спроектируйте, сконструируйте, разработайте, сформулируйте, вообразите, создайте, измените так, чтобы… Что было бы лучше?

2.7. Создание спецификации содержания теста

Тесты должны фактически базироваться на целях обучения вместо того, чтобы просто повторять образцы содержания обучения. Адекватность педагогического измерения происходит с помощью тестовых заданий, ясно отражающих сформулированную учебную цель. Этот аспект остается главным при определении содержания тестовых заданий.

Спецификации тестовых заданий обычно предназначаются в качестве внутреннего рабочего документа для разработчиков теста. Они не предназначены для экзаменующихся или для пользователей теста. Спецификации тестовых заданий предназначены, прежде всего, для авторов заданий, Чтобы их работа была сосредоточена в том направлении, который отражает намерения разработчика теста. (Таблица 2.7.1)

Таблица 2.7.1

Матричная спецификация для банка  тестовых заданий

Раздел содержания	Категории целей тестирования
знание	понимание	применение	анализ	синтез	оценка	Общее количество %
1.
2.
3.
4.
Общее количество заданий %							100

3. Технология создания тестов различных форм

3.1. Технология создания заданий с выбором ответа (закрытой формы)

3.1.1. Достоинства и недостатки заданий с выбором ответа

Достоинства заданий с выбором ответа:

1. Универсальность в измерении всех уровней познавательных процессов (интеллектуальных умений).
2. Позволяют осуществить широкий выбор содержания и целей измерения (высокая валидность измерения).

1. Обеспечивают очень надежные результаты тестирования.
2. Возможность частичной автоматизации подсчета результатов тестирования в бланковом формате и полной автоматизации при компьютерном формате предъявления

Недостатки заданий с выбором ответа:

1. Технология разработки требует высокой квалификации автора и отнимает иного времени.
2. Вероятность случайного угадывания правильного ответа.

3.1.2. Основные правила правописания и оформления

тестовых задания с выбором варианта ответов

1.Основу задания следует выделять одинаковым способом для всех заданий в данном тесте (например, полужирным шрифтом). Испытуемые должны запомнить стандарт оформления заданий и легко его воспринимать в процессе тестирования.

2. Если основа задания – законченное предложение, то в ее конце ставится точка, а если основа имеет вопросительную форму, то, соответственна   и конце ставится вопросительный знак.

3. Каждый вариант ответа идентифицируется (кодируется) одинаково для всего теста. Для бланкового формата тестирования кодировка применяется либо цифровая- 1), 2), 3), …, либо буквенная — А), Б), В), … и сопровождается   круглой скобкой (точка нежелательна). Хороший способ кодирования латинскими буквами, например, А), В), С), D). Для компьютерного формата видимая кодировка может и не использоваться.

4. При использовании законченного предложения или   вопроса  в основе задания, все варианты ответа должны начинаться с заглавной буквы.

5. Если основа задания незаконченное предложение или требующее внутреннего завершения (с пропусками), то все ответы начинаются со строчных букв.

6. Варианты ответов не должны заканчиваться точкой или каким-либо другим знаком препинания.

7. Негативные формулировки в основе задания следует особенным образом выделять, например, подчеркиванием, курсивом и т.п.( «не является…», «не отвечает…»).

Пример 1. Основа задания – законченное предложение или вопрос.

Укажите собирательное имя числительное.

А) Втроем

В) Тройка

С) Трое

D) Три

Какой вид изменчивости является материалом для естественного отбора?

1. Наследственная
2. Групповая
3. Модификационная
4. Комбинативная

Пример 2. Основа задания – незаконченное предложение.

Из энтодермы образуются

А) легкие

Б) волосы, перья, чешуя

В) мышцы

Г) кости

Пример 3. Основа задания требует внутреннего заполнения (задания с пропусками частей предложения)

The examination was___________than we expected.

1. easier
2. easy
3. easiest
4. easer

Пример 4. Задания на исключения

По существующему законодательству в РФ могут быть приватизированы все предприятия , кроме:

1. предприятия торговли
2. предприятия сферы бытовых услуг
3. объектов незавершенного строительства
4. предприятий связи

Что из перечисленного не является текущим активом?

А) Патенты

Б) Инвентарь

В) Заранее оплаченное страхование

Г) Рыночные ценные бумаги

3.1.3. Правила составления дополнительных инструкций к заданию

• Дополнительные инструкции к заданию необходимы только тогда, когда задание сопровождается дополнительным текстом или графическим материалом;
• Дополнительные инструкции к заданию должны быть написаны ясно и настолько кратко, насколько возможно;
• Дополнительные инструкции к заданию размещаются выше текста или графики и должны привлечь внимание экзаменующегося к конкретному заданию. Чтобы облегчить поток информации для экзаменующихся, порядок должен быть следующий: дополнительная инструкция сначала, затем текст или графический материал, и, наконец, основа задания и альтернативы ответа;
• Дополнительные инструкции к заданию должны отличаться по написанию от остальных частей задания (например, курсивом, полужирным шрифтом и др.)

Обратите внимание, что дополнительные инструкции пишутся только к тем заданиям, которые имеют сопроводительный текст или графику. Для |сех других заданий такие инструкции излишни. Хотя ненужные инструкции могут и не навредить экзаменующимся, но они ничего не добавляют, а только загромождают текст.

Перечислим типовые дополнительные инструкции к заданию.

• Прочитайте абзац, представленный ниже, и ответьте на вопрос в задании 12
• Прочитайте отрывок, представленный ниже, и ответьте на задания 4-6
• Прочитайте предложение, представленное ниже, и ответьте на задание 7
• Используйте карту, представленную ниже, чтобы ответить на задание 10,11,12
• Используйте представленную ниже диаграмму, чтобы ответить на вопрос 21
• Используйте представленную ниже таблицу для ответа на следующее задание
• Используйте представленный ниже график и ответьте на задание 13,14
• Используйте иллюстрацию, представленную ниже, чтобы ответить на задание 24.

3.1.4. Правила составления вариантов ответов

1. Использовать параллельные грамматические конструкции.

Если возможно, следует начинать каждый ответ с одного и того же слова, или применять одну и ту же части речи.

Формулируя все ответы на базе одной и той же части речи, автор задания  будет уверен, что все варианты грамматически сочетаются с основой.

1. Избегать слишком или неоправданно длинных ответов

Слишком длинные ответы имеют тенденцию запутывать, сбивать с толку испытуемых.

1. Ответ на задание должен быть полностью, «абсолютно правильным» или «лучшим».

Разработчики педагогических тестов вынуждены   основывать многие из заданий на суждениях, которые не являются абсолютно верными, тем не менее, весьма вероятны. При этом испытуемых  инструктируют искать абсолютную правильность в ответах, а делать лучший выбор.

3.1.5. Правила создания правдоподобных и эффективных дистракторов

• Все дистракторы (неверные варианты ответов) должны быть такими, чтобы каждый из них мог бы привлечь внимание тех испытуемых, которые недостаточно подготовлены к тестированию.
• Дистракторы должны быть как бы «похожими» на правильный ответ. В идеале, при анализе эффективности заданий каждый дистрактор должен в равной мере использоваться всеми испытуемыми, не выполнившими данное задание правильно, Очевидно, если дистракторы являются неэффективными (то есть их выбирают малое количество испытуемых из выборки), само задание будет слишком легким.
• Правильный ответ и дистракторы одного задания в тесте не должны подсказывать испытуемым ответы на другие. Поэтому не следует использовать дистракторы из одного задания в перечне вариантов ответов других заданий в тесте.

3.1.6. Оценка времени на выполнение задания

Знание приблизительного времени, которое требуется для выполнения задания — полезная информация для авторов. Это знание может помочь авторам определить количество заданий во всем тесте. Обычно принимаемый принцип среди разработчиков педагогических тестов такой: студентам требуется одной минуты для выполнения одного типичного задания закрытой формы. Таким образом, разработчики могут приблизительно планировать, что, в среднем, тест с 60- тью заданиями займет, по крайней мере, один час. Причем эти 60 минут не включают время, необходимое для размещения студентов в аудитории, раздаче тестовых материалов, проведения инструктажа, сбора материалов после тестирования и др.

Очевидно, что правило «одна минута на задание » не относится ко многим трудным заданиям, особенно если они имеют большие отрывки пояснительного текста или требуют сложных вычислений или изучения подробных графических материалов. Наоборот, очень простые задания, требующие только узнавания фактов или нетрудных вычислении, потребуют меньше чем одну минуту на выполнение.

Существует два метода оценки реального времени для выполнения задания или всего теста.

Первый метод заключается в том, что набор заданий или весь тест предлагается выполнить профессионалу – преподавателю данной дисциплины. В этом случае следует зафиксировать время, потраченное им на выполнение всего набора заданий, и умножить его на два.

На практике так и происходит, среднее время на выполнение набора задании
для испытуемого в два раза больше, чем для профессионала.

Второй метод связан с группой испытуемых, выполняющих пробный тест или набор заданий. Необходимо определить время, когда 20% испытуемых заканчивают выполнение набора заданий. Именно этот промежуток времени и является оптимальным для данного набора заданий.

3.1.7. Рекомендации для создания заданий с выбором ответа

Общие рекомендации

1. Задания должны быть нацелены на измерения важных, значимых целей обучения и (или) целей аттестации.
2. Следует концентрироваться на составлении таких заданий, которые
   измеряют способность испытуемых постигать, применять, анализировать и оценивать, а не только вспоминать фактический учебный материал.
3. Задание должно быть составлено так, чтобы испытуемый, который
   выбрал правильный ответ и устранил неправильные ответы, продемонстрировал бы полезное, значимое достижение.
4. Испытуемый не должен иметь возможность ответить на задание правильно, используя только простую логику и здравый смысл, и не обладая соответствующим знанием или умением.
5. В тексте задания нежелательно употребление слов, которые могли
   стать ключом к правильному ответу, такие как: «всегда», «может», «ни один», «никогда», «все», «иногда», «обычно», «типичный» и др.
6. В тексте заданий следует избегать неоднозначных или ничего не значащих выражений.
7. Следуйте за стандартными правилами пунктуации и грамматики.
8. Если в задании использованы рисунки, таблицы, чертежи, то он должны быть правильно составлены и легко читаться (пониматься) испытуемыми.
9. С самого начала определитесь сами, какой тип задания вы составляете — задание «с абсолютно правильным ответом» или задание «с выбором лучшего ответа».
10. Удостоверьтесь, что либо в основной, либо в дополнительной инструкции для испытуемых есть информация о типе задания, т.е. либо это задание «с абсолютно правильным ответом», либо задание «с выбором лучшего ответа».   Испытуемые должны   четко понимать, какой тип задания им предстоит выполнить.
11. Повторяющиеся слова и словосочетания следует включать в
    основу задания, а не в варианты ответа. Это позволит формировать более лаконичные, а значит и более эффективные задания.
12.  Придерживайтесь в задании такого стиля и такого уровня трудности текста, который соответствует уровню развития проверяемой группы испытуемых. Не используйте  слова и выражения, которые испытуемых не будет понимать.
13.  Избегайте в тексте задания использовать дословные цитаты из учебников или других учебных материалов. Формулировка задания не должна следовать за знакомой фразеологией учебника настолько близко, чтобы вербальная  память испытуемого без понимания сущности проблемы смогла бы обеспечить адекватное основание для правильного ответа.
14. Если текст задания базируются на чьем-либо мнении или авторитетном источнике, обязательно   сообщите чье мнение, или какой авторитетный источник были использованы.
15.  Во всем тесте задания должны быть независимы друг от друга. Ответ на одно задание не должен зависеть от ответа на другое задание. Избегайте использование в одном варианте теста заданий, которые помогают экзаменующимся отвечать на другие задания в тесте.
16. Проверьте все задания с вашими коллегами, чтобы устранить двусмысленность, технические и другие ошибки в тексте задания.
17. По возможности, избегайте  составлять задания, которые проверяют больше чем одну идею, проблему, концепцию.
18. По возможности, избегайте составлять задания, ответы на которые могут измениться в пределах короткого периода времени.
19. Формулируете задания так, чтобы была однозначность, только одна интерпретация их значения.
20. Чтобы функционировать должным образом, задание с выбором ответа должно быть выражено в тщательно отредактированных словах и предложениях.
21. Авторы задания могут сделать некоторые задания легче, формулируя основу более общими определениями, а варианты ответа делая более различными, разнообразными и   разнотипными. И наоборот, можно сделать задания труднее,   если основа   задания будет более определенной (конкретной, точной), а ответы более подобными, похожими, сходными.
22. Трудность задания не должна базироваться на включении в него
    неясного, запутанного содержания.
23. Удостоверьтесь, что все варианты ответов грамматически совместимы с основой.
24. Следует избегать выявления у испытуемых их личного мнения, необходимо задавать вопросы, основанные на достоверных фактах, понятиях и пр.
25. Следует избегать «азбучных» вопросов.
26. Не следует формулировать «вопросы-уловки», ответы на которые зависят от некоторого неясного или малоизвестного факта.
27. По возможности, не следует делать основу или ответы неоправданно длинными.
28. Следует избегать вербальных ассоциаций между основой и правильным  ответом. Одно и то же слово (или словосочетание, или однокоренное слово) не должно находится в основе и правильном ответе. Однако, вербальные ассоциации основы и неправильного ответа возможны.

Рекомендации для формирования основы задания

1. Задания с выбором ответа должны базироваться на истинных, существенных идеях, которые могут быть выражены как суждения, имеющие ясную цель.
2. Основа задания должна поставить (сформулировать) или ясно подразумевать определенный вопрос (проблему, задачу).
3. Основа задания должна полностью сформировать, изложить проблему (задачу), а также все связанные с ней оценки и характеристики. Чтобы удостовериться, что основа представляет конкретную проблему, рекомендуется включать глагол в утверждение основы.
4. Основа задания «с абсолютно правильным ответом» должна быть ясной и недвусмысленной. Необходимо избегать использование неточных выражений типа «сопровождается», «полезно для», «важно для» и слов являющихся подсказкой – «может» или «возможно». Неопределенные причастия типа «обычно» или «часто» не должны применяться.
5. Основа задания должна изложить сущность вопроса или проблемы настолько лаконично и выразительно, настолько это возможно.

Однако, при этом нельзя жертвовать ясностью или опускать существенные детали.

6. Используйте отрицательные формулировки в основе   задания экономично (не более 5-10 % от общего числа заданий в тесте). Обязательно привлеките внимание испытуемых к отрицательному слову,   выделяя его подчеркиванием или др. способом.

1. Нельзя использовать двойное отрицание, т.е. одновременно использовать отрицательные формулировки и в основе, и в вариантах ответа.
2. В основу задания нужно включить как можно больше информации, относящейся к проблеме. Повторяющиеся слова, группы слов или фразы следует включать в основной текст (в основу) задания, а не в ответы. Из вариантов ответов необходимо удалить повторяющиеся слова или выражения в основной текст задания.
3. Необходимо избегать задания, которые содержат не относящиеся к измеряемому свойству трудности, такие как малоупотребляемую лексику или сложные по структуре предложения.

Рекомендации для составления вариантов ответа

1. Все ответы должны быть подобными (аналогичными, похожими, «параллельными»). Это касается их внешнего вида, грамматической структуры, а также общей расположенности по классификационной принадлежности, т.е. все ответы должны быть подобраны по одному основанию, типу, концепции.

1. Истинные утверждения, которые не обеспечивают правильный ответ на вопрос в основе задания, часто формируют хороший, эффективный дистрактор.
2. Варианты ответов в заданиях   «с абсолютно правильным ответом» должны быть либо абсолютно верными, либо абсолютно неверными. Исключайте использование неопределенных
   фраз и слов, типа «обычно», «часто», «возможно».
3. В вариантах ответа на задания желательна краткость, но это не должно быть достигнуто за счет потери значимости и (или) смысла.
4. Ответы   типа «все вышеперечисленные» и «ни один из вышеперечисленных» являются приемлемыми только тогда, когда   употребляется «абсолютно правильный ответ».
5. Ответы на основу задания должны быть сформулированы достаточно просто, чтобы были понятны существенные различия между ними.
6. Дистракторы в задании должны быть определенно менее правильны, чем ответ, но правдоподобно привлекательны для не информированного, неподготовленного испытуемого.
7. Сделайте каждый дистрактор похожим на правду, правдоподобным, внушающим доверие, вполне убедительным и привлекательным для экзаменующихся, которые не достаточно подготовлены к тестированию.
8. Правильный ответ должен быть ясен, краток, правилен и свободен от подсказок (как внутри текста задания, так и вне его).
9.         Если существует некоторая логическая последовательность, в которой варианты ответов могут быть выстроены (например, в порядке величины, в хронологической последовательности), то, по возможности, используйте эту последовательность при расстановке вариантов в задании.
10.  Если варианты ответов могут быть размещены в некоторой естественном или логическом порядке, то избегайте делать первые и последние варианты всегда неправильными.
11.  Беспорядочно распределите правильный ответ среди положений (позиций)   дистракторов в каждом   задании теста.
12.  Ответы должны  быть одинаковы  по длине (хотя бы приблизительно).
13.  Не следует формулировать правильный ответ заметно длиннее или
    короче, чем дистракторы.
14.  Не следует составлять правильный ответ более подробно, детализировано, чем   дистракторы. Правильный ответ должен соответствовать тому же уровню детализации, что и дистракторы.
15.  Не следует обобщать правильный ответ так, чтобы он имел более
    широкое применение, чем неправильные варианты. 
16.  По возможности, не следует использовать в правильных ответах знакомую или стереотипную фразеологию, а в дистракторах   малознакомую лексику.
17.  Составляйте все варианты ответа грамматически совместимыми с основой.
18.  В дистракторах не следует   использовать слова или технические термины, которые экзаменующийся не может или не должен знать.
19.  В дистракторах не следует   использовать эмоциональные слова и выражения.
20.  По возможности, составляйте все варианты ответов параллельными
    по форме и грамматической структуре.
21.  В заданиях типа «с выбором ответа» не следует использовать варианты ответов типа «все вышеперечисленные» и «ни один из вышеперечисленных».
22.  В одном задании делайте все варианты ответа независимыми друг от друга. Не следует в одних вариантах ответа делать какие-либо ссылки на  другие варианты ответа.
23.  Не должен существовать какой-либо материал в других тестовых
    зданиях, который может оказаться ключом к правильному ответу на данное задание. Нельзя в одних заданиях делать какие-либо ссылки на другие задания.
24.  В одном тесте (или в одном варианте теста) нельзя применять задания, ответы на которые являются ключом к ответам на последующие задания.
25.  Используйте такие же значительные, правильные, здравые, логичные слова и выражения в дистракторах, как и в правильном ответе.
26.  Не следует повторять ключевое(-ые) слово(-а)   основы задания в правильном ответе.
27.  По возможности, перечисляйте варианты ответа на отдельных строках, один ниже другого.

3.2. Модификация заданий с выбором ответа

3.2.1. Задания типа «верно-неверно», «да-нет»

Задания типа «верно-неверно», «да-нет» (в некоторых источниках они называются «исинно-ложные» задания или альтернативные задания).

Достоинства заданий типа «верно-неверно», «да-нет»:

1. Они относительно просты в составлении и не занимают у испытуемых много времени на ответ, испытуемые могут ответить на 100 заданий данной формы за то же самое время, которое потребуется на выполнение 50-60 заданий с четырьмя вариантами ответа.
2. Они обеспечивают самую широкую выборку содержания в единицу времени.

Недостатки заданий типа «верно-неверно», «да-нет»:

1. Проблема угадывания — их главная слабость. Студенты имеют 50% шанс на правильный ответ на эти задания без любого знания содержания.
2. Задания часто неоднозначны из-за трудности составления утверждений, которые являются недвусмысленно истинными или ложными.

3.2.2. Блоки заданий с множеством выбором расширенного формата

Тестовые задания с множественным выбором расширенного формата организованы в связанные одной тематикой блоки. Используют единый расширенный список вариантов ответа для всех тестовых заданий в данном блоке. Данная модификация формы заданий применяется для итоговой аттестации студентов и профессиональной аттестации кадров. Структура блока заданий с множественным выбором расширенно формата включает в себя 5 обязательных компонентов: 1) инструкция; 2) тема; 3) список вариантов ответа; 4) вводный вопрос или вводное утверждение; 5) условия серии (по меньшей мере из двух) тестовых заданий. При необходимости авторы могут добавлять графические материалы и (или) пояснительные тексты.

Варианты ответа должны быть короткими (обычно одно слово или очень короткая фраза), а профессиональные ситуации   в основе заданий могут быть достаточно подробными. Следует избегать использования запутанных или неоправданно сложных профессиональных ситуаций.

Данная форма заданий предполагает определение точного количества ответов, которые надо выбрать. Указание числа вариантов ответа, подлежащих выбору, трансформирует задачу   испытуемого от выбора «абсолютно правильных» ответов к выбору «наилучших» ответов.

Примерная технология составления блоков заданий с множественным выбором расширенного формата

1. Определите тему для блоков вопросов. Темой может быть основная профессиональная проблема, метод решения профессиональной проблемы, класс объектов и т.д.
2. Напишите вводный вопрос или утверждение для блока (например, «Для каждого из следующих… процессов; явлений….; типа…; выберите наиболее вероятный объект, метод…,  который….»). Вводный вопрос указывает на связь между условиями заданий и вариантами ответа, проясняя проблему, поставленную перед  испытуемыми. Это необходимый компонент для блока тестовых заданий с множественным выбором расширенного формата.
3. Подготовьте перечень вариантов ответа. Перечень должен быть представлен отдельными словами или очень короткими фразами. Перечислите варианты ответа либо    в алфавитном порядке, либо в другом каком-либо логическом порядке. Желательно не употреблять глаголы в вариантах ответа.
4. Напишите условия тестовых заданий. Задания в блоке должны быть подобны по структуре. Для их создание наиболее приемлемо использовать профессиональные ситуации. В каждом задании следует указать число правильных ответов.
5. Проведите экспертизу условий тестовых заданий. Удостоверьтесь, что  указанные ответы являются действительно «наилучшими» ответами на каждое задание из блока. Следует также проверить, чтобы для каждого задания имелись в наличии, по меньшей мере, столько же правдоподобных дистракторов, сколько и планируемых правильных ответов. В качестве последней проверки, рекомендуется попросить вашего коллегу просмотреть тестовые задания (не указывая правильные ответы). Если у него возникают трудности при определении правильных ответов, измените условие тестового задания или варианты ответов таким образом, чтобы устранить возникшую проблему.

3.3. Задания открытой формы

В заданиях закрытой формы не используются готовые варианты ответов. В них испытуемому нужно дополнить недостающее слово (группу слои, формулу, число, знак, записываемый на магнитофон аудио-сигнал при тестировании на «говорение» и др.), которое свидетельствует о его знании.

На практике существуют четыре основные модификации заданий открытой формы: задания с коротким ответом, задания на завершение утверждения, задания на заполнение пробела, задания на завершение (или на конструирование) графического объекта (диаграммы, графика, схемы). В каждом случае испытуемый должен самостоятельно сформулировать, вычислить или сконструировать правильный ответ.

Типовые правила составления заданий в открытой форме

1. Слово или группа слов, являющихся ответом, должны быть краткими и недвусмысленными. 
2.  Когда ответ должен выражаться в численной форме, необходимо указать вид (тип) и размерность употребляемых единиц измерения.
3.  В бланковом тесте пропуски для ответов должны быть одинаковой длины. Подсчет результатов тестирования можно облегчить, если пропуски для ответов расположить в колонке справа от основного текста задания.
4.  Добавляемый элемент должен соответствовать ключевой (значимой) информации, которую следует запомнить в данном учебном материале.
5.  При составлении задания не рекомендуется использовать утверждения, определения из учебников или учебных пособий.
6.  Добавляемое слово или группа слов ставится, по возможности, в конце текста задания.

3.4. Задания на установление соответствия

Задания на установление соответствия (или просто задания на соответствие) – это такая форма тестовых заданий, в которых испытуемому предлагается  установить  логическое согласование  между  элементами  двух множеств. По структуре задание на соответствие состоит из инструкции, дополнительной инструкции, пояснительного текста и двух колонок с набором элементов. Одна колонка — это список исходных условий (проблем, вопросов, стимулов), для которых испытуемые должны найти соответствующий ответ во второй колонке, называемой списком ответов.

Традиционно, колонка исходных условий помещается слева и нумеруется цифрами, а колонка ответов — справа и обозначается буквами.

Типовые правила разработки заданий на установление соответствия

1. Перед заданием на соответствие или перед серией заданий (субтест) необходимо поместить инструкцию для испытуемых, в которой точно указывают, на каком основании должен быть сделан соответствующий выбор.
2. В инструкции перед текстом задания, должно быть установлено, может ли ответ использоваться только однажды (однократный выбор) или несколько раз (многократный выбор).
3. Инструкция к заданиям не должка требовать больше чем одного ответа на исходное условие.
4. Во всем тесте задания на установление соответствия должны быть объединены в отдельный субтест. Оптимальное количество заданий данной формы в одном тесте — от трех до пяти. Максимальное количество – до десяти заданий.
5. В каждый список включайте только гомогенные (одинаковые в
   классификационном отношении) элементы. В случае, если в список элементов будут включены гетерогенные элементы, то это может служить подсказкой испытуемым.
6. Каждая пара «исходное условие — ответ» должна быть тщательно проанализирована на отсутствие подсказок типа вербальной ассоциации, явной грамматической связи и др.
7. Желательно составлять список ответов (список справа) либо  из от
   дельных слов или очень коротких фраз.
8. Для каждого отдельного задания используйте только один тип соответствующей пары «исходное условие — ответ» (например, термины, понятия => подходящие определения).
9. Каждый ответ должен быть правдоподобным для каждого исходного условия.
10. В заданиях с однократным выбором используйте большее количество ответов, чем исходных условий. Это не позволит испытуемому догадаться о правильном ответе путем угадывания или   способом последовательного исключения.
11. В заданиях с многократным выбором количество ответов может
    быть меньше, ровно или больше, чем число исходных условий.
12. Формировать ответы  следует в логическом порядке, например по
    алфавиту, по возрастанию, по датам и т.п. Этот порядок позволит экзаменующимся   быстрее найти правильные ответы, таким образом, сокращая время на выполнение задания.
13. Оптимально, одно задание на соответствие с однократным выбором ответов должно содержать   не более шести исходных условий, а с многократным выбором — не более двенадцати.
14. При форматировании бланкового теста задание на соответствие
    следует размещать на одной странице.
15. При применении метода «частичного балла» оценки выполнения задания на соответствие следует установить, как он будет функционировать. Например, задание с пятью исходными условиями может иметь 20%-ый «частичный балл» за каждое правильное выбранное соответствие (или один балл за каждое правильное выбранное соответствие, а за все задания  максимум 5 баллов)

1. Задания на установление правильной последовательности

Задания данной формы позволяют проконтролировать знания испытуемых в тех видах  профессиональной или учебной деятельности, где обходимо разрабатывать эффективные повторяющиеся алгоритмы, выбирать повторяющиеся закономерные элементы на данной области содержания.

Типовая   схема   задания   на   установление   правильной   последовательности может быть представлена в виде:

1. Инструкция: Установите правильную последовательность.
2. Основа (основной текст).
3. Пронумерованный список элементов.

Задача студента перечислить номера элементов списка в порядке очередности при правильном алгоритме деятельности (правильной очередности событий и т.п.).

В практике педагогического тестирования эта форма тестовых заданий подразделяется на два типа:

а) с готовыми вариантами последовательности;

б) на самостоятельное установление последовательности.

Приложение

Словарь специальных терминов по тестовой теории

и технологии разработки тестовых заданий

Анализ заданий – процедура для оценки качества заданий в педагогическом тесте, включающая в себя анализ технологичности формы, соответствия содержанию и статистических характеристик задания.

Апробация теста — предварительное педагогическое тестирование   на представительной     выборке   учащихся   для определения соответствия педагогического теста его целям и заданным характеристикам.

Ассоциации в тестовом задании — подсказка в содержании тестового задания, позволяющая тестируемому угадать правильный ответ. Ассоциации в тестовом задании являются свидетельством некорректности этого задания.

Балл за выполнение задания — условная единица, используемая для оценки результатов выполнения задания; количественный показатель выраженности измеряемого свойства у данного испытуемого, получаемый при помощи данного задания.

Банк тестовых заданий — совокупность систематизированных тестовых зданий, прошедших апробацию и имеющих известные характеристики. К характеристикам относятся как качественные характеристики, отражающие содержание тестового задания (учебный предмет, раздел, тема, контролируемые умения и т.д.), так и количественные (уровень трудности тестовых заданий, дифференцирующая способность и другие).

Бланк ответов — стандартный бланк для записи ответов за тестовые задания. В определенные позиции бланка ответов, тестируемый отмечает или записывает номера выбранных ответов, сами ответы или то, что требует инструкция по проведению педагогического тестирования.

Бланковое (педагогическое) тестирование — педагогическое тестирование, при котором носителем содержания педагогического теста служит бланк определенного образца, дополненный соответствующим бланком ответов.

Валидизация теста — процедура повышения валидности теста.

Валидность — комплексная характеристика качества педагогического теста, отражающая обоснованность, значимость (пригодность) его результатов, отражающая способность теста служить той цели, для которой он создан.

Варианты (педагогического) теста — набор близких по содержанию тестов, созданных по единой спецификации и имеющих одинаковую структуру. Статистические характеристики педагогических   тестов, входящих в набор вариантов, могут отличаться.

Воспроизводимость — свойство педагогического теста к повторению основных статистических характеристик при последующих измерениях.

Время (педагогического) тестирования — интервал времени, отводимый на выполнение теста.

Выбор стандарта оценивания — процедура оптимального установления критериального балла или критерия оценивания (процента правильных ответов) для критериально-ориентированных тестов.

Выборка испытуемых — случайным или специальным образом формируемое из генеральной совокупности множество испытуемых.

Выставление баллов за выполнение задания — методика перевода результата выполнения заданий в численное значение.

Генеральная совокупность тестовых заданий — гипотетическое множество тестовых заданий, связанных общей целью и теоретически   полностью отражающих определенную область содержания.

Гетерогенный тест — педагогический тест, позволяющий оценить уровень подготовленности тестируемого по нескольким смежным учебным дисциплинам.

Гомогенный тест — педагогический тест, позволяющий оценить уровень подготовленности тестируемого по одной конкретной учебной дисциплине.

Дистрактор — вариант ответа на тестовое задание закрытой формы, похожий на правильный, но не являющийся таковым.

Дифференцирующая способность (дискримитативность, дифференцирующая сила) тестового задания — способность отдельных заданий теста дифференцировать испытуемых относительно степени их подготовки, т.е. максимального и минимального результата теста.

Дихотомическая схема подсчета баллов за выполнение задания -методика подсчета баллов, при которой выставляется «1» за правильное выполнения и «О» за неправильно выполнение задания.

Дихотомическое тестовое задание — тестовое задание, выполнение которого оценивается только альтернативно. Оценка «выполнено верно» обычно символизируется единицей, оценка «выполнено неверно» — нулем.

Длина теста — число тестовых заданий, включенных в педагогический тест.

Инструкция к тестовому заданию — свод правил тестируемому, устанавливающий способы регистрации выполнения тестового задания. В инструкции к тестовому заданию в частности указывается способ записи правильного ответа, что, каким образом и где надо отметить, вписать, указание записи или оформления решения математической задачи и т.д. Инструкция может быть единой для нескольких тестовых заданий, если эти задания однотипны по действиям.

Инструкция о проведении (педагогического) тестирования — свод правил, устанавливающий порядок и способ проведения педагогического тестирования. Инструкция разрабатывается с учетом цели педагогического теста, условий тестирования, применяемых при тестировании технических средств и выбранных способов обработки результатов.

Испытуемый (тестируемый, экзаменующийся)   — лицо, проходящее педагогическое тестирование.

Истинный балл — гипотетический балл , который получил бы испытуемый, если бы он выполнил все задания из банка заданий для данного теста, на определенной для данного педагогического теста шкале, соответствующий истинному уровню подготовленности конкретного тестируемого в момент измерения. При определении истинного балла тестируемого ошибки педагогического измерения условно предполагаются равными нулю.

Классическая тестовая теория — совокупность теоретических положений и математических моделей педагогического измерения, основанных на классической математической статистике.

Ключ (эталон ответа) тестового задания —     правильный ответ на тестовое задание.

Компьютерно-адаптивные тесты — тесты, задания в которых предъявляются специальной компьютерной программой в зависимости от индивидуальных ответов данного испытуемого. Трудность и количество предъявляемых тестируемому заданий регулируется в зависимости от его ответа на предыдущее задание или на несколько предыдущих заданий. Количество тестовых заданий заранее не фиксируется, а процесс тестирования заканчивается по достижении заданной точности оценки уровня подготовленности тестируемого.

Компьютерное (педагогическое) тестирование — педагогическое тестирование с помощью компьютера, проводимое по специальной программе, обеспечивающей заданный порядок представления тестовых заданий и обработки результатов тестирования.

Коррекция на угадывание- методика подсчета тестовых баллов, в которых учитывается возможность случайного угадывания ответов.

Коэффициент надежности теста- количественное значение надежности педагогического теста, изменяющееся от нуля до единицы. Для определения коэффициента надежности теста проводится, как правило, специальная апробация теста.

Коэффициенты валидности — показатели качества теста.

Критериальная валидность — характеристика качества теста, отражающая обоснованность, значимость его результатов по сравнению с некоторой внешней переменной, характеризующей объект измерения. Подразделяется на текущую и прогностическую валидность.

Критериально ориентированный тест — педагогический тест, предназначенный для оценки уровня подготовленности каждого тестируемого относительно требований учебной программы или ее части. Критический уровень объема знаний, умений и навыков — критерий, с которым сравнивается результат каждого тестируемого, устанавливается до начала тестирования.

Критериальный балл — граничное значение тестового балла, с помощью которого заданная выборка тестируемых разделяется на выполнивших данный педагогический тест удовлетворительно и неудовлетворительно.

Матрица результатов тестирования (матрица ответов) — основная статистическая таблица, связывающая результаты ответов выборки испытуемых на все задания теста. Массив данных, содержащий в том или   ином   виде   информацию   об   ответах   на каждое задание теста каждого тестируемого. Номер строки такой матрицы соответствует номеру тестируемого, а номер столбца – номеру задания. В ячейках такой матрицы содержится в том или ином виде информация о выполнении задания.

Метод «частичного балла» — выставление тестовых баллов с учетом вознаграждения за частичное знание, методика перевода результата выполнения заданий в численное значение с учетом влияния эффекта частичного знания ответа на данное задание.

Метод доведения ответа до правильного — один из методов подсчета тестовых баллов при компьютеризованном тестировании, когда испытуемый должен отвечать на каждое задание до тех пор, пока не выберет правильный ответ.

Надежность теста — характеристика качества теста, отражающая точность оценки уровня подготовленности с помощью данного педагогического теста, степень постоянства результатов тестирования, а также устойчивость к действию посторонних случайных факторов.

Недихотомическая схема подсчета баллов за выпонение задания — метод подсчета тестовых баллов, когда результат выполнения каждого задания оценивается политомическим способом (несколькими числовыми значениями).

Нормативно ориентированный тест — педагогический тест, предназначенный для определения уровня подготовленности тестируемых путем сравнения их результатов друг с другом и/или с тестовой нормой. Тестовая норма определяется предварительно по результатам апробации теста на представительной выборке или после проведения самого тестирования, если представительную выборку установить невозможно.

Оценка надежности — статистическая процедура нахождения коэффициента надежности теста.

Оценка содержательной валидности — эксперно-статистическая процедура оценки качества теста.

Параллельные варианты (педагогического) теста — варианты педагогического теста, имеющие одинаковые статистические характеристики.

Параллельные тестовые задания — тестовые задания одинаковой трудности и дифференцирующей способности, относящиеся к одному и тому же разделу содержания.

Педагогический тест — это система заданий специфической формы, позволяющая эффективно измерить уровень знаний, умений и навыков учащихся.

Педагогическое тестирование – совокупность организационных и методических мероприятий, объединенных общей целью с педагогическим тестом и предназначенных для подготовки и проведения формализованных процедур предъявления теста, обработки и представления результатов

его выполнения.

Педагогическое измерение — способ упорядочения информации об учебных достижениях, при котором система чисел и отношений между ними ставятся в соответствие ряду измеряемых факторов.

План (педагогического) теста — документ, в котором каждое тестовое задание соотносится с определенным элементом содержания учебной дисциплины и конкретным видом знаний или умений, подлежащих контролю с помощью этого задания.

Политомическое тестовое задание — тестовое задание, выполнение которого допускает несколько категорий вариантов ответа, каждая из которых оценивается по-разному. Одна из категорий ответа может, например, объединять ответы неполные (частично верные) или результаты одного или нескольких этапов решения задачи.

Пользователь (педагогического) теста — юридическое или физическое лицо, использующее педагогический тест и/или результаты педагогического тестирования в необходимых ему целях.

Постоянство (согласованность) принятия решений (по результатам   теста) — показатель   надежности  критериально-ориентированного тестирования.

Разработка заданий — процедура составления тестовых заданий по определенной спецификации.

Содержательная валидность — один из основных видов валидности, отражающей степень репрезентативности содержания тестовых заданий по отношению к области содержания теста. Характеристика педагогического теста, выражающая полноту охвата тестовыми заданиями той области знания, в которой этот тест оценивает учебные достижения.

Спецификация (педагогического) теста — документ, в котором содержится информация о целях, задачах, плане и структуре педагогического теста, области содержания и об измеряемых умениях.

Спецификация задания — подробное описание особенностей и технологии разработки тестового задания.

Структура (педагогического) теста — совокупность сведений о числе и форме тестовых заданий по каждому виду знаний или умений, позволяющих объективно судить об уровне подготовленности тестируемого. Для теста, в состав которого включаются тестовые задания, взятые из банка тестовых заданий, в структуре педагогического теста указывается также уровень трудности каждого из этих задания и их дифференцирующая сила.

Субтест — часть педагогического теста, состоящая из определенного подмножества тестовых заданий, допускающая независимую обработку результатов тестирования с целью решения специфических частных задач.   Педагогический тест может содержать несколько субтестов.

Тест (учебных) достижений — педагогический тест, предназначенный для определения степени усвоения определенной области знаний или умений.

Тестовое задание на установление соответствия — задание, при выполнении которого необходимо установить соответствие между элементами двух и более множеств.

Тестовое задание — минимальная содержательно законченная единица педагогического теста, имеющая основу, в которой сформулирована проблема (задача), и предписанный порядок для ответа. Цель тестового задания — получить ответ от испытуемого, на основе которого может быть сделан вывод о его знаниях, интеллектуальных умениях, способностях, представлениях, навыках на определенной области содержания.

Тестовое задание дополнения — задание открытой формы, в котором требуется вставить пропущенное слово или символ, закончить   утверждение,   дописать предложение и т.д.

Тестовое задание множественного выбора — это такая форма зданий, где испытуемым предписывается сделать выбор нескольких правильных или «лучших» ответов из предложенного списка.

Тестовое задание на установление правильной последовательности — задание, выполнение которого состоит в установлении правильной последовательности фактов, событий, действий, операций и т.д..

Тестовое задание на установление соответствия — форма задания, в котором испытуемому предлагается установить соответствие между элементами двух списков (двух множеств).

Тестовое задание открытой формы – задание без указания возможных вариантов ответа. При его выполнении тестируемый самостоятельно формулирует правильный ответ.

Тестовое задание с выбором ответа (закрытой формы) — форма тестового задания, при которой испытуемый должен выбрать правильный ответ из нескольких, предложенных вариантов, причем один из них правильный, а остальные (называемые дистракторами) — неправильные.

Тестовое задание с кратким ответом — задание открытой формы, в котором тестируемый должен самостоятельно сформулировать и записать правильный ответ в виде одного-двух слов, символов или чисел.

Тестовое задание типа «верно-неверно» (альтернативная форма задания, «истинно-ложное» задание)- тестовое задание закрытой формы, в котором требуется выявить истинность или ложность некоторого утверждения. В тестовых заданиях альтернативных ответов дается только два варианта ответа — «да-нет» или «верно-неверно».

Тестовые баллы — количественный показатель выраженности измеряемого свойства у данного испытуемого, получаемый при помощи данного теста.

Трудность (уровень трудности) задания — основная статистическая характеристика тестового задания, определяемая в классической тестовой теории долей испытуемых из выборки, ответивших на него правильно.

Фасетные тестовые задания- задания, которые могут быть получены друг из друга путем замены одного (или нескольких) слов (символов, чисел), что превращает их в другие задания аналогичные по содержанию и близкие по трудности. Фасетные тестовые задания используются при разработке параллельных вариантов тестов.

Форма (тестового) задания — общая схема составления тестового задания, его дизайн и структура. Форма задания, содержит инструкцию к заданию, содержание задания в виде текста и (или) невербальных материалов и систему оценки выполнения задания.   Текст задания в тестовой форме должен соответствовать набору специфических требований, выполнение выполнение которых обеспечивает однозначное понимание вопроса (задачи) и исключает возможность появления ошибочных ответов по формальным признакам. Система оценки должна обеспечивать однозначную оценку выполнения задания.

Шкала — упорядоченная числовая система для фиксации совокупности свойств изучаемого объекта или явления.

---

[1] Переверзев В.Ю. Критериально-ориентированное педагогическое тестирование. Учебное пособие.- М.:Логос, 2003.

[2] Переверзев В.Ю. Справочное руководство по разработке критериально-ориентированного педагогического теста (электронное издание). -М.:   Е-Медиа, 2004.

[3] Bloom В. S. et al. Taxonomy of Educational Objectives: The Classification of Educational GoalsI: Cognitive Domain. N. Y.: David Mckay Co., 1956

Тесты имеют печальную репутацию скучного и формального инструмента контроля. А ещё их надо долго проверять… Стоп, давайте разбираться, так ли это. Спасибо технологиям: сейчас цифровые конструкторы облегчили составление тестов с различными форматами вопросов и их автоматическую проверку.

В статье мы подробно рассказываем зачем тестировать, какие форматы тестирования бывают, где создавать тесты и подготовили чек-лист по созданию онлайн-тестов. 

Зачем вообще тестировать? 3 функции теста

Топ-3 популярных ответов:

• «Надо аттестовать учеников»
• «Чтобы держать их в тонусе, а то расслабятся»
• «А как мне ещё проверить, что у них в головах осталось?»

Почему эти ответы никак не помогают образовательным тестам быть эффективными: в них нет и намека на нужды школьников студентов и других учащихся. Зачем им проходить тест? Что нового они узнают после его прохождения? 

Они узнают только свою принадлежность к “группе”: отличников, хорошистов, аутсайдеров. 

В сознании учащихся формируется отношение к тесту как к врагу. За него можно получить плохую или хорошую оценку и все причитающиеся “почести”. По сути, для учеников и для студентов тест — это испытание, где надо избежать худшего сценария, то есть двойки или неуда. Сдал, получил удовлетворительный результат, — забыл. Вам тоже кажется, что здесь ничего о знании и развитии?

«Никакие тесты, секундомеры и финишные ленточки не могут измерить потенциал человека».Роберт Кригель, бизнес-консультант и тренер-психолог спортсменов мирового класса

Отношение к тестам нужно менять. А для этого надо поменять назначение теста и его подачу. 

Вот вам три варианта, какие тесты могут это сделать:

Тест обучающий

🔔  Посыл: «Давайте узнаем кое-что новое, отвечая на вопросы». 

Такой тест работает по эвристическому методу: ученик или студент пытается ответить на вопросы, используя накопленные знания. Вопросы не проверяют, что он выучил, но они дают возможность использовать выученное, чтобы получить новые знания. Такой тест говорит: «Пораскинь мозгами, ты знаешь что-то, используй это, чтобы узнать ещё кое-что». Хорошо построенный обучающий тест увлекает и интригует. 

⛔ Оценки не нужны, максимум — процент прохождения. Вопросы должны не проверять какую-то уже освоенную информацию, а вести к новой. Тогда ученик не будет чувствовать себя плохо из-за того, что ответил неправильно: он только учится, а тест помогает ему в этом.

✅ Используйте этот тест, чтобы дополнить знания по какой-то теме. Сюда можно включать любопытные факты, которых нет в учебнике, но которые могут увлечь студентов или учеников. Желательно, чтобы ученики сразу видели правильные ответы, даже если они промахнулись. Важнее узнать новое, чем узнать, как много они не смогли разгадать.

Пример:

Тест контролирующий

🔔  Посыл: «Прежде, чем идти дальше, давайте посмотрим, какую информацию вы запомнили». 

Школьные тесты часто посвистывают кнутом исключительно над головами учеников. Но контролирующий тест — это и о учениках, и об учителях. Он показывает, что усвоил каждый конкретный ученик и что смог донести учитель.

Если на занятии вы чувствовали, что в каких-то моментах класс “провисал”, проверьте: поняли ли они в результате, что вы говорили. Если весь класс завалился на вопросе про фотосинтез, наверное, проблема не только в них.

Контролирующий тест не выносит приговора и не сносит двойками головы. Он рассказывает, на что ученику и учителю надо обратить дополнительное внимание и что следует повторить.

⛔ Вопросы необязательно должны быть каверзными, они должны быть полезными. Решите: какую информацию реально важно запомнить, чтобы следующая тема логично легла на предыдущий материал? Также важно не брать прямые цитаты из учебного материала. 

✅  Проверяйте понимание смысла, а не запоминание слов. Дайте ученикам 2-3 попытки пройти такой тест. При этом можно не настраивать демонстрацию правильных ответов: пусть ученики знают только, что они ошиблись в конкретном вопросе. Можно добавить комментарии к неправильным ответам, например: «Посмотри ещё раз вот это видео» или «Прочитай параграф №…, и там ты найдешь ответ».

Лайфхак! Вы можете приготовить 15-20 вопросов, но на каждую попытку выдавать 10 вопросов вперемешку. Так вы уменьшите риск “гадания на кофейной гуще”.

Пример:

Тест результирующий

🔔  Посыл: «Итак, мы прошли блок тем, а теперь ты можешь посмотреть, насколько экспертно разбираешься в них».

Например, тест ЕГЭ изначально планировался как результирующий тест, который может провести диагностику знаний учащихся и определить уровень их образованности.

Результирующий тест более всего похож на привычный нам формат тестирования. Он рассказывает, что и насколько глубоко изучил и понял студент или ученик за какой-то период. 

⛔ Не оставляйте такой тест без подробного фидбека. После получения результатов ученик должен подумать не просто «я получил такую-то оценку», а понять, в каких областях он продвинулся, а где ещё надо работать.

✅ Если какой-то вопрос проверяет знание понятий и терминов, следующий после него должен касаться практики. 

Хорошо, если вы можете написать каждому ученику отзыв на его тест. Но если нет, то можно настроить комментарии к неправильным ответам, которые в результате расскажут ученику, какие области в теме он прошел не очень хорошо. 

Пример:

Как различаются форматы в онлайн-тестировании?

В любых конструкторах тестов вы можете встретиться с такими форматами вопросов:

• Закрытые ответы. Может быть только один верный или выбор нескольких правильных ответов (multiple choice). Это классические тестовые форматы. Удобны, когда вам надо помочь ученикам закрепить конкретные имена, события, результаты, цифры и пр.
• Открытые ответы.Ещё этот формат называют свободными ответами. Здесь обучающиеся дают ответ своими словами или цифрами. Используйте их, когда вы хотите, чтобы ученики активно оперировали какими-либо понятиями, именами или формулами. Будьте внимательны: если вы выбираете такой формат для онлайн-теста, вам надо будет прописать все возможные ответы. Поэтому лучше уже в вопросе конкретизировать, что вы хотите увидеть. Например: «Напишите ответ одним словом в именительном падеже».
• Последовательности. Например, вы можете расположить на года каких-то событий на шкале и попросить учеников расположить эти события в правильном порядке. Или почему бы не поставить имена героев из произведения: от антагониста к протагонисту?
• Соединение пар (сопоставление). Такой формат есть не во всех конструкторах, но если есть, советуем не игнорировать. Это хороший формат для тестов по языку, для вопросов на причинно-следственную связь или на знание создателя и изобретения.
• Развернутые ответы. Этот формат нужен, когда вы хотите услышать мнение учеников или когда вы создаете творческое задание. В любом конструкторе вам придется проверять такие вопросы вручную: автоматическая система пока что не способна анализировать свободную речь.

Где можно создать тесты?

Хорошо, вы воодушевились возможностями тестов и настроили учеников не бояться тестов-экзаменов. Теперь давайте разбираться, где вы можете реализовать свои идеи.

Классика: Google-формы

Сначала Google-формы могли только собирать мнения и были полезным инструментом для социологов, маркетологов и бизнесменов. Но потом компания поняла, что преподаватели — очень большой сегмент их аудитории. Теперь в Настройках форм можно переключать формат на “Тесты”.

➕ Плюсы:

• доступен каждому;
• все ответы сохраняются на Диск;
• нет ограничений по количеству вопросов;
• можно проверять вручную открытые и развернутые вопросы.

➖ Минусы:

• нельзя отслеживать прохождение теста; 
• визуально небогатый конструктор;
• нет специфических форматов, вроде сопоставления;
• нет общей аналитики по успеваемости учащихся, только статистика по отдельному тесту.

Online Test Pad

Разработчики уже лет десять с хвостиком занимаются созданием и адаптацией конструкторов педагогических тестов. Один из лидеров на нашем рынке — Online Test Pad. На его базе пользователи каждый день создают образовательные тесты по школьным предметам и программам вузов:

➕ Плюсы:

• много форматов вопросов;
• можно использовать вопросы с видео и изображениями;
• каждый вопрос имеет вес в баллах, которые можно назначить за полностью и частично верный ответ;
• есть возможность посмотреть статистику прохождения тестов;
• можно сделать электронный сертификат.

➖ Минусы:

• требует времени на освоение;
• нельзя инкорпорировать в другой интерфейс — только ссылкой;
• интерфейс перегружен и немного старомоден;
• тратится достаточно долгое время на создание одного теста и редактирование его под свои нужды.

Что предлагают тесты на Классапере?

На нашей платформе есть встроенные тесты, которые решают проблему с поиском сторонних конструкторов. Найти их можно во вкладке “Задания”. А далее — использовать “Ленту”, чтобы сообщить о скором дедлайне по тесту. Необходимые материалы для повторения вы добавите в “Документы”, так что ученики смогут узнать о тесте, подготовиться к нему и успешно сдать, не выходя с Классапера.

➕ Плюсы:

• закрепляются за вашим классом или курсом;
• можно назначать всему классу или группе или отдельному учащемуся;
• данные о прохождении (кто и сколько процентов) сохраняются автоматически;
• много настроек для редактирования теста под свои запросы;
• к вопросу можно прикреплять документы с компьютера или с внутреннего хранилища класса;
• привязываются к домашним или классным занятиям.

➖ Минусы:

• недостаточно форматов вопросов: сейчас есть четыре формата (одиночный и множественный выбор, свободный ответ, развернутый ответ) — но мы регулярно добавляем новые форматы;
• нельзя вставлять в вопросы математические формулы, но можно вставить в формулу в виде картинки;
• в вопросы нельзя добавить видео.

Чек-лист «Готовлю тест онлайн»

Итак, вы знаете, какие форматы вопросов можно использовать и какие конструкторы помогут вам в создании онлайнового чуда. 

О чём следует помнить, когда вы составляете онлайн-тест?

🔲  О форматах. Ограничьте их до 3-5. Не стоит перегружать учеников большим разнообразием форматов.

🔲  О длительности. Обучающий тест можно ограничить 10 минутами, контролирующий — 25 минутами, результирующий — 45-50 минутами. Тест для студентов может длиться дольше, но не факт, что концентрация останется на том же уровне. Не забывайте ставить таймер в тесте и предупреждать о времени ваших учеников!

🔲  О входной форме. Поверьте, 26 ноунеймов — это очень долгая история с поисками авторства. Создайте на первой странице вопрос о ФИО и номере класса или группы.

🔲  О понятных инструкциях. Перед началом теста оставьте на первой странице объяснения, как будет проходить тест. А ещё поясните, для чего он нужен (см. функции тестов).

🔲  Об обратной связи от учеников. Вам будет полезно узнать, как оценивают тест сами ученики или студенты. В конце теста спросите в свободном вопросе о том, насколько трудно было ученикам и какие вопросы вызвали больше всего затруднений.

🔲  О проверке. Если в вашем тесте есть вопросы, которые требуют ручной проверки, постарайтесь закончить с ней в 2-3 дня. 

Важный вопрос: можно ли избежать списывания?

А почему ученики списывают? Если они мотивированы только внешней наградой — пятеркой, то сам тест для них станет только неприятным препятствием. И тут захочется списать и побыстрее преодолеть его. Но если ваши ученики и студенты знают, что тест помогает им следить за своим прогрессом и лучше погружаться в материал, — соблазн списать будет меньше. 

О мотивации, контроле и списывании — в наших следующих статьях. Следите за блогом!

Понравилась статья? Поделитесь ей в социальных сетях:

Разработка тестов

по учебной дисциплине

Методические рекомендации

для преподавателей

                 Методические рекомендации содержат
основные требования к разработке тестов для  проведения внутреннего аудита
качества профессиональной подготовки обучающихся, образцы тестовых заданий,
перечень типичных ошибок, допускаемых преподавателями при составлении тестов. Предназначены
для преподавателей – составителей тестов. Методические рекомендации могут быть
полезны при разработке тестов для обучающихся учреждений начального, среднего и
высшего профессионального образования.

СОДЕРЖАНИЕ

Введение

• Педагогический
  тест как контрольно-измерительный материал
• Этапы
  и общие требования к разработке теста
• Виды
  тестовых заданий
• Типичные
  ошибки, допускаемые при составлении вопросов к тесту
• Внутренняя
  экспертиза теста
• Оформление
  тестового материала и подготовка его к компьютерному варианту тестирования

Словарь
терминов

Список
рекомендуемой литературы

ВВЕДЕНИЕ

В связи с
модернизацией современного высшего образования, с введением ФГОС третьего
поколения, возрастают требования к повышению качества педагогического контроля,
ведется поиск его лучших форм и методов, его экономичности, оптимизации. Оценка
качества образования также на сегодняшний день является наиболее приоритетной
проблемой в образовательной деятельности. Новый стандарт предполагает также 
переход на рейтинговую систему контроля и оценки знаний слушателей, в связи с
этим большое значение приобретает измерение результатов усвоения программного
материала.

Мониторинг
качества образовательной системы предполагает, прежде всего, регулярный сбор и
обработку информации об уровне профессиональных знаний, умений студентов. Одним
из основных инструментов оценки качества уровня обученности студентов является
тестирование вообще и компьютерное тестирование в частности, позволяющие дать
достаточно объективную нормативно-ориентированную оценку учебных достижений
обучающихся.

Каким содержанием наполнено понятие
«педагогический тест»? Какие классификации педагогических тестов существуют, и
какие критерии применяются для оценки качества педагогических тестов? В чем
преимущество тестовых форм контроля в процессе обучения? Что понимается под
термином «тестовое задание», и какие правила необходимо соблюдать при
составлении тестовых заданий? Как составить  тестирование обучающихся при
подготовке к   внутреннему тестированию в рамках внутривузовской проверки
качества профессиональной подготовки? Ответы на эти вопросы, а также конкретные
образцы тестовых заданий разного вида представлены в данном учебно-методическом
издании.

Педагогический
тест как контрольно-измерительный материал

Педагогический тест 
является наиболее распространенным  контрольно-измерительным материалом в современном
образовательном процессу в вузе. Педагогический тест — это совокупность
заданий, отобранных на основе научных приемов для педагогического измерения в
тех или иных целях.

Педагогический тест рассматривается как система, как
упорядоченное множество тестовых заданий. Задания — это те элементы,
«кирпичики» из которых составляется педагогический тест.

Почему именно тестирование
становится все более массовым явлением в процессе педагогического оценивания?

Опыт
использования тестов в качестве  инструмента для оценивания позволяет выделить
многие его преимущества, в частности, тест:

·       это
более качественный и  объективный способ оценивания, что достигается путем
стандартизации процедуры проведения (отсутствие субъективной оценки на всех
этапах тестирования) и стандартизации заданий;

·       более
емкий инструмент – показатели тестов ориентированы на измерение степени,
определение уровня  усвоения ключевых понятий, тем и разделов учебной
программы, умений, навыков, а не на констатацию наличия у обучающихся определенной
совокупности усвоенных знаний;

·       позволяют
включить в экзаменационную работу гораздо большее количество заданий;

·       это
более «мягкий»  инструмент, они ставят всех испытуемых в равные условия,
используя единую процедуру и единые критерии оценки, что приводит к снижению
нервного напряжения;

·       широкий
инструмент –  и с точки   зрения интервала оценивания;

·       более
эффективен с экономической точки зрения, так как при тестировании основные
затраты приходятся на составление качественного инструментария.

Было бы конечно
большой ошибкой считать, что педагогическое тестирование свободно от
недостатков. Применение педагогических тестов – эта та область знаний и умений,
которая поддается формализации. Но далеко не все учебные дисциплины или их
разделы формализуемы.

К недостаткам тестов следует отнести то, что тестовый
контроль лишает возможности слушателей самостоятельно формулировать ответы,
отсутствует возможность проявить свою индивидуальность, творчество.

Но
самый большой недостаток – это сложность разработки хороших тестовых заданий,
хотя на первый взгляд кажется, что с этим никаких трудностей быть не должно,
ведь тестовые задания разрабатываются преподавателями, хорошо знающими свой
предмет. На самом деле разработка педагогических тестов требует высокой
педагогической квалификации, научной компетенции и большого методического опыта
составления тестов преподавателем. В этой связи необходимо самое пристальное
внимание уделять повышению качества тестовых заданий.

    При проведении тестирования учитываются три
критерия качества теста: надежность, валидность и объективность.

Надежность теста – критерий отражающий точность диагностических
измерений, а также устойчивость результатов теста к действию посторонних
случайных факторов. Надежность педагогического теста позволяет при его
применении в разных группах обучающихся с близким уровнем подготовки получать
примерно одинаковые результаты. Результат педагогического тестирования обычно
подвержен влиянию большого количества неучитываемых факторов (например,
эмоционального состояния и утомления, уровня мотивированности тестируемых и
др.). Любое изменение ситуации тестирования усиливает влияние одних и ослабляет
воздействие других факторов на результат теста.

В самом широком смысле надежность педагогического
теста – это характеристика того, в какой степени выявленные у слушателей
различия в уровне знаний по тестовым результатам являются отражением
действительных различий в измеряемых свойствах и в какой мере они могут быть
приписаны случайным ошибкам.

В более узком смысле, связанном с непосредственными
методами определения характеристик надежности, под этой группой показателей
понимают степень согласованности результатов теста, получаемых при первичном и
повторном его применении, по отношению к тем же тестируемым в различные моменты
времени, с использованием разных (но сопоставимых по характеру) наборов
тестовых заданий или при других измененных условиях тестирования.

Важнейшим средством повышения надежности
педагогических тестов является стандартизация процедуры тестирования.
При строгой регламентации процедуры тестирования (обстановка и условия работы
слушателей, характер инструкции, временные ограничения, способы и особенности
контакта со слушателями, порядок предъявления тестовых задач и т.д.)
существенно уменьшается дисперсия ошибки и повышается надежность теста. При
прочих равных условиях надежность теста зависит от числа заданий (длины теста) 
– чем длиннее тест,  тем он надежнее.

Валидность теста – это критерий, который определяет, что тест
измеряет и насколько хорошо он это делает. В понятии валидности отражается идея
соответствия педагогического тестирования его цели. Интуитивно все понимают,
что одно и то же можно проверять по разному. Отсюда возникает вопрос поиска
наиболее подходящего (валидного) средства, полнее, чем другие, удовлетворяющего
требованиям качества проверки.

В педагогических тестах наиболее важным типом
валидности является валидность по содержанию. При проверке
содержательной валидности речь идет об определении степени соответствия
содержания тестовых заданий содержанию учебного предмета, успешность усвоения
которого тестируется, то есть решается вопрос о том, в какой степени задачи
данного диагностического контроля успеваемости репрезентативны для содержания
учебной программы.

Для обеспечения валидности педагогического теста
требу-ется систематическая проверка того, насколько задания теста охватывают
все главные аспекты учебной программы и в правильной пропорции. Тест легко
перенасытить теми аспектами учебной программы, по которым легче составить
объективные задания. Поэтому рассматриваемое содержание следует фиксировать
заранее, а не после того как тест уже составлен. Правильно построенные
педагогические тесты должны соответствовать не только предмету обучения, но и
его задачам. Содержание, следовательно, необходимо определять достаточно
широко, включая в него помимо знания фактического материала такие важнейшие
цели обучения, как применение изученных принципов и интерпретацию данных.
Валидность также обеспечивается распределением тестовых заданий различной трудности
пропорционально уровню трудности учебного материала.

Валидность по содержанию закладывается в тест уже при
отборе соответствующих заданий. Для педагогических тестов подготовке их заданий предшествует
полная систематизированная проверка соответствующих учебников и учебных
программ, а также консультации со специалистами по данному предмету. На основе собранной таким путем информации
составляется спецификация теста для тех, кто будет составлять задания. В
спецификации указываются тестируемые области содержания (темы), задачи
(процессы) обучения, а также относительное значение каждой темы и процесса. На
этой основе по каждой теме устанавливается число заданий различных типов.
(Более подробно вопрос составления спецификации будет рассмотрен ниже).

Надежным средством обеспечения валидности теста
является экспертная оценка тестовых материалов, которая проводится экспертами
из числа наиболее квалифицированных специалистов-предметников и специалистов в
области тестирования. Конкретные задания оцениваются экспертами по принципу их
близости к реальным требованиям. Эксперты выносят суждение о том, охватывает ли
тест репрезентативную выборку конкретных навыков и знаний исследуемой области
обучения.

Валидность по содержанию является адекватным средством
оценки педагогических тестов. Она позволяет установить, охватывает ли тест
репрезентативную выборку конкретных навыков и знаний и свободно ли выполнение
теста от влияния посторонних факторов.

Следующий важный критерий качества педагогического
тестирования — объективность, то есть независимость получения и
интерпретации диагностических данных от преподавателя. Объективность
педагогического тестирования является важным синтезирующим критерием,
включающим в себя идеи надежности, валидности, кроме того, ряд аспектов педагогического
и этического характера.

Педагогический аспект повышения объективности
педагогического тестирования проявляется в использовании стандартных тестовых
программ, технических средств контроля, в первую очередь использование
компьютерных технологий в организации проведения педагогического тестирования.

Этический аспект объективности охватывает широкую
область морального регулирования. Результаты педагогического теста могут
оказаться полностью или частично неадекватными поставленной цели, если допускается
списывание, подсказки со стороны слушателей, репетиторство (но не всякое, а
«натаскивание»), снисходительность или, наоборот, чрезмерная требовательность
преподавателей.

Таким образом, результаты педагогического теста
зависят от соблюдения всех вышеназванных требований, которые обеспечивают
получение адекватных и достоверных оценок знаний слушателей.

2.
Этапы составления и общие требования к разработке теста

    В данном разделе представлены
основные этапы составления теста.

В разработке педагогических тестов можно выделить три
этапа: планирование, написание заданий и анализ заданий (см. Рис.1).

Перед разработкой теста необходимо четко иметь
представление о требованиях к знаниями, навыкам и умениям обучающихся по данной
учебной дисциплине. Эти требования определены в соответствующих Государственных
образовательных стандартах, предметных квалификационных характеристиках и
типовых учебных программах. Первый шаг в планировании теста – это анализ данных
документов. Задания теста должны в полной мере выявить степень овладения
требуемыми знаниями, навыками и умениями.

Составитель теста, начинающий с написания задания,
скорее всего, создаст узконаправленный тест. Без предварительного плана
некоторые темы изучаемого предмета могут занять слишком много места, в то время
как другие останутся незатронутыми.

Рисунок 1 . Этапы разработки теста

Во избежание несбалансированности и диспропорции
охватываемых тестом тем составлению заданий должна предшествовать разработка
его спецификации.

Спецификация теста является обязательной операцией
эмпирического анализа теста и необходимым условием создания нового теста.
Спецификация заключается в том, что строится таблица, в которой указываются:

·        
номера заданий и их
принадлежность к субтестам;

·        
направленность заданий;

·        
сложность, трудоемкость,
вес заданий;

·        
какую из характеристик
каждое из заданий конкретно диагностирует.

При подготовке тестов подобную спецификацию следует
начать с описания целей изучения данного предмета, а также охватываемого этим
предметом содержания. Перечисляя цели, создатель теста должен спросить себя, к
каким изменениям в поведении ведет освоение изучаемого предмета: скажется ли
оно на привычных способах работы, на способе решения задач, на способностях,
интересах и других характеристиках, а также на приобретении и развитии
интеллектуальных навыков.

В табл.1 приведена спецификация теста по дисциплине «Зоогигиена
с основами проектирования животноводческих объектов», состоящего из 116 заданий.
В левой колонке перечислены 11 тем, или содержательных категорий, которые
должны быть охвачены тестом. В верхней части таблицы приведены также 4
тестируемые учебные цели или типа обучения. Вся таблица дает предоставление о
желательном числе заданий относительно содержания и целей обучения. Число
заданий соответствует важности и широте каждой темы и целям ее изучения. Если
конкретная цель или тип обучения данной темой не затрагиваются, то задание в
соответствующей клетке таблицы отсутствует. В вертикальных и горизонтальных
рядах таблицы представлены относительный вес каждой темы и цели обучения во
всем тесте. Часто эти веса устанавливаются заранее, что позволяет
проконтролировать охват заданием тем и целей обучения, не устанавливая сквозную
классификацию индивидуальных заданий.

Таблица 1

Пример спецификации теста по дисциплине

«Зоогигиена с основами проектирования
животноводческих объектов»

Изучаемое содержание	Учебные цели	Всего
Знание основных терминов	Понимание целей и принципов	Навыки по мониторингу и оценке	Расчет и управление параметрами
1.Предмет и задачи гигиены и зоогигиены, как раздела медицины и ветеринарной медицины	3	2	—	—	5
2.Факторы природно- территориального комплекса и их влияние на здоровье и продуктивность. Понятие микроклимата и его составляющие	5	4	3	—	12
3.Зоогигиенические требования к почве и санитарная охрана её от загрязнения	4	4	4	—	12
4.Зоогигиеническое значение воды. Гигиена водоснабжения и поения сельскохозяйственных животных	3	3	3	3	12
5.Гигиенические требования к кормам и кормлению с. х. животных	4	2	2	2	10
6.Требования к санитарно- техническому оборудованию животноводческих помещений для разных видов с.х.  животных	4	2	2	2	10
7.Гигиена содержания крупного рогатого скота	5	5	3	2	15
8.Гигиена содержания  свиней и птицы	3	3	2	2	10
9.Гигиена содержания овец	3	3	2	2	10
10.Гигиена содержания лошадей	3	3	2	2	10
11.Гигиена содержания кроликов и пушных зверей	3	3	2	2	10
ИТОГО	40	34	25	17	116

          Исходным моментом составления
тестовых заданий является выделение общей цели, преследуемой тестовым заданием.
Такие цели должны предусматривать требование от обучаемого:

а) простого воспроизведения знаний, анализа и
сравнения данных. Постановка таких вопросов в заданиях позволяет проверить
усвоение слушателями материала на уровне запоминания, тренирует память;

б) анализа признаков понятия. При этом выявляется
умение обучаемых находить общее и специфическое в изучаемом материале, отделять
существенные признаки от несущественных, родовые от видовых, способствует
развитию аналитического мышления;

в) умения распознавать схемы, рисунки;

г) понимания функций, выполняемых различными органами
(звеньями, приборами, устройствами и т.п.), и процессов взаимодействия между
этими органами. Вопросы такого типа позволяют проверить умение слушателя
вскрывать определенные причинно-следственные связи и отношения, оценивать роль
и значение данного органа для процессов, происходящих во всей системе;

д) приведения в логическую последовательность
элементов множества, расположенных в беспорядке, т.е. умения решать
определенного класса задачи, требующие обнаружить последовательность
расположения элементов в информационном ряде объектов, тактических приемов,
например, в следственном действии либо оперативно-розыскном мероприятии;

е) творческого подхода к рассматриваемым проблемам и
вопросам, умения применять полученные знания в условиях той или иной ситуации.

При создании
тестов для проверки остаточных знаний на основании ФГОС ВПО по соответствующей
дисциплине или для проверки итоговых знаний студента на основании программы
дисциплины прежде всего определяется область содержания теста и цели
тестирования. План теста для промежуточного контроля знаний должен охватывать
знания, умения и навыки по одной или нескольким дидактическим единицам, для
итоговой аттестации – по всем дидактическим единицам дисциплины в соответствии
с программой дисциплины, для проверки остаточных знаний по всем дидактическим
единицам дисциплины в соответствии с ФГОСом по специальности.

Преподавателю следует ориентироваться на следующие
принципы отбора содержания тестовых заданий для тестов:

1. Содержание теста должно
соответствовать содержанию учебной дисциплины. Задания теста должны в
правильной пропорции охватывать все важные аспекты области содержания.

2. Необходимо включение в
тесты только наиболее важных, базовых знаний, выражающих сущность, содержание,
законы и закономерности рассматриваемых явлений. Все спорные точки зрения,
допустимые в научном споре, следует исключить из тестовых заданий.

3. Каждый учебный элемент
должен иметь некоторую усредненную меру трудности, которую необходимо учитывать
в процессе контроля знаний.

Эксперты,
определенные на кафедре, оценивают соответствие заданий области содержания и
целям тестирования. Проводится внутреннее пробное тестирование преподавателями
кафедры. Осуществляется предварительная корректировка теста. Определяется время
тестирования студентов. Рекомендуемая продолжительность ответа на тестовое
задание составляет 1,5 минуты.

На основании анализа
статистических параметров по каждому заданию и тесту в целом производится
повторная корректировка теста – удаляются неудачные задания, если необходимо —
составляются новые.

        Производится выбор
стандартов оценивания экспертными и эмпирическими методами. Выполняется оценка
надежности теста и содержательной валидности (соответствия заданий содержанию
дидактических единиц). Составляется окончательный вариант теста и его
параллельных форм. Тиражируется сам тест и связанный с ним материал (если
используется бумажный вариант тестирования). При подготовке теста к 
компьютерному тестированию  готовится бумажный и электронный вариант теста и
заносится в тестовую оболочку программистом компьютерного класса.

Виды
тестовых заданий

Существует ряд требований к тесту организационного
характера:

• тестирование осуществляется главным образом через
  программированный контроль, никому не дается преимуществ, все отвечают на
  одни и те же вопросы в одних и тех же условиях;
• оценка  результатов производится по ранее
  разработанной шкале;

·                    
применяются необходимые меры, предотвращающие искажение результатов
(списывание, подсказку и утечку информации о содержании тестов)

При разработке теста целесообразно
использовать различные виды тестовых заданий. В частности:

·        
Задания с выбором одного правильного ответа (ВО)

·        
Задания с выбором нескольких правильных ответов (МВ)

·        
Задания на установление правильной последовательности (УП)

·        
Задания на установление соответствия (УС)

·        
Задания с кратким ответом (КО)

Общие требования к
тестовым заданиям разного типа

·        
Текст задания должен исключать всякую двусмысленность и неясность
формулировок.

·        
Текст задания формулируется предельно кратко, т.е.
освобождается от всякого постороннего для данной
проблемы материала. Текст задания должен иметь предельно простую синтаксическую
конструкцию.

·        
В задании не используются слова, вызывающие различное
понимание у испытуемых, а также слова, являющиеся
подсказкой, например, «иногда», «часто», «всегда», «все», «никогда».

·        
В заданиях, носящих составной характер, необходимо обеспечить
такую последовательность, чтобы правильность выполнения одного
задания не зависела от правильности выполнения другого задания данной группы.

·        
В тексте задания исключается двойное отрицание.

·        
Задания должны быть направлены на проверку значимых элементов
содержания, а не тех, которые проще формулируются или просты в обработке.

·        
Используемая в заданиях терминология не должна выходить за
рамки учебной литературы, используемой в вузе

Требования
к дистракторам :

·       
По возможности, не следует делать ответы длинными;

·       
Одно и то же слово (или словосочетание, или однокоренное
слово) не должно находиться в тексте задания и правильном ответе;

·       
Все ответы должны быть подобными (аналогичными, похожими),
это касается и их внешнего вида, и грамматической структуры.

·       
В вариантах ответа на задания желательна краткость;

·       
Ответы на основу задания должны быть сформулированы
достаточно просто, чтобы были понятны существенные различия между ними;

·       
Каждый дистрактор должен быть правдоподобным, внушающим
доверие, вполне убедительным и привлекательным для  экзаменующихся;

·       
Правильный ответ должен быть ясен, краток, правилен и
свободен от подсказок (как внутри текста задания, так и вне его);

·       
Ответы должны быть одинаковы по длине (хотя бы
приблизительно), не следует формулировать правильный ответ заметно длиннее или
короче, чем дистракторы;

·       
В дистракторах не следует использовать слова или технические
термины, которые экзаменующийся не может или не должен знать;

·       
При формулировке дистракторов не следует использовать
выражения: «ни один из перечисленных», «все перечисленные» и т.д., так как они
способствуют угадыванию правильного ответа;

·       
Из дистракторов, как правило, исключаются все повторяющиеся
слова путем ввода их в основной текст задания;

·       
Все ответы должны быть грамматически согласованными с
основной частью задания;

·       
Если ответ выражен в виде числа, то, как правило, эти числа
располагаются от меньшего к большему или наоборот.

Далее представлены  требования к содержанию тестовых заданий
разного типа.

Задания
с выбором одного верного ответа (ВО)

Общие
требования

— Формулировка основной части задания, должна быть
законченной

— В заданиях базового уровня в ответы целесообразно включать
не более двух-трех важных, ключевых слов, при этом правильный ответ не должен
отличатся какими-либо формальными признаками от неправильных ответов
(дистракторов).

— В заданиях базового уровня не должно требоваться выбрать
один НЕПРАВИЛЬНЫЙ ответ при наличии нескольких правильных.

— Из текста задания исключаются все словесные ассоциации,
способствующие выбору правильного ответа с помощью догадки.

— Если имеется задание с отрицаниями, то частицу НЕ или
слово, выражающее отрицание, необходимо выделить в тексте (жирным текстом с
подчеркиванием).

— Задания должны иметь одинаково правдоподобные дистракторы
(ответы), одинаково привлекательные для выбора.

— Исключаются ответы, вытекающие один из другого или
дополняющие друг друга.

Задания с выбором одного
верного ответа (ВО)

Примеры заданий:

Функция живого вещества, связанная с преобразованием
физико-химических параметров среды, называется …

A.     
средообразующей

B.     
транспортной

C.     
деструктивной

D.     
концентрационной

Различные типы заданий с
выбором ответа

Примеры заданий ВО
в повествовательной форме ( в виде суждений)

Аппаратом
сухой, инерционной очистки газов от пыли является…

1)
циклон

2)
скруббер

3)
волокнистый фильтр

4)
электрофильтр

Регулярное
наблюдение и контроль за состоянием окружающей среды;

определение
изменений, вызванных антропогенным воздействием,

называется
экологическим …

1)
мониторингом

2)
аудитом

3)
страхованием

4)
нормированием

Задания на отрицание

В архейскую эру НЕ существовало…

A.      беспозвоночных
животных

B.      цианей

C.      анаэробных
бактерий

D.      одноклеточных
водорослей

Примеры заданий с
рисунком

Об экологической чистоте 
товара и о безопасности его для человека и окружающей среды указывает знак
экологический маркировки…

На представленном рисунке
показана схема…

1)оборотного
водоснабжения ГЭС

2) очистки газовых выбросов ТЭС

3) работы АЭС

4)    очистных
сооружений ЦБК

Примеры заданий 
формы множественный выбор «два из пяти»
(МВ):

К цветковым растениям относятся…

A.      одуванчик
лекарственный

B.      рябина
обыкновенная

C.      ель
европейская

D.      сосна
обыкновенная

E.       плаун
булавовидный

Примеры
заданий  формы множественный выбор «три
из шести»(МВ):

В.И.
Вернадский выделял такие виды веществ в биосфере, как…

1)
живое

2)
косное

3)
биоксное

4)
твердое

5)
мертвое

6)
автотрофное

Пример задания
формы установление последовательности (УП):

Расположите биоценозы в
той последовательности,  в которой они сменяют друг друга в процессе сукцессии…

1)
пожарище

2)
кустарник

3)
смешанный лес

4)
ельник

Установите правильный порядок действий при выделении
хлоропластов методом центрифугирования…

1)
поставить центрифужные пробирки в центрифугу

2)
измельчить лист растения ножницами

3)
растереть растительную навеску в ступке при помощи пестика

4)
уравновесить центрифужные пробирки

5)
включить центрифугу на определенное время и определенное количество оборотов

Задания
на установление соответствия (УС)

Общие
требования

Задания
контролируют умение установить соответствие между объектами или процессами
и описанием их свойств и признаков. Задания на установление
однозначного или множественного соответствия начинаются
со слов: «Установите соответствие…».

Задание
формулируется так, чтобы содержание можно было выразить в виде двух
множеств с соответствующими названиями. Элементы первого
столбца обозначаются цифрами и располагаются слева, а элементы
второго обозначаются буквами русского алфавита и располагаются справа.  Для
каждого столбца вводится определенное название, обобщающее все элементы
столбца. Название столбца записывается заглавными буквами. Элементы
столбцов должны быть выбраны по одному основанию.Для заданий на однозначное
соответствие необходимо, чтобы второй столбец содержал
не менее одного дистрактора.

Для
всех учебных предметов используется одинаковый формат ответов, представленный
ниже.

 

Пример задания 
формы УС:

Установите соответствие
между группами растений по отношению к свету и признаками растений:

ПРИЗНАКИ	ЭКОЛОГИЧЕСКИЕ ГРУППЫ РАСТЕНИЙ
1)  Имеют темно-зеленый цвет;	А)  Светолюбивые
2)  Не выносят малейшего затенения;	Б)   Тенелюбивые.
3)  Процесс фотосинтеза преобладает над дыханием;
4)Не выносят сильной освещенности;
5)  Растут под пологом леса;
6)  Обитают на освещенных местах.

Задания
открытой формы

Общие
требования

В заданиях открытой формы
не используются готовые варианты ответов. В них испытуемому нужно дополнить
недостающее слово (группу слов, формулу, число, знак и др.), которое
свидетельствует о его знании. 

    Существует большое
разнообразие типов заданий в открытой форме.

    Задания открытой формы подразделяются на задания с
коротким ответом и задания с развернутым ответом или эссе.

    В практике массового педагогического тестирования в
основном применяются следующие модификации заданий открытой формы:

·    задания
с коротким ответом (КО);

·    задания
на завершение утверждения (ЗУ);

·    задания
на заполнение пробела (ЗП);

·    задания
на завершение (или на конструирование) графического объекта (диаграммы,
графика, схемы).

Примеры
заданий  формы КО:

1). Если ПДК нитратов для
человека составляет 3,05 мг/кг в сутки, то для человека массой 68 кг допустимо
поступление в организм этих веществ до ___ мг.

Ответ: 207

2). Если норматив платы
за выброс 1 тонны фенола в атмосферу в пределах установленных лимитов
составляет 3,415 тыс. руб., то при выбросе предприятием 22 тонн данного
загрязняющего вещества, выплаты составят ______ тыс. рублей.

Ответ: 75

Задания на завершение утверждения

Представленный ниже график иллюстрирует
закон _________________.

Изображенная на рисунке модель
иллюстрирует закон _______.

Типичные
ошибки, допускаемые при

составлении
вопросов к тесту

         При составлении тестовых
заданий разработчикам следует не только придерживаться определенных правил к
формулировке заданий, правильных ответов и дистракторов, но и избегать
основных, наиболее типичных неточностей и ошибок при их написании. Наиболее
часто встречаются следующие нарушения требований и определенных критериев при
написании тестовых заданий.

         Следует избегать составлять
задания, которые проверяют
больше чем одну идею, проблему, концепцию. При этом в правильном ответе и
дистракторах не должно содержаться разное количество элементов ответа:

                Важнейшими экологическими
последствиями глобального загрязнения атмосферы являются …

1) кислотные
осадки и парниковый эффект

2)
демографические параметры

3)
извержения вулканов

4)
естественные сукцессии

          В
правильном ответе и дистракторах  содержится разное количество элементов
ответа:

В ходе световой фазы фотосинтеза
происходит…

1) фотолиз воды и выделение свободного кислорода

2)
фиксация углекислого газа

3)
использование энергии АТФ

4)
синтез глюкозы

К
липидам относятся…

1) стероиды, терпены, воска и фосфолипиды

2)
только стероиды

3)
только терпены

4)
только фосфолипиды

Из
дистракторов, как правило, исключаются все повторяющиеся
слова путем ввода их в основной текст задания, например:

Неправильно	Правильно
Области концентрации живого вещества на границе двух сред обитания В.И. Вернадский назвал … 1) узлами жизни 2) очагами жизни 3) рубежами жизни 4) точками жизни	Области концентрации живого вещества на границе двух сред обитания В.И. Вернадский назвал _____________ жизни. 1) узлами 2) очагами 3) рубежами 4) точками

Часть
ответа лучше вынести в вопрос, например:

Неправильно	Правильно
Для изучения тонкой структуры клеточных органелл  наиболее эффективным оказался метод … 1) электронной просвечивающей микроскопии 2) электронной сканирующей микроскопии 3) флуоресцентной микроскопии 4) световой микроскопии	Для изучения тонкой структуры клеточных органелл наиболее эффективным оказался метод ________ микроскопии. 1) электронной просвечивающей 2) электронной сканирующей 3) флуоресцентной 4) световой

Все
ответы должны быть грамматически согласованными
с основной частью задания. Например, наблюдается несоответствие родов или
падежей:

Круговорот веществ, движущей силой
которого является деятельность живых организмов, называется …

1) биологическим

2) большой

3) геологический

4) антропогенным

Не
все иностранные фамилии можно склонять по падежам.

Неправильно	Правильно
Роль микроорганизмов в питании растений была выявлена в опытах, проведенных… 1) Прянишниковым Д.Н. 2) Сабининым Д.А. 3) Кнопом И. 4) Саксом Ю.	Роль микроорганизмов в питании растений была выявлена в опытах, которые провел… 1) Прянишников Д.Н. 2) Сабинин Д.А. 3) Кноп И. 4) Сакс Ю.

Все
ответы должны быть грамматически согласованными
с основной частью задания. Например, может наблюдаться несоответствие чисел
(единственное и множественное)‏:

Неправильно	Правильно
Пространство, на котором популяция или вид в целом встречается в течение всей своей жизнедеятельности, называется … 1) ареалом 2) площадью 3) зонами 4) территориями	Пространство, на котором популяция или вид в целом встречается в течение всей своей жизнедеятельности, называет(ют)ся… 1) ареалом 2) площадью 3) зонами 4) территориями

Не
допускается использование словосочетаний:  ни один из перечисленных выше; все
перечисленные; все, кроме…

Основные способы приспособления организмов
к условиям

окружающей
среды –это …

1)
активный путь, пассивный путь, избегание неблагоприятных воздействий

2) все перечисленные, кроме активного пути

3) только активный путь

4) ни один из перечисленных вариантов ответа не верен

Ответы
должны быть одинаковы по длине (хотя бы приблизительно),
не следует формулировать правильный ответ заметно длиннее или короче, чем
дистракторы. Следовательно, правильный ответ не должен отличаться внешне по
длине от дистракторов:

Для защиты атмосферы от загрязнения
проводят …

1) очистку выбросов предприятий от вредных примесей с помощью
газоулавливающих средств

2)
интродукцию растений

3)
рекультивацию земель

4)
мелиоративные мероприятия

Не
следует в качестве дистракторов приводить понятия, явно
не имеющие отношения к предмету тестирования:

Для физико-химической очистки сточных вод
используют …

1)
адсорбер

2) автобус

3) автомат

4) аттестацию

Не
следует разрабатывать тестовые задания на  несоответствие
современным научным достижениям или использовать устаревшую информацию:

В
настоящее время количество населения на планете составляет ________ человек.

1)
5 млрд.

2) 3 млрд.

3) 500 млн.

4)100 млн.

Не следует формулировать
задание в виде вопроса:

Неправильно	Правильно
Что содержится в файле с расширением obj? Исходный текст программы; Библиотечные функции; Исполняемая программа; Объектный код программы	Файл с расширением obj содержит: Исходный текст программы; Библиотечные функции; Исполняемую программу; Объектный код программы

Внутренняя
экспертиза  теста

Каждому эксперту выдаются следующие материалы:

• Спецификация и план теста
• Инструкция по экспертизе
• Формы для заключения об экспертизе и записи
  решений

В процессе экспертизы проводится следующая работа:

• Выполняется каждое задание теста (указывается
  правильный ответ, приводится решение задания, где необходимо)
• Анализируются формулировки задания (проверяется
  предметная корректность формулировок)
• Анализируется содержание заданий на их
  тематическую принадлежность и уровень сложности (базовый, повышенный или
  высокий)
• Формулируются замечания каждому из заданий, в
  конструктивной форме с предложениями, что и как необходимо изменить.
• Формулируется заключение о пригодности теста для
  использования

Спецификация теста включает:

• Цель создания теста, обоснование выбора подхода к
  его созданию,  описание возможных сфер его применения.
• Перечень нормативных документов (базисных
  программ, требований к уровню подготовки выпускников и др.), используемых
  при планировании содержания теста.
• Количество заданий различной формы с указанием
  числа ответов к закрытым заданиям, общее число заданий в тесте.
• Вес каждого задания, рекомендуемый автором теста.
• Рекомендуемое время выполнения теста, среднее
  время выполнения одного задания с учетом специфики формы.
• Охват требований государственных образовательных
  стандартов по дисциплине.

Требования к экспертной комиссии и
процедуре экспертизы качества теста

• Оценка качества содержания теста проводится
  независимыми экспертами, не участвовавшими в разработке теста. Число
  экспертов составляет не менее 3-х человек — наиболее опытные
  преподаватели, с большим стажем работы.
• В комплект материалов для экспертизы должен
  входить перечень требований к уровню подготовки испытуемых.
• Эксперту при работе потребуются часы для фиксации
  времени работы над каждым заданием и бланк для экспертного заключения.
• Если задание теста проверяет степень достижения
  требований на минимальном уровне — это базовое задание, на уровне
  «хорошей» оценки – задание повышенного уровня, «отличной» оценки – сложное
  задание.
• Эксперт должен оценить значимость содержания
  теста по следующей шкале – 0 – неоправданное включение задания в тест, 1 –
  незначимое задание, 2 – значимое, 3 – наиболее важный опорный элемент.

Оформление
тестового материала и подготовка его

к
компьютерному варианту тестирования

План теста

При разработке плана тестовых
заданий по дисциплине делается примерная раскладка процентного содержания
разделов и определяется необходимое число заданий (но не менее 3-х) по каждому
разделу дисциплины (по каждой дидактической единице) исходя из его важности и
числа часов, отведенных на его изучение в программе.

Требования к оформлению
тестовых материалов

N ДЕ	Наименование дидактической единицы ГОС	N за- да- ния	Тема задания
1	Общая теория права и государства	1	Понятие и признаки права. Система Российского права и ее структурные элементы
2	Источники и формы права. Норма права
3	Правоотношения. Правонарушение и юридическая ответственность
4	Российское право и основные правовые системы современности. Международное право. Понятие и признаки государства
2	Основы конституционного права Российской Федерации	5	Конституция Российской Федерации
6	Основы конституционного строя Российской Федерации
7	Правовой статус личности в Российской Федерации
8	Органы государственной власти в Российской Федерации
3	Основы гражданского права Российской Федерации	9	Граждане и юридические лица как субъекты гражданского права
10	Право собственности
11	Обязательства и договоры
12	Наследственное право Российской Федерации
4	Основы трудового права Российской Федерации	13	Основания возникновения трудовых прав работников. Трудовой договор
14	Рабочее время и время отдыха
15	Дисциплина труда
16	Защита трудовых прав граждан
5	Административное правонарушение и административная ответственность Российской Федерации. Основы уголовного права Российской Федерации	17	Административное правонарушение и административная ответственность
18	Преступление. Уголовный закон и уголовная ответственность
19	Категории и виды преступлений. Обстоятельства, исключающие преступность деяния
20	Система наказаний по уголовному праву

Бумажная копия теста должна
быть обязательно подписана автором (авторами) тестового материала с указанием
даты составления и передачи, листы скреплены и пронумерованы.

                Особенностью
современного  образовательного процесса в вузе является его компьютеризация,
что позволяет организовывать тестирование обучающихся на компьютерной основе.

                «Компьютерные» 
педагогические тесты имеют свои особенности, которые необходимо учитывать при
их разработке. Анализ информации на экране монитора компьютера часто бывает
затруднен из-за неправильной подачи материала. Хотя именно компьютеризованное
тестирование имеет свои преимущества и перспективы применения в образовании.
Особенная роль здесь принадлежит компьютерно-индивидуальному тестированию,
когда каждому испытуемому предъявляется уникальный набор заданий.

Возможности компьютерных
средств позволяют сочетать звуковые и зрительные формы предъявления тестовых
заданий. Компьютерные тесты должны быть адаптированы к реальному учебному
процессу. Одно из главных требований к компьютерным тестам — многовариантность.
Многовариантность должна быть двух типов: во-первых, по данным заданий,
во-вторых, по порядку их предъявления. Реализация этого требования снимает
сразу две организационные проблемы: списывание и запоминание ответов.

Достоинства компьютерного
тестирования:

— объективность тестирования
– персональный компьютер  «беспристрастен» при предъявлении тестовых заданий и
подсчете результатов их выполнения.

— удобство фиксации,
хранения и представления результатов тестирования, а также возможность их
автоматизированной обработки, включая ведение баз данных и статистический
анализ.

— удобство реализации
процедур индивидуально-ориентированного тестирования.

— возможность создания
таких тестовых заданий, которые не могут быть представлены без компьютера. При
этом могут быть использованы графические, динамические, интерактивные и другие
специфические возможности представления тестовых заданий на компьютере.

           Недостаток компьютерного
тестирования:

— необходимость минимальных
навыков работы на компьютере тестируемого.

В вузах существуют тестовые
оболочки, куда заносятся вопросы и варианты ответов тестовых заданий (например «iTest»,  «Му test» и др.). При подготовке компьютерного
тестирования следует учитывать следующую (рекомендуемую) схему взаимодействия
подразделений вуза (см. рис. 2).

Рисунок 2. Схема взаимодействия подразделений

в разработке и реализации
компьютерного теста

                Сектор качества
образования УМЦ обеспечивает централизованное и конфиденциальное хранение
тестовых заданий по учебным дисциплинам.

                При оценке выполнения
теста следует исходить из следующих рекомендаций:

• Оценка «удовлетворительно»
  ставится, если студент ответил на от 55 до 70% вопросов.
• Оценка «хорошо» ставится, если
  студент получил от 71 до 85%.
• Оценка «отлично» ставится,
  если студент получил 86% и более правильных ответов.

Список рекомендуемой литературы

1.       Аванесов, В.С.
Композиция тестовых заданий/ В.С. Аванесов. – М.: АДЕПТ, 1998. – 216 с.

2.       Воскресенская,
О.Л.
Оценка
качества подготовки студентов по дисциплине «Физиология растений» на основе
результатов Интернет-экзамена/ О.Л. Воскресенская, Г.П. Тикина /Материалы
Всероссийской конференции «Преподавание современной физиологии растений в
университетах и вузах страны: проблемы и решения». – М., 2008.

3.       Геворкян,
Е.Н., Комплексная
оценка высших учебных заведений/ Е.Н. Геворкян, В.Г. Наводнов, Г.Н.Мотова,
М.В.Петропавловский. — М.: Центр государственной аккредитации, 2003. — 176 с.

4.       Ефремова, Н.Ф.
Современные тестовые технологии в образовании/ Н.Ф. Ефремова. – Ростов-на-Дону:
Издательский центр ДГТУ, 2001. – 187 c.

5.       Киселева,
В.П. Методика
определения уровня подготовки студентов по результатам аттестационных
педагогических измерений/ В.П. Киселева, А.С. Масленников, В.Г. Наводнов. – Йошкар-Ола:
Центр государственной аккредитации,  2004. —  44 с.

6.       Клайн, П.
Справочное руководство по конструированию тестов/ П. Клайн. – Киев, 1994. – 238
с.

7.       Майоров,
А.Н.
Теория и практика создания тестов для системы образования. / А.Н.Майоров. – М:
Народное образование, 2000. – 351 с.

8.       Масленников,
А.С. Оценка
уровня обученности студентов в целях аттестации образовательного учреждения
профессионального образования: Учебное пособие/А.С. Масленников,  Б.А. Савельев. – М.:
Логос, 2003. – 136 с.

9.       Мельников, Ю.В.
Технология использования и разработки тестов и обучающих программ: Методическое
пособие / Ю.В.Мельников. – Домодедово: ВИПК МВД России, 1999. – 21 с.

10.   Михайлычев, Е.А.
Дидактическая тестология / Е.А. Михайлычев. – М.: Народное образование, 2001. –
432 с.

11.   Морев, И. А.
Образовательные информационные технологии. Часть 2. Педагогические измерения:
Учебное пособие/ И.А. Морев. – Владивосток: Изд-во Дальневост. ун-та, 2004. –
174 с.

12.   Переверзев, В.Ю.
Критериально-ориентированное педагогическое тестирование: Учеб. Пособие/ В.Ю.
Переверзев. – М.: Логос, 2003. –120 с.

13.   Родионов, Б.У. Стандарты
и тесты в образовании / Б.У. Родионов, А.О.Татур. – М.: Б.и., 1995. – 48 с.

14.   Челышкова, М.Б. Теория и
практика конструирования педагогических тестов: Учебное пособие/ М.Б.
Челышкова. – М.: Исследовательский центр проблем качества подготовки специалистов,
2001. – 410 с.

Приложение 1

Классификация тестов

1.
По процедуре создания:
· стандартизованные (в образовании, для целей итоговой аттестации);
· не стандартизованные.
2. По средствам предъявления:
· бланковые;
· предметные (манипулируем материальными объектами);
· аппаратурные (используются устройства для изучения особенностей внимания,
восприятия, памяти, мышления);
· практические (лабораторные работы, снабженные соответствующими инструкциями и
имеющие тестовое оснащение);
· компьютерные.

В
рамках компьютерного тестирования В.С. Аванесов предлагает адаптивные тесты —
задания, в которых предъявляются по одному, в зависимости от ответа испытуемого
на предыдущий вопрос.

3.
По направленности:
· тесты интеллекта;
· личностные тесты;
· тесты достижений.
4. По характеру действий:
· вербальные (с использованием умственных действий);
· невербальные (связанные с практическим манипулированием предметов).
5. По ведущей ориентации:
· тесты скорости (содержат простые задачи; время решения ограничено);
· тесты мощности или результативности (содержат трудные задачи, время решения
не ограничено, или мягко лимитировано);
· смешанные тесты (задачи различного уровня сложности, от самых простых до
самых сложных, время испытания ограничено, но достаточно для решения
большинства задач).
Эти тесты наиболее часто применяются на практике, к ним относятся большинство
тестов  учебных достижений.
6. По степени однородности задач:
· гомогенные (задачи, сходные по характеру, но различающиеся конкретным
содержанием);
· гетерогенные (задания отличаются и по характеру, и по содержанию).
7. По объективности оценивания:
· объективные (в процессе обработки результатов тестирования не
предусматривается использование субъективных толкований тестирующим);
· проективные тесты (допускается чрезвычайно большое разнообразие ответов и
проявление определенной субъективности при их толковании тестирующим.
8. По специализации:
· широкоориентированные (для тестов в системе образовании), позволяющие оценить
эффективность процесса обучения, степень освоения учащимися системы знаний,
умений и навыков в ходе учебного процесса;
· узкоориентированные, направленные на выявление достижений учащихся в процессе
освоения отдельных предметов, отдельных тем и т.д.
9. По целям использования (только для тестов в системе образования):
· предварительный определяющий тест (определяет знания в начале обучения,
затрагивает минимум знаний по теме обучения);
· тест прогресса, достигнутого в процессе обучения, формирующий тест
(затрагивает ограниченный сегмент обучения, раздел или главу, состоит из серии
отдельных тестовых вопросов, всесторонне охватывающих ограниченную область
обучения). Пример, обучающие тесты. Ученику даются конкретные инструкции для
исправления обнаруженных ошибок;
· диагностический тест (содержит большое число вопросов, имеющих отношение к
конкретной тестируемой области). Цель теста — определение трудностей обучения.
· суммирующий тест (используется для оценки широкого диапазона результатов
обучения, ожидаемого в конце учебного процесса, содержит вопросы,
представляющие более высокий уровень сложности, чем другие виды тестов).
10. По широте использования (только для тестов в системе образования):
· для использования преподавателем;
· для использования группой преподавателей или администрацией образовательного
учреждения;
· для целей отбора и формирования групп;
· для аттестации обучающихся.
11. По форме:
· тесты закрытого типа (задания с выбором верного ответа (или нескольких
верных) из набора предлагаемых;
· тесты открытого типа (ввод предполагаемого ответа на задание самим
тестируемым).

Приложение 2

Образец оформления титульного
листа  теста по дисциплине

МИНИСТЕРСТВО СЕЛЬСКОГО ХОЗЯЙСТВА РОССИЙСКОЙ ФЕДЕРАЦИИ ФГОУ ВПО УРАЛЬСКАЯ ГОСУДАРСТВЕННАЯ АКАДЕМИЯ  ВЕТЕРИНАРНОЙ МЕДИЦИНЫ               ТЕСТОВЫЕ ЗАДАНИЯ Для  ________________________________________                                                                   цель проверки По дисциплине ________________________________________                                         наименование дисциплины по ФГОС Для специальностей_____________________________________________                                         наименование специальностей по ФГОС Составлены______________________________________ ФИО,ученая степень, ученое звание преподавателя Троицк — 2009

Образец оформления первого листа
тестовых заданий

Утверждено
на заседании кафедры                                                        
Согласовано:

______________________(протокол
№___)                                            Декан
____________________________ 

Зав.
кафедрой________________                                                                       подпись              
ФИО                                                                                   подпись              
ФИО                                                                             «_____»________________________20___г.                          
«_____»______________________20___г.          

ОБЩИЕ СВЕДЕНИЯ О ТЕСТОВЫХ ЗАДАНИЯХ

1 Направление (я), специальность(и), курс(ы)
_______________________________________

2 Название цикла  дисциплин учебного плана
______________________________________

3
Дисциплина (или дисциплины комплексного задания)
_____________________________                     

4 Цель
контроля   ______________________________________________________________

5 Общее
количество тестовых заданий ____________________________________________

6 Рекомендуемое
количество заданий в  тесте ______________________________________

7 Форма (ы)
заданий

—
открытая____________________________________________________________________

— закрытая
( с выбором одного или нескольких заключений)__________________________

— на
установление правильной последовательности__________________________________

— на
установление соответствия___________________________________________________

— на
конструирование и др.______________________________________________________

8 Время, на
которое рассчитан  тест_______________________________________________

9 Уровень
сложности:

—
легкие______________________________________________________________________

— средней
трудности____________________________________________________________

—
трудные_____________________________________________________________________

10 Критерии
оценки:

    оценка
3 (удовлетворительно)  25-49 баллов ______%  правильных ответов

    оценка
4 (хорошо)                         50-74 баллов ______%  правильных ответов

    оценка
5 (отлично)                       75-100 баллов ______%  правильных ответов

11
Кафедра(ы)- разработчик (и) контролирующих материалов ________________________

 Тестовые задания и ключи к ним прилагаются

Рекомендации к составлению тестов

Авторы: Е.Г. Тиссен, И.Г. Калугина, А.С. Спирина

Тестирование, как одна из форм аттестации, представляет собой процедуру, позволяющую объективно установить уровень учебных достижений обучающихся: теоретических знаний, интеллектуальных умений, практических навыков.

Тестирование в педагогике выполняет три основные взаимосвязанные функции: диагностическую, обучающую и воспитательную:

• Диагностическая функция заключается в выявлении уровня знаний, умений, навыков обучающихся. Это основная и самая очевидная функция тестирования. По объективности, широте и скорости диагностирования тестирование превосходит все остальные формы педагогического контроля.
• Обучающая функция тестирования состоит в мотивировании учащихся к активизации работы по усвоению учебного материала. В целях усиления обучающей функции тестирования могут быть использованы дополнительные меры стимулирования, такие, как раздача преподавателем примерного перечня вопросов для самостоятельной подготовки, наличие наводящих вопросов и подсказок в тесте, совместный разбор результатов теста.
• Воспитательная функция проявляется в периодичности и неизбежности тестового контроля. Это дисциплинирует, организует и направляет деятельность обучающихся, помогает выявить и устранить пробелы в знаниях, формирует стремление развивать свои способности.

Тест – это стандартизованное задание, по результатам выполнения которого дается оценка уровня знаний, умений и навыков испытуемого. Педагогический тест определяется как система заданий (вопросов) определенного содержания и специфической формы, позволяющая качественно оценить структуру и эффективно измерить уровень знаний каждого испытуемого.

Традиционно рассматривается три основных критерия качества теста: действенность (валидность, показательность), надежность (вероятность, правильность), дифференцированность (раз-личимость).

Действенность теста по своему содержанию близка к требованию полноты, всесторонности проверки, пропорционального представления всех элементов изучаемых знаний, умений. Четкая и ясная постановка вопроса в пределах контролируемых знаний – неотъемлемое условие действенности теста. Если уровень теста превышает запроектированный уровень обучения, выходит за пределы изученного содержания или же не достигает этих пределов, то он не будет действенным для тех обучаемых, которым он адресован. Действенность теста обычно определяется статистическими методами.

Степень надежности характеризуется стабильностью, устойчивостью показателей при повторных измерениях с помощью одного и того же теста или его равноценного заменителя. Установлено, что надежность теста повышается при увеличении количества тестовых заданий в рамках одной, конкретно обозначенной (проверяемой) темы и понижается при увеличении (большем разбросе) тематического, содержательного разнообразия вопросов. Надежность тестов также значительно зависит от трудности их выполнения. Трудность определяется по соотношению правильных и неправильных ответов на тестовые вопросы. Включение в состав тестов таких заданий, на которые все обучаемые отвечают правильно или же наоборот, неправильно, резко снижает надежность теста в целом. Наибольшую практическую ценность имеют задания, на которые правильно отвечают 45 – 80% обучаемых.

Характеристика дифференцированности связана с использованием таких тестов, где нужно выбирать правильный ответ из нескольких возможных альтернатив. Если, например, все обучающиеся безошибочно находят правильный ответ на один вопрос и также дружно не могут ответить на другой, то это сигнал для усовершенствования теста в целом. Его необходимо дифференцировать, сделать различимым.

Кроме рассмотренных критериев используется и показатель эффективности теста. Тест, обеспечивающий при прочих равных условиях большее количество ответов за единицу времени, считается более эффективным.

В разработке педагогических тестов можно выделить три этапа (Рис.7): планирование, написание заданий и анализ заданий, каждый из которых, в свою очередь, включает в себя несколько обязательных стадий.

Рис. 7. Этапы разработки тестовых заданий

Как отмечалось выше (критерий действенности), тест должен соответствовать запроектированным целям обучения, образования, развития обучаемых. Поэтому первый шаг в планировании теста – это анализ соответствующих Государственных образовательных стандартов, всех разделов учебной программы, учебников и учебных пособий. Составителю теста необходимо иметь четкое представление о требованиях к знаниям, навыкам и умениям обучающихся по данной учебной дисциплине, хорошо знать цель и конкретные задачи обучения. Задания теста должны в полной мере выявить степень овладения требуемыми знаниями, навыками и умениями.

Для получения максимального результата от тестирования рекомендуется использовать тесты с целью:

• оценки остаточных знаний;
• промежуточного (для каждой темы) контроля;
• итогового контроля.

На этом основании можно выделить следующие типы тестов: входящие, текущие, промежуточные, итоговые.

Входящие (предварительные) тесты – предназначены для предварительного измерения степени готовности к освоению учебного содержания, являются способом адаптации к требованиям учебной дисциплины. Главная функция подобных тестов связана с самооценкой. Содержанием является ключевой материал предшествующего этапа обучения или навыки, приобретенные в ходе повседневного взаимодействия с объектом изучения. Для обучающегося данные тесты являются средством актуализации имеющихся знаний и умений, необходимых для последующего освоения содержания учебного предмета. Входящее тестирование сочетается с требованиями коррекционного обучения, направленного на устранение пробелов в знаниях, умениях. Поэтому такие тесты уместно использовать не только в начале учебного года, но и в начале изучения нового раздела или при овладении новым комплексом умений.
Текущие тесты – направлены на диагностирование хода учебного процесса, проверку одной из единиц содержания обучения (знания, умения, опыт), организацию экспресс-контроля осознания усвоенной информации. Данные типы тестов используются в повседневной учебной деятельности, имеют большое значение для стимулирования у обучающихся стремления к самостоятельной систематической работе, повышают интерес к учению, чувство ответственности за полученные результаты. Содержание этих тестов охватывает важнейшие элементы знаний, умений, освоенные обучающимися в ходе урока или на протяжении двух-трех уроков.

Промежуточные тесты – позволяют оценить качество освоения темы, раздела внутри программного модуля, предметных умений и навыков в конце учебного периода (четверть, семестр, полугодие). Содержание таких тестов основано, как правило, на большом объеме материала. К промежуточному педагогическому тесту предъявляются повышенные требования. Он должен обладать достаточно высокой надежностью и действенностью (валидностью), так как речь идет не просто о проверке усвоения отдельных элементов, а о понимании системы, объединяющей эти элементы. Оценка промежуточных тестов осуществляется на основе тех критериев, которые предусмотрены учебной программой, требованиями школы и государственными обра-зовательными стандартами.

Итоговые тесты – предназначены для контроля и оценки степени сформированности знаний, умений, навыков по окончании учебного года, этапа обучения в школе (начальная, основная, средняя школа) или по завершению изучения учебной дисциплины; оценки уровня учебных достижений обучающихся по основным компонентам содержания образования. Содержание тестов должно быть разработано на основе содержания блоков и модулей, предлагаемых в типовых программах образования в школе.

Педагог может самостоятельно разрабатывать входящие, текущие и промежуточные тесты, имея для этого необходимые компетенции, или использовать готовые варианты.

Во избежание несбалансированности и диспропорции, охватываемых тестом тем, составлению заданий должна предшествовать разработка его спецификации. При подготовке тестов разработку спецификации следует начать с описания целей изучения данного предмета, а также охватываемого этим предметом содержания. Перечисляя цели, создатель теста должен проанализировать, к каким изменениям ведет освоение изучаемого предмета: скажется ли оно на приобретении и развитии интеллектуальных навыков, способах решения задач, а также на способностях, интересах и прочих подобных характеристиках.

Тест состоит из тестовых (контрольных) заданий, инструкций к ним, баллов за выполнение каждого задания, общего тестового балла, рекомендаций по интерпретации результатов тестирования.

Тестовые задания включают в себя вопросы, отражающие содержание курса, которые выносятся на контроль. Исходным моментом составления тестовых заданий является выделение общей цели, преследуемой тестированием, и далее цели, с которой задание включается в тест. Такие цели должны предусматривать следующие требования к уровню знаний и умений обучающихся:

а) простое воспроизведение знаний, анализ и сравнение данных. Постановка таких вопросов в заданиях позволяет проверить усвоение учащимися материала на уровне запоминания, тренирует память;

б) анализ признаков понятия. При этом выявляется умение обучающихся находить общее и специфическое в изучаемом материале, отделять существенные признаки от несущественных, родовые от видовых и т.д.;

в) умение распознавать схемы, рисунки;

г) понимание функций, выполняемых различными элементами (органами, звеньями, приборами, устройствами и т. п.), и процессов взаимодействия между ними. Вопросы такого типа позволяют проверить умение обучаемых вскрывать определенные причинно-следственные связи и отношения, оценивать роль и значение данного элемента для процессов, происходящих во всей системе;

д) приведение в логическую последовательность элементов множества, расположенных в беспорядке, т. е. умение решать задачи определенного класса, требующие обнаружения последовательности расположения элементов в информационном ряде объектов, тактических приемов;

е) творческий подход к рассматриваемым проблемам и вопросам, умение применять полученные знания в условиях той или иной ситуации.

Отличительная особенность тестовых заданий заключается в том, что все задания теста должны соответствовать следующим критериям, предъявляемым к форме и содержанию:

• правильность содержания;
• логичная форма высказывания;
• правильность формы;
• краткость вопросов и ответов;
• наличие определенного места для ответов;
• правильность расположения элементов задания;
• одинаковость правил оценки ответов;
• одинаковость инструкции для всех испытуемых;
• адекватность инструкции форме и содержанию задания.

Правильность содержания означает, что из тестового задания должна быть полностью устранена двусмысленность. Тестовое задание формулируется из точных терминов и не должно содержать ни метафор, ни лишних слов, ни лишних знаков.

Конструирование тестовых заданий требует четкого деления изучаемого материала на логически законченные доли учебного материала, уровень усвоения которых можно было бы оценить кратко и однозначно. Эти доли не должны быть слишком малы, чтобы в целях контроля усвоения материала не приходилось ставить элементарные вопросы, не требующие усилий мысли обучающегося. Подобная часть учебного материала должна содержать не менее одного-двух новых понятий. При этом важно выделить главные (проблемные) вопросы, не увлекаясь второсте-пенными.

Логические требования к тестовым заданиям – это требования определенности, непротиворечивости и обоснованности содержания теста.

Определенность содержания теста образует предмет измерения. Довольно часто случается так, что правильные ответы на некоторые задания требуют знаний не только тестируемой дисциплины, но и ряда других, близость и связанность которых затрудняет точное определение предметной принадлежности измеряемых знаний. Чем меньше пересечение знаний одной тестируемой дисциплины со знаниями другой, тем определеннее содержание теста. В каждом тестовом задании заранее определяется, что́ однозначно считается ответом на задание, с какой степенью полноты должен быть правильный ответ. Не допускается определение понятия через перечисление элементов, не входящих в него.

Непротиворечивость содержания заданий требует, чтобы относительно одной и той же мысли не возникали суждения, одновременно утверждающие и отрицающие ее. Недопустимо существование двух исключающих ответов на одно и то же задание теста. Не допускается содержание ответов, вообще не связанных с содержанием задания. Если при апробации теста обнаружатся ответы к заданиям, которые обучающиеся вообще не выбирают, то такие ответы из теста удаляются, потому что они не выполняют функцию так называемых дистракторов, призванных отвлечь внимание незнающих обучающихся от правильного ответа.

Обоснованность содержания тестовых заданий означает наличие у них оснований истинности. Обоснованность связана с аргументами, которые могут быть приведены в пользу той или другой формулировки заданий теста. В случае отсутствия доказательных аргументов в пользу правильности сформулированного задания, оно не включается в тест ни под каким предлогом. То же происходит, если в процессе экспертного обсуждения возникает хотя бы один контраргумент или допускается условие, при котором данное утверждение может оказаться двусмысленным или ложным.

Правильная форма заданий – это средство упорядочения и эффективной организации содержания теста. Форма заданий правильная, если она позволяет точно выразить содержание, понятна для всех испытуемых, исключает возможность появления ошибочных ответов по формальным признакам.

Ответ на задание теста представляет собой краткое суждение, связанное по содержанию и форме с содержанием задания. Каждому заданию ставятся в соответствие ответы правильные и неправильные. Следует избегать применения таких ответов, как «правильного ответа нет», «все ответы правильные» или «все ответы неправильные». Нельзя включать ответы, неправильность которых на момент тестирования не может быть обоснована учащимися. Неправильные ответы должны конструироваться на основе типичных ошибок и должны быть правдоподобными. Правильные ответы должны располагаться среди всех предла-гаемых ответов в случайном порядке. Ответы на одни вопросы не должны служить подсказками для других. Критерии правильности заранее определяются авторами теста. В идеале, вероятность правильного ответа на любое задание должна зависеть только от соотношения уровня знаний испытуемого и уровня трудности задания.

Наличие определенного места для ответов является одним из внешних признаков задания в тестовой форме. Правильность расположения элементов задания является требованием, помогающим тестируемым не тратить время на определение места для ответов и быстрее зафиксировать свое решение.

Правила оценки определяются заранее и абсолютно одинаковы ко всем испытуемым.

В целях формирования наибольшей наглядности тестового кон-троля, рекомендуется максимально использовать в тестах гра-фический материал.

На этапе написания заданий (Рис. первостепенной задачей является выбор типа тестового задания. По форме предъявления ответа тестовые задания классифицируют на задания открытого типа и закрытого.

Задания открытого типа представляют собой тип тестовых заданий, предусматривающих свободные ответы обучающихся, по сути это задания без предлагаемых вариантов ответов. Предполагается, что тестируемый должен дать короткий и четкий ответ из одного, реже – двух слов (это следует указать в инструкции к тесту). Задания открытой формы часто разделяют на задания дополнения (предполагается, что заполнить пропуск можно строго однозначно) и задания свободного изложения. Данный тип теста часто используют в заданиях на математические вычисления.

Пример:

Инструкция: дополнить.

1. Система внутренних побуждений человека, определяющая его избирательную активность называется ________________.

Правильный ответ: направленность.

Тестовые задачи данного типа позволяют получать разностороннюю, развернутую информацию о знаниях обучающегося. Они применяются в случае, когда необходимо проверить знание фактического материала, способность обучающегося интерпретировать данные и применять правила, когда исключается фактор догадки.

Наряду с достоинствами, заданиям открытого типа присущи и определенные недостатки, основными из которых являются: сложность (иногда невозможность) формализации ответов и их оценки; неоднозначность, вызывающая затруднения в интерпретации (связанная иногда с необходимостью дополнительного расспроса), громоздкость процедуры и большие затраты времени на тестирование. Следует избегать применения данного типа заданий, когда возможен не один, а несколько правильных ответов. Компьютерная обработка подобных заданий затруднена.

При составлении заданий открытого типа необходимо учитывать следующие общепринятые правила:

• в каждом задании должно быть только одно дополнение (ответ);
• дополнение (ответ) должно быть наиболее важным («ключе-вым») термином, знание которого является обязательным;
• дополнение (ответ) лучше всего располагать в конце предложения;
• вопрос должен формулироваться четко, требовать однозначного ответа и не допускать двоякого толкования.

Составление задания открытого типа можно проводить в следующей последовательности:

• написать определение (принцип, закон);
• выделить в нем ключевое слово;
• перестроить фразу так, чтобы это слово оказалось послед-ним.

Пример:

1. Под направленностью понимается система внутренних побуждений человека, определяющая его избирательную актив-ность.
2. Под направленностью понимается система внутренних побуждений человека, определяющая его избирательную актив-ность.
3. Система внутренних побуждений человека, определяющая его избирательную активность, называется ________________.

Правильный ответ: направленность.

Задания закрытого типа – тип тестовых заданий, предусматривающий различные варианты ответа на поставленный вопрос, задачу. Из ряда предлагаемых ответов, тестируемый выбирает один или несколько, по его мнению, правильных.

В педагогической практике наиболее удобными и широко используемыми для дистанционного обучения являются задания с предписанными ответами (закрытые), которые в свою очередь делятся на следующие виды:

• задания с альтернативными ответами;
• задания с множественным выбором;
• задания с выражением ответа в виде восстановления частей предложений, фигур и т. д.

Рис. 8. Типы тестовых заданий

Альтернативные задания предусматривают наличие двух вариантов ответов (типа «да» – «нет», «верно» – «неверно» и т.д.).

Пример: Выберите, на ваш взгляд, верный вывод о «состоянии» Версальско-Вашингтонской системы в 1930-е гг.

1. Версальско-Вашингтонская система в 1930-е гг. была оплотом мира и спокойствия на международной арене	да	нет
2. Правовые и политические основы Версальско-Вашингтонской системы были полностью разрушены	да	нет

Правильный ответ: Правовые и политические основы Версальско-Вашингтонской системы были полностью разрушены

Достоинством этого вида заданий являются простота процедуры регистрации и обработки данных, четкая формализация оценивания. Этот тип заданий можно использовать для оценки способности тестируемого различать правильный и неправильный ответы, способности связывать причину и следствие. К недостаткам следует отнести высокую вероятность случайных ответов и то, что у обучающегося есть шанс «отгадать» правильный ответ. Поэтому не следует использовать данный тип заданий при оценке запоминания фактов, способности обучающегося синтезировать или анализировать сложную информацию. Основная сфера применения альтернативных заданий – быстрая проверка ориентированности обучающихся в учебной дисциплине, что может эффективно использоваться в текущем контроле.

Задания с множественным выбором предусматривают большее количество возможных ответов, как правило, от четырех и более. Задания с множественным выбором состоят из основы (вопрос или незавершенное предложение), правильного ответа и нескольких неправильных ответов, отвлекающих внимание. Есть, по меньшей мере, четыре вида задач с множественным выбором:

• Правильный ответ – обучающийся выбирает правильный ответ из нескольких альтернатив.

Пример:

Инструкция: выбрать один правильный ответ.

Стрелецкий бунт, в результате которого на престол были возведены цари Иван и Петр при регентстве Софьи, произошел

1) в 1676 г.

2) в 1682 г.

3) в 1689 г.

В качестве тестовых заданий могут быть использованы последовательные цепочки вопросов.

Пример:

Инструкция: к каждому вопросу выбрать один правильный ответ.

Человек находится под постоянным воздействием своего внутреннего состояния.

1. Изменение внутреннего состояния человека воспринимается:

а) сознанием;

б) органами чувств.

2. Данное восприятие вызывает:

а) изменение в состоянии организма;

б) ухудшение в состоянии организма.

3. Данная реакция приводит к:

а) стабильности организма;

б) внесению изменений в поведение человека.

Цепочка может быть продолжена, причем ее могут составлять тестовые задания различных видов.

• Самый лучший ответ – обучающийся должен выбрать самый лучший ответ из нескольких вариантов.

Пример

Инструкция: выбрать один, наиболее точный ответ.

Какое из суждений наиболее точно определяет личность:

А) Человек как совокупность всех общественных отношений.

В) Человек, достигший определенного уровня психического развития.

С) Человеческий индивид как субъект межличностных и социальных отношений и сознательной деятельности.

D) Дееспособный член общества.

• Несколько вариантов правильного ответа – обучающийся должен выбрать несколько правильных ответов из предложенного списка.

Пример

Инструкция: выбрать несколько правильных ответов.

Какие факторы предопределили непрочность Версальско-Вашингтонской системы?

1. Традиционное военно-силовое мышление политических лидеров стран-победительниц и их непомерные требования.
2. Новое государственное размежевание в Европе.
3. Отсутствие экономической программы восстановления Европы.
4. Исключение Советской России из договорной системы.
5. Умеренная сумма репарационных платежей, возложенных на Германию.
6. Противоречия между великими державами.
7. Утверждение американским Конгрессом вступление США в Лигу Наций.
8. Слабость Лиги Наций как международной организации, призванной обеспечить мир.
9. Отказ Германии подписать Версальский договор.

• Незаконченное утверждение – обучающийся должен закончить мысль, выбрав правильный ответ.

Пример

Инструкция: выбрать правильный ответ.

Под конфликтом в психологии понимают:

1. Причины непонимания людьми друг друга, приводящих к обострению взаимоотношений.
2. Столкновение взглядов, идей, убеждений, в основе которых лежат обостренные противоречия.
3. Индивидуальные или коллективные акты поведения, идущие в разрез с общепринятыми нормами.
4. Средства отстаивания своей позиции, не совпадающей с мнением большинства.

В заданиях с множественным выбором вероятность угадывания ниже, чем в альтернативных задачах, вместе с тем процедура обработки практически не усложняется. Это делает данный тип тестовых заданий предпочтительным в большинстве случаев. Он используется тогда, когда необходимо провести оценку знаний: насколько хорошо усвоен материал, как полученные знания используются в практической работе.

Следует избегать использования данного типа заданий, когда оценивается способность вспоминать факты, так как в данном случае проверяется способность распознавать правильные ответы. Не следует пользоваться данным типом заданий при оценке оригинальных и творческих подходов.

При разработке заданий с множественным выбором, в целях исключения подсказок со стороны других вариантов ответов, которые явно могут контрастировать с правильными, требуется подбирать внешне правдоподобные и похожие на правильный ложные ответы. При разработке данного типа тестовых заданий формулирование подобных ответов представляет наибольшую трудность. Если они составлены неудачно, то правильный ответ выделяется на их фоне и может быть легко «расшифрован» даже недостаточно обученным учащимся. В таком случае задание теряет свою контролирующую функцию. Чтобы задание «работало», все ответы должны быть привлекательными, причем желательно, чтобы их правдоподобность была более или менее равнозначной, равновероятной. Только тогда задание с множественным выбором становится удачным.

Выбор таких вариантов ответов сложен и обычно проводится на материале опроса по данному пункту при открытой форме ответа. Наиболее часто встречающиеся варианты неправильных ответов обучающихся обычно дают материал для составления вариантов ответов. В целях снижения вероятности появления случайных правильных ответов порядковые номера (места) вариантов должны меняться по случайному закону.

Задачи закрытого типа, построенные по принципу восстановления соответствия частей, являются модификацией задач с множественным выбором. Здесь в блок объединяется ряд задач и ответов на них, при этом количество задач и решений может совпадать (что более типично) или число ответов может быть больше, чем число задач данного блока.

При оценке выполнения задания следует учитывать, что все задание рассматривается как одно. Если допущена хотя бы одна ошибка, то ответ считается неверным.

В качестве примера тестовых заданий по выбору соответствия можно привести следующие:

Пример 1:

Инструкция: установить соответствие.

Виды ассоциаций	Определение
1. По смежности	А. В памяти возникают прямо противоположные факты и явления
2.По контрасту	Б. Основаны на «пространственных» связях
3. По времени	В. Основаны на сходстве товаров
4. По сходству	Г. Взаимодействие предметов, следующих друг за другом
…	Д. Товары предназначены на одну и ту же сферу применения

Возможно иное расположение материала задания.

Пример 2:

Инструкция: установить соответствие.

К психическим процессам относятся:

1. ощущения,
2. восприятие,
3. внимание,
4. память.

Определения

А. Направленность психической деятельности на какой-либо объект.

Б. Целостное отражение в коре головного мозга предметов и явлений окружающего мира.

В. Запоминание, сохранение и воспроизведение воспринятой информации.

Г. Познавательный и предметный процесс взаимодействия с окружающей действительностью.

Д. Отражение в коре головного мозга отдельных свойств предметов и явлений окружающего мира.

Данный тип тестовых заданий может использоваться при оценке понимания принципов и концепций, способности классифицировать информацию. В сущности, одно тестовое задание данного типа включает в себя несколько задач соответственно количеству пунктов задания. Это позволяет повысить эффективность и экономичность теста.

Задание закрытого типа на установление правильной последовательности. С помощью таких заданий можно проверить последовательность протекания процесса, порядок решения какой-либо задачи, алгоритм действия. К этим заданиям дается следующая инструкция: «Установить правильную последовательность». В отличие от вопросов с выбираемыми ответами, здесь важен порядок следования номеров правильных ответов. Если допущена хотя бы одна ошибка, то ответ оценивается как неверный.

Принцип правильной последовательности может быть применен к заданиям на ранжирование элементов по возрастанию или убыванию их значимости, свойств, количественных характеристик.

Пример:

Инструкция: установить правильную последовательность.

Указать страны в порядке возрастания доли расходов на вооружение:

а) Япония;

б) США;

в) Германия;

г) Россия;

д) Англия.

Комбинацией открытого и закрытого типов заданий являются задания на подстановку:

Пример 1:

Инструкция: закончить предложение, выбрав правильный ответ.

Частые горизонтальные и вертикальные линии в иллюстрации вызывают у человека _____________ .

1. спокойствие,
2. раздражительность,
3. вдохновленность,
4. непринужденность.

Пример 2:

Инструкция: дополнить, выбрав несколько правильных ответов.

Красный цвет ___________ кровяное давление, вызывает __________, указывает на ________________ человека.

1. понижает,
2. повышает,
3. возбуждение,
4. успокоение,
5. спокойствие,
6. энергичность.

В случае выбора нескольких правильных ответов важен порядок ввода их номеров. Задания на подстановку подходят для текущей проверки знаний, которая носит контрольно-обучающий характер. Без слов-подсказок уровень трудности заданий существенно выше (открытые задания).

Очевидно, что один и тот же вопрос может быть выражен как в форме открытого, так и в форме закрытого задания, поэтому для предъявления вопроса обучающемуся нужно искать форму, наиболее полно отвечающую целям тестового задания и тестирования в целом.

Возвращаясь к этапам разработки педагогических тестов следует отметить, что на заключительной стадии (этапе анализа) следует уделить особое внимание определению трудности заданий и установить шкалу оценивания теста.

В процессе составления теста задания подбираются так, чтобы они соответствовали определенному уровню трудности. Педагогические тесты предназначены для как можно более точной оценки индивидуального уровня знаний и умений учащихся, и если в таком тесте никто не может справиться с заданием, то оно оказывается балластом. То же самое можно сказать о заданиях, с которыми справляются все.

Показателем трудности тестового задания (р) является доля обучающихся, выполнивших и не выполнивших задание. Чаще всего степень трудности задания определяется процентом тестируемых, давших правильный ответ. Чем легче задание, тем выше этот процент. Если только 20% тестируемых (р=0,20) решили задачу, ее можно оценить как трудную для данной выборки, если 80% (р=0,80), – как легкую.

Оценка за выполнение каждого задания может варьироваться в зависимости от его важности и трудности. При выставлении оценки обычно используется номинальная шкала, в рамках которой за каждый правильный ответ на задания теста испытуемый получает один балл, за неправильный — ноль. Часто оценку теста определяют при помощи коэффициента усвоения (Q). Он определяется как отношение количества правильных ответов (ПО) к общему количеству заданий (КЗ), умноженное на 100%. Для четырехбалльной системы Q обычно принимают значения:

Оценка «5» – Q = 100%≥90%;

Оценка «4» – Q = 100%≥80%;

Оценка «3» – Q = 100%≥70%.

Литература

1. Авапесов В.С. Формы тестовых заданий. М., 1991.
2. Аванесов В.С. Композиция тестовых заданий. — М., Центр тестирования, 2002.
3. Асямов С.В. Педагогическое тестирование в системе оценки знаний слушателей. – Ташкент, 2006
4. Афонина М.В. Педагогический тест: требования к разработки и использованию . – Барнаул: БГПУ, 2006.
5. Верин В.А. Как построить тест. – Спб., 1994.
6. Градова Н.Ю. Объективно программированный тестовый контроль. –Ярославль, 1989.
7. Майоров А.Н. Теория и практика создания тестов для системы образования: Как выбирать, создавать и использовать тесты для целей образования. М: Интеллект-Центр, 2002.
8. Морев И. А. Образовательные информационные технологии. Часть 2.Педагогические измерения: Учебное пособие. — Владивосток: Изд-во Дальневост. ун-та, 2004.
9. Нейман Ю. М., Хлебников В. А. Педагогическое тестирование как измерение. Ч.1. — М.: Центр тестирования МО РФ, 2002.
10. Челышкова М.Б. Теория и практика конструирования педагогических тестов. Уч. Пособие. — М.: Логос, 2002.
11. Христовский С.А. Методические основы проектирования электронного учебника // Проектирование образовательных информационных ресурсов, систем и технологий: Сб. докладов и сообщений.- М.: ИЦПКПС, 1998. — 75с.