Как правильно составить закрытые тесты

Наверняка вы сами хоть раз в жизни составляли тесты и уж точно неоднократно проходили разнообразное тестирование – от серьезного до совсем шуточного из серии «Какой ты овощ во время карантина?».

Очень часто, за неимением нужных знаний и подготовки, разработчики придумывают тесты, опираясь исключительно на свой опыт, интуицию и здравый смысл (за исключением «овоща на карантине»). Многие, приступая к разработке собственных тестов, поначалу думают: что тут может быть сложного? Составить вопросы, придумать к ним ответы — вот и вся недолга! Это очень глубокое заблуждение. Создание хорошего задания в тестовой форме – настоящее искусство. 

Существуют разработанные учеными методики составления тестовых заданий. В этой статье я хочу рассказать об одной из таких методик, которую используют в системе общего и профессионального образования. В частности, ее нередко применяем и мы в учебном центре «Сетевая Академия ЛАНИТ» для разработки проверочных тестов и систем аттестации сотрудников.

Источник

Вместо предисловия

Почему я решила, что вам это может пригодиться? Во-первых, потому что многим из вас – людям, совсем далеким от педагогики, приходится проводить разнообразные обучающие мероприятия, разрабатывать учебные курсы и т.п., а все это требует проверки усвоения учебного материала. А какой еще способ, кроме тестирования, способен проверить знания быстро, надежно и объективно?

Во-вторых, потому что использование педагогических тестов актуально не только для образования, но и для областей, весьма далеких от него. Тесты – очень полезный инструмент для решения многих задач: и для аттестации сотрудников, и для первичной проверки соответствия знаний и навыков соискателей вакансии, и для оценки степени информированности аудитории о какой-либо проблеме, и много для чего еще. 

Сразу оговорюсь, что эта статья в первую очередь рассчитана на людей, не имеющих большого опыта в составлении тестовых заданий. Ее цель – предоставить новичкам достаточный объем материала, который помог бы им научиться составлять качественные педагогические тесты разных видов.

Да простят меня «продвинутые» в вопросах тестовой теории читатели, речь пойдет о базовых сведениях. Хотя, как показывает практика, вспомнить основы тоже никогда не вредно. 

Методику, о которой пойдет речь, разработали ведущие отечественные специалисты в области тестологии: В. С. Аванесов, М. Б. Челышкова, А.Н. Майоров и другие. 

В качестве примеров приводятся тестовые задания из открытого банка заданий ЕГЭ, размещенного на официальном сайте ФГБНУ «Федеральный институт педагогических измерений», из книги М. Б. Челышковой «Теория и практика конструирования педагогических тестов», из книги В. С. Аванесова «Композиция тестовых заданий», а также задания, составленные автором статьи и преподавателями разных образовательных организаций.

Сначала немного теории

Говоря о тестах в разных сферах деятельности, подразумевают разное. Например, в вычислительной технике тест – это задача с известным решением, с помощью которой проверяется правильность работы системы, а в медицине тестом будет называться метод исследования, заключающийся в пробном воздействии на организм. В общем понимании, тест – это объективное и стандартизированное измерение, которое легко поддается количественной оценке, статистической обработке и анализу. 

В рамках наших целей нас интересует педагогический тест со своей спецификой. Это система тестовых заданий различной трудности, созданная для качественного и эффективного измерения структуры и качества подготовленности испытуемых. Тестовое задание является одним из элементов педагогического теста, включает в себя инструкцию, тестовую задачу и эталон ответа.

Преподаватели используют тесты, чтобы:

1. оценить исходные знания учащихся перед началом обучения и скорректировать план и содержание занятия; 
2. сделать срез знаний во время курса, чтобы вовремя внести изменения в процесс обучения, если слушатели недостаточно хорошо усваивают учебный материал;
3. проверить финальный результат обучения.

Наиболее часто используются закрытые тесты, в которых ответы уже есть, как в игре «Кто хочет стать миллионером?». Но встречаются и открытые тестовые задания, требующие самостоятельно сконструировать или дополнить ответ.

Итак, выполняя закрытые тесты, обычно надо:

• выбрать один или несколько ответов среди заданных вариантов;
• установить соответствие между элементами двух множеств; 
• установить правильный порядок действий или процессов, перечисленных автором теста.

Открытые тесты требуют:

• дополнить имеющийся ответ;
• полностью сконструировать ответ самостоятельно.

Какой материал следует включить в тест

Содержание теста зависит от того, какие цели вы перед собой ставите и зачем вам вообще нужен этот тест. Прежде всего, нужно самому себе ответить на вопрос, можно ли с помощью составленных вами заданий проверить подготовленность аудитории. 

Вот такое тестовое задание предложил своим ученикам преподаватель анатомии по теме «Скелет грудной клетки». Одна из целей занятия – знать количество ребер у человека. 

Инструкция

: Выберите один правильный ответ.
Количество ребер 

1. у мужчин больше, чем у женщин
2. у женщин больше, чем у мужчин
3. индивидуально у каждого человека
4. зависит от жизненных обстоятельств

Как вы понимаете, при помощи этого задания невозможно проверить, знают испытуемые, сколько у человека ребер или нет. Поэтому, строго говоря, нет смысла включать такой тест в материалы контроля. Отдельный разговор о качестве подобранных автором вариантов ответа. Особенно интересно влияние жизненных обстоятельств на количество ребер. Но правила подбора неправильных ответов (дистракторов) к тестовым заданиям мы рассмотрим позже.

Основные правила подбора материала для теста следующие:

1. Материал, заложенный в тест, должен соответствовать содержанию темы тестирования и программы учебного курса.
2. В тест включается только то содержание темы, которое является признанным, объективно истинным и поддается рациональной аргументации. Спорные точки зрения в тестовые задания включать не рекомендуется. Суть тестовых заданий заключается как раз в том, что они требуют четкого, заранее известного преподавателям ответа, признанного ими в процессе разработки заданий объективно истинным.
3. Уровень детализации содержания теста зависит от целей тестирования. Если вы планируете использовать тесты для сравнения уровня подготовки тестируемых в какой-то области (например, для конкурсного отбора соискателей вакансии или кандидатов на обучение), то уровень детализации материала должен быть низким. В заданиях такого теста достаточно отобразить только наиболее значимые элементы содержания.
4. Если же тесты предназначены для выяснения, насколько успешно испытуемый освоил учебный материал (курс, раздел, тему) и освоил ли он его вообще, то уровень детализации области содержания должен быть довольно подробным. Это позволит сделать вывод о знаниях каждого испытуемого, при необходимости аттестовать его, а также проанализировать, какой материал лучше или хуже освоили испытуемые.
5. Вместе с тем в тест необходимо включать те элементы содержания, которые можно отнести к наиболее важным, без которых знания по заявленной теме становятся несущественными. Нет смысла перегружать тест второстепенными деталями, не имеющими большого значения. 
6. Если с помощью тестовых заданий планируется оценивать знания по всему учебному курсу, следует равномерно включить в итоговый тест задания по всем изучаемым темам курса, убедившись в том, что они охватывают все самые важные аспекты предметной области и в правильной пропорции.

   Например, если вы составляете тесты по курсу «Microsoft Excel» и включаете в него задания, посвященные исключительно созданию сводных таблиц и диаграмм, то при помощи этих тестов вы явно не сможете полноценно оценить уровень знаний по всему курсу в целом. 

7. Не всякое содержание можно выразить в форме тестового задания, то есть тесты – не универсальная форма для проверки знаний. 

Сколько времени нужно выделить для тестирования

Сидеть над тестом невозможно бесконечно долго: начало и завершение тестирования должны быть фиксированными. К сожалению, довольно часто временной интервал для этого процесса выбирается спонтанно. И если ошибиться – дать слишком мало времени или слишком много, эффективность теста снизится.

Тестирование в спешке приведет к тому, что как «слабые», так и «сильные» испытуемые не успеют выполнить все задания, и мы не поймем – тестируемый не выполнил задание, поскольку не знал ответа, или вообще не успел к нему обратиться.

Если времени вагон и маленькая тележка, «сильные» испытуемые, успевшие быстро пройти тестирование, начинают отвлекать других, подсказывать ответы, что нарушает процедуру тестирования (мы не соблюдаем правило равных условий для всех испытуемых). 

Если человек проходит тестирование в одиночестве или тестируется онлайн, при избытке времени он будет долго сидеть над заданиями, не решаясь выбрать ответ. Это вызовет утомление, снижение концентрации внимания, расслабление, что также снижает точность тестирования.

Всегда нужно иметь в виду, что испытуемые устают. А значит, тестирование не должно занимать слишком много времени, что напрямую связано с объемом самого теста. Практика показывает, что объем осознанно воспринимаемой информации начинает существенно снижаться примерно через 40-45 минут с начала тестирования (Ким В. С. Тестирование учебных достижений. – Уссурийск, 2007, стр. 29-35). 

Общее время тестирования определяется количеством и сложностью заданий. Некоторые преподаватели используют, например, такие методики расчета времени тестирования: 

1. Время, затраченное преподавателем на выполнение составленного им теста, умножить на 3.
2. Суммировать время, необходимое для выполнения каждого задания:

   • задание закрытой формы с выбором одного правильного ответа – примерно 10 секунд;
   • задание более сложных форм – в среднем от 30 секунд до 1 минуты.

Однако бывает, что теоретически рассчитать время тестирования невозможно, поэтому рекомендуется использовать эмпирические данные по результатам первичной апробации теста.

Составление тестовых заданий закрытой формы 

А теперь давайте рассмотрим конкретные примеры и поймем, как составлять свои тесты. В фокусе нашего внимания – тестовые задания закрытой формы.

В таких тестовых заданиях выделяют следующие элементы:

• инструкцию (содержит общие требования к выполнению задания – рис. 1);
• основную часть (задание, постановка проблемы – рис. 2);
• варианты ответа (верный ответ(ы) и ответы-обманки – рис. 3).

Рекомендуется, чтобы задания в тесте представляли собой не вопросы, а утверждения, которые в зависимости от ответов могут превращаться в истинные или ложные высказывания. 

Среди готовых ответов правильным чаще всего бывает только один, хотя не исключаются и варианты с выбором нескольких правильных ответов.

Неправильные, но похожие на правильные (и поэтому правдоподобные) ответы называются дистракторами (от англ. distract – отвлекать). Они используются для отвлечения внимания от правильного ответа тех, кто либо совсем не знает правильный ответ, либо пытается угадать его во время тестирования. Сделать неправильные ответы правдоподобными – одна из самых сложных задач разработчика теста.

Отдельно от тестовых заданий в программу тестирования вводится эталон выполнения заданий и разрабатываются критерии оценки.

Если вы проводите тестирование по старинке, в письменном виде, то вам потребуется ответник, трафарет для проверки ответника и эталон выполнения тестового задания. 

Как оформить тестовые задания

Тестовое задание должно быть оформлено таким образом, чтобы облегчить тестируемому работу над ним. 

Существует несколько вариантов дизайна тестовых заданий закрытой формы, но все сходятся в одном: все элементы тестового задания тем или иным образом должны быть графически выделены.

Как написать инструкцию к тестам 

Инструкция – это общие требования к выполнению тестового задания. Она должна устранить все вопросы испытуемых об оформлении своих ответов. Кроме того, в тексте инструкции оговаривают специфику задания, например, указывают количество правильных ответов в тесте (один/несколько).

При написании инструкции используют стандартные формулировки. Формулировка инструкции зависит от формы тестового задания, количества правильных ответов и пр.

Для тестовых заданий с выбором одного правильного ответа в зависимости от способа проведения тестирования можно предложить следующие варианты инструкций.

• Выберите один правильный ответ.
• Внимательно прочитайте текст задания и выберите верный ответ из списка.
• Выпишите номер тестового задания и индекс правильного ответа. 
• Обведите кружком букву (номер) правильного ответа.
• Для ответа нажмите клавишу с буквой (номером) правильного ответа.

Иногда, по замыслу автора, при разработке задания закладываются несколько правильных ответов, среди которых есть более и менее предпочтительные. В этом случае задание может сопровождаться следующей инструкцией: «Выберите наиболее правильный ответ».

Для тестовых заданий с выбором нескольких правильных ответов в зависимости от способа проведения тестирования можно предложить следующие варианты инструкций.

• Выберите несколько правильных ответов.
• Выберите все правильные ответы.
• Отвечая на задание теста, нажимайте на клавиши с буквами (номерами) всех правильных ответов.

Для тестовых заданий на выбор неправильного ответа инструкция может быть такой: «Выберите неправильный ответ».

Для группы однотипных заданий допускается делать одну инструкцию, которая помещается в начале теста или данной группы заданий в тесте.

Как правильно сформулировать основную часть задания 

Эффективность и технологичность теста во многом зависят от того, насколько грамотно сформулированы задания. Если тестируемый не поймет смысл вопроса, ему придется отвечать наугад. А это уже минус к объективности конечного результата. Потому важно тщательно проработать каждое задание. Вот несколько рекомендаций.

1. Рекомендуется, чтобы задания в тесте были формулированы в форме утверждений, которые после ответов испытуемых естественным образом превратятся в истинные или ложные высказывания (рис. 1).

Если продолжить утверждение из основной части этого задания правильным ответом (в данном случае это вариант Б), получится истинное высказывание: Признаком протекания химической реакции между оксидом меди и водородом является изменение цвета. При «подстановке» неправильного ответа высказывание получится ложным. 

По мнению многих отечественных тестологов (В.С. Аванесова, М.Б. Челышковой, В.С. Кима и др.), смысл тестового утверждения улавливается всегда лучше, чем смысл вопроса, потому что в тестовых утверждениях нет ни одного лишнего слова и даже знака, в то время как вопрос требует ряда дополнительных слов и знаков для выражения требуемого смысла, значения и интонации. Вопросы и ответы на них иногда бывают столь неопределенными и многословными, что для выявления их истинности требуются большие затраты времени и сил, в то время как технологичная методика тестирования предполагает четкую и быструю дифференцируемость ответов.

Действительно, если трансформировать задание, составленное в форме вопроса, в логическое утверждение, мы увидим, что задание уж точно не стало хуже, а даже выиграло – стало более кратким, понятным, лаконичным. После выбора ответа такое утверждение превратится в законченное высказывание, истинность или ложность которого легко поддается пониманию и оценке. 

Пример 1. Задание в вопросительной форме:

Инструкция

: Выберите один правильный ответ.
С каким из названных событий связано окончание периода разрядки международной напряженности в 1970-е гг.?

1. начало Корейской войны
2. разрыв отношений с Югославией
3. конфликт с Китаем
4. ввод советских войск в Афганистан

То же задание в виде логического утверждения:

Окончание периода разрядки международной напряженности в 1970-е гг. связано c

1. началом Корейской войны
2. разрывом отношений с Югославией
3. конфликтом с Китаем
4. вводом советских войск в Афганистан

Пример 2. Задание в вопросительной форме:

Инструкция

: Выберите несколько правильных ответов.
Какие из перечисленных примеров относят к ароморфозам?

1. возникновение теплокровности у позвоночных
2. развитие трехкамерного сердца у земноводных
3. формирование торпедообразного тела у акул
4. развитие зародыша внутри матки
5. появление рогов у копытных
6. формирование крыльев у летучих мышей

То же задание в виде логического утверждения:

К ароморфозам относят

1. возникновение теплокровности у позвоночных
2. развитие трехкамерного сердца у земноводных
3. формирование торпедообразного тела у акул
4. развитие зародыша внутри матки
5. появление рогов у копытных
6. формирование крыльев у летучих мышей

Подобной трансформации легко поддается большинство заданий, сформулированных в вопросительной форме. Иногда возникают ситуации, когда, казалось бы, задание формулируется только в виде вопроса. Однако после тщательного анализа цели задания и его содержания все же удается подобрать утвердительную форму задания.

Конечно, утверждение об использовании в заданиях исключительно утвердительной формы не категорично. К тому же иногда встречаются задания, в которых вопросительная форма выглядит удобнее и короче. 

Вопросительная форма заданий по-прежнему используется при составлении тестов и в России, и за рубежом, и имеет много сторонников. Выбор остается за вами. Главное – не забывать, что выбранная вами форма задания должна быть максимально понятна для испытуемых.

Лично я являюсь сторонником формулировки заданий в виде утверждений, считаю эту форму наиболее удачной, использую только ее и ничего с собой поделать не могу.   

2. Текст задания должен содержать достаточную, недвусмысленную и релевантную информацию для ответа. 

3. Формулировка задания должна быть грамотной, согласованной с формой вариантов ответа (простите за капитанство).

4. Формулировка задания должна быть предельно лаконичной, но не в ущерб пониманию сути задания. Необходимо исключить повторы слов и, тем более, целых фраз. Чем лаконичнее задание, тем лучше оно воспринимается. 

5. Рекомендуется, чтобы основная часть задания состояла из одного предложения (не более 7-8 слов), а во всем задании было не более одного придаточного предложения. Эта рекомендация подходит, конечно, не ко всем случаям. Например, тестовое задание может представлять собой кейс/ситуационную задачу, тогда одним предложением точно не обойтись.

6. Если задание сформулировано в вопросительной форме, предпочтительнее применять прямые вопросы, представляющие собой полное предложение с вопросительным знаком в конце.

7. В основной части задания не должна присутствовать дополнительная информация, не существенная для поставленной проблемы.

8. Из текста задания нужно исключить все вербальные ассоциации, по которым можно догадаться о правильном ответе.

9. Стоит исключить из формулировки задания частицу «не». А если НЕ получается, ее надо выделить прописными буквами (как в этом предложении).

10. Исключаются задания, содержащие оценочные суждения тестируемого: «на ваш взгляд», «по вашему мнению», «что вы думаете…», «согласны ли вы с …», «как бы вы сформулировали…» и т.п. 

11. Рисунки, графики, схемы, используемые в задании, должны соответствовать тексту (рис. 2). И, конечно же, присутствие графических объектов в задании должно быть оправдано. Не стоит «добавлять картинку» просто для красоты. 

12. Элементы рисунка, графика, схемы рекомендуется обозначать по часовой стрелке (рис. 3).

13. В большинстве случаев варианты ответов замыкают задания (так было и в примерах выше), образуя завершенное истинное или ложное высказывание. Но иногда ответы приходится ставить в середине или за одно-два слова от конца содержательной основы задания теста. Тогда можно использовать такой вариант:

Инструкция

: Выберите один правильный ответ.
Невская битва произошла в … году.

1. 1198
2. 1240
3. 1242
4. 1245

14. Ответ на одно тестовое задание не должен служить ключом к правильным ответам на другие задания теста. Это нарушает условие локальной независимости заданий. В этом случае невозможно сделать корректный вывод о том,  знает ли испытуемый ответ на второе и последующие задания, или он не справился с ними потому что неправильно ответил на первый вопрос. 

Как подобрать дистракторы

К каждому тестовому заданию нужно подобрать правдоподобные неправильные варианты ответа (дистракторы). Это одна из самых сложных задач, стоящих перед составителем тестов. Перед вами основные рекомендации по подбору дистракторов: 

1. Все предложенные в задании дистракторы должны быть правдоподобными, теоретически вероятными.

Наиболее хороши дистракторы, подобранные на основе типичных ошибок, которые допускают тестируемые, или на основе распространенных заблуждений.

2. Все дистракторы к заданию должны быть одинаково привлекательными для тестируемых, не знающих правильного ответа.

Дистрактор, который никто не выбирает в качестве правильного ответа, обычно называют неработающим. Если в задании имеется хотя бы один неработающий дистрактор, удалите его, и вы сразу увидите реальное, а не формальное число ответов к заданию теста. 

Если все дистракторы в задании не работают, все испытуемые выполнят даже сложное задание верно, выбрав единственный правдоподобный ответ. Например, такое задание: 

Инструкция

: Выберите один правильный ответ.
Во вращении предплечья наружу участвует

1. двуглавая мышца плеча
2. двуглавая мышца бедра 
3. икроножная мышца
4. прямая мышца живота
5. собственно жевательная мышца

Даже не будучи знатоком данной предметной области, нетрудно догадаться, что мышцы, расположенные на нижней конечности, животе или черепе, не могут приводить в движение предплечье. Получается, что в тесте нет ни одного работающего дистрактора. Имеется всего один работающий вариант ответа, его и выберут испытуемые как единственно правильный. 

Вы спросите: «А что же здесь плохого»? Как мы писали выше, педагогические тесты создаются для объективной оценки структуры и качества знаний. А о какой объективной оценке можно говорить, если правильный ответ можно просто угадать, не имея совсем никакого представления о предмете? Конечно, если целью тестирования было узнать, отличает ли испытуемый живот или бедро от предплечья, то можно сказать, что все прошло успешно. Но все же перед тестами обычно ставятся более серьезные задачи.    

Если в предложенном задании мы заменим неработающие дистракторы на правдоподобные, теоретически вероятные (все перечисленные мышцы тем или иным образом двигают предплечье), справиться с ним так просто будет нельзя:

Во вращении предплечья наружу участвует

1. плечевая мышца
2. двуглавая мышца плеча
3. трехглавая мышца плеча
4. локтевая мышца
5. круглый пронатор

3. Дистракторы должны быть однородными, подобранными по общему (единому) основанию. 

Пример 1: Задание с однородными дистракторами

Инструкция

: Выберите один правильный ответ.
Телиоспоры возникают из

1. урединиоспор
2. эциоспор
3. базидиоспор
4. пикниоспор

Здесь все дистракторы подобраны по одному основанию, т.к. все они отвечают на вопрос «из чего?» и характеризуют то, из чего могут возникнуть телиоспоры.  

А в следующем задании дистракторы подобраны неудачно. 

Пример 2: Задание с неоднородными дистракторами

Инструкция

: Выберите несколько правильных ответов.
Телиоспоры возникают

1. из урединиоспор
2. из эциоспор
3. поздней осенью на том же мицелии, на котором летом формировались урединиоспоры
4. весной в результате слияния дикариона и последующего мейоза

В этом задании два первых ответа выбраны по одному основанию т.к. все они отвечают на вопрос «из чего?». Третий ответ подобран по другому основанию, поскольку соответствует вопросам «когда?» и «где?». 

Последний ответ не совпадает по основанию выбора ни с одним из предыдущих, он отвечает на вопросы «когда?» и «в результате чего?».

Самая частая причина появления в заданиях неоднородных дистракторов понятна – при невозможности подобрать нужное число дистракторов по одному основанию автор теста увеличивает их число, включая дополнительные, выбранные по другому основанию ответы. 

Иногда причиной является желание автора проверить с помощью одного задания как можно больше знаний испытуемых. Возможно, это оправдано спецификой предмета, однако некорректно с точки зрения требований тестовой технологии. 

Тестовое задание должно проверять один элемент знания. Если это не так, то становится неясным, с каким именно элементом знания тестируемый не справляется, в чем заключена причина невыполнения задания.

4. Все ответы должны быть параллельными по конструкции и грамматически согласованными с основной частью задания теста.

5. Все повторяющиеся в вариантах ответа слова (как в примере ниже) следует перенести в формулировку заданий.

Инструкция

: Выберите один правильный ответ.
Заштрихованная территория на карте России показывает районы

1. газовых месторождений
2. нефтяных месторождений
3. месторождений каменного угля
4. месторождений калийной соли

Вот что получится после небольшой правки этого примера:

Инструкция

: Выберите один правильный ответ.
Заштрихованная территория на карте России показывает районы месторождений

1. газовых
2. нефтяных
3. каменного угля
4. калийной соли

6. Рекомендуется использовать длинные задания и короткие ответы. В противоположном случае на прочтение и анализ ответов тратится слишком много времени.

7. Из числа неправильных исключаются ответы, вытекающие один из другого.

8. Ни один из дистракторов не должен быть частично правильным ответом, который при определенных условиях превратится в правильный ответ.

9. Ответы не должны отрицать смысл самого задания. «Почему? – спросите вы, – ведь так часто делают». Давайте разберемся на примере следующего задания:

Инструкция

: Выберите один правильный ответ.
PDF-файл можно преобразовать в документ Word, если на вкладке «Файл» выбрать команду

1. Открыть
2. Сохранить как 
3. Экспорт
4. PDF-файл нельзя преобразовать в документ Word

В этом примере четвертый ответ прямо противоречит основной части, утверждающей существование возможности преобразовать PDF-файл в документ Word. Налицо явная логическая ошибка. В задании же не спрашивается, можно ли преобразовать, а утверждается, что можно, а варианты ответов представляют собой перечисление способов преобразования.   

Если четвертый ответ – дистрактор, то в качестве правдоподобного ответа его вряд ли выберет хотя бы один тестируемый. Тогда этот ответ как неработающий дистрактор необходимо удалить из теста.

Если именно четвертый ответ является верным, все задание будет нерабочим, т.к. большинство тестируемых увидят логическую несообразность формулировок и пропустят задание, посчитав его ошибкой разработчика теста.

Если цель задания – выяснить, знает ли испытуемый, можно ли вообще преобразовать PDF-файл в документ Word или нет, лучше сформулировать вопрос по-другому, без нарушения логики: 

Преобразовать PDF-файл в документ Word

1. можно
2. нельзя

10. Не следует использовать в заданиях ответы типа «все вышеперечисленные», «ни один из вышеперечисленных» или, того хуже, – «все ответы неправильные» и «правильного ответа нет». Эта рекомендация, кстати, так же часто вызывает вопросы и несогласие аудитории, как и предыдущая. 

С точки зрения большинства тестологов, применение подобных ответов не оправдано по следующим причинам:

• повышение вероятности угадывания правильного ответа, так как чаще всего это будет неработающий дистрактор, добавленный составителем «для количества» при трудностях с подбором качественных дистракторов;
• нарушение логического закона исключенного третьего – если инструкция предписывает выбрать один верный ответ, то в задании он должен быть. Это придает однозначность замыслу самого задания и не допускает противоречивых толкований у испытуемых.

11. Не рекомендуется использовать слова «всегда», «никогда», «ни одного» и т.п., так как в отдельных случаях они способствуют угадыванию.

12. Частота выбора одного и того же номера места для правильного ответа в различных заданиях теста должна быть примерно одинакова или номер места для правильного ответа выбирается в случайном порядке.

13. Дистракторы из одного задания не используются в качестве ответов к другим заданиям теста.

14. Все ответы к одному заданию должны быть примерно одной длины. Если это трудновыполнимо, возможен вариант, когда в задании половина длинных ответов, половина коротких. Это нужно для того, чтобы исключить вероятность угадывания правильного ответа по признаку его полноты или краткости. Многие разработчики тестов грешат тем, что в их заданиях правильные ответы почти всегда или длиннее, или короче неправильных. Эта тенденция очень быстро «считывается» испытуемыми и делает общий результат теста необъективным. Следующая рекомендация имеет такое же обоснование.

15. Правильный ответ не должен быть длиннее других.

16. Дистракторы располагаются в логической последовательности: числа – по возрастанию, буквы – по алфавиту. Это удобнее при поиске тестируемым правильного ответа.

17. Количество дистракторов к заданию подбирается таким образом, чтобы задание не было слишком громоздким, но и чтобы исключить большую вероятность угадывания правильного ответа. Поэтому чаще всего в заданиях бывает три или четыре дистрактора и один правильный ответ.

В отдельных случаях, например, в заданиях с выбором нескольких правильных ответов, количество дистракторов может достигать шести–семи.

18. Число дистракторов и правильных ответов в разных заданиях может быть разным. Оно не должно быть одинаковым во всех заданиях теста.

Источник

По какому принципу придумывают тестовые задания

Из десяти принципов разработки тестовых заданий закрытой формы, которые выделяет В. С. Аванесов, предлагаю рассмотреть основные. Для наглядности будем это делать на примерах.

1. Принцип противоречия применяется при создании заданий с двумя вариантами ответов. Здесь один ответ отрицает другой. Например:

Инструкция

: Выберите один правильный ответ.
Поощрения в трудовую книжку

1. записываются
2. не записываются

2. Принцип противоположности ответов близок по смыслу к принципу противоречия, но при противоречии используется отрицание, а при противоположности один ответ заменяется другим, антонимичным по смыслу. Например:

Инструкция

: Выберите один правильный ответ.
С увеличением заряда ядра активность щелочных металлов

1. возрастает
2. убывает

Возможность промежуточных состояний при использовании принципа противоречия позволяет увеличить число ответов, например, до трех. Например:

Инструкция

: Выберите один правильный ответ.
При движении тягового органа конвейера реле скорости

1. включено
2. выключено
3. заблокировано

3. Тесты, основанные на принципе однородности, содержат ответы, относящиеся к одному роду, виду, или отображают основные стороны, грани явления. Например:

Инструкция

: Выберите один правильный ответ.
Основателем андрагогики как науки является

1. Ноулз
2. Джарвис
3. Холтон
4. Ушинский

Инструкция

: выберите несколько правильных ответов.
Буква «о» пишется в словах

1. пл_вец
2. пок_рить вершину
3. распол_гать 
4. осн_щенный
5. ум_лять значение

4. Принцип кумуляции означает, что второй ответ вбирает в себя (аккумулирует) содержание первого, третий – содержание второго и т.д.

Пример:

Инструкция

: Выберите один правильный ответ.
Чтобы задать движение точки естественным способом, надо знать

1. траекторию
2. траекторию и закон движения
3. траекторию, закон движения, начало отсчета
4. траекторию, закон движения, начало отсчета, скорость

Тестируемые, привыкшие давать полные и правильные ответы, выбирают обычно последний ответ в таких заданиях, ошибочно полагая, что он всегда самый правильный. Поэтому при разработке заданий по принципу кумуляции полезно иметь большую часть правильных ответов не на последнем месте. 

5. Принцип сочетания. Используется сочетание слов (знаков) по два или по три, реже четыре, в каждом ответе.

Пример 1: сочетание более или менее однородных и правдоподобных пар ответов

Инструкция

: Выберите один правильный ответ.
Ф. Шопен писал

1. оперы и симфонии
2. балеты и оратории
3. мазурки и ноктюрны

Пример 2: сочетание одного слова (понятия) с несколькими другими

Инструкция

: Выберите один правильный ответ.
НЕ имеют ядра клетки крови

1. эритроциты и лейкоциты
2. эритроциты и тромбоциты
3. эритроциты и лимфоциты
4. эритроциты и базофилы

Пример 3: сочетание ответов по правилу цепочки, когда последнее слово в первом ответе становится первым во втором ответе, последнее во втором – первым в третьем и т.д.)

Инструкция

: Выберите один правильный ответ.
Служебными частями речи являются

1. предлоги, союзы, частицы
2. частицы, союзы, местоимения
3. местоимения, частицы, предлоги

6. При использовании принципа градуирования ответы располагаются по возрастанию (увеличению) или по убыванию (уменьшению). Этот принцип применим для заданий с тремя и большим числом ответов. Например:

Инструкция

: Выберите один правильный ответ.
Растворимость газов при повышении температуры

1. увеличивается
2. остается без изменений
3. уменьшается

Согласно ч. 3 ст. 5.63 КоАП РФ, нарушение должностным лицом порядка или сроков рассмотрения жалобы влечет наложение административного штрафа в размере … рублей.

1. от трех тысяч до пяти тысяч 
2. от пяти тысяч до десяти тысяч 
3. от десяти тысяч до пятнадцати тысяч 
4. от двадцати тысяч до тридцати тысяч 

7. Принцип формулирования заданий с ответами, правильными в различной мере, требует изменения инструкции, содержания задания и логики подбора ответов.

Инструкция, как мы уже говорили, обычно пишется так: Выберите наиболее правильный ответ.

Задача таких заданий – проверить сопоставительные знания, а ответы формулируются так, чтобы был реальный выбор между ответами, правильными в разной степени. Например:

Инструкция

: Выберите наиболее правильный ответ.
Зигота – это

1. одна яйцеклетка
2. оплодотворенная яйцеклетка
3. диплоидная клетка, образующаяся в результате оплодотворения
4. одноклеточная стадия развития многоклеточного организма млекопитающих

В этом задании наиболее правильным считается третий ответ (он наиболее емко и точно описывает все характеристики зиготы), следующий по степени правильности – второй ответ (он содержит совершенно правильное, но менее полное определение зиготы), затем четвертый (потому что зиготы образуются не только у млекопитающих). На последнем месте по степени правильности находится первый ответ – он самый неполный, ведь одной яйцеклетки для образования зиготы явно недостаточно.

Задания на выбор наиболее правильного ответа разрабатывать довольно сложно: наиболее правильный ответ далеко не всегда должен быть самым полным. В противном случае тестируемый при выполнении задания будет выбирать правильный ответ только по признаку полноты. 

Составили тест? Не поленитесь и пройдите по этому чек-листу.

Проверка качества тестовых заданий

• Соответствует ли задание целям тестирования?
• Все высказывания логичны?
• Все формулировки однозначны и лаконичны?
• Технологичен ли тест? (Задания становятся технологичными, если их содержание точно и быстро понимается испытуемыми, и если форма заданий способствует процессу компьютеризации тестирования)
• Правильно ли выбрана форма задания?
• Содержание корректно?
• Правила оценки ответов разработаны заранее и соответствуют форме теста?
• Правильно ли расположены элементы задания?
• Инструкции одинаковы для всех тестируемых?
• Инструкция соответствует форме и содержанию задания?

В этой статье мы обсудили основные аспекты составления тестовых заданий закрытой формы с одним или несколькими правильными ответами. Благодарю вас за внимание и терпение и надеюсь, что эта статья будет полезной для вас. 

Если вы считаете, что стоит продолжить цикл подобных статей и поговорить о методике составления тестовых заданий других видов, напишите, пожалуйста, об этом в комментариях. А если вам нужны готовые инструменты оценки качества обучения, обращайтесь к нам в «Сетевую Академию ЛАНИТ». Будем рады помочь.

Государственное бюджетное учреждение дополнительного образования Центр технического творчества Адмиралтейского района

Санкт-Петербурга

Государственное бюджетное общеобразовательное учреждение средняя общеобразовательная школа

No 259 имени М.Т. Лорис-Меликова Адмиралтейского района

Санкт-Петербурга.

Методика составления тестовых заданий

Осепян Анна Карленовна

Учитель внеурочной деятельности,

педагог дополнительного образования

Термин «тест» впервые введен американским психологом Дж. Кеттелом в 1890 г. «Тест» происхо дит от английского слова «test» и означает в широком смысле слова испытание, исследование, опыт. В педагогике чаще всего термин «тест» определяется как система заданий специфической формы, опре деленного содержания, возрастающей трудности, позволяющая объективно оценить структуру и каче ственно измерить уровень подготовленности учащихся. Последовательность тестовых заданий опреде ляется по принципу: от более простого к сложному.

Тестовые задания — это дидактические и технологические средства объективного контроля подго товленности ученика. Эти задания должны быть краткими: желательно не более 7 слов в одном зада нии. Прочитав задание, ученик должен сразу определить, знает ли он ответ. Если ответ он не знает, то дополнительное время не поможет. Идеально, когда ученик сразу отвечает на задание. Надо стремить ся к тому, чтобы на обдумывание одного задания затрачивалось не более двух минут.

Тестирование имеет следующие основные преимущества перед другими педагогическими методами:

• строгость;
• объективность;
• технологичность;
• применимость ко всем группам испытуемых;
• интегрируемость;
• междисциплинарность;
• стимулирование мотивации и др.

По количеству заданий различают следующие виды тестов:

· короткие (до 20 заданий)

· средние (20500 заданий)

· длинные (более 500 заданий)

Педагогическое тестирование, как и всякое средство измерения и контроля, имеет и свои недостатки.

Как и любой измерительный инструмент, тест имеет определенную точность и определенную по грешность, диапазон применимости. «Натаскивание на тесты» приводит лишь к знаниям справочного характера. Возможна и фальсификация результатов тестирования.

Тест – система кратких вопросов и заданий, с ограничением времени выполнения для установле ния характеристик обучения и их последующего анализа.

Тестирование – это одновременно и метод, и результат педагогического измерения.

Тест состоит из тестовых заданий.

Тестовое задание – учебная ситуация, для которой тестируемый должен выбрать вариант ответа или же сконструировать такой вариант.

Педагогический тест – система тестовых заданий возрастающей трудности для эффективной оценки подготовленности обучаемых, их знаний, умений и навыков.

Педагогическое тестирование – это подготовка качественных тестов, проведение тестирования и анализ уровня подготовки тестируемых.

Классификация тестов проводится по различным признакам.

Приведем основные.

1. По процедуре создания – стандартизованные, не стандартизованные.
2. По средствам предъявления – бланковые, натурные, компьютерные.
3. По генерированию – детерминированные, стохастические, динамические.
4. По направленности – интеллекта, личностные, достижений.
5. По однородности – гомогенные, гетерогенные.
6. По целям – информационные, диагностические, обучающие, мотивационные, аттестационные.
7. По форме – закрытого типа, открытого типа, на установление соответствия, на установление пра вильной последовательности действий (мы их подтипы опускаем).
8. По методологии интерпретации результатов – нормативноориентированные (по отношению к некоторому нормативному образцу) и критериальноориентированные (для оценки степени овладе ния знаниями и умениями).

Есть и другие подходы к классификации тестов. Наиболее важна классификация тестов по форме.

ФОРМЫ ТЕСТОВЫХ ЗАДАНИЙ

На практике наибольшее распространение получили четыре формы тестовых заданий. Это:

1. закрытые тестовые задания,

· Альтернативы

· Двойной альтернативы

· Градуации

· Сочетаемости или цепочки

· Кумуляции (накопляемости)

1. открытые тестовые задания,
2. задания на соответствие,
3. задания на установление правильной последовательности.Разберем их более подробно.

1. ЗАКРЫТЫЕ ТЕСТОВЫЕ ЗАДАНИЯ

Закрытые тестовые задания — это задания 1 и 2 уровня (короткие и средние). Наименее удачными считаю задания с двумя возможными вариантами ответа, велика вероятность отгадывания. В то же время ответов не должно быть более чем 5, так как при этом трудно удержать в памяти все варианты.

Задания нужно формулировать не в форме вопроса, а в форме утверждения.

Методика составления тестового задания закрытой формы.

Сначала формулируется вопрос, на который ученик должен знать ответ, затем записывается точный и немногословный ответ и, наконец, из ответа исключается ключевое слово (формула, знак, символ, буква и т.п.); правильный ответ и 14 правдоподобных, но неправильных ответа перечисляются под определенными номерами ниже задания (посредине листа).

Понятие «правдоподобный ответ» требует некоторого истолкования. Правдоподобные, но всетаки неправильные ответы, играют не меньшую роль, чем само задание, так как неправдоподобные ответы легко различаются учениками от правильного ответа, что приводит к неудаче. Задание «не работает» изза плохой формулировки ответов. Ответ должен как бы привлекать к себе учащихся с той или иной структурой подготовленности.

Приведем примеры тестовых заданий.

Закрытые тестовые задания, составленные по принципу альтернативы Выбрать номер правильного ответа.

100 – 60 : 2 · 3 =

1. 60
2. 10
3. 90

Закрытые тестовые задания, составленные по принципу двойной альтернативы Выбрать номер правильного ответа.

С увеличением длины прямоугольного параллелепипеда

1. увеличивается V и S основания
2. увеличивается V и уменьшается S основания
3. уменьшается V и увеличивается  S основания
4. уменьшается V и S основания

Закрытые тестовые задания, составленные по принципу градуации Выбрать номер правильного ответа.

Если ширину прямоугольника увеличить в 2 раза, его площадь

1. увеличится в 2 раза
2. уменьшится в 2 раза
3. не изменится

Закрытые тестовые задания, составленные по принципу кумуляции Выбрать номер правильного ответа. Делители числа 10

1. 1, 2
2. 1, 2, 5
3. 1, 2, 5, 10
4. 1, 2, 5, 10, 20

Закрытые тестовые задания, составленные по принципу сочетаемости Выбрать номер правильного ответа.

Правильная пирамида – это пирамида, у которой:

1. основание – правильный многоугольник и вершина проектируется в центр основания.
2. вершина проектируется в центр основания и это основание – прямоугольник.
3. основание – прямоугольник, все остальные грани – треугольники с общей вершиной.

2. ОТКРЫТЫЕ ТЕСТОВЫЕ ЗАДАНИЯ

В открытых тестовых заданиях нет готовых ответов. В этом главное их преимущество по сравнению с заданиями закрытой формы. Отвечая на задание, ученик дописывает ответ.

Открытые тестовые задания могут применяться на разных этапах обучения: и для закрепления зна ний, и для повторения пройденного материала, и для итогового контроля знаний, и для самоконтроля и самообучения.

Методика разработки тестовых заданий открытой формы.

Сначала формулируется вопрос, на который ученик должен знать ответ, исключается ключевое сло во (формула, знак, символ, буква и т.п.), а вместо него ставится прочерк. Необходимо так сформулиро вать задание, чтобы ключевое слово (выражение, формула, схема, знак и т.п.) было в конце предложе ния. В противном случае трудно будет понять смысл задания.

Перед открытыми тестовыми заданиями должна быть инструкция для учащегося: «ДОПОЛНИТЬ». Никакие другие пояснения не требуются; что дополнить, к чему дополнить, как дополнить, должно быть понятно из текста самого задания. Ответ должен подразумеваться точным, кратким, однозначным. Открытые тестовые задания Дополнить.

Если за первый день турист прошел 16км, а за второй – на 2000 м больше, то за два дня он прошел ______(м).

3. ЗАДАНИЯ НА УСТАНОВЛЕНИЕ СООТВЕТСТВИЯ

Тестовые задания на соответствие — это задания первого, иногда второго уровня усвоения.

Суть этих заданий заключается в следующем: надо установить соответствие между одним элемен том из множества свойств, явлений, предметов, определений и т.д. и одним элементом другого множе ства. Эти задания должны сопровождаться инструкцией для учащегося «УСТАНОВИТЬ СООТВЕТ7 СТВИЕ». Здесь учитывается ассоциативная природа мышления человека. Такими заданиями лучше всего проводить текущий контроль знаний учащихся, а также занятия по самообучению.

Методика составления тестовых заданий на соответствие.

Основываясь на учебном материале, создается два столбца некоторых данных по однородным при знакам. В правом столбце должно быть хотя бы на несколько позиций больше, чем в левом. В идеаль ном случае позиций справа должно быть в два раза больше, чем слева. Если бы число позиций было одинаковым, то не исключена такая ситуация: ученик точно знает соответствие по всем позициям, кро ме одной, где ответ получается сам собой. Для удобства обработки результатов рекомендуется позиции левого столбца обозначать цифрами, а правого  заглавными буквами. Для комфортного психологичес кого восприятия задания, обдумывания ответа имеет значение и шрифт, которым набрано задание. Подзаголовки над столбцами набираются заглавными буквами.

Слова в столбцах — маленькими буквами. Необходимо также учитывать, что число строк в левом столбце не должно быть больше, чем 45. В идеальном составленном тестовом задании каждой строке левого столбца должна соответствовать лишь одна строка. Тестовые задания на установление соответствия Установить соответствие.

1. Разность               а)  a : b  c
2. Сумма                    б)  x + y · t

  с)  b · (d + x) : y

 д)  k : b : (c – x)

Ответ: 1_, 2_.

4. ЗАДАНИЯ НА УСТАНОВЛЕНИЕ ПРАВИЛЬНОЙ ПОСЛЕДОВАТЕЛЬНОСТИ

Эти задания созданы для проверки знаний последовательности действий в различных ситуациях, порядка выполнения какойлибо работы и т.д. Они являются заданиями второго и третьего уровня.

Методика разработки тестовых заданий на установление правильной последовательности.

Ученику дается инструкция «УСТАНОВИТЬ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ», в соответствии с которой, слева ставятся цифры, указывающие на порядок действий. При необходимос ти можно сделать подзаголовок (заглавными буквами), который поможет ученику сориентироваться, о чем идет речь.

При подготовке таких заданий необходимо давать четкие и точные названия, точно соблюдать алго ритм контролируемой деятельности. Строки задания (кроме подзаголовка) набираются маленькими буквами.

Минимальное число элементов, включенных в задание, должно быть не менее 5, а максимальное — не более 12.

Задание считается выполненным правильно, если ученик установил совершенно правильный поря док в данной последовательности. Снисходительное отношение к оценке знаний здесь неуместно. Тестовые задания на установление правильной последовательности Установить правильную последовательность.

1.1. вторник

1.2. среда

1.3. воскресенье

1.4. понедельник

1.5. четверг

1.6. пятница

1.7. суббота

Ответ: _________

ОБЩИЕ ТРЕБОВАНИЯ (положения) К ТЕСТОВЫМ ЗАДАНИЯМ И ТЕСТАМ

1. Предметная чистота

Суть каждого тестового задания должна отражать только данный предмет. Важно учитывать значи мость материала, его научную достоверность, соответствие содержания теста уровню современного понимания науки.

1. Формальная чистота

Форма тестового задания должна соответствовать приведенной выше квалификации. Шрифт также должен соответствовать общепринятым нормам. В данном случае форма играет не пассивную, а актив ную роль. Она может запутать, но может помочь учащемуся при определении его знаний.

1. Надежность

Обеспечивается совокупностью тестов данного уровня с определенным количеством существенных операций в них.

1. Содержательная корректность

Текст любого задания может быть подвергнут обсуждению и оспорен коллегами по работе. Важно, чтобы это происходило в доброжелательной форме.

1. Однозначность ответа

Все учащиеся должны одинаково понимать задание. Задание должно быть составлено таким обра зом, чтобы ответ на него был единственным и однозначным.

1. Время тестирования должно быть минимальным

Не существует точных рекомендаций по затратам времени на тестирование. Но примерно можно придерживаться такой нормы: на одно задание должно быть затрачено не более двух минут. Точное время для ответов на подготовленный тест определяется экспериментально. Для этого в группе, состо ящей минимум из трех человек (сильный, средний и слабый ученик), проводится апробация теста. За секается время, необходимое для опроса каждого ученика, и затем подсчитываются средние затраты времени на одного учащегося. Это время и принимается расчетным.

1. Тест может включать в себя задания разной формы в любом порядке и в любом количестве

Выбор формы задания зависит только от материала, знание которого нужно проверить. Количество заданий определяется объемом материала. Общий принцип такой: чем больше заданий, тем точнее оп ределяется уровень знаний.

1. Последовательность заданий друг за другом определяется по принципу: от простого к болеесложному

В идеале в тесте не должно быть очень легких, абсолютно всеми решаемых заданий. Хотя иногда можно в начале теста вводить несколько таких заданий, чтобы ободрить испытуемого, повысить его уверенность в себе и помочь реализовать свой потенциал, ощутив в ходе тестирования определенный боевой настрой.

Также иногда полезно включать 12 задания высокого уровня сложности, чтобы у ученика не сфор мировалось чувство непогрешимости и завышенной самооценки, чтобы было к чему стремиться.

1. Вариативность содержания
2. Тест должен включать в себя следующие элементы:

· имя теста (отражение сути темы, раздела, предмета); · номер варианта (чем больше, тем лучше, минимум 4); · указание уровня усвоения.

1. Краткость заданий

Многословные задания не могут считаться тестовыми. Идеальным считается задание, в котором не более 7 слов.

Если поставить вопрос о сравнительной ценности всех четырех рассмотренных здесь форм тестовых заданий, то можно отметить следующее: в последнее время предпочтение отдается открытой форме заданий, в которых вероятность отгадывания равна нулю. Но это не значит, что остальные формы не позволяют сделать хороший тест. Каждая форма имеет свои достоинства и недостатки, поэтому выбор во многом зависит от учебной дисциплины, от цели создания и применения теста, от ориентации на ручную или машинную обработку результатов и даже от приверженности к той или иной теории тес тов. Все это подтверждает мысль о том, что выбор формы  процесс не менее творческий, чем создание и культурное применение тестов.

Тестирование имеет три основных этапа:

1. проектирование и разработка (выбор) теста;
2. реализация процедуры тестирования;
3. анализ, оценка и интерпретация результатов тестирования.

Тесты обладают следующими основными свойствами, нарушение любого из которых делает непри менимым тест.

1. Валидность – соответствие измеряемым знаниям, умениям.
2. Сложность – объем умственных усилий для выбора ответа.
3. Надежность – правильность и адекватность отражения уровня знаний.
4. Устойчивость – равнозначность для различных групп испытуемых.
5. Репрезентативность – полнота охвата учебного материала.
6. Значимость – актуальность включения в тест.
7. Достоверность – соответствие современному состоянию науки и методике обучения.
8. Гипотеза тестирования – основные педагогические условия, при которых идет проверка испы туемых.

Любые тесты дложны быть валидны, достаточно сложны, надежны, объективны, устойчивы, репре зентативны, значимы, достоверны, научны, непротиворечивы, основаны на корректной гипотезе тести рования.

Перечень знаний для проверки может иметь вид:

• знание названий;
• знание семантического смысла названий;
• фактуальные знания;
• знание определений;
• сопоставительные знания;
• классификационные знания;
• знание противоположностей;
• ассоциативные знания;
• знания причинноследственных отношений;
• процедурные знания;
• технологические знания;
• обобщенные знания;
• оценочные знания;
• вероятностные знания;
• абстрактные знания;
• структурные знания;•  методологические знания.

В заключение хотим отметить, что методика разработки тестов несовершенна, а многие проблемы тестирования недостаточно проработаны, но в последнее время они эффективно изучаются.

Методическая литература по тестологии

1. Аванесов В.С. Композиция тестовых заданий. – М.: АДЕПТ, 1998. – 216 с.
2. Ефремова Н.Ф. Современные тестовые технологии в образовании. – РостовнаДону: Издательс кий центр ДГТУ, 2001. – 187 c.
3. Клайн П. Справочное руководство по конструированию тестов. – Киев, 1994. – 238 с.
4. Майоров А.Н. Теория и практика создания тестов для системы образования. / А.Н.Майоров – М: Народное образование, 2000 – 351 с.
5. Мельников Ю.В. Технология использования и разработки тестов и обучающих программ: Мето дическое пособие. / Ю.В.Мельников. – Домодедово: ВИПК МВД России, 1999. – 21 с
6. Михайлычев Е.А. Дидактическая тестология. М.: Народное образование, 2001. – 432 с.
7. Переверзев В.Ю. Критериальноориентированное педагогическое тестирование: Учеб. пособие. – М.: Логос, 2003. –120 с.
8. Родионов Б.У. Стандарты и тесты в образовании. / Б.У.Родионов, А.О.Татур. – М.: 1995. – 48 с.
9. Челышкова М.Б. Теория и практика конструирования педагогических тестов. Учебное пособие. – М.: Исследовательский центр проблем качества подготовки специалистов, 2001. – 410 с.

Литература

Баранова, Н.Л. Диагностика результативности освоения образовательных программ обучающимися детского (юношеского) объединения: проводим успешно и легко: СПб.: ИП Веснин Евге ний Юрьевич, 2015. — 48 с.

Скачать материал

Скачать материал

Описание презентации по отдельным слайдам:

• 

  1 слайд

  Ковалёва Елена Владимировна
  преподаватель КГБ ПОУ
  «Хабаровский торгово-экономический техникум»
  СПЕЦИФИКА МЕТОДОВ СОЗДАНИЯ ТЕСТОВЫХ ЗАДАНИЙ
  ЗАКРЫТОГО ТИПА
  (НА ПРИМЕРЕ ДИСЦИПЛИНЫ
  ИНОСТРАННЫЙ ЯЗЫК)

• 

  2 слайд

  Кен Робинсон
  международный советник по вопросам развития творческого мышления и систем образования

• 

  3 слайд

  Универсальный характер

  В современном процессе обучения тест является не только эффективным инструментом адаптации, но и полезным измерительным средством контроля, позволяющим за короткий промежуток времени объективно и с широким охватом обучающихся оценить результативность их познавательной деятельности. Тесты можно использовать в качестве домашнего задания, интеллектуальной разминки при проблемном обучении, они пригодны как для фронтальной, так и для групповой и индивидуальной работы студентов в аудитории.

• 

  4 слайд

  Преимущества тестов
  Грамотно составленные, много-вариативные, регулярно проводимые тесты имеют ряд достоинств, а именно позволяют:
  1) высвободить время для решения других задач
  2) проанализировать ошибки и своевременно отреагировать на пробелы в знаниях отдельных студентов
  3) осуществлять разноуровневый подход и корректировать отдельные вопросы темы
  4) исключить возможность списывания
  5) развить внимание и остроту восприятия обучающихся
  6) приучить их к систематической подготовке и прослеживанию взаимосвязи тем.

• 

  5 слайд

  Правила для профи
  На этапе разработки тестовых заданий следует серьёзно подойти к определению цели тестирования; сбору и обработке первичных данных; их качественному анализу и интерпретации полученной информации, учитывая уровень сложности теста, его продолжительность и форму проведения (индивидуальный, групповой, бланковый, компьютерный и т. д).
  С целью обеспечения надёжности и сбалансированности оценочного инструмента, необходимо соблюдать следующие правила:

• 

  6 слайд

  1) контролируемые элементы даже в рамках одной темы должны быть представлены в равной степени
  2) вопросы сформулированы кратко и недвусмысленно
  3) исключены второстепенные детали, возможность догадки, слишком простые или точные формулировки из учебника
  4) начинать следует с более простых тестовых заданий, постепенно усложняя и дополняя их новыми вариантами, чтобы сформировать устойчивые навыки на практических занятиях и устранить такой отрицательный фактор, как ответо-боязнь
  5) рекомендуется давать не менее 4-5 вариантов ответов, при этом в качестве неверных использовать наиболее типичные ошибки.
  5 главных ориентиров

• 

  7 слайд

  Объект контроля
  Основным объектом контроля при обучении ИЯ являются коммуникативные компетенции, т.е. умения в говорении, аудировании, чтении и письме. На практике, однако, чаще используются тесты, в которых предпочтение отдаётся действиям с языковым материалом, поскольку лингвистическая компетенция является базисной, составной частью коммуникативных компетенций. Вместе с тем не следует забывать, что это должен быть контроль умения выполнять действия с лексическими единицами и грамматическими конструкциями, т. е. либо употреблять их при построении коротких высказываний, либо узнавать при восприятии небольших текстов или групп предложений.

• 

  8 слайд

  Классификация

  При всем многообразии тестовых заданий
  можно выделить две основные группы тестов:
  1) “открытые” тесты, где испытуемому самому необходимо вписать “пропущенные” слова
  2) «закрытые» тесты, включающие задания на:
  а) выбор правильного ответа либо исключение неправильного
  б) приведение в соответствие или классификацию объектов
  в) расположение объектов в определенном порядке.
  Остановимся подробнее на второй группе.

• 

  9 слайд

  Тесты закрытого типа

  Тестовые задания закрытого типа обладают рядом преимуществ над заданиями открытого типа, главными из которых являются
  1) надежность и объективность оценивания
  2) охват большой области знания, что очень важно для тестов достижений
  3) легкая обработка ответов. Кроме этого, простой алгоритм заполнения снижает количество случайных ошибок и описок, а вероятность угадывания правильных ответов низка.

• 

  10 слайд

  Контроль – не единственная цель
  К достоинствам тестовых заданий закрытого типа можно отнести и то, что они позволяют достаточно точно выявить уровень подготовки испытуемых по иностранному языку, а также обладают не только контролирующим, но и обучающим потенциалом в случае их регулярного использования в текущем учебном процессе.
  Наиболее приемлемой формой текущего контроля я считаю тесты-минутки рассчитанные на 10–15 минут занятия и содержащие 5–10 вопросов.

• 

  11 слайд

  Системный подход
  Чтобы оценить степень владения учебным материалом по той или иной теме, разделу, я активно применяю комплексные критериально-ориентированные тесты закрытого типа на знание лексики, грамматики и понимание содержания текста.

• 

  12 слайд

  Контроль
  лексики

  Знание словарного минимума удобно проверять в форме заданий, предусматривающих совмещение синонимов, антонимов, дефиниций с терминами, либо использование последних в подходящих фразах.

• 

  13 слайд

  Профессиональные компетенции

  Навык быстрого извлечения информации из профессиональной литературы без опоры на словарь формируется в результате регулярной работы над анализом адаптированного текста, включающей
  1) поиск абзацев, содержащих ответы на вопросы
  2) выбор или исключение заголовка, темы, основной идеи, тематических лексических единиц, ложных, частично верных утверждений либо отсутствующих в тексте фактов
  3) корректировку плана содержания
  4) завершение начатого высказывания на основе предложенных тезисов
  5) установление соответствий русских и английских эквивалентов
  6) заполнение пробелов специально пропущенными словами.

• 

  14 слайд

  Нюансы текстового контроля
  Важно, что функциональный стиль и связанный с ним вид чтения сказываются на сущности предлагаемых альтернатив и количестве тестовых заданий: для детального чтения их требуется больше, чем для селективного и глобального.
  Для достижения оптимального результата при разработке и апробации теста, нацеленного на контроль навыков чтения, текст должен быть законченным по содержанию отрывком, вопросы должны содержать изученный лексико-грамматический материал, каждое тестовое задание должно быть автономным.

• 

  15 слайд

  Стимул к самообучению
  При изучении нового материала тесты применяются для организации самостоятельной работы студентов, при этом тестовое задание может не только опираться на знания, полученные на предыдущих занятиях, но иметь поисковый, эвристический, проблемный характер.
  Чтобы проиллюстрировать свой практический опыт, я предлагаю Вашему вниманию наиболее типичные примеры закрытых тестовых заданий.

  Укажите, чем является слово «using» в предложении:
  Using modern IT the investigator achieved better results in his work.
  a) герундием в функции подлежащего; b) причастием I в функции определения; c) причастием I в функции обстоятельства; d) причастием I, участвующим в образовании глагольной формы The Past Continuous Active.

• 

  16 слайд

  Тестовые задания на поиск одного верного ответа
  Задание № 1 (на интерпретацию информации): укажите правильный перевод английского предложения: The letter was signed by the director. — A) Письмо было подписано директором. B) Директору подписали письмо. C) Письма подписал директор. D) Директор подпишет письмо.
  (или её элемента): укажите, верный перевод инфинитива to understand в предложении: To understand the text, you must know the words. — a) понимание, b) чтобы понять, c) поняв, d) понимая.
  Задание № 2 (коммуникативные навыки): выберите реплику, наиболее соответствующую ситуации общения. Manager: «Have you rented a car for me, Mrs. Terry?» Secretary: «_______________» а) …; b) …; c) …; d) …
  Задание № 3 (умение обобщать): выберите формулировку, которая наиболее полно отражает основную идею текста.

• 

  17 слайд

  Тестовые задания, предусматривающие 2 ответа и более

  Задание № 4 (на идентификацию с указанием либо без уточнения количества правильных ответов): Укажите в каких предложениях причастие выполняет функцию обстоятельства (по замыслу автора, все варианты ответа могут быть правильными).
  Задание № 5 (на выбор идентичных обобщений): выберите два заголовка, которые отражают основную тему текста.
  Задание № 6 (на узнавание взаимосвязанных понятий). 1) Определите, какой причастный оборот содержит данное предложение: а) зависимый или б) независимый.
  2) Выберите союз, использование которого уместно при переводе данного причастного оборота: a) если, b) так как, c) но.

• 

  18 слайд

  Тестовые задания, предусматривающие 6 ответов

  Задание № 7. Соотнесите информацию под определенным номером на конверте с тем, что она обозначает.

  a) the country in the mailing address
  b) the addressee
  c) the town in the mailing address
  d) the house number in the return address
  e) the town the letter comes from
  f) the street name in the mailing address

• 

  19 слайд

  Тестовые задания, предусматривающие 5 ответов из 10

  Задание № 8 (на приведение в соответствие, причем количество вариантов превышает количество ответов первого столбика). Укажите правильный перевод сказуемого в каждом из следующих предложений.

  1) You (будете иметь право) drive a car.
  2) They (должны были) wait for us at the bus-stop.
  3) I (пришлось) choose another profession.
  4) She (умела) make her own dresses when she was only thirteen.
  5) George (смог) win the first prize.

  a) was able to, b) had to, c) could, d) can, e) are allowed to, f) were to, g) will be allowed to, h) may, i) has to, j) might

• 

  20 слайд

  Тестовые задания на классификацию
  Задание № 9. Опираясь на содержание текста, определите, являются ли следующие утверждения: a) верными; b) частично верными; c) ложными; d) в тексте нет такой информации.
  Задание № 10. Определите, какие из приведённых ниже вариантов завершения фразы соответствует содержанию текста.
  German cuisine …
  a) … is a bright example of healthy, well-prepared food served with care at present.
  b) … is a harmony combination of regional and foreign culinary traditions with those of modern cuisine.
  c) … is based mainly on meat like English cuisine.
  i) … is known for its inexpensive high-quality beer common through all parts of the country.

• 

  21 слайд

  Тестовые задания на коррекцию последовательности
  Задание № 11. Укажите в алфавитной последовательности порядок членов предложения в данной фразе, например, 3-а, 5-b и т. д. The experiment conducted at the University of Chicago surprised everybody.
  1) обстоятельство, 2) подлежащее,
  3) сказуемое,
  4) определение, 5) дополнение.
  Задание № 12. Расположите части делового письма в правильном порядке, например, с-1, g-2, e-3, a-4 и т. д.

• 

  22 слайд

  Тестовые задания на исключение
  Тесты-определители, построенные по принципу выделения неправильных ответов, имеют, как правило, в задании какие-либо отрицания.
  Задание № 13. Укажите, в каком предложении герундий не выполняет функцию дополнения: A) He objected to selling the house. B) The possibility of finding his cat was rather small. C) He insists on buying a new car. D) They accused him of stealing their money.
  Задание № 14. Укажите три ключевых словосочетания, которые не относятся к содержанию текста (количество можно не указывать).
  Задание № 15. Выберите два заголовка, которые не отражают основную тему текста.
  … не является
  … не относится
  … не отражает
  … не выражает

  DOES NOT
  DO NOT
  IS NOT
  ARE NOT

• 

  23 слайд

  Тестовые задания на завершение
  дефиниции или утверждения
  Задание № 16. Закончите следующее утверждение:
  Participle I в функции части глагола–сказуемого участвует в образовании a) Perfect, b) Indefinite Passive, c) Continuous, d) Indefinite Active.

  Задание № 17. Дополните формулировку, выбрав 2 варианта ответа: Действие, выраженное причастием II, всегда носит 1) активный характер; 2) т. е. лицо испытывает это действие на себе; 3) пассивный характер; 4) т. е. это действие выполняется самим лицом.

• 

  24 слайд

  Через тернии … )))

  Резюмируя свои практические изыскания, не могу не согласиться с тем, что создание тестов – это очень кропотливый труд, требующий постоянного анализа и обобщения профессионального опыта.
  Вне всякого сомнения, регулярное и разумное применение тестового контроля способствует плодотворному сотрудничеству студентов с преподавателем, создаёт эмоциональный комфорт, благоприятствует личностному развитию студентов, формированию их уверенности в себе и мотивации к качественным знаниям.

• 

  25 слайд

  Знания только тогда знания, когда они приобретаются
  усилиями своей мысли, а не одной лишь памятью.

  Л.Н. Толстой

• 

  26 слайд

  Желаю всем интересных профессиональных открытий и творческих озарений!

  Спасибо за внимание

Краткое описание документа:

Описаны достоинства тестов закрытого типа, главные ориентиры в их разработке, дана их классификация, приведены примеры заданий из комплексных критериально-ориентированных тестов по английскому языку. Материал представляет интерес для тех, кто хочет стать профи в разработке авторских тестов, соответствующих современным стандартам.

Найдите материал к любому уроку, указав свой предмет (категорию), класс, учебник и тему:

6 264 533 материала в базе

• Выберите категорию:

• Выберите учебник и тему

• Выберите класс:

• Тип материала:

  • Все материалы

  • Статьи

  • Научные работы

  • Видеоуроки

  • Презентации

  • Конспекты

  • Тесты

  • Рабочие программы

  • Другие методич. материалы

Найти материалы

Вам будут интересны эти курсы:

• Курс повышения квалификации «Введение в сетевые технологии»

• Курс повышения квалификации «Основы построения коммуникаций в организации»

• Курс профессиональной переподготовки «Логистика: теория и методика преподавания в образовательной организации»

• Курс профессиональной переподготовки «Теория и методика преподавания иностранных языков: английский, немецкий, французский»

• Курс профессиональной переподготовки «Теория и методика преподавания иностранных языков в профессиональном образовании: английский, немецкий, французский»

• Курс повышения квалификации «Психодинамический подход в консультировании»

• Курс профессиональной переподготовки «Организация деятельности секретаря руководителя со знанием английского языка»

• Курс профессиональной переподготовки «Организация технической поддержки клиентов при установке и эксплуатации информационно-коммуникационных систем»

• Курс профессиональной переподготовки «Теория и методика музейного дела и охраны исторических памятников»

• Курс профессиональной переподготовки «Организация и управление процессом по предоставлению услуг по кредитному брокериджу»

Методика составления тестов

Тестирование — один из наиболее эффективных методов оценки знаний обучающихся.

Тест — это стандартизованное задание, по результатам выполнения которого дается оценка уровня знаний, умений и навыков испытуемого. Тест состоит из тестовых (контрольных) заданий и правильных (образцовых) ответов к ним.

Этапы составления тестов:

1.Для облегчения процедуры составления тестов учебный материал должен быть достаточно формализован, т.е. каждый раздел, тему учебной дисциплины (дисциплин) необходимо представить в виде таких задач и (или) вопросов, которые наиболее полно отображают содержание дисциплины (дисциплин). При этом важно выделить главные (проблемные) вопросы, не увлекаясь второстепенными.

2.На втором этапе, в зависимости от цели тестирования (текущий контроль знаний, итоговый контроль знаний, оценка остаточных знаний и др.) и формы теста разрабатывается план раскладки задач и вопросов в тестовые задания. Формализация учебного материала и составление тестовых заданий — наиболее ответственные и сложные этапы составления тестов.

3.После составления тестовых заданий преподаватель оформляет правильный ответ.

Требования, предъявляемые к тестовым заданиям:

• каждое задание имеет свой порядковый номер, установленный согласно объективной оценке трудности задания и выбранной стратегии тестирования;
• задание формулируется в логической форме высказывания, которое становится истинным или ложным в зависимости от ответа обучающегося;
• к разработанному заданию прилагается правильный ответ;
• для каждого задания приводится правило оценивания, позволяющее интерпретировать ответ обучающегося как правильный или неправильный;
• на выполнение одной задачи (вопроса) тестового задания у обучающегося должно уходить не более 2 — 5 минут.

В дополнение к основным общим требованиям существует еще ряд других, обусловленных спецификой выбранной тестовой формы.

Формы тестовых заданий:

• задания закрытой формы — обучающиеся выбирают правильный ответ из данного набора ответов к тексту задания;
• задания открытой формы — обучающиеся самостоятельно формулируют ответ;
• задание на соответствие — обучающиеся устанавливают соответствие между элементами двух множеств;
• задания на установление правильной последовательности — от обучающегося требуется указать порядок действий или процессов, перечисленных преподавателем.

Некоторые формы можно разделить на виды. Например, для закрытой формы можно выделить задания с двумя, тремя и большим числом выборочных ответов. Выбор формы задания зависит от целей тестирования и от содержания контролируемого материала. Предложенные четыре формы тестовых заданий являются основными, но при этом не исключается применение других, новых форм.

Задания закрытой формы. В задании можно выделить основную часть утверждения, содержащую постановку проблемы, и готовые ответы, сформулированные преподавателем. Среди ответов правильным обычно бывает только один, хотя не исключаются и другие варианты. Число неправильных ответов определяется видом задания, обычно оно не превышает пяти.

Требования к заданиям закрытой формы:

• в тексте задания должна быть устранена всякая двусмысленность или неясность формулировок;
• в основную часть задания следует включать как можно больше слов, оставляя для ответа не более двух-трех наиболее важных, ключевых слов для данной проблемы;
• частота выбора одного и то же номера места для правильного ответа в различных заданиях теста должна быть примерно одинакова, либо номер места для правильного ответа выбирается в случайном порядке;
• из числа неправильных исключаются ответы, вытекающие один из другого.

Задания закрытой формы имеют как достоинства, так и недостатки. Их преимущества связаны с быстротой тестирования и с простотой подсчета баллов. Среди недостатков обычно отмечают эффект угадывания, характерный для слабо подготовленных обучающихся при ответах на наиболее трудные задания теста.

Задания закрытой формы сопровождаются инструкцией: «Обведите номер правильного ответа». В случае компьютерной выдачи заданий используют инструкцию: «Наберите номер правильного ответа».

Задания открытой формы. При ответе на открытое задание обучающийся дописывает пропущенное слово, формулу или число на месте прочерка. Задание составляется так, что требует четкого и однозначного ответа и не допускает двоякого толкования. В том случае, если это возможно, после прочерка указываются единицы измерения.

Прочерк ставится на месте ключевого термина, знание которого является существенным для контролируемого материала. Все прочерки в открытых заданиях для одного теста рекомендуется делать равной длины.

В процессе разработки задания необходимо упрощать усложненные синтаксические конструкции.

Для задания открытой формы рекомендуется использовать инструкцию, состоящую из одного слова: «Дополните».

Задания на соответствие. В этих заданиях преподаватель проверяет знание связей между элементами двух множеств. Слева обычно приводятся элементы данного множества, справа — элементы, подлежащие выбору. Число элементов второго множества может превышать число данных.

К заданиям предлагается стандартная инструкция, состоящая из двух слов: «Установите соответствие».

Как и в заданиях закрытой формы, наибольшие трудности при разработке связаны с подбором правдоподобных избыточных элементов во втором множестве. Эффективность задания будет существенно снижена, если неправдоподобные элементы легко различаются обучающимися.

Задания на установление правильной последовательности. Тестовые задания четвертой формы предназначены для оценивания уровня владения последовательностью действий, процессов, вычислений и т.д.

В задании приводятся в произвольном случайном порядке действия или процессы, связанные с определенной задачей. Обучающийся должен установить правильный порядок предложенных действий и указать его с помощью цифр в специально определенном для этого месте.

Стандартная инструкция к заданиям четвертой формы имеет вид «Установите правильную последовательность».

Задания на установление правильной последовательности действий обладают определенными преимуществами при разработке комплексных тестов, так как они удобны для оценки уровня профессиональной подготовки обучающихся, непосредственно связанной с их будущей деятельностью.

При выборе формы тестового задания необходимо помнить о том, что каждой дисциплине присуще свое собственное содержание, отличное от других. Поэтому нет, и не может быть единых рекомендаций для правильного выбора формы. Многое здесь зависит от искусства преподавателя, от его опыта и умения разрабатывать задания теста.

Процесс тестовых измерений предельно стандартизируется:

• все инструкции к одной форме даются одними и теми же словами;
• заранее разработанная система подсчета баллов применяется ко всем испытуемым обучающимся одинаково;
• все испытуемые отвечают на задания одинаковой сложности.

Чтобы исключить возможность списывания, подсказки и других нарушений, в заданиях следует вводить переменные параметры, изменение которых в допустимых пределах обеспечивает многовариантность каждого задания теста. При этом все обучающиеся группы выполняют однотипные задания, но с разными значениями параметра и, соответственно, с разными ответами. Таким образом, решаются одновременно две задачи: устраняется возможность списывания и обеспечивается параллельность вариантов заданий, предлагаемых различным обучающимся.

Особенно эффективны задания в открытой форме с переменным параметром при компьютерной выдаче, когда значения параметра выбираются в случайном порядке, поэтому при разработке компьютерного варианта теста этим заданиям следует отдать предпочтение, хотя окончательное решение вопроса выбора формы зависит от содержания контролируемого предмета.

Выбор методики оценивания ответов обучающихся на задания теста

Методика оценивания ответов обучающихся должна быть проста, объективна и удобна для компьютерной обработки результатов тестирования. Для примера можно предложить две методики оценивания ответов.

По первой методике за каждый правильный ответ обучающийся получает один балл, за неправильный — ноль баллов. Возможны варианты ответов с определенной долей правильного решения вопроса. В этом случае ответу может быть присвоено дробное число баллов (от 0 до 1), а обучающемуся предлагается выбрать из всей суммы ответов несколько, например три (из пяти-шести), которые, по его мнению, содержат правильные решения. Задание считается выполненным, если суммарное число набранных студентом баллов составляет от 0.7 до 1.

По второй методике устанавливаются четыре уровня усвоения учебного материала:

• первый уровень — запоминание;
• второй уровень — понимание;
• третий уровень — навыки;
• четвертый уровень — применение.

Соответственно четырем уровням усвоения учебного материала устанавливается четыре уровня сложности тестовых заданий.

Тестовые задания различного уровня сложности оцениваются по-разному. Например, первый уровень – 1,0 балл, второй — 1,5, третий — 2 и четвертый — 2,5 балла.

Тестовые задания закрытого типа

NovaInfo 34, скачать PDF
Опубликовано 28 мая 2015
Раздел: Педагогические науки
Просмотров за месяц: 16

Аннотация

В статье рассмотрены способы конструирования тестовых заданий закрытого типы. Приведены требования к построению содержательной части и описаны методы оценивания результатов проведенного тестирования.

Ключевые слова

РЕЗУЛЬТАТ, ОЦЕНКА, ИСПЫТУЕМЫЙ, ТЕСТИРОВАНИЕ, ТЕСТ, ДИДАКТИКА, ТЕСТОЛОГИЯ

Текст научной работы

Педагогический тест представляет собой систему дидактических заданий специфической формы, позволяющей оценить уровень обученности учащихся: совокупность их представлений об объекте познания, знания, умения и навыки в той или ионной области содержания.

Отнеся педагогическое тестирование к инновационным методам оценивания, выделим следующие его преимущества:

1. Более высокая объективность контроля.
2. Оценка знаний становится более дифференцированной (больше градаций оценки, возможность переводить полученную оценку в любую шкалу оценивания).
3. Более высокая эффективность (можно проводить контроль одновременно на больших группах учащихся).
4. Обработка результатов проводится быстрее (особенно в случае компьютерного тестирования).

На основе исследований Федерального института педагогических измерений (США) и ряда отечественных тестологов выделим основные этапы конструирования педагогических тестов:

1. Этап целепологания ( определяем вид, ресурсные возможности, источники финансирования, бюджет, круг привлекаемых специалистов).
2. Подготовительный этап (анализ и отбор содержания проверяемого материала, определение типов и количество используемых знаний, установка требований времени проверки, определение системы оценивания, выработка условий проведения).
3. Этап составления теста.
   1. Разработка и апробация тестовых заданий (в репрезентативных группах).
   2. Определение и расчет показателей качества созданных заданий (валидность, надежность),.
   3. Анализ результатов проведенной апробации.
4. Этап проведения теста и анализа полученных результатов
   1. Стандартизация теста (единообразие процедуры проведения и оценки выполнения тестовых заданий).
   2. Подготовительные работы по техническому оснащению.
   3. Отслеживание проведения теста.
   4. Обработка результатов, получение статистических данных для анализа. Подготовка итогового отчета.

Тестовые задания бывают нескольких типов. Самый популярный из них – тип тестовых заданий закрытого типа, они получили широкое распространение в основном из-за легкости автоматизации. Задания закрытого типа предполагают выбор одного или нескольких правильных ответов из нескольких предложенных вариантов. Основной недостаток таких заданий – возможность угадывания.

Выделим основные правила составления тестовых заданий:

1. Начинайте формулировать вопрос с правильного ответа.
2. Содержание задания должно отвечать программным требованиям и отражает содержание обучения.
3. Вопрос должен содержать одну законченную мысль.
4. При составлении вопросов следует особенно внимательно использовать слова «иногда», «часто», «всегда», «все» и «никогда».
5. Вопрос должен быть четко сформулирован, избегая слова «большой», «небольшой», «малый», «много», «мало», «меньше», «больше».
6. Избегайте вводных фраз и предложений имеющих мало связи с основной мыслью.
7. Неправильные ответы должны быть разумными, не должно быть явных неточностей.
8. Реже используйте отрицание в основной части. Избегайте двойных отрицаний («Почему нельзя не делать?»).
9. Лучше использовать длинный вопрос и короткий ответ.
10. Из текста заданий необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа путем угадывания.
11. Из числа тестовых заданий закрытого типа исключайте задания требующие громоздких вычислений.
12. Используемая терминология не должна выходить за рамки учебного курса.
13. Текст заданий и варианты ответов должны быть записаны разными шрифтами, для быстрого их отличения друг от друга при выполнении.
14. В начале каждого теста должна быть предусмотрена инструкция по его применению.

Дистрактором в тестовых заданиях закрытого типа назовем вариант неверного ответа. Слово «дистрактор» произошло от английского слова «distract», которое переводится как «отвлекать». Таким образом, дистракторы – это неправильные ответы, которые отвлекают и сбивают с толка испытуемого.

Выделим требования к дистракторам:

1. В основной части задания должно быть больше ключевых слов, в ответах не более трех наиболее ключевых слов.
2. Ответы к одному заданию должны приблизительно одной длины.
3. Все дистракторы к каждому заданию должны быть равнопривлекательными.
4. Дистракторы не должны быть неполными правильными ответами, превращающимися в правильные при определенных условиях.
5. Не должно быть неработающих дистракторов (их обязательно должны выбирать).
6. Частота выбора дистракторов должна быть примерно одинакова.
7. Из ответов необходимо исключить повторяющиеся слова путем ввода их в основной текст задания.
8. В ответах не рекомендуется использовать слова: «все», «ни одного», «никогда», «всегда», «ни один из перечисленных», «все вышеперечисленные». В отдельных случаях они способствуют угадыванию правильного ответа.
9. Из числа дистракторов исключают ответы вытекающие один из другого.
10. Все ответы должны быть параллельными по конструкции и грамматически согласованными с основной частью задания.
11. Желательно не использовать в ответах следующие слова: «да/нет», «верно/неверно». Рекомендуется создавать более содержательные ответы.
12. Если номер ответа совпадает с его числовым значением, то они обязательно пишутся в одной строке (1. 1 Бит, 2. 2 Бит, 3. 8 Бит, 4. 4 Бит). Если дистракторы это слова, то их желательно расположить в алфавитном порядке.

Заметим, что большое количество дистракторов уменьшает вероятность угадывания, но требует большего времени при разработке. Плохо знающие материал учащиеся пытаются найти правильный ответ путем угадывания по «формальным» признакам: самый длинный ответ, самый умный ответ, хорошо обоснованный ответ).

Под фасетом понимается форма, обеспечивающая представление нескольких вариантов одного и того же элемента содержания теста. Фасетный тест представляет собой большой массив элементов – фасеток, из которых путем различных сочетаний конструируются тестовые задания.

Приведем небольшие примеры фасетного теста:

1. В одном килобайте {мегабайте, гигабайте} содержится байт:
   1.  
   2.  
   3.  
2. Дата начала Советско-финской войны {Второй Мировой войны, Великой Отечественной войны}
   1.  
   2.  
   3.  

Таким образом, для снижения вероятности угадывания мы можем порекомендовать:

1. Увеличение количества дистракторов в задание до 4-х.
2. Использование фасетов заданий.
3. Жесткое временное ограничение на выполнение задание.
4. Использовать формулы для коррекции баллов с учетов возможности угадывания.

Оценивать результаты проведенного тестирования можно по-разному.

Алгоритмы оценки выполнение тестового задания:

• Дихотомическая оценка выполнения задания. Термин «дихотомически оцениваемые тестовые задания» означает, что ответ экзаменующегося находится только в одной из двух возможных категорий, правильный (за него выставляют 1 балл), или неправильный (0 баллов).
• Политомическая оценка выполнения задания. Термин «политомически оцениваемые тестовые задания» означает, что за разные ответы на задание проставляют несколько различных чисел

Рассмотрим несколько методов оценивания заданий закрытой формы.

1. Традиционный метод. Данный метод подсчета баллов заключается в следующем: суммируются все баллов по каждому заданию.
   1. Оценка с весовым коэффициентом. При условии выбора испытуемым только правильных ответов начисляется полный балл, в противном случае начисляется ноль баллов. Недостаток данного способа заключается в снижении дифференцирующей способности задания, т.к. испытуемые с «частичным набором знаний» и испытуемые с «полным отсутствием знаний» практически не различимы.
   2. Метод частичного балла. Суть данного метода заключается в следующем: частично баллы начисляются в случае выбора даже не полного ответа, но в случае выбора в сочетании с правильными ответами некого дистрактора – баллы обнуляются полностью или частично уменьшаются.
2. Коррекция баллов с учетом возможного угадывания. По данному методу производятся вычисления по следующей формуле: Zi=Xi-Wi/(k-1), где Zi — скорректированный тестовый балл i-го испытуемого, Xi – тестовый бал i-го испытуемого без коррекции, Wi — число ошибочных ответов у i-го испытуемого , k – количество ответов в заданиях (должна быть постоянная величина). Например: В тесте было 30 заданий, на каждое давалось по 4 ответа. Испытуемый на 20 заданий ответил правильно, 10 заданий выполнено с ошибками. Вычисляем балл по форме оценки с весовым коэффициентом, но с учетом коррекции по угадыванию: Zi=20-10/(4-1)=16,7.
3. Метод коррекции «Правильный + пропуск». Формула, основанная на модели случайного угадывания, которая корректирует » эффект угадывания «, имеет вид: Zi=Xi+Hi/k, где Xi –- скорректированный индивидуальный балл i-го испытуемого, Xi — число правильных ответов i-го испытуемого, Нi — число пропущенных заданий у i-го испытуемого, k — число вариантов ответов в каждом задании (все задания должны иметь k вариантов). Предположим, что студент А и студент Б сдают некоторый тест. Тест состоит из 150 заданий закрытой формы с четырьмя вариантами ответов. Студент А правильно ответил на 90 заданий, а оставшиеся 60 заданий он пропустил (так как не был уверен в выборе ответа). Студент Б также правильно ответил на 90 заданий, однако на остальные 60 заданий он ответил путем простого угадывания. Так как студент Б имеет шанс в 25% угадать правильный ответ, то он может набрать 15 дополнительных баллов только путем угадывания. При традиционном подсчете баллов студент А наберет 90 баллов, в то время как студенту Б будет начислено 105 баллов. Таким образом, индивидуальные баллы у этих двух студентов имеют значительную разницу, которая не отражает однако уровень их подготовки, а является лишь функцией склонности к угадыванию правильного ответа. Эта разница должна учитываться, так как тестирование проводится, как правило, однократно, а его результаты существенно влияют на аттестацию. Если же мы применим к подсчету баллов метод коррекции «Правильный+пропуск», то мы получим одинаковое количество баллов у данных студентов (105). Таким образом данный способ позволить правильно дифференцировать студентов по их уровню знаний.

Резюмирую все вышесказанное, отметим, что задания закрытого типа в педагогических тестах широко распространены. Основная причина такого широкого распространения это лёгкость как компьютерной автоматизации, так и ручного анализа. Для данного типа заданий выработаны методы конструирования содержания и весь необходимый инструментарий правильного оценивания испытуемых с учетом всех возможных погрешностей, в том числе фактора угадывания.

Список литературы

1. Баженов Р.И., Баженова Н.Г. О методике разработки конспекта урока. Современная педагогика. 2014. № 9 (22). С. 89-98.
2. Баженов Р.И., Векслер В.А. Обучение взрослых основам информационных технологий в системе дополнительного образования. Отчет о НИР (ГОУВПО «ДВГСГА»)

Цитировать

Векслер, В.А. Тестовые задания закрытого типа / В.А. Векслер. — Текст : электронный // NovaInfo, 2015. — № 34. — URL: https://novainfo.ru/article/3704 (дата обращения: 25.05.2023).

Поделиться