Как составить тесты в техникумах

		Приемы тестового контроля               для промежуточной   аттестации         по междисциплинарному курсу (МДК)      Методическая разработка

Приемы тестового контроля

для промежуточного контроля по МДК 01.01 Обработка
отраслевой информации

 

Активизация познавательной
деятельности студентов без развития его познавательного интереса не только
трудна, но практически не возможна. Вот почему в процессе обучения необходимо
систематически развивать и укреплять познавательный интерес и как важный мотив 
учения, и как стойкую черту личности, и как мощное средство воспитывающего
обучения, повышения его качества.

  В условиях современного профессионального образования большое
внимание уделяется диагностике знаний и умений, контролю достижения уровня
обязательных результатов обучения. Процесс усвоения знаний индивидуален,
поэтому необходимы формы контроля, позволяющие предусмотреть проверку:

• достижения каждым студентом уровня
  обязательной подготовки,
• глубину сформированности учебных умений,
•  умение применять полученные знания в
  ситуациях, отличных от обязательных результатов обучения.

Что такое тест?  Что такое тестирование?

   В латинском языке слово testa означает «ваза из глины», в средние
века у него
появился специфический смысл — чаша, в которой алхимики определяли количество
золота в определенной смеси. И в современном значении слова можно увидеть
отголосок этого смысла — мы как бы определяем, сколько «золота» в том или ином
человеке.

В науку слово «тест» попало уже из английского языка, где означает
«испытание,
проба, проверка». По словарю, тест — это стандартизированное, часто
ограниченное во времени испытание, предназначенное для установления
количественных и качественных индивидуально-психологических различий.
Разновидностей тестирования много, нас интересуют педагогические тесты или
тесты достижений.

Что же такое тест? Психологи, технологи, инженеры, медики, педагоги
используют термин «тестирование», понимая под ним испытание для выявления
свойств объекта, применяемое в сочетании с определенной методикой измерения и
оценкой результатов.
Тесты имеют давнюю историю. Тестовая методика начала развиваться в конце ХIХ
столетия в нескольких сферах жизни и деятельности человека. Впервые тест как
метод измерения и сам термин «test» (задание) были введены в 90 – е годы ХIХ в.
английским психологом Д.Кэттелом. В начале ХХ века специалисты – тестологи
начинают разграничивать два направления в тестовой работе: тесты
психологические и тесты педагогические. Психологические тесты предназначены для
измерения психофизиологических и личностных характеристик человека. К
педагогическим тестам относятся тесты, которые измеряют готовность ребенка к
школе, успешность его обучения по тем или иным школьным дисциплинам,
пригодность к профессиональному обучению. Известный американский психолог
Р.Торндайк (1874 – 1949), признанный основоположником педагогических тестов,
выделил три периода в развитии тестов по психологии и педагогике ХХ в.:

1) 1900 – 1915 – е г.г. – период исканий;

2) 1915 – 1930
г.г. – годы бума в развитии тестов, их широкое распространение и применение,
особенно в США,

3) с 1931г. за
рубежом тестирование продолжает развиваться и становится основной формой
проверки знаний в образовательных учреждениях.

У нас исследования по изучению и составлению тестов в области
психологии и педагогики начинают проводить с 20 – х годов ХХ столетия (М.С.
Бернштейн, П.П. Блонский и др.).

Тесты нашли применение в профконсультационной работе, в исследованиях
работоспособности человека и отчасти при оценке школьной успеваемости. 9 апреля
1927 года в СССР состоялась первая Всесоюзная конференция педологов, на которой
руководитель центральной педологической лаборатории Е.В.Гурьянов высказал
следующие положения:

• тестовый учет устраняет случайность,
  субъективность и приблизительность оценки педагогом работы учащегося;
• применение тестов не исключает творческой
  работы каждого педагога;
• тестовое обследование подводит эмпирическую
  базу для стандартизации того минимума знаний и навыков, которые вправе
  требовать от детей на разных ступенях обучения.

 Все
перечисленные положения не потеряли актуальности и сейчас, так как подтвердили
правильность выбора тестов в качестве метода измерения базовой подготовки
обучающихся.
Анализ психолого–педагогической и методической литературы по вопросам
тестирования показывает, что вековой интерес к этой проблеме со стороны
зарубежных и отечественных ученых не случаен. Актуальность введения
тестирования сегодня в практику вызвано тем, что оно при стандартизации
образования может служить одним из составляющих методики усвоения базовой
программы.

Тестирование
как система оценки успеваемости, имеет как положительные, так и отрицательные
стороны.

Положительные  
стороны

·        
Контроль и самоконтроль;

·        
Экономия времени;

·        
Смена деятельности на уроке;

·        
Можно использовать в режиме обучения, закрепления;

·        
Возможность увеличить частоту и регулярность
контроля за счет уменьшения времени выполнения заданий и автоматизации
проверки;

·        
Объективности педагогического контроля;

·        
Самостоятельная работа и работа в группах;

·        
Игровые формы (турнир, поединок и  др.)

·        
Ориентированность на современные технические
средства, на использование в среде компьютерных обучающих и контролирующих
систем;

Отрицательные
стороны

·        
Визуальное восприятие текста;

·        
Несёт психологический страх;

·        
Конкретизация фактов;

·        
Не развивается речь;

·        
Отсутствие развития творческого мышления;

·        
Не показатель глубины знаний (нет доказательств,
примеров, обоснованности фактов и  др.)

·        
В условиях тестирования один объект измерения
нередко подменяется другим.

Каким должен быть тест

Всё зависит от многих факторов. Во-первых, какая цель
поставлена перед обеими сторонами этого исследования. Во-вторых,
какими средствами и методами вооружен педагог. («Бумажные» и
компьютерные тесты).  Педагогические тесты, предъявляемые выборке
испытуемых, на бумажном носителе в виде распечатки наиболее распространены и
традиционны, как у нас, так и за рубежом. Однако, хранение, редактирование и
вариативная распечатка педагогического теста в современных условиях должна
происходить с помощью специализированных программных средств. Особое внимание
разработчиков и пользователей педагогического теста на бумажной основе должно
привлекать качество печати, отсутствие дефектов, грамотное расположение
заданий. С экономической точки зрения «бумажные» тесты продолжают
оставаться наиболее доступными и дешевыми.

Тест — контроль

·        
Вступительный тестовый контроль

·        
Текущий тестовый контроль

·        
Тематический  (промежуточный, рубежный, поэтапный,
периодический)

·        
Итоговый

Вступительный тестовый контроль может
осуществляется при приеме в учебное заведение в качестве вступительного
испытания. А также на начало учебного года.

Текущий тестовый контроль может
осуществляться в ходе повседневной учебной работы. Этот вид контроля имеет
большое значение для стимулирования у учеников стремления к самостоятельной
систематической работе, повышения интереса к учению и чувства ответственности
за его результаты.

Промежуточный (рубежный, поэтапный,
периодический) тестовый контроль проводится
обычно после изучения логически законченной части (раздела, модуля) программы
или в конце учебного периода (семестра, курса). Он состоит в проверке учебной
деятельности учащихся  по освоению сравнительно большего объема материала.
Поэтому к промежуточному педагогическому тесту предъявляются повышенные
требования.

Итоговый тестовый контроль
осуществляется в конце каждого учебного года, а также при
завершении изучения дисциплины (курса) с обязательным учетом результатов
текущего и промежуточного (периодического) контроля. Итоговый тестовый контроль
может осуществляться в режиме итоговой аттестации для оценки степени
соответствия уровня обученности   требованиям ФГОС.

Структура тестовых заданий

Тестовые
задания должны быть разно уровневыми по степени сложности:

Уровень А – задания, рассчитанные на усвоение основных понятий, на простое
отображение материала, на уровне узнаваемости и воспроизведения.

Уровень Б – задания, требующие размышления, охватывают малый материал, выявляют
умения применять знания в стандартных ситуациях.

Уровень В – задания, требующие творческого исполнения приобретенных знаний и
позволяют выявлять умения, применять знания в нестандартных ситуациях.

Требования к составлению тестов

Тест должен
быть:

·        
относительно краткосрочными, т. е. не требовать
больших затрат времени;

·        
однозначными, т. е. не допускать произвольного
толкования тестового задания;

·        
правильными, т. е. исключать возможность
формулирования многозначных ответов;

·        
относительно краткими, требующими сжатых ответов;

·        
информационными, т. е. такими, которые обеспечивают
возможность соотнесения количественной оценки за выполнение теста с порядковой
или даже интервальной шкалой измерений;

·        
удобными, т. е. пригодными для быстрой обработки
результатов;

·        
         стандартными, т. е. пригодными для широкого практического использования
— измерения уровня обученности возможно более широких контингентов обучаемых,
овладевающих одинаковым объемом знаний на одном и том же уровне обучения;

·        
вопросы не должны содержать «ловушек»;

·        
многословные задания не могут считаться
тестовыми. Идеальным считается задание, в котором не более 7 слов.

Виды тестовых заданий:

	Форма тестового задания	Инструкция
Закрытого типа	альтернативный выбор	испытуемый должен ответить «да» или «нет»
установление соответствия	испытуемому предлагается установить соответствие элементов двух списков
множественный выбор	испытуемому необходимо выбрать один или несколько правильных ответов из приведенного списка
установление последовательности	испытуемый должен расположить элементы списка в определенной последовательности
Открытого типа	дополнение	испытуемый должен сформулировать ответы с учетом предусмотренных в задании ограничений (например, дополнить предложение)
свободное изложение	испытуемый должен самостоятельно сформулировать ответ; никакие ограничения на них в задании не накладываются

Правила подготовки материалов для тестирования

1. Нельзя включать
ответы, неправильность которых на момент тестирования не может быть обоснована
учащимися.
2. Неправильные ответы должны конструироваться на основе типичных ошибок и
должны быть правдоподобными.
3. Правильные ответы среди всех предлагаемых ответов должны размещаться в
случайном порядке.
4. Вопросы не должны повторять формулировок учебника.
5. Ответы на одни вопросы не должны быть подсказками для ответов на другие.

6. Вопросы не должны
содержать «ловушек».

7.Тестовое задание
должно быть представлено в форме краткого суждения, сформулированного четким
языком и исключающего неоднозначность заключения тестируемого на требования
тестового задания.

8. Формулировка
тестового задания должна быть выражена в повествовательной форме (вопрос
исключается). В ТЗ следует старательно избегать применения слов — вопросов
(«как», «почему», «какой» и т.д.).

9. По возможности
специфический признак, ключевое слово выносится в начало ТЗ. Нельзя начинать ТЗ
с предлога, союза, частицы.

10. Формулировка
тестового задания должна быть выражена в повествовательной форме (вопрос
исключается). В ТЗ следует старательно избегать применения слов — вопросов
(«как», «почему», «какой» и т.д.).

11. Желательно
использование рисунков, формул и других поясняющих объектов.

12.  Все варианты
ответов (дистракторы) должны быть сопоставимы по длине, и не превышать одной
строки.

13. Запрещается наличие
повторяющихся фраз в дистракторах. Лучше «длинный» вопрос и «короткие» ответы,
чем наоборот.

14. Количество
дистракторов в ТЗ должно быть больше 3-х, но меньше 7.

15. Запрещено
применение всех правильных или всех неправильных дистракторов.

Формирование оценочной шкалы тестового контроля.

   Шкалирование педагогического теста — это метод для
определения системы преобразования индивидуальных необработанных баллов
испытуемых в результате тестирования в баллы, которые окончательно сообщаются
пользователям теста или тестовых программ. При создании тестов
возникают определенные трудности в части формирования шкалы оценок, правильности
выполнения заданий.

Компьютерное тестирование как одна из форм контроля

Одна из основных и приоритетных форм тестового контроля знаний –
компьютерное тестирование. Основным критериям для проведения компьютерного
тестирования являются:

·        
наличие класса IBM— совместимых компьютеров;

·        
сформированность навыков работы, учащихся
в тестирующей среде;

·        
готовность педагога к новой форме
контроля.

Компьютерное тестирование можно включить задания следующих типов: на
выбор ответа (единственный или множественный), на ввод ответа с клавиатуры, на
сопоставление вариантов.

Тестирование за компьютером повышает интерес к обучению и мотивацию к
учебному труду.

В процессе реализации образовательной программы по МДК 01.01 Обработка
отраслевой информации при проведении промежуточного контроля по завершении
каждой темы я применяю компьютерное тестирование в среде MyTestPro. Данная система реализует все возможные формы закрытых тестовых
заданий. Система состоит из трех модулей: MyTestEditor (конструктор тестов), MyTestServer (для хранения и обработки), MyTestStudent (система тестирования).

На сегодняшний день сформированы тесты по темам: «Основы работы в MS
Word», «Основы работы в MS
Excel», «Подготовка компьютерных презентаций в
программе MS PowerPoint»,
«Основы компьютерной графики», «Основы работы в программе Adobe
Photoshop», «Основы работы в программе Adobe
Illustrator», «Основы работы в программе Corel
Draw». 

Для обработки результатов я использую следующую шкалу:

85% — 100% —
«5»;

70% — 84% —  
«4»;

50% — 69% —  
«3»;

0% — 49% —    
«2».

При этом принимается во внимание, что при выполнении теста любой
человек может сделать 1- 2 случайные ошибки.

Использование компьютерных тестов для промежуточного контроля
существенно упрощает процесс проверки соответствия знаний и умений требованиям
ФГОС, экономит время за счет автоматизированного процесса подсчета и
систематизации результатов.

Тесты имеют право на существование как одна из форм контроля, наравне с
традиционными самостоятельными и контрольными работами, зачетами и т.п.
Разумное сочетание всех видов контроля позволяет более качественно осуществлять
учебный процесс.

Литература.

1.     
Г. Клековкин. Тесты. Тесты? Тесты! (Газета «Первое
сентября»  1999.)

2.     
Шульман А.Я. Вопросы методики разработки тестов.
М., 1991.

3.     
Ингенкамп К. Педагогическая диагностика. М., 1991.

4.     
Анастази А. Педагогическое тестирование. Кн. 1 – я.
Перевод с англ. М., 1982.

5.     
Давыденко Т.М., Тонков Е.В. Проектирование учебного
занятия — основа успешности обучения. БГУ, БРИПКПС, Белгород, 2003.

Технология разработки педагогических тестов                                          

(методические рекомендации для педагогов СГКСТД)

Самара 2012

Костина А.А. Методические рекомендации по технологии разработки педагогических тестов для оценки уровня обученности студентов СПО.

Самара, ГБОУ СПО СГК СТД, 2012, 45

Методические рекомендации составлены на основе книги заведующего кафедрой качества образования Федерального института развития образования, к.п.н., профессора

 В.Ю. Переверзева «Технология разработки тестовых заданий: справочное руководство»

Рецензент:

       Рекомендовано к изданию Методическим советом Самарского государственного  колледжа сервисных технологий и дизайна.

© Самарский государственный колледж сервисных технологий и дизайна

Содержание

1. Педагогические тесты………………………………………	4
1.1. Понятие педагогического теста…………………….	4
1.2. Этапы разработки педагогического теста……………	6
2. Тестовые задания……………………………………………	12
2.1. Понятие  тестового задания…………………………	12
2.2. Классификация тестовых заданий…………………	12
2.3. Критерии качества и эффективности тестовых заданий	13
2.4. Понятие валидности педагогического теста………	13
2.5. Принципы отбора содержания тестовых заданий……	14
2.6. Использование таксономии Блума и ее модификаций для разработки тестовых заданий……………	16
2.7. Создание спецификации содержания теста………	18
3. Технология создания тестов различных форм…………..	19
3.1. Технология создания заданий с выбором ответа (закрытой формы)……………………………………………	19
3.1.1. Достоинства и недостатки заданий с выбором ответа	19
3.1.2. Основные правила правописания и оформления тестовых задания с выбором варианта ответов………………..	19
3.1.3. Правила составления дополнительных инструкций к заданию………………………………………………………….	21
3.1.4. Правила составления вариантов ответов……………	22
3.1.5. Правила создания правдоподобных и эффективных дистракторов……………………………………………………	23
3.1.6. Оценка времени на выполнение задания………………	23
3.1.7. Рекомендации для создания заданий с выбором ответа………………………………………………………………	24
3.2. Модификация заданий с выбором ответа………………….	31
3.2.1. Задания типа «верно-неверно», «да-нет»……………	31
3.2.2. Блоки заданий с множеством выбором расширенного формата…………………………………………..	32
3.3. Задания открытой формы……………………………………	33
3.4. Задания на установление соответствия…………………….	34
3.5. Задания на установление правильной последовательности	36
Приложение. Словарь специальных терминов по тестовой теории и технологии разработки тестовых заданий…………..	37

1. Педагогические тесты

1.1. Понятие педагогического теста

 Наиболее распространенное в отечественной тестологии определение педагогического теста принадлежит B.C. Аванесову: «Педагогический тест — это система заданий возрастающей трудности специфической формы, позволяющая качественно оценить структуру и эффективно измерить уровень знаний, умений и навыков учащихся». Необходимо сделать некоторые пояснения, к вышеприведенному определению. По форме тест представляет собой систему заданий. Тестовые задания обычно бывают краткими, так чтобы на выполнение каждого не тратилось бы много времени. Это является одним из факторов эффективности применения тестов в педагогическом контроле. Нельзя не согласиться с B.C. Аванесовым, что не всякое задание включается в тест. Оно должно быть строго определенным по форме, содержанию и специальным параметрам — показателям качества, оцениваемым в ходе экспертного и статистического анализа. Свойства заданий обуславливают качество всего теста. Хорошие, валидные, эффективные задания определяют основные качественные характеристики всего педагогического теста. Поэтому и говорят, что педагогический тест представляет собой не просто набор, а систему заданий.

Педагогический тест рассматривается именно как система, как упорядоченное множество из тестовых заданий. Задания — это те элементы, «кирпичики», из которых составляется педагогический тест. Заметим, что данное достаточно емкое и точное определение можно дополнить утверждением, сводящимся к тому, что педагогический тест отличается от других методов контроля функциональной независимостью от субъекта процесса обучения — преподавателя. Другими словами, сама процедура тестирования не обязательно требует присутствие преподавателя в группе испытуемых и может проводиться в автоматизированном (компьютерном) формате.

Таким образом, суммируя вышесказанное, можно предложить следующее определение: «Педагогический тест — это система заданий специфической формы, позволяющая объективно и функционально независимо от преподавателя измерить уровень образовательных достижений обучаемых, совокупность их представлений, знаний, умений и навыков на той или иной области содержания».^[1]

Педагогические тесты в системе среднего и высшего профессионального образования подразделяются на вступительные (входные), текущие, тематические, а также на тесты промежуточной (рубежной) и итоговой аттестации.

 Педагогические тесты по своему содержанию различаются на гомогенные и гетерогенные.

Гомогенный педагогический тест основывается на содержании какой-либо одной дисциплины. При его разработке авторы должны четко отслеживать, чтобы каждое задание не выходило по своему содержанию за рамки данной дисциплины. Гомогенный тест может быть как нормативно-ориентированным, так и критериально-ориентированным, в зависимости от цели его создания. Такой тип педагогического теста наиболее распространен в учебном процессе.

Гетерогенный педагогический тест основывается на содержании нескольких дисциплин. Гетерогенный педагогический тест является по своему существу междисциплинарным. В большинстве случаев каждое задание гетерогенного теста включает в себя элементы содержания нескольких дисциплин. При его разработке авторы должны представлять себе цели его создания и быть компетентными во многих дисциплинах.

Педагогические тесты классифицируются по методологии интерпретации результатов тестирования на нормативно-ориентированные и критериально-ориентированные.

Нормативно-ориентированный педагогический тест (по-английски norm-referenced test) позволяет сравнивать учебные достижения (уровень подготовки, уровень профессиональных знаний и умений) отдельных испытуемых друг с другом. Нормативно-ориентированные педагогические гесты используются для получения надежных и нормально распределенных баллов для сравнения испытуемых.  

Критериально-ориентированный педагогический тест (по-английски criterion-referenced test) позволяет оценивать, в какой степени испытуемые овладели необходимым учебным материалом. Критериально-ориентированные педагогические тесты применяются для интерпретации результатов тестирования в соответствии уровнем обученности испытуемых на определенной области содержания.

Выделяют два основных вида критериально-ориентированных тестов, отличающихся друг от друга по ряду характеристик: domain-referenced test, предназначенный для оценки доли от полного объема учебного материала, которую усвоил испытуемый, и mastery tests, то есть «тесты на мастерство» или «квалификационные тесты», применяемые для определения в группе испытуемых квалифицированных и неквалифицированных (masters and nonmasters) в какой-то области. Установившейся терминологии для этих видов тестов на русском языке пока не существует.

Существенное значение приобретает использование критериально-ориентированных тестов для текущей, промежуточной и итоговой аттестации студентов.

По формату предъявления педагогические тесты различаются на бланковые, когда испытуемому предоставляется распечатка теста на бумаге, и на компьютерные, когда студент должен отвечать на задания работая на компьютере.

Педагогические тесты можно различать по масштабу применения на классные (авторские), академические (для учебного контроля в образовательном учреждении), отраслевые (для профессиональной аттестации кадров), национальные и международные.

1.2. Этапы разработки педагогического теста

Этап 1. Определите области содержания, измеряемых интелектуальных умений и основных целей тестирования. Анализ содержания учебной дисциплины и отбор содержания для теста Первоначально организаторам и разработчикам теста следует ответить на основные и самые важные вопросы. Для измерения чего предназначен тест, то есть, какова область содержания, основные измеряемые интеллектуальные умения и цели тестирования? Кто будет тестироваться, то есть, какая специфическая выборка экзаменующихся будет участвовать в тестировании? Кто будет пользователем результатов тестирования и для каких целей им нужна измерительная информация, то есть, кто реально заинтересован в получении результатов по данному тестированию и какую информацию нужно предоставить пользователям?

Тщательное определение всех данных аспектов, целей тестирования, для которых будет разрабатываться тест, совершенно необходимы даже тогда, когда область содержания точно определена. Гораздо более тщательную детализацию подробностей в целях тестирования необходимо провести в итоговых тестах по контролю за академической подготовленностью студентов, где могут быть существовать значительные теоретические расхождения среди экспертов-составителей заданий по самим основам содержания.

Окончательная, четкая детализация и формализация того, для чего тест предназначен, и что именно будет измерять тестирование, необходима и для оценки валидности самого теста.

Этап 2. Определение практических ограничений и выбор подходов к процессу разработки. Создание спецификации теста и спецификаций тестовых заданий.

Основное практическое ограничение, стоящее перед организаторами и разработчиками теста, — это материальные и временные ресурсы, которые находятся в их распоряжении. В случае массового педагогического тестирования необходимо проверить большое количество экзаменующихся по значительному количеству дисциплин, но время разработки теста, время тестирования и время интерпретации всегда ограничено. Ограничены также ресурсы и затраты на составление тестов.

Если на предыдущем этапе были адекватно определены все детали, то создание спецификации теста не должно вызывать больших трудностей. Полная спецификация педагогического теста определяет область содержания (по темам, разделам и пр.), формулирует интеллектуальные умения и количество тестовых заданий для каждого элемента спецификации. Спецификация теста может составляться как в линейной, так и в матричной (в виде таблицы) формах. Можно предложить следующую схему выполнения этого этапа:

1. Определение специфической области содержания и использованные источники информации. Типичные источники информации о содержании — это образовательный стандарт, программы по предмету, основные учебники и научно-методические пособия и другие учебные материалы. Другие источники информации — это мнение специалистов по содержанию дисциплин, профессорско-преподавательского состава, ученых-педагогов, методистов. Задача организаторов и составителей теста, это собрать воедино всю полученную информацию и составить точный и определенный образец спецификации теста.

2. Необходимо определить количество частей (секций) в тесте, предварительное количество тестовых заданий в каждой части и время тестирования. Предусмотреть в пробном тестировании специальные исследования для определения точного времени тестирования и точного количество тестовых заданий — длины теста. Естественно, когда новые тестовые задания, или их новые типы применяются в тесте, желательно проведение пробного тестирования для исследования того, как экзаменующиеся отвечают на эти задания и за какое время. В зависимости от опыта авторов тестовых заданий, каждый тип тестовых заданий, который используется в пробном гесте, должен быть составлен в количестве в три раза большем, чем необходимо для окончательного теста, и желательно, чтобы все эти тестовые (часто их называют претестовые задания) были включены в пробное тестирование или в пробный банк тестовых заданий.

1. Для бланкового формата предъявления необходимо определить количество вариантов теста для тиражирования и их технические характеристики — бумагу, количество страниц и т.д.
2. Определить количество сопроводительных к тесту документов, таких как ответные листы, инструкции для проведения тестирования, справочники и таблицы для пользователей теста и технические отчеты, административные отчеты о результатах тестирования и т.д.
3. Необходимо определить типы тестовых заданий и спецификациюкаждого типа тестового задания.
4. Установить предварительные технические характеристики и другиекритерии теста.  Например, распределение значения уровней трудности заданий, критериальные баллы  (или стандарты оценивания) для критериально -ориентированных тестов и др.
5. Необходимо определить количество параллельных вариантов для пробного и реального тестирования и процедуру отбора тестовых заданий их банка.
6. Определить процедуру стандартизации (если она предусмотрена) и определение норм и шкал, используемых для данного теста. Установить процедуру шкалирования и нормирования.
7. Определить основные модели статистических исследований по надежности и валидности теста, и других параметров теста и тестовых заданий.

Этап 3. Составление тестовых заданий.

Составление эффективных, валидных (часто употребляют термин конгруэнтных) тестовых заданий — это вторая по важности процедура после составления адекватной спецификации самой области содержания и целей тестирования. Даже тщательно отредактированные тестовые задания могут оказаться неудовлетворительными, и естественно, что качество банка тестовых заданий может установить ограничение и на качество окончательных вариантов теста. Экспертный анализ тестовых заданий не может быть единственным средством определения дефектов в самих заданиях. Необходимо проведение эмпирических статистических исследований на основе пробного тестирования и, если это необходимо, составление новых тестовых заданий.

Этап 4. Анализ заданий экспертами для оценки конгруэнтности заданий области содержания и целям тестирования. Подготовка материалов для пробного тестирования.

После составления множества тестовых заданий разработчикам необходимо провести экспертную проверку их качества. Каждому эксперту предлагается оценить степень конгруэнтности каждого задания области содержания и целям тестирования. От этого этапа напрямую зависит одна из важнейших характеристик теста — содержательная валидность.

После выбора подходящих заданий из банка разработчики составляют тест (или несколько его параллельных вариантов) для пробного тестирования.

Этап 5. Проведение пробного (апробированного) тестирования и анализ его результатов.

Одна из основных проблем при проведении пробного тестирования — это отсутствие мотивации у экзаменующихся (при условии, что они знают о том, что данное тестирование является пробным). Необходимо приложить определенные усилия, чтобы адекватная мотивация студентов в пробном тестировании была достигнута. Если этого не будет сделано, то информация, полученная в процессе пробного тестирования, не будет точной, адекватной. Одним из альтернативных решений этой проблемы является включение пробных (претестовых) заданий в уже существующий тест.

Параллельные варианты пробного теста должны быть достаточно большими, то есть содержать достаточное количество заданий, чтобы обепечить приемлемую надежность данных тестирования и представлять ионный диапазон возможностей теста в измерении данного содержания. Выборка студентов должна быть статистически гетерогенной и адекватно представлять все группы студентов по полу, возрасту, регионам и т.д. Анализ тестовых заданий чрезвычайно существенен, для того, чтобы найти скрытые дефекты в тестовых заданиях, удостовериться в их эффективности. Эффективные, хорошо работающие тестовые задания, скорее всего могут составлять половину или даже менее половины от всего банка претестовых заданий, используемых в пробном тестировании. Персонал, который проводит пробное тестирование (обычно это преподаватели или учебно-вспомогательный персонал), должен записать время тестирования, сколько студентов закончило до окончания времени тестирования и прокомментировать условия проведения тестирования. Как показывает опыт, во время тестирования персонал может заметить значительные недоработки во всем тесте или определенную проблему с каким-либо тестовым заданием.

Этап 6. Выбор критериального балла (критериев или стандартов оценивания) экспертными и (или) эмпирическими методами.

Для итогового критериально-ориентированного теста выбор стандарта оценивания «удовлетворительно» — «неудовлетворительно», или стандартов оценивания в традиционной шкале «неудовлетворительно- удовлетворительно — хорошо — отлично» является чрезвычайно важным этапом разработки теста. В конечном итоге правильно выбранный стандарт оценивания определяет критериальную валидность теста. Для экспертного выбора стандарта можно использовать модифицированный метод Агноффа (который неоднократно применял автор), согласно которому каждому эксперту предлагается количественно оценить вероятность выполнения каждого тестового задания минимально подготовленным студентом. Суммируя эти вероятности можно получить приблизительное значения стандарта оценивания «удовлетворительно» — «неудовлетворительно». Эмпирический выбор стандарта оценивания рекомендуется проводить методом «контрастных групп»^[2].

2. Тестовые задания

2.1. Понятие  тестового задания

Тестовое задание — минимальная содержательно законченная единица педагогического измерения, имеющая основу, в которой формулирована проблема (задача), и предписанный порядок для ответа. Цель тестового задания — получить ответ от испытуемого, на основе которого может быть сделан вывод о его знаниях, интеллектуальных умениях, способностях, представлениях, навыках на определенной области содержания.

2.2. Классификация тестовых заданий

В трудах зарубежных и отечественных тестологов выделены основные формы тестовых заданий для педагогических тестов, а именно:

1. Задание с выбором ответа (у некоторых авторов — задание закрытой формы, в англо-американской литературе установился термин «multiplechoice item — задания с множественным выбором») — форма тестового задания, при которой испытуемый должен выбрать правильный ответ из нескольких предлагаемых вариантов.
2. Задание открытой формы (в англо-американской литературе существуют термины «free-response item , open-response item , limited-responseitem» и др.) — форма тестового задания, при которой испытуемый должен предоставить правильный ответ, например, дополнить основной текст таким элементом, чтобы получилось истинное высказывание.
3. Задание на установление соответствия (англ. — matching item) — форма задания, в котором испытуемому предлагается установить соответствие между элементами двух списков (двух множеств).
4. Задание на установление правильной последовательности (англ. -sequences) — форма задания, в котором испытуемому требуется установить правильную последовательность элементов, действий, операций и т.д.

Критерии качества тестовых заданий

Цели и задачи педагогического теста как аттестационной процедуры диктуют автору тестовых заданий ряд направляющих принципов.

Наиболее важный критерий конструирования эффективных тестовых заданий заключается в следующем: должна быть высокая степень соответствия между конкретным заданием и ключевой целью всего педагогического теста. Проще говоря, главный вопрос формулируется так: «Как хорошо данное тестовое задание соответствует предназначенной цели всего теста?»

2.3. Критерии качества и эффективности тестовых заданий

• Тестовые задания должны быть конгруэнтны (должны соответствовать) ключевой цели тестирования. Ключевая цель тестирования должна быть ясно и четко определена и сформулирована.
• Автор должен минимизировать вклад, который тестовые задания могут внести в общую ошибку педагогического измерения.
• Форма тестовых заданий должна соответствовать целям тестирования.
• Должны быть выполнены технологические условия создания тестовых заданий: -одномерность шкалирования; — локальная независимость; -дифференцирующая способность.
• Тестовые задания должны отвечать общему стилю и стандартам редактирования.

2.4. Понятие валидности педагогического теста

Валидность педагогического теста — важнейший критерий его качества. Педагогический тест называется валидным (от англ. validity — значимость, обоснованность, пригодность, аргументированность, действительность, вескость, мотивированность, доказанность достоверность, истинность; справедливость, адекватность, обоснованность, общезначимость, правильность, применимость), если доказана   адекватная оценка степени соответствия структуры системы тестирования ее конечным целям, т.е. тест измеряет то, для чего он предназначен.

Содержательная валидность (content validity) —  применяется по отношению ко всем педагогическим тестам. Если пользователь теста может доказать, что тест адекватно отражает все основные аспекты исследуемой области содержания, то можно утверждать, что он обладает содержательной валидностью.

Критериальная валидность — степень соответствия между результатами тестирования и внешним, не относящимся к тесту критерием.

2.5. Принципы отбора содержания тестовых заданий

Рассмотрим  основополагающие принципы отбора содержания тестовых заданий для педагогических тестов.

Принцип конгруэнтности заключается в соответствии содержания педагогического теста (в особенности критериально-ориентированного) содержанию учебной дисциплины. Однако, содержание теста всегда значительно уже объема содержания дисциплины из-за невозможности включения всех разделов измеряемой области содержания. С другой стороны, чем вышее содержание теста, тем выше его содержательная валидность, тем больше обоснованность и значимость результатов тестирования и тем больше уверенность пользователей теста в качественной оценке знаний испытуемых. Необходима также уверенность в том, что задания теста охватывают все важные аспекты области содержания и в правильной пропорции.

Принцип значимости отражает необходимость включения в тесты только тех знаний, которые являются наиболее важными, значимыми, базовыми, которые выражают сущность, содержание, законы и закономерности рассматриваемых явлений.

Принцип научной достоверности заключается в том, что в тесты включается такое содержание учебной дисциплины, которое является истинным, научно обоснованным, достоверным. Все спорные точки зрения, вполне нормальные в науке, следует исключить из тестовых заданий для педагогических измерений.

Принцип соответствия содержания теста уровню современного состояния научного знания вытекает из естественной необходимости готовить специалистов и проверять их знания и умения на современном материале. Однако, трудность реализации этого принципа заключается в некоторой временной задержке связи содержания теста с уровнем развития науки и с содержанием учебной дисциплины. Преодолеть эту трудность можно только постоянным совершенствованием теста и постоянным расширением банка новых тестовых заданий.

Принцип репрезентативности заключается в наиболее точном отражении необходимого знания в тестовых заданиях. Репрезентативность не означает обязательного включения в тест всех значимых элементов содержания. Ведь многие из них явно связаны между собой в общей структуре знаний, включены один в другой полностью или частично. Кроме того, много элементов в структуре знаний иерархически соподчинены.

Принцип вариативности содержания. Содержание теста не может оставаться неизменным и независимым от развития науки, научно — технического прогресса, от нового содержания учебной дисциплины и от новых учебников. По мере изменения содержания учебной дисциплины должно варьироваться и содержание теста.

Принцип возрастающей трудности тестовых заданий означает, что каждый учебный элемент в процессе контроля обладает некоторой усредненной для студентов мерой трудности, на которую и ориентируются преподаватели. Практически все учебники и пособия построены по принципу возрастающей трудности. В таких учебных дисциплинах, как логика, математика, иностранные языки, статистика, философия, и др., значение последующих элементов курса жестко привязано к знанию предыдущих учебных элементов. Поэтому изучать такие дисциплины можно только с само го начала, и без пробелов. Трудному содержанию обычно соответствуют и трудные задания. Студент, правильно отвечающий на трудные задания, с большой вероятностью отвечает правильно и на легкие задания.

Принцип  системности,  комплексности и сбалансированности теста  указывает на подбор такого содержания тестовых заданий, который отвечал бы требованиям системности знаний. Помимо подбора заданий с системным содержанием, важно иметь задания, связанные между собой общей структурой знаний, а также задания, комплексно отображающие основные, если не все, темы учебной дисциплины. Кроме того, нужно сбалансировано отобразить в тесте основной теоретический материал — понятия, законы и закономерности, гипотезы, факты, структурные компоненты теории с методами научной и практической деятельности, с умениями эффективно решать типовые профессиональные задачи.

Принцип взаимосвязи содержания и формы. Педагогический тест можно охарактеризовать как результат взаимовлияния содержания заданий с наиболее подходящей формой. Уже на стадии замысла содержание задания начинает обретать свою форму. Однако, не всякое содержание поддается представлению в форме тестового задания. Доказательства, обширные вычисления, многословные описания весьма сложно (а порой невозможно) выразить в тестовой форме.

Кроме того, содержание теста должно отвечать логическим и семантическим требованиям и нормам.

2.6. Использование таксономии Блума и ее модификаций

для разработки тестовых заданий

Таксономия Блума, вероятно, — наиболее широко используемая схема индентификации уровней познавательных   процессов (в литературе употребляется также термин «когнитивные процессы») при создании педагогических тестов. В различных модифицированных версиях она применяется во многих широко распространенных  массовых педагогических тестах. В (отечественной практике педагогического тестирования в том или ином виде таксономия Блума также используется разработчиками тестов, однако, иногда они сами этого не осознают. Оригинальная работа Блума по описанию и классификации умственных процессов получила широкое признание и с успехом применяется в педагогических измерениях во всем мире.^[3]

Таксономия (или систематизация и классификация) целей обучения Блума позволяет сформулировать список из нескольких познавательных категорий, типично измеряемых в педагогических тестах. Эти категории внесены в иерархический список в Таблице. Они включают: Знание, Понимание, Применение, Анализ, Синтез и Оценку. Если все эти категории (или часть из них) — целевые результаты обучения, то тесты для измерения этих категорий должны включать оценку этих категорий.

Таблица 2.6.1

Уровни познавательных процессов (когнитивных уровней) по Блуму и примеры их использования для педагогических измерений

Познавательный уровень (категория)	Познавательный процесс (интеллектуальное умение)	Ключевые слова (глаголы, вопросы) для использования в основе тестовых заданий
Знание	Узнавание   фактов,   терминов, условий, понятий определений, принципов	Определите,       перечислите, идентифицируйте,   назовите. кто? когда? где? какой (что)?
Понимание	Объяснение,     интерпретация знакомого учебного материала	Объясните,        предскажите интерпретируйте,   выведите, суммируйте,     преобразуйте, переведите,   дайте    пример, вычислите, перескажите
Применение	Использование   понятий или   принципов,   чтобы решить проблему (задачу)  в знакомых  и  конкретных ситуациях	Примените, решите, покажите,   используйте,   измените, продемонстрируйте,    вычислите
Анализ	Деструктурирование системы    на ее составляющие части для выявление отношений и   иерархии, организация связи между частями	Дифференцируйте, сравните отличите, свяжите с, почему?
Синтез	Создание чего-то нового или оригинального из составляющих частей (элементов)	Спроектируйте, сконструируйте, разрвбтайте, сформулируйте, вообразите, создайте, измените так, чтобы…, напишите эссе (короткое сочинение)
Оценка	Формирование      суждения, основанного на предустановленном    наборе критериев	Спроектируйте, сконструируйте, разработайте, сформулируйте, вообразите, создайте, измените так, чтобы… Что было бы лучше?

2.7. Создание спецификации содержания теста

Тесты должны фактически базироваться на целях обучения вместо того, чтобы просто повторять образцы содержания обучения. Адекватность педагогического измерения происходит с помощью тестовых заданий, ясно отражающих сформулированную учебную цель. Этот аспект остается главным при определении содержания тестовых заданий.

Спецификации тестовых заданий обычно предназначаются в качестве внутреннего рабочего документа для разработчиков теста. Они не предназначены для экзаменующихся или для пользователей теста. Спецификации тестовых заданий предназначены, прежде всего, для авторов заданий, Чтобы их работа была сосредоточена в том направлении, который отражает намерения разработчика теста. (Таблица 2.7.1)

Таблица 2.7.1

Матричная спецификация для банка  тестовых заданий

Раздел содержания	Категории целей тестирования
знание	понимание	применение	анализ	синтез	оценка	Общее количество %
1.
2.
3.
4.
Общее количество заданий %							100

3. Технология создания тестов различных форм

3.1. Технология создания заданий с выбором ответа (закрытой формы)

3.1.1. Достоинства и недостатки заданий с выбором ответа

Достоинства заданий с выбором ответа:

1. Универсальность в измерении всех уровней познавательных процессов (интеллектуальных умений).
2. Позволяют осуществить широкий выбор содержания и целей измерения (высокая валидность измерения).

1. Обеспечивают очень надежные результаты тестирования.
2. Возможность частичной автоматизации подсчета результатов тестирования в бланковом формате и полной автоматизации при компьютерном формате предъявления

Недостатки заданий с выбором ответа:

1. Технология разработки требует высокой квалификации автора и отнимает иного времени.
2. Вероятность случайного угадывания правильного ответа.

3.1.2. Основные правила правописания и оформления

тестовых задания с выбором варианта ответов

1.Основу задания следует выделять одинаковым способом для всех заданий в данном тесте (например, полужирным шрифтом). Испытуемые должны запомнить стандарт оформления заданий и легко его воспринимать в процессе тестирования.

2. Если основа задания – законченное предложение, то в ее конце ставится точка, а если основа имеет вопросительную форму, то, соответственна   и конце ставится вопросительный знак.

3. Каждый вариант ответа идентифицируется (кодируется) одинаково для всего теста. Для бланкового формата тестирования кодировка применяется либо цифровая- 1), 2), 3), …, либо буквенная — А), Б), В), … и сопровождается   круглой скобкой (точка нежелательна). Хороший способ кодирования латинскими буквами, например, А), В), С), D). Для компьютерного формата видимая кодировка может и не использоваться.

4. При использовании законченного предложения или   вопроса  в основе задания, все варианты ответа должны начинаться с заглавной буквы.

5. Если основа задания незаконченное предложение или требующее внутреннего завершения (с пропусками), то все ответы начинаются со строчных букв.

6. Варианты ответов не должны заканчиваться точкой или каким-либо другим знаком препинания.

7. Негативные формулировки в основе задания следует особенным образом выделять, например, подчеркиванием, курсивом и т.п.( «не является…», «не отвечает…»).

Пример 1. Основа задания – законченное предложение или вопрос.

Укажите собирательное имя числительное.

А) Втроем

В) Тройка

С) Трое

D) Три

Какой вид изменчивости является материалом для естественного отбора?

1. Наследственная
2. Групповая
3. Модификационная
4. Комбинативная

Пример 2. Основа задания – незаконченное предложение.

Из энтодермы образуются

А) легкие

Б) волосы, перья, чешуя

В) мышцы

Г) кости

Пример 3. Основа задания требует внутреннего заполнения (задания с пропусками частей предложения)

The examination was___________than we expected.

1. easier
2. easy
3. easiest
4. easer

Пример 4. Задания на исключения

По существующему законодательству в РФ могут быть приватизированы все предприятия , кроме:

1. предприятия торговли
2. предприятия сферы бытовых услуг
3. объектов незавершенного строительства
4. предприятий связи

Что из перечисленного не является текущим активом?

А) Патенты

Б) Инвентарь

В) Заранее оплаченное страхование

Г) Рыночные ценные бумаги

3.1.3. Правила составления дополнительных инструкций к заданию

• Дополнительные инструкции к заданию необходимы только тогда, когда задание сопровождается дополнительным текстом или графическим материалом;
• Дополнительные инструкции к заданию должны быть написаны ясно и настолько кратко, насколько возможно;
• Дополнительные инструкции к заданию размещаются выше текста или графики и должны привлечь внимание экзаменующегося к конкретному заданию. Чтобы облегчить поток информации для экзаменующихся, порядок должен быть следующий: дополнительная инструкция сначала, затем текст или графический материал, и, наконец, основа задания и альтернативы ответа;
• Дополнительные инструкции к заданию должны отличаться по написанию от остальных частей задания (например, курсивом, полужирным шрифтом и др.)

Обратите внимание, что дополнительные инструкции пишутся только к тем заданиям, которые имеют сопроводительный текст или графику. Для |сех других заданий такие инструкции излишни. Хотя ненужные инструкции могут и не навредить экзаменующимся, но они ничего не добавляют, а только загромождают текст.

Перечислим типовые дополнительные инструкции к заданию.

• Прочитайте абзац, представленный ниже, и ответьте на вопрос в задании 12
• Прочитайте отрывок, представленный ниже, и ответьте на задания 4-6
• Прочитайте предложение, представленное ниже, и ответьте на задание 7
• Используйте карту, представленную ниже, чтобы ответить на задание 10,11,12
• Используйте представленную ниже диаграмму, чтобы ответить на вопрос 21
• Используйте представленную ниже таблицу для ответа на следующее задание
• Используйте представленный ниже график и ответьте на задание 13,14
• Используйте иллюстрацию, представленную ниже, чтобы ответить на задание 24.

3.1.4. Правила составления вариантов ответов

1. Использовать параллельные грамматические конструкции.

Если возможно, следует начинать каждый ответ с одного и того же слова, или применять одну и ту же части речи.

Формулируя все ответы на базе одной и той же части речи, автор задания  будет уверен, что все варианты грамматически сочетаются с основой.

1. Избегать слишком или неоправданно длинных ответов

Слишком длинные ответы имеют тенденцию запутывать, сбивать с толку испытуемых.

1. Ответ на задание должен быть полностью, «абсолютно правильным» или «лучшим».

Разработчики педагогических тестов вынуждены   основывать многие из заданий на суждениях, которые не являются абсолютно верными, тем не менее, весьма вероятны. При этом испытуемых  инструктируют искать абсолютную правильность в ответах, а делать лучший выбор.

3.1.5. Правила создания правдоподобных и эффективных дистракторов

• Все дистракторы (неверные варианты ответов) должны быть такими, чтобы каждый из них мог бы привлечь внимание тех испытуемых, которые недостаточно подготовлены к тестированию.
• Дистракторы должны быть как бы «похожими» на правильный ответ. В идеале, при анализе эффективности заданий каждый дистрактор должен в равной мере использоваться всеми испытуемыми, не выполнившими данное задание правильно, Очевидно, если дистракторы являются неэффективными (то есть их выбирают малое количество испытуемых из выборки), само задание будет слишком легким.
• Правильный ответ и дистракторы одного задания в тесте не должны подсказывать испытуемым ответы на другие. Поэтому не следует использовать дистракторы из одного задания в перечне вариантов ответов других заданий в тесте.

3.1.6. Оценка времени на выполнение задания

Знание приблизительного времени, которое требуется для выполнения задания — полезная информация для авторов. Это знание может помочь авторам определить количество заданий во всем тесте. Обычно принимаемый принцип среди разработчиков педагогических тестов такой: студентам требуется одной минуты для выполнения одного типичного задания закрытой формы. Таким образом, разработчики могут приблизительно планировать, что, в среднем, тест с 60- тью заданиями займет, по крайней мере, один час. Причем эти 60 минут не включают время, необходимое для размещения студентов в аудитории, раздаче тестовых материалов, проведения инструктажа, сбора материалов после тестирования и др.

Очевидно, что правило «одна минута на задание » не относится ко многим трудным заданиям, особенно если они имеют большие отрывки пояснительного текста или требуют сложных вычислений или изучения подробных графических материалов. Наоборот, очень простые задания, требующие только узнавания фактов или нетрудных вычислении, потребуют меньше чем одну минуту на выполнение.

Существует два метода оценки реального времени для выполнения задания или всего теста.

Первый метод заключается в том, что набор заданий или весь тест предлагается выполнить профессионалу – преподавателю данной дисциплины. В этом случае следует зафиксировать время, потраченное им на выполнение всего набора заданий, и умножить его на два.

На практике так и происходит, среднее время на выполнение набора задании
для испытуемого в два раза больше, чем для профессионала.

Второй метод связан с группой испытуемых, выполняющих пробный тест или набор заданий. Необходимо определить время, когда 20% испытуемых заканчивают выполнение набора заданий. Именно этот промежуток времени и является оптимальным для данного набора заданий.

3.1.7. Рекомендации для создания заданий с выбором ответа

Общие рекомендации

1. Задания должны быть нацелены на измерения важных, значимых целей обучения и (или) целей аттестации.
2. Следует концентрироваться на составлении таких заданий, которые
   измеряют способность испытуемых постигать, применять, анализировать и оценивать, а не только вспоминать фактический учебный материал.
3. Задание должно быть составлено так, чтобы испытуемый, который
   выбрал правильный ответ и устранил неправильные ответы, продемонстрировал бы полезное, значимое достижение.
4. Испытуемый не должен иметь возможность ответить на задание правильно, используя только простую логику и здравый смысл, и не обладая соответствующим знанием или умением.
5. В тексте задания нежелательно употребление слов, которые могли
   стать ключом к правильному ответу, такие как: «всегда», «может», «ни один», «никогда», «все», «иногда», «обычно», «типичный» и др.
6. В тексте заданий следует избегать неоднозначных или ничего не значащих выражений.
7. Следуйте за стандартными правилами пунктуации и грамматики.
8. Если в задании использованы рисунки, таблицы, чертежи, то он должны быть правильно составлены и легко читаться (пониматься) испытуемыми.
9. С самого начала определитесь сами, какой тип задания вы составляете — задание «с абсолютно правильным ответом» или задание «с выбором лучшего ответа».
10. Удостоверьтесь, что либо в основной, либо в дополнительной инструкции для испытуемых есть информация о типе задания, т.е. либо это задание «с абсолютно правильным ответом», либо задание «с выбором лучшего ответа».   Испытуемые должны   четко понимать, какой тип задания им предстоит выполнить.
11. Повторяющиеся слова и словосочетания следует включать в
    основу задания, а не в варианты ответа. Это позволит формировать более лаконичные, а значит и более эффективные задания.
12.  Придерживайтесь в задании такого стиля и такого уровня трудности текста, который соответствует уровню развития проверяемой группы испытуемых. Не используйте  слова и выражения, которые испытуемых не будет понимать.
13.  Избегайте в тексте задания использовать дословные цитаты из учебников или других учебных материалов. Формулировка задания не должна следовать за знакомой фразеологией учебника настолько близко, чтобы вербальная  память испытуемого без понимания сущности проблемы смогла бы обеспечить адекватное основание для правильного ответа.
14. Если текст задания базируются на чьем-либо мнении или авторитетном источнике, обязательно   сообщите чье мнение, или какой авторитетный источник были использованы.
15.  Во всем тесте задания должны быть независимы друг от друга. Ответ на одно задание не должен зависеть от ответа на другое задание. Избегайте использование в одном варианте теста заданий, которые помогают экзаменующимся отвечать на другие задания в тесте.
16. Проверьте все задания с вашими коллегами, чтобы устранить двусмысленность, технические и другие ошибки в тексте задания.
17. По возможности, избегайте  составлять задания, которые проверяют больше чем одну идею, проблему, концепцию.
18. По возможности, избегайте составлять задания, ответы на которые могут измениться в пределах короткого периода времени.
19. Формулируете задания так, чтобы была однозначность, только одна интерпретация их значения.
20. Чтобы функционировать должным образом, задание с выбором ответа должно быть выражено в тщательно отредактированных словах и предложениях.
21. Авторы задания могут сделать некоторые задания легче, формулируя основу более общими определениями, а варианты ответа делая более различными, разнообразными и   разнотипными. И наоборот, можно сделать задания труднее,   если основа   задания будет более определенной (конкретной, точной), а ответы более подобными, похожими, сходными.
22. Трудность задания не должна базироваться на включении в него
    неясного, запутанного содержания.
23. Удостоверьтесь, что все варианты ответов грамматически совместимы с основой.
24. Следует избегать выявления у испытуемых их личного мнения, необходимо задавать вопросы, основанные на достоверных фактах, понятиях и пр.
25. Следует избегать «азбучных» вопросов.
26. Не следует формулировать «вопросы-уловки», ответы на которые зависят от некоторого неясного или малоизвестного факта.
27. По возможности, не следует делать основу или ответы неоправданно длинными.
28. Следует избегать вербальных ассоциаций между основой и правильным  ответом. Одно и то же слово (или словосочетание, или однокоренное слово) не должно находится в основе и правильном ответе. Однако, вербальные ассоциации основы и неправильного ответа возможны.

Рекомендации для формирования основы задания

1. Задания с выбором ответа должны базироваться на истинных, существенных идеях, которые могут быть выражены как суждения, имеющие ясную цель.
2. Основа задания должна поставить (сформулировать) или ясно подразумевать определенный вопрос (проблему, задачу).
3. Основа задания должна полностью сформировать, изложить проблему (задачу), а также все связанные с ней оценки и характеристики. Чтобы удостовериться, что основа представляет конкретную проблему, рекомендуется включать глагол в утверждение основы.
4. Основа задания «с абсолютно правильным ответом» должна быть ясной и недвусмысленной. Необходимо избегать использование неточных выражений типа «сопровождается», «полезно для», «важно для» и слов являющихся подсказкой – «может» или «возможно». Неопределенные причастия типа «обычно» или «часто» не должны применяться.
5. Основа задания должна изложить сущность вопроса или проблемы настолько лаконично и выразительно, настолько это возможно.

Однако, при этом нельзя жертвовать ясностью или опускать существенные детали.

6. Используйте отрицательные формулировки в основе   задания экономично (не более 5-10 % от общего числа заданий в тесте). Обязательно привлеките внимание испытуемых к отрицательному слову,   выделяя его подчеркиванием или др. способом.

1. Нельзя использовать двойное отрицание, т.е. одновременно использовать отрицательные формулировки и в основе, и в вариантах ответа.
2. В основу задания нужно включить как можно больше информации, относящейся к проблеме. Повторяющиеся слова, группы слов или фразы следует включать в основной текст (в основу) задания, а не в ответы. Из вариантов ответов необходимо удалить повторяющиеся слова или выражения в основной текст задания.
3. Необходимо избегать задания, которые содержат не относящиеся к измеряемому свойству трудности, такие как малоупотребляемую лексику или сложные по структуре предложения.

Рекомендации для составления вариантов ответа

1. Все ответы должны быть подобными (аналогичными, похожими, «параллельными»). Это касается их внешнего вида, грамматической структуры, а также общей расположенности по классификационной принадлежности, т.е. все ответы должны быть подобраны по одному основанию, типу, концепции.

1. Истинные утверждения, которые не обеспечивают правильный ответ на вопрос в основе задания, часто формируют хороший, эффективный дистрактор.
2. Варианты ответов в заданиях   «с абсолютно правильным ответом» должны быть либо абсолютно верными, либо абсолютно неверными. Исключайте использование неопределенных
   фраз и слов, типа «обычно», «часто», «возможно».
3. В вариантах ответа на задания желательна краткость, но это не должно быть достигнуто за счет потери значимости и (или) смысла.
4. Ответы   типа «все вышеперечисленные» и «ни один из вышеперечисленных» являются приемлемыми только тогда, когда   употребляется «абсолютно правильный ответ».
5. Ответы на основу задания должны быть сформулированы достаточно просто, чтобы были понятны существенные различия между ними.
6. Дистракторы в задании должны быть определенно менее правильны, чем ответ, но правдоподобно привлекательны для не информированного, неподготовленного испытуемого.
7. Сделайте каждый дистрактор похожим на правду, правдоподобным, внушающим доверие, вполне убедительным и привлекательным для экзаменующихся, которые не достаточно подготовлены к тестированию.
8. Правильный ответ должен быть ясен, краток, правилен и свободен от подсказок (как внутри текста задания, так и вне его).
9.         Если существует некоторая логическая последовательность, в которой варианты ответов могут быть выстроены (например, в порядке величины, в хронологической последовательности), то, по возможности, используйте эту последовательность при расстановке вариантов в задании.
10.  Если варианты ответов могут быть размещены в некоторой естественном или логическом порядке, то избегайте делать первые и последние варианты всегда неправильными.
11.  Беспорядочно распределите правильный ответ среди положений (позиций)   дистракторов в каждом   задании теста.
12.  Ответы должны  быть одинаковы  по длине (хотя бы приблизительно).
13.  Не следует формулировать правильный ответ заметно длиннее или
    короче, чем дистракторы.
14.  Не следует составлять правильный ответ более подробно, детализировано, чем   дистракторы. Правильный ответ должен соответствовать тому же уровню детализации, что и дистракторы.
15.  Не следует обобщать правильный ответ так, чтобы он имел более
    широкое применение, чем неправильные варианты. 
16.  По возможности, не следует использовать в правильных ответах знакомую или стереотипную фразеологию, а в дистракторах   малознакомую лексику.
17.  Составляйте все варианты ответа грамматически совместимыми с основой.
18.  В дистракторах не следует   использовать слова или технические термины, которые экзаменующийся не может или не должен знать.
19.  В дистракторах не следует   использовать эмоциональные слова и выражения.
20.  По возможности, составляйте все варианты ответов параллельными
    по форме и грамматической структуре.
21.  В заданиях типа «с выбором ответа» не следует использовать варианты ответов типа «все вышеперечисленные» и «ни один из вышеперечисленных».
22.  В одном задании делайте все варианты ответа независимыми друг от друга. Не следует в одних вариантах ответа делать какие-либо ссылки на  другие варианты ответа.
23.  Не должен существовать какой-либо материал в других тестовых
    зданиях, который может оказаться ключом к правильному ответу на данное задание. Нельзя в одних заданиях делать какие-либо ссылки на другие задания.
24.  В одном тесте (или в одном варианте теста) нельзя применять задания, ответы на которые являются ключом к ответам на последующие задания.
25.  Используйте такие же значительные, правильные, здравые, логичные слова и выражения в дистракторах, как и в правильном ответе.
26.  Не следует повторять ключевое(-ые) слово(-а)   основы задания в правильном ответе.
27.  По возможности, перечисляйте варианты ответа на отдельных строках, один ниже другого.

3.2. Модификация заданий с выбором ответа

3.2.1. Задания типа «верно-неверно», «да-нет»

Задания типа «верно-неверно», «да-нет» (в некоторых источниках они называются «исинно-ложные» задания или альтернативные задания).

Достоинства заданий типа «верно-неверно», «да-нет»:

1. Они относительно просты в составлении и не занимают у испытуемых много времени на ответ, испытуемые могут ответить на 100 заданий данной формы за то же самое время, которое потребуется на выполнение 50-60 заданий с четырьмя вариантами ответа.
2. Они обеспечивают самую широкую выборку содержания в единицу времени.

Недостатки заданий типа «верно-неверно», «да-нет»:

1. Проблема угадывания — их главная слабость. Студенты имеют 50% шанс на правильный ответ на эти задания без любого знания содержания.
2. Задания часто неоднозначны из-за трудности составления утверждений, которые являются недвусмысленно истинными или ложными.

3.2.2. Блоки заданий с множеством выбором расширенного формата

Тестовые задания с множественным выбором расширенного формата организованы в связанные одной тематикой блоки. Используют единый расширенный список вариантов ответа для всех тестовых заданий в данном блоке. Данная модификация формы заданий применяется для итоговой аттестации студентов и профессиональной аттестации кадров. Структура блока заданий с множественным выбором расширенно формата включает в себя 5 обязательных компонентов: 1) инструкция; 2) тема; 3) список вариантов ответа; 4) вводный вопрос или вводное утверждение; 5) условия серии (по меньшей мере из двух) тестовых заданий. При необходимости авторы могут добавлять графические материалы и (или) пояснительные тексты.

Варианты ответа должны быть короткими (обычно одно слово или очень короткая фраза), а профессиональные ситуации   в основе заданий могут быть достаточно подробными. Следует избегать использования запутанных или неоправданно сложных профессиональных ситуаций.

Данная форма заданий предполагает определение точного количества ответов, которые надо выбрать. Указание числа вариантов ответа, подлежащих выбору, трансформирует задачу   испытуемого от выбора «абсолютно правильных» ответов к выбору «наилучших» ответов.

Примерная технология составления блоков заданий с множественным выбором расширенного формата

1. Определите тему для блоков вопросов. Темой может быть основная профессиональная проблема, метод решения профессиональной проблемы, класс объектов и т.д.
2. Напишите вводный вопрос или утверждение для блока (например, «Для каждого из следующих… процессов; явлений….; типа…; выберите наиболее вероятный объект, метод…,  который….»). Вводный вопрос указывает на связь между условиями заданий и вариантами ответа, проясняя проблему, поставленную перед  испытуемыми. Это необходимый компонент для блока тестовых заданий с множественным выбором расширенного формата.
3. Подготовьте перечень вариантов ответа. Перечень должен быть представлен отдельными словами или очень короткими фразами. Перечислите варианты ответа либо    в алфавитном порядке, либо в другом каком-либо логическом порядке. Желательно не употреблять глаголы в вариантах ответа.
4. Напишите условия тестовых заданий. Задания в блоке должны быть подобны по структуре. Для их создание наиболее приемлемо использовать профессиональные ситуации. В каждом задании следует указать число правильных ответов.
5. Проведите экспертизу условий тестовых заданий. Удостоверьтесь, что  указанные ответы являются действительно «наилучшими» ответами на каждое задание из блока. Следует также проверить, чтобы для каждого задания имелись в наличии, по меньшей мере, столько же правдоподобных дистракторов, сколько и планируемых правильных ответов. В качестве последней проверки, рекомендуется попросить вашего коллегу просмотреть тестовые задания (не указывая правильные ответы). Если у него возникают трудности при определении правильных ответов, измените условие тестового задания или варианты ответов таким образом, чтобы устранить возникшую проблему.

3.3. Задания открытой формы

В заданиях закрытой формы не используются готовые варианты ответов. В них испытуемому нужно дополнить недостающее слово (группу слои, формулу, число, знак, записываемый на магнитофон аудио-сигнал при тестировании на «говорение» и др.), которое свидетельствует о его знании.

На практике существуют четыре основные модификации заданий открытой формы: задания с коротким ответом, задания на завершение утверждения, задания на заполнение пробела, задания на завершение (или на конструирование) графического объекта (диаграммы, графика, схемы). В каждом случае испытуемый должен самостоятельно сформулировать, вычислить или сконструировать правильный ответ.

Типовые правила составления заданий в открытой форме

1. Слово или группа слов, являющихся ответом, должны быть краткими и недвусмысленными. 
2.  Когда ответ должен выражаться в численной форме, необходимо указать вид (тип) и размерность употребляемых единиц измерения.
3.  В бланковом тесте пропуски для ответов должны быть одинаковой длины. Подсчет результатов тестирования можно облегчить, если пропуски для ответов расположить в колонке справа от основного текста задания.
4.  Добавляемый элемент должен соответствовать ключевой (значимой) информации, которую следует запомнить в данном учебном материале.
5.  При составлении задания не рекомендуется использовать утверждения, определения из учебников или учебных пособий.
6.  Добавляемое слово или группа слов ставится, по возможности, в конце текста задания.

3.4. Задания на установление соответствия

Задания на установление соответствия (или просто задания на соответствие) – это такая форма тестовых заданий, в которых испытуемому предлагается  установить  логическое согласование  между  элементами  двух множеств. По структуре задание на соответствие состоит из инструкции, дополнительной инструкции, пояснительного текста и двух колонок с набором элементов. Одна колонка — это список исходных условий (проблем, вопросов, стимулов), для которых испытуемые должны найти соответствующий ответ во второй колонке, называемой списком ответов.

Традиционно, колонка исходных условий помещается слева и нумеруется цифрами, а колонка ответов — справа и обозначается буквами.

Типовые правила разработки заданий на установление соответствия

1. Перед заданием на соответствие или перед серией заданий (субтест) необходимо поместить инструкцию для испытуемых, в которой точно указывают, на каком основании должен быть сделан соответствующий выбор.
2. В инструкции перед текстом задания, должно быть установлено, может ли ответ использоваться только однажды (однократный выбор) или несколько раз (многократный выбор).
3. Инструкция к заданиям не должка требовать больше чем одного ответа на исходное условие.
4. Во всем тесте задания на установление соответствия должны быть объединены в отдельный субтест. Оптимальное количество заданий данной формы в одном тесте — от трех до пяти. Максимальное количество – до десяти заданий.
5. В каждый список включайте только гомогенные (одинаковые в
   классификационном отношении) элементы. В случае, если в список элементов будут включены гетерогенные элементы, то это может служить подсказкой испытуемым.
6. Каждая пара «исходное условие — ответ» должна быть тщательно проанализирована на отсутствие подсказок типа вербальной ассоциации, явной грамматической связи и др.
7. Желательно составлять список ответов (список справа) либо  из от
   дельных слов или очень коротких фраз.
8. Для каждого отдельного задания используйте только один тип соответствующей пары «исходное условие — ответ» (например, термины, понятия => подходящие определения).
9. Каждый ответ должен быть правдоподобным для каждого исходного условия.
10. В заданиях с однократным выбором используйте большее количество ответов, чем исходных условий. Это не позволит испытуемому догадаться о правильном ответе путем угадывания или   способом последовательного исключения.
11. В заданиях с многократным выбором количество ответов может
    быть меньше, ровно или больше, чем число исходных условий.
12. Формировать ответы  следует в логическом порядке, например по
    алфавиту, по возрастанию, по датам и т.п. Этот порядок позволит экзаменующимся   быстрее найти правильные ответы, таким образом, сокращая время на выполнение задания.
13. Оптимально, одно задание на соответствие с однократным выбором ответов должно содержать   не более шести исходных условий, а с многократным выбором — не более двенадцати.
14. При форматировании бланкового теста задание на соответствие
    следует размещать на одной странице.
15. При применении метода «частичного балла» оценки выполнения задания на соответствие следует установить, как он будет функционировать. Например, задание с пятью исходными условиями может иметь 20%-ый «частичный балл» за каждое правильное выбранное соответствие (или один балл за каждое правильное выбранное соответствие, а за все задания  максимум 5 баллов)

1. Задания на установление правильной последовательности

Задания данной формы позволяют проконтролировать знания испытуемых в тех видах  профессиональной или учебной деятельности, где обходимо разрабатывать эффективные повторяющиеся алгоритмы, выбирать повторяющиеся закономерные элементы на данной области содержания.

Типовая   схема   задания   на   установление   правильной   последовательности может быть представлена в виде:

1. Инструкция: Установите правильную последовательность.
2. Основа (основной текст).
3. Пронумерованный список элементов.

Задача студента перечислить номера элементов списка в порядке очередности при правильном алгоритме деятельности (правильной очередности событий и т.п.).

В практике педагогического тестирования эта форма тестовых заданий подразделяется на два типа:

а) с готовыми вариантами последовательности;

б) на самостоятельное установление последовательности.

Приложение

Словарь специальных терминов по тестовой теории

и технологии разработки тестовых заданий

Анализ заданий – процедура для оценки качества заданий в педагогическом тесте, включающая в себя анализ технологичности формы, соответствия содержанию и статистических характеристик задания.

Апробация теста — предварительное педагогическое тестирование   на представительной     выборке   учащихся   для определения соответствия педагогического теста его целям и заданным характеристикам.

Ассоциации в тестовом задании — подсказка в содержании тестового задания, позволяющая тестируемому угадать правильный ответ. Ассоциации в тестовом задании являются свидетельством некорректности этого задания.

Балл за выполнение задания — условная единица, используемая для оценки результатов выполнения задания; количественный показатель выраженности измеряемого свойства у данного испытуемого, получаемый при помощи данного задания.

Банк тестовых заданий — совокупность систематизированных тестовых зданий, прошедших апробацию и имеющих известные характеристики. К характеристикам относятся как качественные характеристики, отражающие содержание тестового задания (учебный предмет, раздел, тема, контролируемые умения и т.д.), так и количественные (уровень трудности тестовых заданий, дифференцирующая способность и другие).

Бланк ответов — стандартный бланк для записи ответов за тестовые задания. В определенные позиции бланка ответов, тестируемый отмечает или записывает номера выбранных ответов, сами ответы или то, что требует инструкция по проведению педагогического тестирования.

Бланковое (педагогическое) тестирование — педагогическое тестирование, при котором носителем содержания педагогического теста служит бланк определенного образца, дополненный соответствующим бланком ответов.

Валидизация теста — процедура повышения валидности теста.

Валидность — комплексная характеристика качества педагогического теста, отражающая обоснованность, значимость (пригодность) его результатов, отражающая способность теста служить той цели, для которой он создан.

Варианты (педагогического) теста — набор близких по содержанию тестов, созданных по единой спецификации и имеющих одинаковую структуру. Статистические характеристики педагогических   тестов, входящих в набор вариантов, могут отличаться.

Воспроизводимость — свойство педагогического теста к повторению основных статистических характеристик при последующих измерениях.

Время (педагогического) тестирования — интервал времени, отводимый на выполнение теста.

Выбор стандарта оценивания — процедура оптимального установления критериального балла или критерия оценивания (процента правильных ответов) для критериально-ориентированных тестов.

Выборка испытуемых — случайным или специальным образом формируемое из генеральной совокупности множество испытуемых.

Выставление баллов за выполнение задания — методика перевода результата выполнения заданий в численное значение.

Генеральная совокупность тестовых заданий — гипотетическое множество тестовых заданий, связанных общей целью и теоретически   полностью отражающих определенную область содержания.

Гетерогенный тест — педагогический тест, позволяющий оценить уровень подготовленности тестируемого по нескольким смежным учебным дисциплинам.

Гомогенный тест — педагогический тест, позволяющий оценить уровень подготовленности тестируемого по одной конкретной учебной дисциплине.

Дистрактор — вариант ответа на тестовое задание закрытой формы, похожий на правильный, но не являющийся таковым.

Дифференцирующая способность (дискримитативность, дифференцирующая сила) тестового задания — способность отдельных заданий теста дифференцировать испытуемых относительно степени их подготовки, т.е. максимального и минимального результата теста.

Дихотомическая схема подсчета баллов за выполнение задания -методика подсчета баллов, при которой выставляется «1» за правильное выполнения и «О» за неправильно выполнение задания.

Дихотомическое тестовое задание — тестовое задание, выполнение которого оценивается только альтернативно. Оценка «выполнено верно» обычно символизируется единицей, оценка «выполнено неверно» — нулем.

Длина теста — число тестовых заданий, включенных в педагогический тест.

Инструкция к тестовому заданию — свод правил тестируемому, устанавливающий способы регистрации выполнения тестового задания. В инструкции к тестовому заданию в частности указывается способ записи правильного ответа, что, каким образом и где надо отметить, вписать, указание записи или оформления решения математической задачи и т.д. Инструкция может быть единой для нескольких тестовых заданий, если эти задания однотипны по действиям.

Инструкция о проведении (педагогического) тестирования — свод правил, устанавливающий порядок и способ проведения педагогического тестирования. Инструкция разрабатывается с учетом цели педагогического теста, условий тестирования, применяемых при тестировании технических средств и выбранных способов обработки результатов.

Испытуемый (тестируемый, экзаменующийся)   — лицо, проходящее педагогическое тестирование.

Истинный балл — гипотетический балл , который получил бы испытуемый, если бы он выполнил все задания из банка заданий для данного теста, на определенной для данного педагогического теста шкале, соответствующий истинному уровню подготовленности конкретного тестируемого в момент измерения. При определении истинного балла тестируемого ошибки педагогического измерения условно предполагаются равными нулю.

Классическая тестовая теория — совокупность теоретических положений и математических моделей педагогического измерения, основанных на классической математической статистике.

Ключ (эталон ответа) тестового задания —     правильный ответ на тестовое задание.

Компьютерно-адаптивные тесты — тесты, задания в которых предъявляются специальной компьютерной программой в зависимости от индивидуальных ответов данного испытуемого. Трудность и количество предъявляемых тестируемому заданий регулируется в зависимости от его ответа на предыдущее задание или на несколько предыдущих заданий. Количество тестовых заданий заранее не фиксируется, а процесс тестирования заканчивается по достижении заданной точности оценки уровня подготовленности тестируемого.

Компьютерное (педагогическое) тестирование — педагогическое тестирование с помощью компьютера, проводимое по специальной программе, обеспечивающей заданный порядок представления тестовых заданий и обработки результатов тестирования.

Коррекция на угадывание- методика подсчета тестовых баллов, в которых учитывается возможность случайного угадывания ответов.

Коэффициент надежности теста- количественное значение надежности педагогического теста, изменяющееся от нуля до единицы. Для определения коэффициента надежности теста проводится, как правило, специальная апробация теста.

Коэффициенты валидности — показатели качества теста.

Критериальная валидность — характеристика качества теста, отражающая обоснованность, значимость его результатов по сравнению с некоторой внешней переменной, характеризующей объект измерения. Подразделяется на текущую и прогностическую валидность.

Критериально ориентированный тест — педагогический тест, предназначенный для оценки уровня подготовленности каждого тестируемого относительно требований учебной программы или ее части. Критический уровень объема знаний, умений и навыков — критерий, с которым сравнивается результат каждого тестируемого, устанавливается до начала тестирования.

Критериальный балл — граничное значение тестового балла, с помощью которого заданная выборка тестируемых разделяется на выполнивших данный педагогический тест удовлетворительно и неудовлетворительно.

Матрица результатов тестирования (матрица ответов) — основная статистическая таблица, связывающая результаты ответов выборки испытуемых на все задания теста. Массив данных, содержащий в том или   ином   виде   информацию   об   ответах   на каждое задание теста каждого тестируемого. Номер строки такой матрицы соответствует номеру тестируемого, а номер столбца – номеру задания. В ячейках такой матрицы содержится в том или ином виде информация о выполнении задания.

Метод «частичного балла» — выставление тестовых баллов с учетом вознаграждения за частичное знание, методика перевода результата выполнения заданий в численное значение с учетом влияния эффекта частичного знания ответа на данное задание.

Метод доведения ответа до правильного — один из методов подсчета тестовых баллов при компьютеризованном тестировании, когда испытуемый должен отвечать на каждое задание до тех пор, пока не выберет правильный ответ.

Надежность теста — характеристика качества теста, отражающая точность оценки уровня подготовленности с помощью данного педагогического теста, степень постоянства результатов тестирования, а также устойчивость к действию посторонних случайных факторов.

Недихотомическая схема подсчета баллов за выпонение задания — метод подсчета тестовых баллов, когда результат выполнения каждого задания оценивается политомическим способом (несколькими числовыми значениями).

Нормативно ориентированный тест — педагогический тест, предназначенный для определения уровня подготовленности тестируемых путем сравнения их результатов друг с другом и/или с тестовой нормой. Тестовая норма определяется предварительно по результатам апробации теста на представительной выборке или после проведения самого тестирования, если представительную выборку установить невозможно.

Оценка надежности — статистическая процедура нахождения коэффициента надежности теста.

Оценка содержательной валидности — эксперно-статистическая процедура оценки качества теста.

Параллельные варианты (педагогического) теста — варианты педагогического теста, имеющие одинаковые статистические характеристики.

Параллельные тестовые задания — тестовые задания одинаковой трудности и дифференцирующей способности, относящиеся к одному и тому же разделу содержания.

Педагогический тест — это система заданий специфической формы, позволяющая эффективно измерить уровень знаний, умений и навыков учащихся.

Педагогическое тестирование – совокупность организационных и методических мероприятий, объединенных общей целью с педагогическим тестом и предназначенных для подготовки и проведения формализованных процедур предъявления теста, обработки и представления результатов

его выполнения.

Педагогическое измерение — способ упорядочения информации об учебных достижениях, при котором система чисел и отношений между ними ставятся в соответствие ряду измеряемых факторов.

План (педагогического) теста — документ, в котором каждое тестовое задание соотносится с определенным элементом содержания учебной дисциплины и конкретным видом знаний или умений, подлежащих контролю с помощью этого задания.

Политомическое тестовое задание — тестовое задание, выполнение которого допускает несколько категорий вариантов ответа, каждая из которых оценивается по-разному. Одна из категорий ответа может, например, объединять ответы неполные (частично верные) или результаты одного или нескольких этапов решения задачи.

Пользователь (педагогического) теста — юридическое или физическое лицо, использующее педагогический тест и/или результаты педагогического тестирования в необходимых ему целях.

Постоянство (согласованность) принятия решений (по результатам   теста) — показатель   надежности  критериально-ориентированного тестирования.

Разработка заданий — процедура составления тестовых заданий по определенной спецификации.

Содержательная валидность — один из основных видов валидности, отражающей степень репрезентативности содержания тестовых заданий по отношению к области содержания теста. Характеристика педагогического теста, выражающая полноту охвата тестовыми заданиями той области знания, в которой этот тест оценивает учебные достижения.

Спецификация (педагогического) теста — документ, в котором содержится информация о целях, задачах, плане и структуре педагогического теста, области содержания и об измеряемых умениях.

Спецификация задания — подробное описание особенностей и технологии разработки тестового задания.

Структура (педагогического) теста — совокупность сведений о числе и форме тестовых заданий по каждому виду знаний или умений, позволяющих объективно судить об уровне подготовленности тестируемого. Для теста, в состав которого включаются тестовые задания, взятые из банка тестовых заданий, в структуре педагогического теста указывается также уровень трудности каждого из этих задания и их дифференцирующая сила.

Субтест — часть педагогического теста, состоящая из определенного подмножества тестовых заданий, допускающая независимую обработку результатов тестирования с целью решения специфических частных задач.   Педагогический тест может содержать несколько субтестов.

Тест (учебных) достижений — педагогический тест, предназначенный для определения степени усвоения определенной области знаний или умений.

Тестовое задание на установление соответствия — задание, при выполнении которого необходимо установить соответствие между элементами двух и более множеств.

Тестовое задание — минимальная содержательно законченная единица педагогического теста, имеющая основу, в которой сформулирована проблема (задача), и предписанный порядок для ответа. Цель тестового задания — получить ответ от испытуемого, на основе которого может быть сделан вывод о его знаниях, интеллектуальных умениях, способностях, представлениях, навыках на определенной области содержания.

Тестовое задание дополнения — задание открытой формы, в котором требуется вставить пропущенное слово или символ, закончить   утверждение,   дописать предложение и т.д.

Тестовое задание множественного выбора — это такая форма зданий, где испытуемым предписывается сделать выбор нескольких правильных или «лучших» ответов из предложенного списка.

Тестовое задание на установление правильной последовательности — задание, выполнение которого состоит в установлении правильной последовательности фактов, событий, действий, операций и т.д..

Тестовое задание на установление соответствия — форма задания, в котором испытуемому предлагается установить соответствие между элементами двух списков (двух множеств).

Тестовое задание открытой формы – задание без указания возможных вариантов ответа. При его выполнении тестируемый самостоятельно формулирует правильный ответ.

Тестовое задание с выбором ответа (закрытой формы) — форма тестового задания, при которой испытуемый должен выбрать правильный ответ из нескольких, предложенных вариантов, причем один из них правильный, а остальные (называемые дистракторами) — неправильные.

Тестовое задание с кратким ответом — задание открытой формы, в котором тестируемый должен самостоятельно сформулировать и записать правильный ответ в виде одного-двух слов, символов или чисел.

Тестовое задание типа «верно-неверно» (альтернативная форма задания, «истинно-ложное» задание)- тестовое задание закрытой формы, в котором требуется выявить истинность или ложность некоторого утверждения. В тестовых заданиях альтернативных ответов дается только два варианта ответа — «да-нет» или «верно-неверно».

Тестовые баллы — количественный показатель выраженности измеряемого свойства у данного испытуемого, получаемый при помощи данного теста.

Трудность (уровень трудности) задания — основная статистическая характеристика тестового задания, определяемая в классической тестовой теории долей испытуемых из выборки, ответивших на него правильно.

Фасетные тестовые задания- задания, которые могут быть получены друг из друга путем замены одного (или нескольких) слов (символов, чисел), что превращает их в другие задания аналогичные по содержанию и близкие по трудности. Фасетные тестовые задания используются при разработке параллельных вариантов тестов.

Форма (тестового) задания — общая схема составления тестового задания, его дизайн и структура. Форма задания, содержит инструкцию к заданию, содержание задания в виде текста и (или) невербальных материалов и систему оценки выполнения задания.   Текст задания в тестовой форме должен соответствовать набору специфических требований, выполнение выполнение которых обеспечивает однозначное понимание вопроса (задачи) и исключает возможность появления ошибочных ответов по формальным признакам. Система оценки должна обеспечивать однозначную оценку выполнения задания.

Шкала — упорядоченная числовая система для фиксации совокупности свойств изучаемого объекта или явления.

---

[1] Переверзев В.Ю. Критериально-ориентированное педагогическое тестирование. Учебное пособие.- М.:Логос, 2003.

[2] Переверзев В.Ю. Справочное руководство по разработке критериально-ориентированного педагогического теста (электронное издание). -М.:   Е-Медиа, 2004.

[3] Bloom В. S. et al. Taxonomy of Educational Objectives: The Classification of Educational GoalsI: Cognitive Domain. N. Y.: David Mckay Co., 1956

В этой статье речь пойдёт о разработке образовательных тестов — заданий по проверке предметных знаний и навыков. Но в целом описанные правила универсальны: тесты для оценки психологических качеств или софт-скиллов разрабатываются аналогично.

Вы узнаете:

• можно ли с помощью теста, где учащийся выбирает из вариантов ответов, проверить, как он умеет рассуждать;
• можно ли измерить тестом не просто знание фактов, а понимание учебного материала;
• чем трудные задания отличаются от сложных и почему трудным тест может быть, а вот сложным его лучше не делать;
• с каких заданий лучше начинать — простых или трудных;
• какое количество вариантов ответа оптимально;
• как проверить, работает ли тест.

---

Психометрики называют тестом любой инструмент измерения — и ролевую игру, и эссе, и оценку портфолио. Мы подробно разберём инструмент, за которым в русском языке закрепилось слово «тест» в узком значении, — вопросы с выбором ответа из предложенных вариантов.

У стандартизированных тестов в образовании не лучшая репутация. Но психометрики по-прежнему отстаивают такой способ измерения: тесты с выбором ответа масштабируемы, справедливы и объективны. Это значит, что по одному и тому же тесту можно проверить сколько угодно учащихся, причём все будут в равных условиях, а на результат не повлияет ничьё постороннее мнение.

Но в то же время любой психометрик скажет вам, что тесты с выбором ответа — не универсальный инструмент. Способ проверки знаний выбирают с учётом того, какой именно конструкт необходимо измерить. Конструктом в психометрике называют свойство психики или способность, которые нельзя наблюдать напрямую, но можно измерить по внешним поведенческим признакам.

Для каких конструктов подходят тесты с выбором ответа? Это практически идеальный инструмент для оценки знания фактов и сугубо технических навыков. Например, для проверки знания о том, как отделить команды друг от друга при программировании на определённом языке.

А вот проверить, как учащийся умеет рассуждать, взаимодействовать с коллегами или находить практическое решение в сложной ситуации, тест с выбором ответов не поможет. Чем сложнее природа конструкта, тем более гибким должен быть инструмент измерения.

Такие тесты способны выявить не любые знания. В любой дисциплине есть простые факты, и по ним легко написать вопросы с несколькими вариантами ответа. Например, спросить, в каком году Колумб открыл Америку.

А есть элементы знания, для которых простого запоминания недостаточно. Например, если мы хотим спросить, какие события и явления стали предпосылками для открытия Америки, вопрос с выбором ответа из нескольких уже не так хорош.

Каждый преподаватель хочет, чтобы студенты не только помнили факты, но и понимали материал. Но, увы, понимание как таковое пока невозможно измерить. Может быть, нейронауки в отдалённом будущем дадут возможность следить за всем, что происходит внутри черепной коробки каждого ученика. Но сейчас психометрика работает с тем, что можно наблюдать, с поведенческими проявлениями. У понимания таких универсальных проявлений нет.

Потому в педагогических измерениях, когда нужно оценить более глубокие, не фактологические знания, измеряют не само по себе понимание, а умение интерпретировать или анализировать. И более практичны, чем тесты с выбором из нескольких вариантов, тут задания с открытым ответом или компьютерные симуляции и игры. В таких инструментах среда тестирования будет более гибкой, чем стандартизированные тесты.

Если ваша задача — проверить усвоение фактологических знаний или отдельных навыков, тест с выбором ответов вполне подойдёт. Чтобы составить и распространить такой тест, не нужны сложные цифровые сервисы. Для базовых задач вполне достаточно форм Google или «Яндекса».

В этом разделе статьи разберёмся с основными вопросами о том, как составить хороший тест. А если нужно узнать по этой теме больше, советую книгу: Haladyna T. M., Rodriguez M. C. Developing and validating test items (Routledge, 2013) — и другие работы её авторов. Правда, на русском языке она, к сожалению, не выходила.

К концу теста любой учащийся устаёт. Поэтому последние задания зачастую уже не дают никакой информации о знаниях тестируемого. Получается, делать тест слишком длинным нельзя.

Но и коротким он быть не может — у небольших тестов ниже надёжность. На какой-то вопрос учащийся даст неверный ответ по невнимательности, а где-то, наоборот, случайно угадает правильный вариант. Если тест будет достаточно объёмным, больше шансов, что такого рода ошибки уравновесят друг друга и итоговый результат будет достоверен.

Так как определить, какой длины должен быть тест? Нужно отталкиваться от времени на решение одного задания. Оно зависит от трудности и может составлять от нескольких десятков секунд до пяти минут. Также стоит учитывать возраст учащихся:

• Детям до подросткового возраста нельзя давать задание дольше, чем на 20 минут, — или нужно предусмотреть возможность перерыва в тесте.
• Для старших подростков и студентов, а также взрослых лучше исходить из продолжительности привычного занятия. Например, для старшеклассника нормально посвятить тесту урок в 45 минут (или два урока с переменой между ними). А для студентов уже можно написать тест и на 80 минут.
• В дополнительном образовании взрослых следует учитывать, что взрослый человек уже не считает себя обязанным участвовать ни в каких тестах. Ему нужна дополнительная мотивация. Например, можно пообещать индивидуальную обратную связь по результатам теста (и потом обязательно её предоставить!).

Золотое правило таково: чем больше часов на тему отведено в курсе, тем больше вопросов в финальном тесте. Потому что изначально, когда курс составлялся, большее число часов было запланировано на более важную тему.

Если темы не слишком дробные, хорошо бы поставить минимум три вопроса на каждую. Опять же, потому, что случайные ошибки уравновесят друг друга. Но обратную связь потом лучше давать не только по каждому отдельному заданию, но и по теме в целом.

Небольшое отступление: в психометрике задание может быть трудным, но не сложным. Трудность в этой науке понимают так же, как обычно в русском языке. Чтобы справиться с трудным заданием, нужно обладать высоким уровнем знаний по теме. Скорее всего, немногие ученики решат трудное задание.

А сложность — отдельное психометрическое понятие. Оно характеризует, сколько действий и когнитивных операций нужно выполнить в процессе решения. Возьмём математический пример. Задание разделить 0,219 на 0,365 трудное, но не сложное: оно состоит всего из одного действия.

И начинать тест следует с более лёгких заданий, то есть с нетрудных. В начале теста уровень стресса всегда выше, что искажает результаты. Если вопросы в тесте распределены по тематическим блокам, можно в каждом из них располагать задания от лёгких к трудным.

Кстати, вопрос о распределении по тематическим блокам сам по себе непростой. С одной стороны, правильнее, чтобы тестируемый концентрировался в каждый момент теста на одной теме. С другой стороны, иногда важно проверить, может ли он быстро переключаться с одной проблемы на другую.

Как именно поступить, решают в зависимости от дисциплины и задач теста. Но важно ставить всех тестируемых в одинаковые условия, чтобы результаты были сопоставимы.

В целом делить на блоки тест правильно: так тестируемый увидит, что тест не бесконечен. В ситуации компьютерного тестирования, когда нельзя пролистать задания и понять, сколько ещё осталось, это важно. И, конечно, нужно предупредить, если время на ответы ограничено.

Наиболее привычны сегодня тесты как в ЕГЭ — с четырьмя вариантами ответа. Иногда можно услышать, что это связано с объёмом рабочей памяти: якобы четыре варианта появились, потому что именно такое количество элементов средний человек способен одновременно удерживать в уме.

Психологи-когнитивисты такое обоснование считают ненаучным. Скорее всего, к четырём вариантам ответа практики пришли случайно, и ничего биологически или психологически заданного в этой цифре нет. Вариантов может быть и меньше — например, три.

А вот придумать больше неверных ответов обычно затруднительно.

Создание неправильных вариантов ответа — на самом деле сложное психометрическое мастерство. Не зря их называют дистракторами, то есть отвлекающими внимание от верного варианта.

Суть в том, что неправильные ответы должны быть похожи на правильный и привлекательны. Очевидно неправильных ответов нужно избегать, как и ответов из другой области. Например, если в вопросе стоит формулировка «В каком году?», все ответы должны быть датами примерно из одного диапазона.

Но неверные варианты не должны содержать в себе правильный ответ или какую-то его часть — иначе нужно в вопросе объяснить, что тестируемый должен выбрать самый правильный ответ.

Высший пилотаж — неправильные варианты на основе типичных ошибок студентов. Это позволяет давать более глубокую обратную связь: не просто показывать, где учащийся ошибся, а анализировать, почему он выбрал именно такой неправильный вариант.

Кроме надёжности, у любого теста есть ещё одно важное качество — валидность. По классическому определению, валидность — свойство теста измерять то, на что он направлен. Более современное определение гласит, что результаты валидного теста можно интерпретировать в той логике, в которой он создан.

И иногда на валидность может повлиять просто то, что тестируемый иначе (но не неправильно!) смотрит на ситуацию в задании.

Возьмём пример из теста на критическое мышление, разработанного в ВШЭ. Это тест‑симуляция онлайн-среды, в ней нужно общаться с ботом. Одна из задач — получить недостающую информацию для рецепта торта.

По идее, тестируемый должен задать боту конкретный вопрос, например: «Сколько яиц нужно добавить?» Но человек может начать с приветствия, и не потому, что не понял задание. Сказать «Привет, как дела?» перед тем, как уточнять рецепт, вообще‑то нормально. Но если об этом не подумать при составлении теста, такой ответ будет оцениваться как ошибочный.

Одно из частых опасений по поводу тестов и причин, почему в них предлагают добавлять больше вариантов ответа, — «угадайка». Кажется, что в задании с двумя вариантами ответа вероятность угадать составляет 50%. Но это верно только в случае, когда весь тест состоит из одного вопроса с двумя вариантами ответа.

Если добавить второй вопрос, в котором не будет подсказок к первому и наоборот, вероятности просто перемножатся. И шанс случайно угадать правильные ответы составит уже 25%. В случае с тестом из десяти заданий вероятность ответить на всё правильно случайно пренебрежимо мала.

Но такой расчёт справедлив только для тестов с хорошо написанными неправильными ответами.

На магистерской программе Института образования психометриков учат проверять работоспособность тестов все два учебных года. Попробуем коротко разобрать, что именно они изучают.

Проверить тест можно качественным или количественным методом. Качественный метод представляет собой интервью. Разработчик теста выдаёт задания представителю целевой группы, наблюдает за ним и расспрашивает. Так можно выяснить, всё ли понятно в заданиях, что именно тестируемый делает для решения, какие вопросы ставят его в тупик, а какие кажутся слишком простыми.

Цель качественной проверки — убедиться, что решение теста задействует именно те когнитивные процессы, которые требовалось вовлечь (скажем, тестируемый действительно решает математическую задачу, а не навскидку выбирает из вариантов наиболее подходящий), что варианты-дистракторы не содержат элементов правильного ответа, что все инструкции к тесту понятны и так далее.

Оценка работоспособности теста количественными методами — как раз психометрика в узком смысле слова. Проводится она через статистический анализ, для которого нужно порядка 100 наблюдений.

Понятно, что для каждого курса такую проверку не проведёшь, обычно достаточно интервью. Но количественная оценка обязательна, если по результатам теста принимается какое-либо решение — о зачислении на курс, о сертификации.

В результате разработчик теста получит все те же данные, что и при качественной оценке. К тому же количественная оценка покажет, какие вопросы и утверждения не измеряют то, что должны, а какие вообще избыточны — тест работает и без них.

Как написать тест

В наше время широко используется такая форма сдачи контрольных работ, зачетов или экзаменов, как тестирование. Причем ее применяют повсеместно: в школах, лицеях, техникумах, вузах. Чтобы успешно пройти тест, необходимо тщательно готовиться к его написанию, а также соблюдать ряд несложных правил.

Инструкция

Во время подготовки к тестированию пройдите как можно больше заданий, соответствующих экзаменационным или контрольным. Такая тренировка поможет познакомиться с типичными вопросами, которые, возможно, будут и в вашем тесте.

Перед началом тестирования обязательно настройте себя на плодотворную работу. Не суетитесь и не волнуйтесь. Внимательно заполните необходимую информацию на бланке.

При написании теста дочитывайте вопрос до конца. Каждый следующий шаг — это самостоятельный вопрос, поэтому, как только приступили к новому заданию, забудьте о предыдущем.

Если вы не знаете ответа, не бойтесь пропустить задание. Вернетесь к нему, как только решите остальные. Важно не терять времени. Как правило, на тестировании его всегда не хватает. Поэтому хорошо, если возьмете с собой часы. Так вы сможете контролировать процесс написания теста.

Если вы пропустили несколько вопросов, не стоит переживать. Многие, пропустив задания, начинают нервничать и переживать. Делать этого не следует, поскольку так вы не сосредоточитесь на следующих вопросах и потеряете драгоценные баллы.

Если сомневаетесь в выбранном ответе, попробуйте значит сделать правильный выбор гораздо легче.

Начинайте решение всегда с простых заданий. Так вы сможете набрать большее количество баллов. К сложным заданиям приступите, когда основная часть легких будет сделана.

Оставьте несколько минут в конце тестирования на проверку. Для этого просмотрите все задания ещё раз, все ли вы ответы поставили. Если на какие-то вопросы вы не знаете ответа, выбирайте наугад. Ведь написание теста – это, в своем роде, лотерея.

Источники:

• Онлайн тесты по математике для 1,2,3,4,5,6,7,8,9,10,11 классов

Войти на сайт

или

Забыли пароль?
Еще не зарегистрированы?

Наверняка вы сами хоть раз в жизни составляли тесты и уж точно неоднократно проходили разнообразное тестирование – от серьезного до совсем шуточного из серии «Какой ты овощ во время карантина?».

Очень часто, за неимением нужных знаний и подготовки, разработчики придумывают тесты, опираясь исключительно на свой опыт, интуицию и здравый смысл (за исключением «овоща на карантине»). Многие, приступая к разработке собственных тестов, поначалу думают: что тут может быть сложного? Составить вопросы, придумать к ним ответы — вот и вся недолга! Это очень глубокое заблуждение. Создание хорошего задания в тестовой форме – настоящее искусство. 

Существуют разработанные учеными методики составления тестовых заданий. В этой статье я хочу рассказать об одной из таких методик, которую используют в системе общего и профессионального образования. В частности, ее нередко применяем и мы в учебном центре «Сетевая Академия ЛАНИТ» для разработки проверочных тестов и систем аттестации сотрудников.

Источник

Вместо предисловия

Почему я решила, что вам это может пригодиться? Во-первых, потому что многим из вас – людям, совсем далеким от педагогики, приходится проводить разнообразные обучающие мероприятия, разрабатывать учебные курсы и т.п., а все это требует проверки усвоения учебного материала. А какой еще способ, кроме тестирования, способен проверить знания быстро, надежно и объективно?

Во-вторых, потому что использование педагогических тестов актуально не только для образования, но и для областей, весьма далеких от него. Тесты – очень полезный инструмент для решения многих задач: и для аттестации сотрудников, и для первичной проверки соответствия знаний и навыков соискателей вакансии, и для оценки степени информированности аудитории о какой-либо проблеме, и много для чего еще. 

Сразу оговорюсь, что эта статья в первую очередь рассчитана на людей, не имеющих большого опыта в составлении тестовых заданий. Ее цель – предоставить новичкам достаточный объем материала, который помог бы им научиться составлять качественные педагогические тесты разных видов.

Да простят меня «продвинутые» в вопросах тестовой теории читатели, речь пойдет о базовых сведениях. Хотя, как показывает практика, вспомнить основы тоже никогда не вредно. 

Методику, о которой пойдет речь, разработали ведущие отечественные специалисты в области тестологии: В. С. Аванесов, М. Б. Челышкова, А.Н. Майоров и другие. 

В качестве примеров приводятся тестовые задания из открытого банка заданий ЕГЭ, размещенного на официальном сайте ФГБНУ «Федеральный институт педагогических измерений», из книги М. Б. Челышковой «Теория и практика конструирования педагогических тестов», из книги В. С. Аванесова «Композиция тестовых заданий», а также задания, составленные автором статьи и преподавателями разных образовательных организаций.

Сначала немного теории

Говоря о тестах в разных сферах деятельности, подразумевают разное. Например, в вычислительной технике тест – это задача с известным решением, с помощью которой проверяется правильность работы системы, а в медицине тестом будет называться метод исследования, заключающийся в пробном воздействии на организм. В общем понимании, тест – это объективное и стандартизированное измерение, которое легко поддается количественной оценке, статистической обработке и анализу. 

В рамках наших целей нас интересует педагогический тест со своей спецификой. Это система тестовых заданий различной трудности, созданная для качественного и эффективного измерения структуры и качества подготовленности испытуемых. Тестовое задание является одним из элементов педагогического теста, включает в себя инструкцию, тестовую задачу и эталон ответа.

Преподаватели используют тесты, чтобы:

1. оценить исходные знания учащихся перед началом обучения и скорректировать план и содержание занятия; 
2. сделать срез знаний во время курса, чтобы вовремя внести изменения в процесс обучения, если слушатели недостаточно хорошо усваивают учебный материал;
3. проверить финальный результат обучения.

Наиболее часто используются закрытые тесты, в которых ответы уже есть, как в игре «Кто хочет стать миллионером?». Но встречаются и открытые тестовые задания, требующие самостоятельно сконструировать или дополнить ответ.

Итак, выполняя закрытые тесты, обычно надо:

• выбрать один или несколько ответов среди заданных вариантов;
• установить соответствие между элементами двух множеств; 
• установить правильный порядок действий или процессов, перечисленных автором теста.

Открытые тесты требуют:

• дополнить имеющийся ответ;
• полностью сконструировать ответ самостоятельно.

Какой материал следует включить в тест

Содержание теста зависит от того, какие цели вы перед собой ставите и зачем вам вообще нужен этот тест. Прежде всего, нужно самому себе ответить на вопрос, можно ли с помощью составленных вами заданий проверить подготовленность аудитории. 

Вот такое тестовое задание предложил своим ученикам преподаватель анатомии по теме «Скелет грудной клетки». Одна из целей занятия – знать количество ребер у человека. 

Инструкция

: Выберите один правильный ответ.
Количество ребер 

1. у мужчин больше, чем у женщин
2. у женщин больше, чем у мужчин
3. индивидуально у каждого человека
4. зависит от жизненных обстоятельств

Как вы понимаете, при помощи этого задания невозможно проверить, знают испытуемые, сколько у человека ребер или нет. Поэтому, строго говоря, нет смысла включать такой тест в материалы контроля. Отдельный разговор о качестве подобранных автором вариантов ответа. Особенно интересно влияние жизненных обстоятельств на количество ребер. Но правила подбора неправильных ответов (дистракторов) к тестовым заданиям мы рассмотрим позже.

Основные правила подбора материала для теста следующие:

1. Материал, заложенный в тест, должен соответствовать содержанию темы тестирования и программы учебного курса.
2. В тест включается только то содержание темы, которое является признанным, объективно истинным и поддается рациональной аргументации. Спорные точки зрения в тестовые задания включать не рекомендуется. Суть тестовых заданий заключается как раз в том, что они требуют четкого, заранее известного преподавателям ответа, признанного ими в процессе разработки заданий объективно истинным.
3. Уровень детализации содержания теста зависит от целей тестирования. Если вы планируете использовать тесты для сравнения уровня подготовки тестируемых в какой-то области (например, для конкурсного отбора соискателей вакансии или кандидатов на обучение), то уровень детализации материала должен быть низким. В заданиях такого теста достаточно отобразить только наиболее значимые элементы содержания.
4. Если же тесты предназначены для выяснения, насколько успешно испытуемый освоил учебный материал (курс, раздел, тему) и освоил ли он его вообще, то уровень детализации области содержания должен быть довольно подробным. Это позволит сделать вывод о знаниях каждого испытуемого, при необходимости аттестовать его, а также проанализировать, какой материал лучше или хуже освоили испытуемые.
5. Вместе с тем в тест необходимо включать те элементы содержания, которые можно отнести к наиболее важным, без которых знания по заявленной теме становятся несущественными. Нет смысла перегружать тест второстепенными деталями, не имеющими большого значения. 
6. Если с помощью тестовых заданий планируется оценивать знания по всему учебному курсу, следует равномерно включить в итоговый тест задания по всем изучаемым темам курса, убедившись в том, что они охватывают все самые важные аспекты предметной области и в правильной пропорции.

   Например, если вы составляете тесты по курсу «Microsoft Excel» и включаете в него задания, посвященные исключительно созданию сводных таблиц и диаграмм, то при помощи этих тестов вы явно не сможете полноценно оценить уровень знаний по всему курсу в целом. 

7. Не всякое содержание можно выразить в форме тестового задания, то есть тесты – не универсальная форма для проверки знаний. 

Сколько времени нужно выделить для тестирования

Сидеть над тестом невозможно бесконечно долго: начало и завершение тестирования должны быть фиксированными. К сожалению, довольно часто временной интервал для этого процесса выбирается спонтанно. И если ошибиться – дать слишком мало времени или слишком много, эффективность теста снизится.

Тестирование в спешке приведет к тому, что как «слабые», так и «сильные» испытуемые не успеют выполнить все задания, и мы не поймем – тестируемый не выполнил задание, поскольку не знал ответа, или вообще не успел к нему обратиться.

Если времени вагон и маленькая тележка, «сильные» испытуемые, успевшие быстро пройти тестирование, начинают отвлекать других, подсказывать ответы, что нарушает процедуру тестирования (мы не соблюдаем правило равных условий для всех испытуемых). 

Если человек проходит тестирование в одиночестве или тестируется онлайн, при избытке времени он будет долго сидеть над заданиями, не решаясь выбрать ответ. Это вызовет утомление, снижение концентрации внимания, расслабление, что также снижает точность тестирования.

Всегда нужно иметь в виду, что испытуемые устают. А значит, тестирование не должно занимать слишком много времени, что напрямую связано с объемом самого теста. Практика показывает, что объем осознанно воспринимаемой информации начинает существенно снижаться примерно через 40-45 минут с начала тестирования (Ким В. С. Тестирование учебных достижений. – Уссурийск, 2007, стр. 29-35). 

Общее время тестирования определяется количеством и сложностью заданий. Некоторые преподаватели используют, например, такие методики расчета времени тестирования: 

1. Время, затраченное преподавателем на выполнение составленного им теста, умножить на 3.
2. Суммировать время, необходимое для выполнения каждого задания:

   • задание закрытой формы с выбором одного правильного ответа – примерно 10 секунд;
   • задание более сложных форм – в среднем от 30 секунд до 1 минуты.

Однако бывает, что теоретически рассчитать время тестирования невозможно, поэтому рекомендуется использовать эмпирические данные по результатам первичной апробации теста.

Составление тестовых заданий закрытой формы 

А теперь давайте рассмотрим конкретные примеры и поймем, как составлять свои тесты. В фокусе нашего внимания – тестовые задания закрытой формы.

В таких тестовых заданиях выделяют следующие элементы:

• инструкцию (содержит общие требования к выполнению задания – рис. 1);
• основную часть (задание, постановка проблемы – рис. 2);
• варианты ответа (верный ответ(ы) и ответы-обманки – рис. 3).

Рекомендуется, чтобы задания в тесте представляли собой не вопросы, а утверждения, которые в зависимости от ответов могут превращаться в истинные или ложные высказывания. 

Среди готовых ответов правильным чаще всего бывает только один, хотя не исключаются и варианты с выбором нескольких правильных ответов.

Неправильные, но похожие на правильные (и поэтому правдоподобные) ответы называются дистракторами (от англ. distract – отвлекать). Они используются для отвлечения внимания от правильного ответа тех, кто либо совсем не знает правильный ответ, либо пытается угадать его во время тестирования. Сделать неправильные ответы правдоподобными – одна из самых сложных задач разработчика теста.

Отдельно от тестовых заданий в программу тестирования вводится эталон выполнения заданий и разрабатываются критерии оценки.

Если вы проводите тестирование по старинке, в письменном виде, то вам потребуется ответник, трафарет для проверки ответника и эталон выполнения тестового задания. 

Как оформить тестовые задания

Тестовое задание должно быть оформлено таким образом, чтобы облегчить тестируемому работу над ним. 

Существует несколько вариантов дизайна тестовых заданий закрытой формы, но все сходятся в одном: все элементы тестового задания тем или иным образом должны быть графически выделены.

Как написать инструкцию к тестам 

Инструкция – это общие требования к выполнению тестового задания. Она должна устранить все вопросы испытуемых об оформлении своих ответов. Кроме того, в тексте инструкции оговаривают специфику задания, например, указывают количество правильных ответов в тесте (один/несколько).

При написании инструкции используют стандартные формулировки. Формулировка инструкции зависит от формы тестового задания, количества правильных ответов и пр.

Для тестовых заданий с выбором одного правильного ответа в зависимости от способа проведения тестирования можно предложить следующие варианты инструкций.

• Выберите один правильный ответ.
• Внимательно прочитайте текст задания и выберите верный ответ из списка.
• Выпишите номер тестового задания и индекс правильного ответа. 
• Обведите кружком букву (номер) правильного ответа.
• Для ответа нажмите клавишу с буквой (номером) правильного ответа.

Иногда, по замыслу автора, при разработке задания закладываются несколько правильных ответов, среди которых есть более и менее предпочтительные. В этом случае задание может сопровождаться следующей инструкцией: «Выберите наиболее правильный ответ».

Для тестовых заданий с выбором нескольких правильных ответов в зависимости от способа проведения тестирования можно предложить следующие варианты инструкций.

• Выберите несколько правильных ответов.
• Выберите все правильные ответы.
• Отвечая на задание теста, нажимайте на клавиши с буквами (номерами) всех правильных ответов.

Для тестовых заданий на выбор неправильного ответа инструкция может быть такой: «Выберите неправильный ответ».

Для группы однотипных заданий допускается делать одну инструкцию, которая помещается в начале теста или данной группы заданий в тесте.

Как правильно сформулировать основную часть задания 

Эффективность и технологичность теста во многом зависят от того, насколько грамотно сформулированы задания. Если тестируемый не поймет смысл вопроса, ему придется отвечать наугад. А это уже минус к объективности конечного результата. Потому важно тщательно проработать каждое задание. Вот несколько рекомендаций.

1. Рекомендуется, чтобы задания в тесте были формулированы в форме утверждений, которые после ответов испытуемых естественным образом превратятся в истинные или ложные высказывания (рис. 1).

Если продолжить утверждение из основной части этого задания правильным ответом (в данном случае это вариант Б), получится истинное высказывание: Признаком протекания химической реакции между оксидом меди и водородом является изменение цвета. При «подстановке» неправильного ответа высказывание получится ложным. 

По мнению многих отечественных тестологов (В.С. Аванесова, М.Б. Челышковой, В.С. Кима и др.), смысл тестового утверждения улавливается всегда лучше, чем смысл вопроса, потому что в тестовых утверждениях нет ни одного лишнего слова и даже знака, в то время как вопрос требует ряда дополнительных слов и знаков для выражения требуемого смысла, значения и интонации. Вопросы и ответы на них иногда бывают столь неопределенными и многословными, что для выявления их истинности требуются большие затраты времени и сил, в то время как технологичная методика тестирования предполагает четкую и быструю дифференцируемость ответов.

Действительно, если трансформировать задание, составленное в форме вопроса, в логическое утверждение, мы увидим, что задание уж точно не стало хуже, а даже выиграло – стало более кратким, понятным, лаконичным. После выбора ответа такое утверждение превратится в законченное высказывание, истинность или ложность которого легко поддается пониманию и оценке. 

Пример 1. Задание в вопросительной форме:

Инструкция

: Выберите один правильный ответ.
С каким из названных событий связано окончание периода разрядки международной напряженности в 1970-е гг.?

1. начало Корейской войны
2. разрыв отношений с Югославией
3. конфликт с Китаем
4. ввод советских войск в Афганистан

То же задание в виде логического утверждения:

Окончание периода разрядки международной напряженности в 1970-е гг. связано c

1. началом Корейской войны
2. разрывом отношений с Югославией
3. конфликтом с Китаем
4. вводом советских войск в Афганистан

Пример 2. Задание в вопросительной форме:

Инструкция

: Выберите несколько правильных ответов.
Какие из перечисленных примеров относят к ароморфозам?

1. возникновение теплокровности у позвоночных
2. развитие трехкамерного сердца у земноводных
3. формирование торпедообразного тела у акул
4. развитие зародыша внутри матки
5. появление рогов у копытных
6. формирование крыльев у летучих мышей

То же задание в виде логического утверждения:

К ароморфозам относят

1. возникновение теплокровности у позвоночных
2. развитие трехкамерного сердца у земноводных
3. формирование торпедообразного тела у акул
4. развитие зародыша внутри матки
5. появление рогов у копытных
6. формирование крыльев у летучих мышей

Подобной трансформации легко поддается большинство заданий, сформулированных в вопросительной форме. Иногда возникают ситуации, когда, казалось бы, задание формулируется только в виде вопроса. Однако после тщательного анализа цели задания и его содержания все же удается подобрать утвердительную форму задания.

Конечно, утверждение об использовании в заданиях исключительно утвердительной формы не категорично. К тому же иногда встречаются задания, в которых вопросительная форма выглядит удобнее и короче. 

Вопросительная форма заданий по-прежнему используется при составлении тестов и в России, и за рубежом, и имеет много сторонников. Выбор остается за вами. Главное – не забывать, что выбранная вами форма задания должна быть максимально понятна для испытуемых.

Лично я являюсь сторонником формулировки заданий в виде утверждений, считаю эту форму наиболее удачной, использую только ее и ничего с собой поделать не могу.   

2. Текст задания должен содержать достаточную, недвусмысленную и релевантную информацию для ответа. 

3. Формулировка задания должна быть грамотной, согласованной с формой вариантов ответа (простите за капитанство).

4. Формулировка задания должна быть предельно лаконичной, но не в ущерб пониманию сути задания. Необходимо исключить повторы слов и, тем более, целых фраз. Чем лаконичнее задание, тем лучше оно воспринимается. 

5. Рекомендуется, чтобы основная часть задания состояла из одного предложения (не более 7-8 слов), а во всем задании было не более одного придаточного предложения. Эта рекомендация подходит, конечно, не ко всем случаям. Например, тестовое задание может представлять собой кейс/ситуационную задачу, тогда одним предложением точно не обойтись.

6. Если задание сформулировано в вопросительной форме, предпочтительнее применять прямые вопросы, представляющие собой полное предложение с вопросительным знаком в конце.

7. В основной части задания не должна присутствовать дополнительная информация, не существенная для поставленной проблемы.

8. Из текста задания нужно исключить все вербальные ассоциации, по которым можно догадаться о правильном ответе.

9. Стоит исключить из формулировки задания частицу «не». А если НЕ получается, ее надо выделить прописными буквами (как в этом предложении).

10. Исключаются задания, содержащие оценочные суждения тестируемого: «на ваш взгляд», «по вашему мнению», «что вы думаете…», «согласны ли вы с …», «как бы вы сформулировали…» и т.п. 

11. Рисунки, графики, схемы, используемые в задании, должны соответствовать тексту (рис. 2). И, конечно же, присутствие графических объектов в задании должно быть оправдано. Не стоит «добавлять картинку» просто для красоты. 

12. Элементы рисунка, графика, схемы рекомендуется обозначать по часовой стрелке (рис. 3).

13. В большинстве случаев варианты ответов замыкают задания (так было и в примерах выше), образуя завершенное истинное или ложное высказывание. Но иногда ответы приходится ставить в середине или за одно-два слова от конца содержательной основы задания теста. Тогда можно использовать такой вариант:

Инструкция

: Выберите один правильный ответ.
Невская битва произошла в … году.

1. 1198
2. 1240
3. 1242
4. 1245

14. Ответ на одно тестовое задание не должен служить ключом к правильным ответам на другие задания теста. Это нарушает условие локальной независимости заданий. В этом случае невозможно сделать корректный вывод о том,  знает ли испытуемый ответ на второе и последующие задания, или он не справился с ними потому что неправильно ответил на первый вопрос. 

Как подобрать дистракторы

К каждому тестовому заданию нужно подобрать правдоподобные неправильные варианты ответа (дистракторы). Это одна из самых сложных задач, стоящих перед составителем тестов. Перед вами основные рекомендации по подбору дистракторов: 

1. Все предложенные в задании дистракторы должны быть правдоподобными, теоретически вероятными.

Наиболее хороши дистракторы, подобранные на основе типичных ошибок, которые допускают тестируемые, или на основе распространенных заблуждений.

2. Все дистракторы к заданию должны быть одинаково привлекательными для тестируемых, не знающих правильного ответа.

Дистрактор, который никто не выбирает в качестве правильного ответа, обычно называют неработающим. Если в задании имеется хотя бы один неработающий дистрактор, удалите его, и вы сразу увидите реальное, а не формальное число ответов к заданию теста. 

Если все дистракторы в задании не работают, все испытуемые выполнят даже сложное задание верно, выбрав единственный правдоподобный ответ. Например, такое задание: 

Инструкция

: Выберите один правильный ответ.
Во вращении предплечья наружу участвует

1. двуглавая мышца плеча
2. двуглавая мышца бедра 
3. икроножная мышца
4. прямая мышца живота
5. собственно жевательная мышца

Даже не будучи знатоком данной предметной области, нетрудно догадаться, что мышцы, расположенные на нижней конечности, животе или черепе, не могут приводить в движение предплечье. Получается, что в тесте нет ни одного работающего дистрактора. Имеется всего один работающий вариант ответа, его и выберут испытуемые как единственно правильный. 

Вы спросите: «А что же здесь плохого»? Как мы писали выше, педагогические тесты создаются для объективной оценки структуры и качества знаний. А о какой объективной оценке можно говорить, если правильный ответ можно просто угадать, не имея совсем никакого представления о предмете? Конечно, если целью тестирования было узнать, отличает ли испытуемый живот или бедро от предплечья, то можно сказать, что все прошло успешно. Но все же перед тестами обычно ставятся более серьезные задачи.    

Если в предложенном задании мы заменим неработающие дистракторы на правдоподобные, теоретически вероятные (все перечисленные мышцы тем или иным образом двигают предплечье), справиться с ним так просто будет нельзя:

Во вращении предплечья наружу участвует

1. плечевая мышца
2. двуглавая мышца плеча
3. трехглавая мышца плеча
4. локтевая мышца
5. круглый пронатор

3. Дистракторы должны быть однородными, подобранными по общему (единому) основанию. 

Пример 1: Задание с однородными дистракторами

Инструкция

: Выберите один правильный ответ.
Телиоспоры возникают из

1. урединиоспор
2. эциоспор
3. базидиоспор
4. пикниоспор

Здесь все дистракторы подобраны по одному основанию, т.к. все они отвечают на вопрос «из чего?» и характеризуют то, из чего могут возникнуть телиоспоры.  

А в следующем задании дистракторы подобраны неудачно. 

Пример 2: Задание с неоднородными дистракторами

Инструкция

: Выберите несколько правильных ответов.
Телиоспоры возникают

1. из урединиоспор
2. из эциоспор
3. поздней осенью на том же мицелии, на котором летом формировались урединиоспоры
4. весной в результате слияния дикариона и последующего мейоза

В этом задании два первых ответа выбраны по одному основанию т.к. все они отвечают на вопрос «из чего?». Третий ответ подобран по другому основанию, поскольку соответствует вопросам «когда?» и «где?». 

Последний ответ не совпадает по основанию выбора ни с одним из предыдущих, он отвечает на вопросы «когда?» и «в результате чего?».

Самая частая причина появления в заданиях неоднородных дистракторов понятна – при невозможности подобрать нужное число дистракторов по одному основанию автор теста увеличивает их число, включая дополнительные, выбранные по другому основанию ответы. 

Иногда причиной является желание автора проверить с помощью одного задания как можно больше знаний испытуемых. Возможно, это оправдано спецификой предмета, однако некорректно с точки зрения требований тестовой технологии. 

Тестовое задание должно проверять один элемент знания. Если это не так, то становится неясным, с каким именно элементом знания тестируемый не справляется, в чем заключена причина невыполнения задания.

4. Все ответы должны быть параллельными по конструкции и грамматически согласованными с основной частью задания теста.

5. Все повторяющиеся в вариантах ответа слова (как в примере ниже) следует перенести в формулировку заданий.

Инструкция

: Выберите один правильный ответ.
Заштрихованная территория на карте России показывает районы

1. газовых месторождений
2. нефтяных месторождений
3. месторождений каменного угля
4. месторождений калийной соли

Вот что получится после небольшой правки этого примера:

Инструкция

: Выберите один правильный ответ.
Заштрихованная территория на карте России показывает районы месторождений

1. газовых
2. нефтяных
3. каменного угля
4. калийной соли

6. Рекомендуется использовать длинные задания и короткие ответы. В противоположном случае на прочтение и анализ ответов тратится слишком много времени.

7. Из числа неправильных исключаются ответы, вытекающие один из другого.

8. Ни один из дистракторов не должен быть частично правильным ответом, который при определенных условиях превратится в правильный ответ.

9. Ответы не должны отрицать смысл самого задания. «Почему? – спросите вы, – ведь так часто делают». Давайте разберемся на примере следующего задания:

Инструкция

: Выберите один правильный ответ.
PDF-файл можно преобразовать в документ Word, если на вкладке «Файл» выбрать команду

1. Открыть
2. Сохранить как 
3. Экспорт
4. PDF-файл нельзя преобразовать в документ Word

В этом примере четвертый ответ прямо противоречит основной части, утверждающей существование возможности преобразовать PDF-файл в документ Word. Налицо явная логическая ошибка. В задании же не спрашивается, можно ли преобразовать, а утверждается, что можно, а варианты ответов представляют собой перечисление способов преобразования.   

Если четвертый ответ – дистрактор, то в качестве правдоподобного ответа его вряд ли выберет хотя бы один тестируемый. Тогда этот ответ как неработающий дистрактор необходимо удалить из теста.

Если именно четвертый ответ является верным, все задание будет нерабочим, т.к. большинство тестируемых увидят логическую несообразность формулировок и пропустят задание, посчитав его ошибкой разработчика теста.

Если цель задания – выяснить, знает ли испытуемый, можно ли вообще преобразовать PDF-файл в документ Word или нет, лучше сформулировать вопрос по-другому, без нарушения логики: 

Преобразовать PDF-файл в документ Word

1. можно
2. нельзя

10. Не следует использовать в заданиях ответы типа «все вышеперечисленные», «ни один из вышеперечисленных» или, того хуже, – «все ответы неправильные» и «правильного ответа нет». Эта рекомендация, кстати, так же часто вызывает вопросы и несогласие аудитории, как и предыдущая. 

С точки зрения большинства тестологов, применение подобных ответов не оправдано по следующим причинам:

• повышение вероятности угадывания правильного ответа, так как чаще всего это будет неработающий дистрактор, добавленный составителем «для количества» при трудностях с подбором качественных дистракторов;
• нарушение логического закона исключенного третьего – если инструкция предписывает выбрать один верный ответ, то в задании он должен быть. Это придает однозначность замыслу самого задания и не допускает противоречивых толкований у испытуемых.

11. Не рекомендуется использовать слова «всегда», «никогда», «ни одного» и т.п., так как в отдельных случаях они способствуют угадыванию.

12. Частота выбора одного и того же номера места для правильного ответа в различных заданиях теста должна быть примерно одинакова или номер места для правильного ответа выбирается в случайном порядке.

13. Дистракторы из одного задания не используются в качестве ответов к другим заданиям теста.

14. Все ответы к одному заданию должны быть примерно одной длины. Если это трудновыполнимо, возможен вариант, когда в задании половина длинных ответов, половина коротких. Это нужно для того, чтобы исключить вероятность угадывания правильного ответа по признаку его полноты или краткости. Многие разработчики тестов грешат тем, что в их заданиях правильные ответы почти всегда или длиннее, или короче неправильных. Эта тенденция очень быстро «считывается» испытуемыми и делает общий результат теста необъективным. Следующая рекомендация имеет такое же обоснование.

15. Правильный ответ не должен быть длиннее других.

16. Дистракторы располагаются в логической последовательности: числа – по возрастанию, буквы – по алфавиту. Это удобнее при поиске тестируемым правильного ответа.

17. Количество дистракторов к заданию подбирается таким образом, чтобы задание не было слишком громоздким, но и чтобы исключить большую вероятность угадывания правильного ответа. Поэтому чаще всего в заданиях бывает три или четыре дистрактора и один правильный ответ.

В отдельных случаях, например, в заданиях с выбором нескольких правильных ответов, количество дистракторов может достигать шести–семи.

18. Число дистракторов и правильных ответов в разных заданиях может быть разным. Оно не должно быть одинаковым во всех заданиях теста.

Источник

По какому принципу придумывают тестовые задания

Из десяти принципов разработки тестовых заданий закрытой формы, которые выделяет В. С. Аванесов, предлагаю рассмотреть основные. Для наглядности будем это делать на примерах.

1. Принцип противоречия применяется при создании заданий с двумя вариантами ответов. Здесь один ответ отрицает другой. Например:

Инструкция

: Выберите один правильный ответ.
Поощрения в трудовую книжку

1. записываются
2. не записываются

2. Принцип противоположности ответов близок по смыслу к принципу противоречия, но при противоречии используется отрицание, а при противоположности один ответ заменяется другим, антонимичным по смыслу. Например:

Инструкция

: Выберите один правильный ответ.
С увеличением заряда ядра активность щелочных металлов

1. возрастает
2. убывает

Возможность промежуточных состояний при использовании принципа противоречия позволяет увеличить число ответов, например, до трех. Например:

Инструкция

: Выберите один правильный ответ.
При движении тягового органа конвейера реле скорости

1. включено
2. выключено
3. заблокировано

3. Тесты, основанные на принципе однородности, содержат ответы, относящиеся к одному роду, виду, или отображают основные стороны, грани явления. Например:

Инструкция

: Выберите один правильный ответ.
Основателем андрагогики как науки является

1. Ноулз
2. Джарвис
3. Холтон
4. Ушинский

Инструкция

: выберите несколько правильных ответов.
Буква «о» пишется в словах

1. пл_вец
2. пок_рить вершину
3. распол_гать 
4. осн_щенный
5. ум_лять значение

4. Принцип кумуляции означает, что второй ответ вбирает в себя (аккумулирует) содержание первого, третий – содержание второго и т.д.

Пример:

Инструкция

: Выберите один правильный ответ.
Чтобы задать движение точки естественным способом, надо знать

1. траекторию
2. траекторию и закон движения
3. траекторию, закон движения, начало отсчета
4. траекторию, закон движения, начало отсчета, скорость

Тестируемые, привыкшие давать полные и правильные ответы, выбирают обычно последний ответ в таких заданиях, ошибочно полагая, что он всегда самый правильный. Поэтому при разработке заданий по принципу кумуляции полезно иметь большую часть правильных ответов не на последнем месте. 

5. Принцип сочетания. Используется сочетание слов (знаков) по два или по три, реже четыре, в каждом ответе.

Пример 1: сочетание более или менее однородных и правдоподобных пар ответов

Инструкция

: Выберите один правильный ответ.
Ф. Шопен писал

1. оперы и симфонии
2. балеты и оратории
3. мазурки и ноктюрны

Пример 2: сочетание одного слова (понятия) с несколькими другими

Инструкция

: Выберите один правильный ответ.
НЕ имеют ядра клетки крови

1. эритроциты и лейкоциты
2. эритроциты и тромбоциты
3. эритроциты и лимфоциты
4. эритроциты и базофилы

Пример 3: сочетание ответов по правилу цепочки, когда последнее слово в первом ответе становится первым во втором ответе, последнее во втором – первым в третьем и т.д.)

Инструкция

: Выберите один правильный ответ.
Служебными частями речи являются

1. предлоги, союзы, частицы
2. частицы, союзы, местоимения
3. местоимения, частицы, предлоги

6. При использовании принципа градуирования ответы располагаются по возрастанию (увеличению) или по убыванию (уменьшению). Этот принцип применим для заданий с тремя и большим числом ответов. Например:

Инструкция

: Выберите один правильный ответ.
Растворимость газов при повышении температуры

1. увеличивается
2. остается без изменений
3. уменьшается

Согласно ч. 3 ст. 5.63 КоАП РФ, нарушение должностным лицом порядка или сроков рассмотрения жалобы влечет наложение административного штрафа в размере … рублей.

1. от трех тысяч до пяти тысяч 
2. от пяти тысяч до десяти тысяч 
3. от десяти тысяч до пятнадцати тысяч 
4. от двадцати тысяч до тридцати тысяч 

7. Принцип формулирования заданий с ответами, правильными в различной мере, требует изменения инструкции, содержания задания и логики подбора ответов.

Инструкция, как мы уже говорили, обычно пишется так: Выберите наиболее правильный ответ.

Задача таких заданий – проверить сопоставительные знания, а ответы формулируются так, чтобы был реальный выбор между ответами, правильными в разной степени. Например:

Инструкция

: Выберите наиболее правильный ответ.
Зигота – это

1. одна яйцеклетка
2. оплодотворенная яйцеклетка
3. диплоидная клетка, образующаяся в результате оплодотворения
4. одноклеточная стадия развития многоклеточного организма млекопитающих

В этом задании наиболее правильным считается третий ответ (он наиболее емко и точно описывает все характеристики зиготы), следующий по степени правильности – второй ответ (он содержит совершенно правильное, но менее полное определение зиготы), затем четвертый (потому что зиготы образуются не только у млекопитающих). На последнем месте по степени правильности находится первый ответ – он самый неполный, ведь одной яйцеклетки для образования зиготы явно недостаточно.

Задания на выбор наиболее правильного ответа разрабатывать довольно сложно: наиболее правильный ответ далеко не всегда должен быть самым полным. В противном случае тестируемый при выполнении задания будет выбирать правильный ответ только по признаку полноты. 

Составили тест? Не поленитесь и пройдите по этому чек-листу.

Проверка качества тестовых заданий

• Соответствует ли задание целям тестирования?
• Все высказывания логичны?
• Все формулировки однозначны и лаконичны?
• Технологичен ли тест? (Задания становятся технологичными, если их содержание точно и быстро понимается испытуемыми, и если форма заданий способствует процессу компьютеризации тестирования)
• Правильно ли выбрана форма задания?
• Содержание корректно?
• Правила оценки ответов разработаны заранее и соответствуют форме теста?
• Правильно ли расположены элементы задания?
• Инструкции одинаковы для всех тестируемых?
• Инструкция соответствует форме и содержанию задания?

В этой статье мы обсудили основные аспекты составления тестовых заданий закрытой формы с одним или несколькими правильными ответами. Благодарю вас за внимание и терпение и надеюсь, что эта статья будет полезной для вас. 

Если вы считаете, что стоит продолжить цикл подобных статей и поговорить о методике составления тестовых заданий других видов, напишите, пожалуйста, об этом в комментариях. А если вам нужны готовые инструменты оценки качества обучения, обращайтесь к нам в «Сетевую Академию ЛАНИТ». Будем рады помочь.