Когда вы запускаете новый продукт, обеспечение качества (QA) очень важно. Независимо от того, отдаете ли вы аутсорсинг команде QA или выполняете внутренние проверки, вам необходимо создать план тестирования. Это гарантирует, что в процессе обеспечения качества ничего не будет упущено.
Если вы новичок в планировании тестирования, эта статья ответит на все ваши вопросы и предоставит основу для планирования.
Что такое контроль качества?
QA — это процесс подтверждения того, что продукт соответствует стандартам качества. Это гарантирует, что продукт не имеет дефектов или неисправностей, проверяя его на соответствие согласованным спецификациям. Это также помогает выявить любые проблемы с удобством использования на ранних этапах цикла разработки. Этот бизнес-процесс переводит продукт из концептуальной стадии в стадию вывода на рынок.
Источник
Что такое план тестирования?
План тестирования — это документ, в котором описываются шаги, необходимые для выполнения необходимого тестирования. В нем также указано, кто в вашей организации будет отвечать за каждую задачу, какие функции продукта тестируются и когда проверка должна быть завершена.
Тесты делятся на несколько категорий:
Исследовательское тестирование — исследовательское тестирование больше основано на том, чтобы следовать своей интуиции и тестировать все, о чем вы можете подумать в данный момент.
Функциональное тестирование — функциональное тестирование фокусируется на функциях продукта и проверке их соответствия требованиям.
Тестирование локализации — тестирование локализации проверяет, что продукт работает должным образом с разными языками, валютой и часовыми поясами.
Тестирование производительности — тестирование производительности измеряет скорость работы продукта и выявляет любые узкие места в системе.
Тестирование безопасности — тестирование безопасности гарантирует, что ваше приложение безопасно и не представляет риска для личной информации или личных данных.
Зачем нужен план тестирования?
Что произойдет, если вы не проведете контроль качества? Что ж, тогда вы потенциально получите продукт, который никто не захочет использовать, и вы, вероятно, не заработаете денег. План тестирования поможет выявить потенциальные проблемы на ранней стадии, что сэкономит время и деньги в долгосрочной перспективе.
Как создать идеальный план тестирования?
Чтобы создать идеальный процесс тестирования, вам нужно сосредоточиться на реализации процессов. В этом разделе представлена структура для создания плана тестирования.
Шаг 1. Анализ продукта
При создании плана тестирования QA вам необходимо разбить свой продукт на более мелкие компоненты. Это позволит вам определить лучший процесс тестирования в зависимости от типа создаваемого продукта:
Источник
-
Выявите все функции вашего продукта
-
Определите, сколько тестовых сценариев необходимо для каждой функции
-
Составьте список, что должно быть проверено
Шаг 2. Проанализируйте целевую аудиторию
Еще один фактор, который следует учитывать при создании плана тестирования — это ваша целевая аудитория. Вы должны убедиться, что ставите клиента на первое место.
Шаг 3. Разработайте стратегию
Соберите все тестовые сценарии и разработайте стратегию тестирования — это поможет вам определить не только то, что нужно протестировать, но и то, когда это следует протестировать для получения оптимальных результатов.
Определите объема тестирования. Прежде чем приступить к работе, необходимо определить объем тестирования. Это включает в себя решение о том, что необходимо протестировать, кто будет проводить тестирование и когда оно должно быть завершено.
Определите типы тестирования. После того, как вы определили объем, пришло время определить, какие типы тестирования необходимо выполнить. Это включает в себя понимание того, сколько испытаний необходимо, а также риски безопасности и конфиденциальности для вашего продукта.
Разработка подхода к тестированию. После того, как вы определили объем, протестировали типы тестирования и определили сопутствующие риски, пришло время создать свой подход к тестированию.
Шаг 4. Определите цели
Следующий шаг — выяснить, каковы цели вашего тестирования. Это включает в себя определение ответственных за тестирование, решение о том, что будет тестироваться, когда оно должно быть завершено, и как будут оцениваться результаты. Вам также необходимо определить, какие функции необходимо протестировать и как они будут разбиты (например, основные и второстепенные цели). Вам следует рассмотреть возможность использования целей SMART для вашего теста обеспечения качества.
Источник
Шаг 5. Определяем критерии теста
Для каждой функции вашего продукта вам необходимо определить, какие критерии должны быть соблюдены, чтобы тест прошел успешно. Эти критерии можно разделить на две основные подкатегории.
Критерии приостановки — это условия, которые требуют временной остановки тестирования.
Критерии выхода — это условия, составляющие успешное испытание. Когда критерий выхода выполнен, тест может перейти к следующему этапу.
Шаг 6. Планируйте ресурсы
Теперь, когда у вас есть стратегия и план тестирования, пришло время определить, какие ресурсы необходимо использовать для выполнения работы. Это включает:
Люди — сколько человек необходимо для выполнения задач тестирования.
Время — сколько времени требуется для тестирования.
Инструменты — если в процессе тестирования будут использоваться какие-либо инструменты тестирования и управления задачами.
Бюджет — вам необходимо учитывать размер вашего бюджета на тестирование.
Шаг 7. Спланируйте тестовую среду
Следующим шагом является разработка и планирование среды тестирования. Это включает в себя все, от того, где будут проводиться тесты, до того, как это должно быть сделано и кто будет это делать. Вот основной список дел:
-
Определите конкретное место, где будет проходить тестирование
-
Определите типы устройств, необходимых для тестирования
-
Назначьте людей на разные части плана тестирования
Шаг 8. График и оценка
Этот шаг посвящен подготовке вашего плана к работе. Это включает в себя планирование тестов, когда они должны быть выполнены и сколько времени потребуется для их завершения.
Шаг 9. Определите результаты тестирования
И последнее, но не менее важное: необходимо определить результаты. Здесь вы сообщаете о своих выводах после завершения тестирования. Цель состоит в том, чтобы разработать план тестирования, который подходит для вашей среды и целей. Чтобы добиться оптимальных результатов, необходима четкая стратегия.
Необходимые тестовые компоненты и документы
Прежде чем приступить к реализации плана тестирования, вам необходимо создать определенные компоненты и документы.
Идентификатор плана тестирования (ID) — идентификатор плана тестирования требуется, чтобы отличить один план обеспечения качества от другого.
Сводка теста (Test summary) — краткий обзор того, что было протестировано, и были ли обнаружены какие-либо проблемы.
Тестовые элементы — все характеристики и функции, которые были протестированы.
Расписание — включает, когда тесты должны начинаться и останавливаться, кто несет ответственность, где это будет происходить и т. д.
Список функций для тестирования — этот пункт представляет собой список функций, которые необходимо протестировать. Автоматизация Excel поможет вам организовать этот список.
Список функций, которые не будут тестироваться — этот пункт представляет собой список функций, которые не будут тестироваться.
Подход – как будет проходить тестирование.
Критерии прохождения и провала — в этом пункте будут описаны критерии, которые должны быть соблюдены, чтобы тест считался успешным.
Требования к приостановке и возобновлению — этот пункт представляет собой список условий, которые требуют приостановки и/или возобновления тестирования.
Результаты тестирования — это список всех результатов, которые потребуются после завершения тестирования.
Задачи тестирования — список всех задач, которые необходимы для выполнения QA-тестирования.
Потребности — список всех элементов, необходимых для успешного завершения тестирования QA.
Смета — плановая смета времени и стоимости.
График — список всех этапов и сроков, которые необходимо выполнить.
Инструменты и ресурсы — здесь будут подробно описаны любые инструменты, которые будут использоваться для тестирования.
Потребности в персонале и обучении — это будет включать в себя, кто нужен, что они будут делать и сколько времени это займет.
Риски — включает в себя любые риски со значительными последствиями, которые необходимо учитывать.
Предположения и зависимости — включаtn предположение о том, что требуется для выполнения плана тестирования QA.
Метрики и KPI — включает все элементы, которые необходимо отслеживать.
В заключение
План тестирования является неотъемлемой частью цикла разработки продукта. Это гарантирует, что продукт готов к выпуску для целевой аудитории. Кроме того, это гарантирует, что все важные функции работают правильно. Автоматизируя бизнес-процессы, вы можете упростить процесс тестирования QA. Эта статья должна была предоставить вам всю информацию, необходимую для создания надежного плана тестирования.
Форматы
Отображать тест план можно разными способами:
- В виде традиционного документа с использованием Microsoft Excel или Microsoft Word.
- Используя методики визуализации с помощью майнд-карт, таблиц, диаграмм, коротких схем.
- Прибегнуть к помощи профессиональных инструментов – систем для управления процессами на проектах.
Преимущества схематических тест планов:
— Позволяют визуально представить запланированный процесс,
— Просты в использовании,
— Гибкие к внесению изменений,
— Содержат самую основную информацию, что позволяет в значительной степени сократить время на планирование.
Рекомендации по написанию
Что должен содержать хороший тест план:
- Что надо тестировать?
Описание объекта тестирования: системы, приложения, оборудования.
- Что будете тестировать?
Список функций и описание тестируемой системы и её компонент в отдельности.
- Как будете тестировать?
Стратегия тестирования, а именно: виды тестирования и их применение по отношению к объекту тестирования.
- Когда будете тестировать?
Последовательность проведения работ: подготовка (Test Preparation), тестирование (Testing), анализ результатов (Test Result Analisys) в разрезе запланированных фаз разработки.
- Критерии начала тестирования:
Готовность тестовой платформы (тестового стенда), законченность разработки требуемого функционала, наличие всей необходимой документации и т.д.
- Критерии окончания тестирования:
Результаты тестирования удовлетворяют критериям качества продукта: требования к количеству открытых багов выполнены, выдержка определенного периода без изменения исходного кода приложения Code Freeze (CF), выдержка определенного периода без открытия новых багов Zero Bug Bounce (ZBB) и т.д.
Ответив в своем тест плане на вышеперечисленные вопросы, можно считать, что у вас на руках уже есть хороший черновик документа по планированию тестирования.
Далее, чтобы документ приобрел более менее серьезный вид, можно дополнить его следующими пунктами:
- Окружение тестируемой системы (описание программно-аппаратных средств).
- Необходимое для тестирования оборудование и программные средства (тестовый стенд и его конфигурация, программы для автоматизированного тестирования и т.д.).
- Риски и пути их разрешения. Риски могут быть связаны с недостатками, связанными с персоналом. Например, недостаточная квалификация персонала или недостаточное количество тестировщиков.
Структура
Обычно детальный тест план занимает от пары страниц до нескольких десятков. Это если мы говорим о его визуализации в виде документа. Общая структура тест плана не зависит от его объема или формата визуализации. Достаточно заменить слово «страница» из структуры ниже на слово «ветка» и мы сможем с легкостью перенести данную структура на майнд-марту.
Структура тест-плана:
1-я страница:
— шапка (логотип и адрес компании),
— название,
— версия,
— год.
2-я страница:
— история документа, которая представляет собой таблицу изменений. Эта таблица содержит столбцы: дата, версия, описание, автор.
3-я страница:
— содержание.
4-я страница и далее:
— введение,
— виды тестирования,
— операционные системы, браузеры,
— функционал приложения,
— критерии начала тестирования,
— критерии выхода из тестирования,
— характеристики оборудования.
Предпоследняя страница:
— сколько человеко-часов планируется на различных этапах (дата начала и окончания). Например, на тест-дизайн, выполнение тестов, анализ тестирования, отчеты.
Последняя страница:
— выводы и рекомендации.
Также в тест план могут входить следующие данные:
— команда исполнителей,
— контактные данные,
— жизненный цикл бага,
— риски тестирования,
— ссылки на документы или стандарты,
— толковый словарь,
— расписание,
— обязанности,
— риски.
Рецензия и утверждение
Для увеличения ценности тест плана рекомендуется проводить его периодическое рецензирование со стороны участников проектной группы. Это можно сделать просто договорившись между собой или же реализовать в виде «процедуры утверждения». Примерный список участников проектной группы:
- Ведущий тестировщик,
- Тест менеджер (менеджер по качеству),
- Руководитель разработки,
- Менеджер проекта.
Каждый из перечисленных участников проекта перед утверждением проведет рецензию и внесет свои комментарии и предложения, которые помогут сделать тест план более полным и качественным.
Шаблоны и примеры
Каждая методология или процесс диктуют свои форматы оформления планов тестирования.
Шаблоны ниже помогут понять, какой формат больше подходит для вашего проекта и как вообще составлять тест план. А готовые решения, возможно, натолкнут вас на какие-то мысли или помогут лучше понять смысл составления данного документа.
Обычный документ
Шаблоны, которых можно придерживаться:
- Test Plan Template RUP
- Test Plan Template IEEE 829
Готовые примеры:
— Тестирование интернет-магазина 1
— Тестирование интернет-магазина 2
— Тестирование программы Блокнот
Майнд-карта (mind map)
Несколько примеров, как именно можно использовать майнд-карту
Дашборд
Подобный структурный вид позволит понять, что конкретно мы намерены тестировать. С помощью цвета можно привлечь внимание к определенным областям.
Excel или другая таблица
В таблице можно запросто отобразить любые списки тестов или описание сценариев, с которыми мы намерены работать на данном проекте.
Доска для записей – Trello
Тут не только можно будет прописать все задачи, но и следить за ходом их выполнения.
Итог
Создание тест плана повышает качество продукта за счет перечисления деталей и списка проверок, а также позволяет проанализировать, насколько успешно были проведены все этапы тестирования.
Нет четкого шаблона, по которому необходимо писать тест план. Можно взять за основы шаблоны, которые рассмотрены в статье. А можно создать свой собственный.
Какой шаблон или вид вы бы не выбрали, главное только то, что тест-план должен выполнять свою задачу. А именно, описать весь объем работ по тестированию и быть понятным и читабельным.
Тесты выполняют одновременно целый ряд функций:
1. Контролирующую;
2. Обучающую;
3. Развивающую;
4. Воспитывающую;
5. Диагностическую;
6. Прогностическую.
Тесты можно использовать как на любом этапе урока, так и так и при изучении
нового материала, его закреплении и обобщении и при итоговом контроле.
При изучении нового материала тесты применяются для организации
самостоятельной работы учащихся, при этом тестовое задание может не только
опираться на знания, полученными учащимися на предыдущих уроках, но иметь
поисковый, эвристический, проблемный характер.
При закреплении или проверки текущего материала используются тесты-минутки
рассчитанные на 10–15 мин урока и содержащие 5–10 вопросов.
При итоговом контроле тестирование проводится довольно часто, при этом тесты
охватывают материал по крупным блокам (определенную тему, раздел). Их выполнение
рассчитано на целый урок. Экзаменационный тест должен охватывать материал всего
курса географии России в 9 классе или экономической и социальной географии мира
в 10–11-х классах. Школьные экзаменационные тесты проводятся, как правило, в
течении 2 часов и содержат от 25 до вопросов и заданий.
Тесты пригодны как для фронтальной, так и для групповой и индивидуальной
работе учащихся. С помощью тестовых заданий и вопросов значительно проще
подобрать материал, для каждого конкретного ученика, соответствующий уровню его
развития, возрастным мотивационным особенностям.
Тесты можно использовать не только на уроке в классе, но и в качестве
домашнего Задания, в отдельных случаях можно предложить учащимся составить
тестовые задания, что научит ребят правильно формулировать вопросы, будет
способствовать формированию умений обобщать и анализировать полученные знания
применять их на практике.
Методика составления и проведения тестов.
Основными этапами любого тестирования являются:
- Целеполагание т.е постановка конкретных целей перед тестированием и
понятных учащимся. - Подготовка и сбор информации для составления теста, соответствующей
школьной программе, учебникам и пройденному материалу. - Разработка и конструирование теста, т.е. выбор определенных видов
тестовых вопросов и заданий с учетом определенных требований:
надежность, точность, лаконичность;
недопустимость применения двусмысленных вопросов;
использование дополнительной литературы, энциклопедий, справочников для
составления тестов и их решения допустимо лишь для специализированных
классов и школ, а также для индивидуальной работы с сильными учащимися. - Подготовка участников тестирования заключается в мотивации, настрое и
тренинге. - Непосредственно тестирование должно стать одним из видов учебной
деятельности учащихся. - После проведения тестирования наступает обработка теста, т.е. проверка с
помощью ключа - Итогом результатов тестирования должен стать анализ результатов.
- Публикация результатов тестирования. Учащиеся должны быть ознакомлены с
результата тестирования, они должны быть допущены к просмотру выполненных
работ и имеют право на апелляцию.
При всем многообразии тестовых задании можно выделить всего четыре основных
группы тестов:
- задание на выбор правильного ответа;
- приведение в соответствие или классификацию объектов;
- расположение объектов в определенном порядке;
- “открытые” тесты, где необходимо вписать “пропущенные” слова.
Виды тестов по форме.
Наиболее простыми при составлении и самыми распространенными видами тестовых
заданий являются тесты-определители, составленные по принципу вопрос – ответ.
1. Тесты – определители с одним правильным ответом.
Сложность данного типа тестового задания зависит, от количества указанных
ответов: два, три и т. д. Например: выделите страну, господствующей религией в
которой является ислам: 1. Ангола, 2. Италия, 3. Пакистан, 4. Канада, 5. Перу,
6. Фиджи.
Кооперирование – это:
а) выпуск предприятием соответствующей продукции;
6) сосредоточение на одном предприятии технологически последовательно связанных
производств;
в) сосредоточение предприятий на одной территории;
г) объединение предприятий с целью производства единой конечной продукции.
Ли6о наоборот: вопросом является определение, а ответом – само понятие.
Объединение предприятий с целью производства единой конечной продукции – это:
1. специализация;
2. комбинирование;
3. кооперирование;
4. концентрация.
2. Тесты – определители, где ответы идут с увеличением участвующих объектов,
причем обходимо назвать их максимальное количество.
Летом тропические ВМ господствуют:
1) в тропическом климатическом поясе;
2) в тропическом и субтропическом климатических поясах;
3) в тропическом, субтропическом и субэкваториальном климатических поясах.
3. Тесты – определители, где все ответы правильные.
Крупными производителями автомобилей являются:
1) Япония;
2) Западная Европа;
3)США;
4 )все указанные регионы.
4. Тесты – определители, имеющий несколько правильных ответов и указано их
количество (один, два, три и т. д.).
В данном списке выделите два региона России, в которых нет городов –
миллионеров:
- Центральный;
- Дальневосточный;
- Западно-Сибирский;
- Центрально-Черноземный;
- Волго-Вятский;
- Северо-Кавказский.
5. Тесты – определители, имеющие несколько правильных ответов, построенные по
принципу выделения неправильных ответов, но неуказанно их количество.
Выделите объекты, относящийся к формам рельефа:
1) холм;
2) ветер;
3) песок;
4) равнина;
5) овраг;
6) гранит.
6. Тесты – определители построенные по принципу выделения неправильных
ответов, имеют, как правило, в задании какие – либо отрицания.
Выделите объект, не относящийся к Средней Сибири:
1) траппы;
2) Саяны;
3) Таймыр;
4) лиственница;
5) Путорана.
7. Тесты – определители с использованием рисунков, графиков, схем или
диаграмм.
На какой из приведенных диаграмм верно указано соотношение суши и воды на
Земле:
8. Альтернативные тесты формулируются в виде вопроса – утверждения и требует
однозначного ответа “да” или “нет”. Альтернативный тест может содержать один или
несколько заданий.
В развитых капиталистических странах ввиду высокого уровня жизни наблюдается
высоки естественный прирост населения.
1)да; 2)нет.
9. Опознавательные тесты, т.е. определение объекта по краткой характеристике,
где названы примеры объектов, один из которых правильный.
Определите физико-экономический район России по данной характеристике:
занимает большую площадь территории, большая часть которой занята древней
платформой, преобладают плоскогорья, особенностью геологического строения
являются траппы, на большей части территории климат резко – континентальный, на
территории района находится “полюс холода; широко распространены мерзлотно –
таежные почвы и лиственничные леса.
1) Русская равнина;
2) Горы Южной Сибири;
3) 3аподно – Сибирская равнина;
4) Средняя и Севере – Восточная Сибирь.
10. Определение объекта по краткой характеристике, ответ необходимо вписать
самостоятельно.
По данной характеристике определите страну Европы: внутриконтинентальная
страна, федеративная республика, член ЕС, проводит политику постоянного
нейтралитета, столица является крупнейшим городом страны.
———————————————————————————————————
Ответ: Австрия
11. Определение объекта по списку других объектов, где указаны варианты
ответов.
По списку типичных животных определите природную зону Африки (Горилла,
шимпанзе леопард, карликовый бегемот, окапи, птица – носорог):
1) влажные экваториальные леса;
2) средиземноморская;
3) саванны;
4) пустыни.
12. Определение объекта по списку других объектов без вариантов ответа.
По списку приграничных государств определите страну Азии (Исламабад, Пекин,
Дакка, Катманду).Ответ:
————————————————————————————————————-
Ответ: Индия
13. Приведение в соответствие, причем количество вариантов первого первого
столбика совпадает с количеством вариантов второго столбика.
Приведите в соответствие горные системы и их геологический возраст:
| 1)Гималаи 2)Уральские горы 3)Кордильеры |
а) древняя складчатость б) средняя складчатость в) новая складчатость |
Ответ: 1-в; 2-а; З-б
14. Приведение в соответствие, причем количество ответов первого столбика не
совпадает количеством вариантов второго столбика.
Приведите в соответствие формы рельефа и тектонические структуры:
| 1)Урал 2)Хибины 3)3аподно-Сибирская равнина 4)Сихоте-Алинь |
а) щит б) молодая платформа в) герцинская складчатость г) мезозойская складчатость |
Ответ: 1-в;2-а;3-б;4-д
15. Приведите в соответствие, подразумевающее вариативность правильных
ответов.
Приведите в соответствие климатические пояса и характерные для них ВМ:
| 1 .экваториальный 2. субэкваториальный 3. тропический 4. субтропический |
а) тропические б) умеренные в) субэкваториальные г) экваториальные |
Ответ: 1– а;2-а;3-а;4-а,б
16. Тесты на приведение в соответствие. В одном из столбиков есть “лишний”
вариант. Приведите в соответствие отрасли промышленности и факторы их
размещения:
| 1. гидроэнергетика 2. металлургия алюминия 3. судостроение 4. сахарная промышленность |
а) потребительский б) сырьевой в) энергетический |
Ответ: 1-б;2-г;3-а;4-б
17. “Открытые” (или перспективные) тесты.
В отличие от тестовых заданий, предполагающих необходимость самостоятельно
вписать верный ответ, в “открытых” тестах в отдельных случаях не “связан” одним
верным ответом, а имеет право самостоятельного выбора объектов, отвечающим
названным требованиям.
Вставить пропущенные слова. При данной постановке вопроса у тестируемого, как
правило нет самостоятельного выбора – необходимо вписать конкретные слова.
Вставьте пропущенные слова: Низменность – это вид ______, с ____ высотой до __
метров, (равнины, абсолютной, 2000.)
Самостоятельно вписать примеры – данный вид тестового задания подразумевает
полную свободу действий тестируемого.
Назовите три основных государства Азии:
————————————————————————————————
—————————————————————————————————-
на выбор: Бахрейн, Бруней, Кипр, Мальдивские о-ва, Сингапур, Тайвань, Шри –
Ланка, Филиппины, Япония.
18. Тесты связанные с заполнением таблицы без вариантов ответа.
Заполните таблицу:
| Воздушные массы | Район формирования | Температура и влажность |
| Жаркая и влажная | ||
| тропические | ||
| Умеренные широты над океаном | Лето: Зима: | |
| антарктические |
19. Тесты, связанные с заполнением таблицы с вариантами ответов.
Заполните таблицу, используя предложенные варианты ответов:
| Страна | Столица | Форма правления | Административно-территориальное устройство |
| Канада | |||
| Прага | |||
| Конституционная монархия | |||
| Оман | |||
| Конфедерация | |||
Варианты ответов: Чехия, Швейцария, Норвегия, Маскат, Оттава, Берн, Осло,
республика, абсолютная монархия, государство Британского Содружества, унитарное,
федеративное.
20. Тесты связанные с заполнением схемы с вариантами ответов.
Заполните схему, используя следующие слова:
1. Мировой океан;
2. болота;
3. ледники;
4. горные;
5. подземные воды;
6. реки;
7. покровные.
8. моря;
9. заливы.
21. Тесты, связанные с заполнением схемы без вариантов ответов.
Заполните схему:
22. Тестовые задания, требующие выполнение расчетов, с вариантами ответов.
Используя рисунок 60 на странице 96 (Суханов В.П. Физическая география. 6
класс.) или рисунок 80 на странице 144 (Герасимова Т.П. и Неклюкова Н.П.
География. Начальный курс.).
Определите, сколько выделится воды, если температура воздуха снизится с 20 С до
10 С при условии, что относительная влажность воздуха равнялась 100%: 1) 9 г; 2)
8 г; 3) 17 г.
23. Тесты, требующие выполнение расчетов без вариантов ответов.
Определите коэффициент увлажнения, если известно, что в городе Н испаряемость
равна 31 мм. и в течении года выпадает 488 мм. осадков:
Ответ 1,3
Тесты – классификаторы.
Тесты – классификаторы формулируются в виде набора определенных объектов,
и тестируемый должен провести их классификацию по указанному критерию или
выбрать критерий классификации самостоятельно. Данный вид теста наиболее удобен
для установления внутрипредметных или межпредметных связей.
24. Тесты – классификаторы с указанием классификации.
Разделите горные породы, приведенные в данном списке, на три группы:
а) известняк; б) гранит; в) мрамор; г) базальт; д) туф; е) ракушечник; ж) гнейс;
з)галька; и) уголь; к) обсидиан; л) графит; м) доломит.
| Осадочные:
————— |
Метаморфические:
——————- |
Магматические:
—————— |
Проклассифицируйте указанные объекты по природным зонам России и результаты
занесите в таблицу: Лиственница, лемминг, ковыль, бурундук, ягель, песец,
соболь, дрофа, кедр, кролик.
25. Тесты на самостоятельную классификацию.
Сгруппируйте по языковым семьям народы России:
Русские, карелы, татары, осетины, якуты, украинцы, коми, буряты, башкиры,
удмурты.
| А | Б | В | Г |
| ———— ———— ———— |
———- ———- ———- |
———- ———- ———- |
———- ———- ———- |
26. Тесты, проверяющие знания географической карты и географического
пространства построенные по принципу альтернативного теста.
В каждой паре подчеркните страну, расположенную севернее:
Норвегия – Дания;
Испания – Бельгия;
Чехия – Венгрия;
Швейцария – Германия.
27. Расставить по порядку.
Распределите горные страны по мере увеличения их высоты:
Гималаи – _____ 4
Уральские –____ 1
Альпы – ________2
Кордильеры – ____3
28. Тесты на установление причинно – следственных связей.
Укажите правильную последовательность причинно – следственных связей:
Развитие земледелия – __________ 4
Агроклиматические ресурсы – ___1
Географическая широта – _______2
Плодородие почв – ____________ 3
29. Тесты по нахождению “лишнего” объекта, где даны критерии ответа.
В данном списке выделите народ, отличающийся от остальных по религиозному
признаку: Русские, сербы, грузины, греки, поляки
30. “Лишний” объект – нет критериев ответа.
В данном списке выберите ответ отличающийся от остальных: Гранит, базальт,
пемза, обсидиан, мрамор.
Plan for the test
A Test Plan is a thorough document that outlines the test strategy, objectives, timetable, estimation, deliverables, and resources needed to accomplish software testing. The Test Plan assists us in determining the amount of work required to confirm the quality of the application being tested. The test plan is a blueprint for conducting software testing operations as a defined procedure, which the test manager closely monitors and controls.
«A test plan is a document detailing the scope, strategy, resources, and timetable of expected test activities,» according to the ISTQB definition.
Let’s look at an example/scenario of a Test Plan: You want to talk about the Test Plan with the team members at a meeting, but they aren’t interested.
What will you do in such a situation?
-
I am the manager; follow my instructions.
-
Now, let me explain why a Test Plan is necessary.
What Is a Test Plan and Why Is It Important?
There are several advantages to creating a test plan document.
-
Assist others outside the test team in understanding the nuances of testing, such as developers, business managers, and customers.
-
Our thinking is guided by the Test Plan. It’s similar to a set of rules that must be followed.
-
Test Plan documents important features such as test estimates, test scope, and Test Strategy so that it may be evaluated by the Management Team and reused for additional projects.
What is the best way to write a test plan?
You already know that the most essential duty in the Test Management Process is to create a Test Plan. To build a test plan in accordance with IEEE 829, follow the seven stages outlined below.
-
Examine the item.
-
Create a test strategy
-
Create a list of test objectives.
-
Specify the test criteria
-
Organizing Resources
-
Construct a Test Environment
-
Estimation and Schedule
-
Establish the Test Deliverables
Step 1 − Examine the item
How can you test a product if you don’t know what it is? Impossible is the answer. Before you can evaluate a product, you must first understand everything there is to know about it.
The test product is an e-commerce website. You should do research on your clients and end-users to learn about their wants and expectations from the app.
-
Who will be the target audience for the website?
-
What is the purpose of it?
-
How is it going to work?
-
What software and hardware does the product make use of?
Take a look around this website and go over the product documentation. Reviewing product documentation can assist you in comprehending all of the website’s features as well as how to use it. If you have any questions, you may interview the client, the developer, or the designer to gain additional information.
Step 2 − Create a testing strategy
In software testing, deciding on a test strategy is an important step in creating a test plan. A Test Strategy document is a high-level document that is often created by the Test Manager. This article contains the following definitions −
-
The project’s testing goals and methods for achieving them
-
Determines the amount of time and money spent on testing.
Returning to your project, you’ll need to create a test strategy for the banking website. The steps below should be followed −
Step 2.1 − Define the Testing Scope
The scope of the testing should be established before beginning any test activity. You’ll have to think about it for a while.
-
The «in scope» components of the system to be tested (hardware, software, middleware, and so on) are defined.
-
The system components that will not be tested must also be explicitly characterized as «out of scope.»
For all stakeholders, defining the scope of your testing project is critical. You will benefit from having a precise scope.
-
Give everyone on the team confidence and accurate information about the testing you’re performing.
-
Everyone on the team will know what’s being tested and what isn’t.
What criteria do you use to define the scope of your project?
You must — to determine scope.
-
Customer specifications are quite specific.
-
Budget for the project
-
Product Specification
-
Your test team’s abilities and talent
The «in scope» and «out of scope» of the tests should now be clearly defined.
According to the software requirements, the project focuses only on testing all of the website’s features and the external interface (in scope testing) Stress, performance, and logical database testing will not be performed at this time. (not within the scope of this document)
Example of a Problem
The customer has requested that you test his API. However, the project budget does not allow for this. What will you do in such a situation? In this instance, you’ll need to persuade the customer that Api Testing is extra work that will take up a lot of time and resources. Give him evidence to back up your claims. Tell him that if Api Testing is included in the scope, the budget would go up by XYZ.
The client agrees, and the new scopes and out-of-scope objects are created.
-
Functional testing and API testing are examples of in-scope things.
-
Database testing, hardware, and any other external interfaces are not included in the scope.
Step 2.2 − Determine the Testing Type
A Testing Type is a regular test process that produces a predictable test result. Each sort of testing is designed to find a certain type of issue in a product. However, all types of testing are targeted at the same goal: “early discovery of any problems prior to releasing the product to the customer.”
The following diagram depicts the many forms of testing that are regularly used −
-
Unit Testing
-
API Testing
-
Integration Test
-
System Test
-
Install/Uninstall Testing
-
Agile Testing
For software testing, there are a plethora of testing types to choose from. Your team will not be able to handle all types of testing with appropriate effort. You, as the Test Manager, must prioritize the Testing Types.
-
Which kind of testing should be prioritized when it comes to web application testing?
-
Which kind of testing should be skipped in order to save money?
Step 2.3 − Keep a record of the risks and issues.
Risk is an unpredictable future event with a chance of occurring and the potential for loss. When the danger materializes, it becomes a ‘problem.’
You previously learned about the ‘Risk’ analysis and identified possible dangers in the project in the article Risk Analysis and Solution.
You will document those risks in the QA Test Plan.
| Risk | Mitigation |
|---|---|
| Members of the team lack the necessary abilities for website testing. | Plan a training session for your team to improve their skills. |
| The project timetable is very tight; doing this job on time will be difficult. | Establish a Test Priority for each test activity. |
| The Test Manager is a bad manager. | Managers should get leadership training. |
| Employee productivity suffers when there is a lack of collaboration. | Encourage each team member in his or her assignment and motivate them to work harder. |
| Cost overruns and incorrect budget estimates | Prior to starting work, define the scope, pay close attention to project planning, and track and measure progress on a regular basis. |
Step 2.4 Creating Test Logistics
The Test Manager should respond to the following questions in Test Logistics −
-
Who will put themselves to the test?
-
When will the test take place?
Who will put themselves to the test?
Although you may not know the precise identities of the testers who will be doing the tests, the sort of tester can be identified.
You must examine if his expertise is qualified for the work and estimate the project budget when selecting the correct member for a certain assignment.
The project may fail or be delayed if the wrong person is assigned to the assignment.
A person with the following abilities is most suited to undertake software testing −
-
Ability to comprehend the viewpoints of clients
-
A strong passion for excellence, as well as a keen eye for detail and a willingness to collaborate.
The tester is the team member who will be in charge of the test execution in your project. You can pick an in-house or outsourced tester depending on the project budget.
When will the test take place?
Associated development efforts must be linked with test activities.
When you have all of the elements shown in the accompanying diagram, you may begin testing.
Step 3 − Defining the Test Objective
The ultimate purpose and achievement of the test execution are known as the test objective. The goal of testing is to uncover as many software flaws as possible and to ensure that the product under test is bug-free before it is released.
You should do the following two steps to determine the test goals.
-
Make a list of all program aspects that need to be tested (functionality, performance, GUI, etc.).
-
Define the test’s aim or goal based on the above characteristics.
Let’s use these procedures to figure out what your testing project’s test objective is.
You can use the ‘TOP-DOWN’ technique to locate the aspects of the website that need to be tested. You split down the program under test into components and sub-components using this strategy.
Based on the features listed above, the project’s Test Objective may be defined as follows −
-
Check that the website’s functionality (Account, Deposit, etc.) works as intended in a real-world business context, with no errors or defects.
-
Check that the website’s external interface, such as the UI, is functioning properly and that it meets the needs of the consumer.
-
Examine the website’s usability. Is it possible that such features will be useful to the user?
Step 4 − Define Test Criteria
A test method or test judgment might be based on a standard or rule called test criteria. The following are two types of test criteria
Criteria for Suspension
Define the test’s crucial suspension conditions. The active test cycle will be interrupted until the suspension criteria are addressed if the suspension conditions are fulfilled during testing.
Example of a Test Plan − If your team members indicate that 40% of test cases are failing, you should halt testing until the development team has fixed all of the failed instances.
Criteria for Exit
It describes the criteria for determining if a test phase has been completed successfully. The exit criteria are the test’s intended outcomes, and they must be met before moving on to the next stage of development. For instance, all key test cases must pass 95% of the time.
pacifying a targeted run rate and pass rate are two ways to define exit criteria.
-
The run rate is the ratio of the number of test cases performed to the total number of test cases in the test specification. For example, the test specification calls for a total of 120 TCs, but the tester only completed 100 of them, resulting in a run rate of 100/120 = 0.83. (83 percent)
-
The ratio of the number of test cases passed to the number of test cases conducted is known as the pass rate. For example, out of more than 100 TCs conducted, 80 TCs passed, resulting in an 80/100 = 0.8 pass rate (80 percent).
Step 5 − Organizing Resources
A resource plan is a comprehensive list of all resources needed to fulfill a given assignment. Human resources, as well as the equipment and materials required to execute a job, are all resources.
Resource planning is a crucial aspect of test planning since it helps determine the number of resources (employees, equipment, etc.) that will be needed for the project. As a result, the Test Manager can create an accurate project plan and estimate.
This section lists the resources that are recommended for your project.
Human Resource Management
The following table depicts several members of your project team.
| S.NO | Member | Tasks |
|---|---|---|
| 1 | Manager of Tests | Oversee the entire project. Define the project’s goals. Obtain the necessary resources |
| 2 | Tester | Identifying and characterizing suitable testing approaches, tools, and automation architecture Examine and evaluate the Test Approach Execute the tests, keep track of the results, and report any defects. Depending on the project budget, testers might be in-house or outsourced. To save money on the project, I advocate using outsourced personnel for low-skilled tasks. |
| 3 | Developer undergoing testing | Execute the test cases, test program, and test suite, among other things. |
| 4 | Administrator of Tests | Establishes and maintains the Test Environment as well as its assets. SupportTester will run tests in the test environment. |
| 5 | Members of the SQA | Assume responsibility for quality assurance. Check to see if the testing procedure adheres to the specifications. |
Resource for the System
You should plan the resources for testing a web application as shown in the tables below −
| S.NO | Resources | Descriptions |
|---|---|---|
| 1 | Server | Install the test web application. If applicable, this comprises a separate web server, database server, and application server. |
| 2 | tool for testing | The purpose of the testing tool is to automate testing, replicate user operations, and create test results. You may use a variety of test tools for this project, including Selenium, QTP, and others. |
| 3 | Network | To imitate the real-world company and user environment, you’ll need a network that includes both LAN and the Internet. |
| 4 | Computer | The computer that people frequently use to connect to the webserver |
Step 6 − Plan a test environment
What does the test environment?
A testing environment is a software and hardware configuration on which the testing team will run test cases. The test environment includes a real-world business and user environment, as well as physical surroundings like a server and a front-end operating environment.
How to Create a Testing Environment?
How can you build up a test environment for this e-commerce website, returning to your project?
You’ll need good collaboration between the Test Team and the Development Team to complete this assignment.
To fully comprehend the web application under test, you should ask the developer certain questions. Here are some questions to consider. Of course, if you need to, you may ask the other questions.
-
What is the maximum number of simultaneous connections this website can handle?
-
What are the hardware and software requirements for this website’s installation?
-
Is there anything special that the user’s machine needs to visit the website?
Step 7 − Planning and Estimation
You already used various approaches to estimate the effort required to accomplish the project in the article Test estimation. You should now add that estimate, along with the timetable, to the Test Planning.
Assume you split down the whole project into tiny jobs and include the estimation for each work in the Test Estimation phase, as shown below.
| Task | Member | Estimate Effort |
|---|---|---|
| Make a test specification. | Designer of Tests | 170 hours of labor |
| Conduct a test execution | Administrator and Tester | 80 hours of labor |
| Report on the Test | Tester | 10 hours of labor |
| Delivery of a Test | 20 hours of labor | |
| Total | 280 hours of labor |
After that, you make a plan for completing these chores.
In project management, the term «making schedule» is commonly used. The Test Manager can utilize a solid schedule created in Test Planning as a tool for monitoring project progress and controlling cost overruns.
The Test Manager will require the following pieces of information to build the project schedule
-
Employees and project deadlines − The number of working days, the project deadline, and the availability of resources are all elements that influence the timetable.
-
Project estimation: The Test Manager knows how long it will take to complete the project based on the estimation. As a result, he will be able to create an adequate project timetable.
-
Understanding project risk allows the Test Manager to allocate adequate time to the project plan to cope with the risks.
Step 8 − Test Deliverables
A list of all the documentation, tools, and other components that must be produced and maintained in support of the testing endeavor is called Test Deliverables.
Every stage of the software development lifecycle has its own set of test deliverables.
Before the testing process, test deliverables are supplied.
-
A document containing test plans.
-
Documents containing test cases
-
Specifications for test design
During the testing, test deliverables are given.
-
Test Scripts
-
Simulators
-
Test Data
-
Test Traceability Matrix
-
Error logs and execution logs
Test Data: After the testing cycles are completed, test deliverables are supplied −
-
Reports/results of tests
-
Defect Reports
-
Installation/Test Procedures Guidelines
-
Notes about the release
Кто помог нам разобраться
Научный сотрудник лаборатории измерения новых конструктов и дизайна тестов в Центре психометрики и измерений в образовании Института образования ВШЭ. Руководитель проекта «4К: измерение критического мышления, креативности, коммуникации и кооперации». Преподаёт в Институте образования психометрику и методологию измерений в психологии и образовании.
В этой статье речь пойдёт о разработке образовательных тестов — заданий по проверке предметных знаний и навыков. Но в целом описанные правила универсальны: тесты для оценки психологических качеств или софт-скиллов разрабатываются аналогично.
Вы узнаете:
- можно ли с помощью теста, где учащийся выбирает из вариантов ответов, проверить, как он умеет рассуждать;
- можно ли измерить тестом не просто знание фактов, а понимание учебного материала;
- чем трудные задания отличаются от сложных и почему трудным тест может быть, а вот сложным его лучше не делать;
- с каких заданий лучше начинать — простых или трудных;
- какое количество вариантов ответа оптимально;
- как проверить, работает ли тест.
Психометрики называют тестом любой инструмент измерения — и ролевую игру, и эссе, и оценку портфолио. Мы подробно разберём инструмент, за которым в русском языке закрепилось слово «тест» в узком значении, — вопросы с выбором ответа из предложенных вариантов.
У стандартизированных тестов в образовании не лучшая репутация. Но психометрики по-прежнему отстаивают такой способ измерения: тесты с выбором ответа масштабируемы, справедливы и объективны. Это значит, что по одному и тому же тесту можно проверить сколько угодно учащихся, причём все будут в равных условиях, а на результат не повлияет ничьё постороннее мнение.
Но в то же время любой психометрик скажет вам, что тесты с выбором ответа — не универсальный инструмент. Способ проверки знаний выбирают с учётом того, какой именно конструкт необходимо измерить. Конструктом в психометрике называют свойство психики или способность, которые нельзя наблюдать напрямую, но можно измерить по внешним поведенческим признакам.
Для каких конструктов подходят тесты с выбором ответа? Это практически идеальный инструмент для оценки знания фактов и сугубо технических навыков. Например, для проверки знания о том, как отделить команды друг от друга при программировании на определённом языке.
А вот проверить, как учащийся умеет рассуждать, взаимодействовать с коллегами или находить практическое решение в сложной ситуации, тест с выбором ответов не поможет. Чем сложнее природа конструкта, тем более гибким должен быть инструмент измерения.
Такие тесты способны выявить не любые знания. В любой дисциплине есть простые факты, и по ним легко написать вопросы с несколькими вариантами ответа. Например, спросить, в каком году Колумб открыл Америку.
А есть элементы знания, для которых простого запоминания недостаточно. Например, если мы хотим спросить, какие события и явления стали предпосылками для открытия Америки, вопрос с выбором ответа из нескольких уже не так хорош.
Каждый преподаватель хочет, чтобы студенты не только помнили факты, но и понимали материал. Но, увы, понимание как таковое пока невозможно измерить. Может быть, нейронауки в отдалённом будущем дадут возможность следить за всем, что происходит внутри черепной коробки каждого ученика. Но сейчас психометрика работает с тем, что можно наблюдать, с поведенческими проявлениями. У понимания таких универсальных проявлений нет.
Потому в педагогических измерениях, когда нужно оценить более глубокие, не фактологические знания, измеряют не само по себе понимание, а умение интерпретировать или анализировать. И более практичны, чем тесты с выбором из нескольких вариантов, тут задания с открытым ответом или компьютерные симуляции и игры. В таких инструментах среда тестирования будет более гибкой, чем стандартизированные тесты.
Если ваша задача — проверить усвоение фактологических знаний или отдельных навыков, тест с выбором ответов вполне подойдёт. Чтобы составить и распространить такой тест, не нужны сложные цифровые сервисы. Для базовых задач вполне достаточно форм Google или «Яндекса».
В этом разделе статьи разберёмся с основными вопросами о том, как составить хороший тест. А если нужно узнать по этой теме больше, советую книгу: Haladyna T. M., Rodriguez M. C. Developing and validating test items (Routledge, 2013) — и другие работы её авторов. Правда, на русском языке она, к сожалению, не выходила.
К концу теста любой учащийся устаёт. Поэтому последние задания зачастую уже не дают никакой информации о знаниях тестируемого. Получается, делать тест слишком длинным нельзя.
Но и коротким он быть не может — у небольших тестов ниже надёжность. На какой-то вопрос учащийся даст неверный ответ по невнимательности, а где-то, наоборот, случайно угадает правильный вариант. Если тест будет достаточно объёмным, больше шансов, что такого рода ошибки уравновесят друг друга и итоговый результат будет достоверен.
Так как определить, какой длины должен быть тест? Нужно отталкиваться от времени на решение одного задания. Оно зависит от трудности и может составлять от нескольких десятков секунд до пяти минут. Также стоит учитывать возраст учащихся:
- Детям до подросткового возраста нельзя давать задание дольше, чем на 20 минут, — или нужно предусмотреть возможность перерыва в тесте.
- Для старших подростков и студентов, а также взрослых лучше исходить из продолжительности привычного занятия. Например, для старшеклассника нормально посвятить тесту урок в 45 минут (или два урока с переменой между ними). А для студентов уже можно написать тест и на 80 минут.
- В дополнительном образовании взрослых следует учитывать, что взрослый человек уже не считает себя обязанным участвовать ни в каких тестах. Ему нужна дополнительная мотивация. Например, можно пообещать индивидуальную обратную связь по результатам теста (и потом обязательно её предоставить!).
Золотое правило таково: чем больше часов на тему отведено в курсе, тем больше вопросов в финальном тесте. Потому что изначально, когда курс составлялся, большее число часов было запланировано на более важную тему.
Если темы не слишком дробные, хорошо бы поставить минимум три вопроса на каждую. Опять же, потому, что случайные ошибки уравновесят друг друга. Но обратную связь потом лучше давать не только по каждому отдельному заданию, но и по теме в целом.
Небольшое отступление: в психометрике задание может быть трудным, но не сложным. Трудность в этой науке понимают так же, как обычно в русском языке. Чтобы справиться с трудным заданием, нужно обладать высоким уровнем знаний по теме. Скорее всего, немногие ученики решат трудное задание.
А сложность — отдельное психометрическое понятие. Оно характеризует, сколько действий и когнитивных операций нужно выполнить в процессе решения. Возьмём математический пример. Задание разделить 0,219 на 0,365 трудное, но не сложное: оно состоит всего из одного действия.
И начинать тест следует с более лёгких заданий, то есть с нетрудных. В начале теста уровень стресса всегда выше, что искажает результаты. Если вопросы в тесте распределены по тематическим блокам, можно в каждом из них располагать задания от лёгких к трудным.
Кстати, вопрос о распределении по тематическим блокам сам по себе непростой. С одной стороны, правильнее, чтобы тестируемый концентрировался в каждый момент теста на одной теме. С другой стороны, иногда важно проверить, может ли он быстро переключаться с одной проблемы на другую.
Как именно поступить, решают в зависимости от дисциплины и задач теста. Но важно ставить всех тестируемых в одинаковые условия, чтобы результаты были сопоставимы.
В целом делить на блоки тест правильно: так тестируемый увидит, что тест не бесконечен. В ситуации компьютерного тестирования, когда нельзя пролистать задания и понять, сколько ещё осталось, это важно. И, конечно, нужно предупредить, если время на ответы ограничено.
Наиболее привычны сегодня тесты как в ЕГЭ — с четырьмя вариантами ответа. Иногда можно услышать, что это связано с объёмом рабочей памяти: якобы четыре варианта появились, потому что именно такое количество элементов средний человек способен одновременно удерживать в уме.
Психологи-когнитивисты такое обоснование считают ненаучным. Скорее всего, к четырём вариантам ответа практики пришли случайно, и ничего биологически или психологически заданного в этой цифре нет. Вариантов может быть и меньше — например, три.
А вот придумать больше неверных ответов обычно затруднительно.
Создание неправильных вариантов ответа — на самом деле сложное психометрическое мастерство. Не зря их называют дистракторами, то есть отвлекающими внимание от верного варианта.
Суть в том, что неправильные ответы должны быть похожи на правильный и привлекательны. Очевидно неправильных ответов нужно избегать, как и ответов из другой области. Например, если в вопросе стоит формулировка «В каком году?», все ответы должны быть датами примерно из одного диапазона.
Но неверные варианты не должны содержать в себе правильный ответ или какую-то его часть — иначе нужно в вопросе объяснить, что тестируемый должен выбрать самый правильный ответ.
Высший пилотаж — неправильные варианты на основе типичных ошибок студентов. Это позволяет давать более глубокую обратную связь: не просто показывать, где учащийся ошибся, а анализировать, почему он выбрал именно такой неправильный вариант.
Кроме надёжности, у любого теста есть ещё одно важное качество — валидность. По классическому определению, валидность — свойство теста измерять то, на что он направлен. Более современное определение гласит, что результаты валидного теста можно интерпретировать в той логике, в которой он создан.
И иногда на валидность может повлиять просто то, что тестируемый иначе (но не неправильно!) смотрит на ситуацию в задании.
Возьмём пример из теста на критическое мышление, разработанного в ВШЭ. Это тест‑симуляция онлайн-среды, в ней нужно общаться с ботом. Одна из задач — получить недостающую информацию для рецепта торта.
По идее, тестируемый должен задать боту конкретный вопрос, например: «Сколько яиц нужно добавить?» Но человек может начать с приветствия, и не потому, что не понял задание. Сказать «Привет, как дела?» перед тем, как уточнять рецепт, вообще‑то нормально. Но если об этом не подумать при составлении теста, такой ответ будет оцениваться как ошибочный.
Одно из частых опасений по поводу тестов и причин, почему в них предлагают добавлять больше вариантов ответа, — «угадайка». Кажется, что в задании с двумя вариантами ответа вероятность угадать составляет 50%. Но это верно только в случае, когда весь тест состоит из одного вопроса с двумя вариантами ответа.
Если добавить второй вопрос, в котором не будет подсказок к первому и наоборот, вероятности просто перемножатся. И шанс случайно угадать правильные ответы составит уже 25%. В случае с тестом из десяти заданий вероятность ответить на всё правильно случайно пренебрежимо мала.
Но такой расчёт справедлив только для тестов с хорошо написанными неправильными ответами.
На магистерской программе Института образования психометриков учат проверять работоспособность тестов все два учебных года. Попробуем коротко разобрать, что именно они изучают.
Проверить тест можно качественным или количественным методом. Качественный метод представляет собой интервью. Разработчик теста выдаёт задания представителю целевой группы, наблюдает за ним и расспрашивает. Так можно выяснить, всё ли понятно в заданиях, что именно тестируемый делает для решения, какие вопросы ставят его в тупик, а какие кажутся слишком простыми.
Цель качественной проверки — убедиться, что решение теста задействует именно те когнитивные процессы, которые требовалось вовлечь (скажем, тестируемый действительно решает математическую задачу, а не навскидку выбирает из вариантов наиболее подходящий), что варианты-дистракторы не содержат элементов правильного ответа, что все инструкции к тесту понятны и так далее.
Оценка работоспособности теста количественными методами — как раз психометрика в узком смысле слова. Проводится она через статистический анализ, для которого нужно порядка 100 наблюдений.
Понятно, что для каждого курса такую проверку не проведёшь, обычно достаточно интервью. Но количественная оценка обязательна, если по результатам теста принимается какое-либо решение — о зачислении на курс, о сертификации.
В результате разработчик теста получит все те же данные, что и при качественной оценке. К тому же количественная оценка покажет, какие вопросы и утверждения не измеряют то, что должны, а какие вообще избыточны — тест работает и без них.