Как составить свое тестирование

Правило 1

Начните с заголовка

Как только у вас родилась идея теста, сформулируйте черновой заголовок. Во-первых, если короткий и понятный заголовок не будет получаться, то это признак, что с вашей идеей что-то не так или тема для теста слишком сложная, — это повод доработать идею. Во-вторых, так вам будет проще понять, о чем именно будет тест. Это поможет определиться с тем, как лучше всего выстроить тест с точки зрения логики, какие именно нужны вопросы и результаты, и отсечь все лишнее. Лучше всего, когда в заголовке есть вопрос и читатель хочет узнать на него ответ. Еще лучше, когда заголовок касается конкретно человека и мы предлагаем узнать читателю что-то о себе: все любят узнавать себя.

Примеры заголовков:

• Сможете ли вы потратить триллион рублей?
• Умеете ли вы экономить по-настоящему?
• Насколько хорошо вы питаетесь по сравнению с другими россиянами?
• Как низко вы готовы пасть ради денег?
• Экспресс-тест: насколько вы счастливы?

Правило 2

Сформулируйте цель теста

Наверняка вы не хотите делать тест ради теста. А хотите чего-то большего:

1. донести до читателей определенную мысль;
2. достичь своих целей.

С первым все ясно: читатель должен пройти тест и узнать что-то новое или о чем-то задуматься. Например, о своих личных предпочтениях или о том, как на самом деле устроена жизнь вокруг:

Со вторым тоже все просто. Цель может быть прикладной — например, мы хотим ненавязчиво рассказать о нашем курсе по инвестициям. Тут все понятно: на заголовок кликают люди, которые интересуются темой и хотят узнать про себя что-то новое. Получают развлекательный контент и в конце узнают о курсе.

Или, наоборот, цель может быть более призрачной — например, нам важно писать про бизнес. У нас есть целый раздел про это, мы хотим подогревать интерес к теме разными способами: тот, кому пока скучно читать длинный текст, возможно, клюнет на что-то развлекательное. Скорее всего, человеку выпадет хороший результат, мы заложим в его голову идею, и, вероятно, в следующий раз он уже созреет для более серьезных форматов.

Правило 3

Нащупайте логику, на которой будет построен тест

Чтобы результаты теста выглядели убедительно, нужно придумать, на чем именно будут основаны ваши расчеты. Вам может казаться, что вы делаете максимально шуточный тест и придумывать какое-то обоснование необязательно. Но чаще всего это заметно, и у читателей возникнут вопросы:

В некоторых тестах результат можно выдавать рандомно. Подумайте, насколько такое решение уместно в конкретном тесте: оно должно выглядеть как фича, а не баг.

Примеры разных видов логики:

• «Какой вы миллиардер из кино?» — мы взяли список богатейших выдуманных персонажей «Форбса», выбрали из них киногероев, изучили их биографии, нашли пересекающиеся моменты и спрашиваем у человека, какая из описанных ситуаций больше похожа на его. В результатах рассказываем читателю краткую сводку о персонаже, с чьей биографией было больше всего пересечений, сумму его состояния и выделяем положительные свойства характера.
• «Относитесь ли вы к среднему классу?» — лучше всего, когда тест опирается на проверенный источник, будь то соцопрос или список «Форбса». В этом случае мы взяли несколько исследований, посвященных среднему классу, и сделали из них тест. Еще в тестах с такой логикой можно предлагать читателю проверить, насколько хорошо он разбирается в какой-то теме. Например, в зарплатах россиян или их мнениях по самым разным поводам.
• «Знаете ли вы, как супермаркеты нарушают ваши права?» — пример полезного теста на тему конкретной проблемы. Мы собрали случаи супермаркетного произвола, нашли законодательные акты, регулирующие эти ситуации, и предлагаем читателям рассказать, как бы в этих ситуациях они себя повели, и заодно узнать, на чьей стороне закон.
• «Финансовые предсказания: что вас ждет в следующем году?» — здесь результаты как раз распределяются более-менее рандомно, цель таких тестов — порадовать читателя, сказать ему что-то приятное, подбодрить. Но логика в распределении результатов все равно присутствует.

Правило 4

Решите, что в вашем тесте главное

Бывают тесты, в которых главное — результаты. Бывают тесты, в которых главное — вопросы. Здесь важно продумать, как правильно расставить акценты, чтобы и читатель был доволен, и вы рассказали людям все, о чем хотели.

Примеры:

• «Насколько хорошо вы питаетесь по сравнению с другими россиянами?» — в этом тесте важны вопросы. По сути, мы интерактивным способом рассказываем человеку о том, что известно статистике о пищевых пристрастиях россиян. Поэтому после ответа на вопрос мы даем уточняющую расшифровку и ссылку на источник. Обязательно собирайте все пруфы!
• «Какой страны вы достойны?» — а в этом тесте интереснее результат. Мы собрали 5 профайлов разных стран, основываясь на статистике, реальных ценах и культурных особенностях. Спрашиваем читателей об их предпочтениях, вкусах и привычках и делаем вывод, где условия для всего этого благоприятнее.

Правило 5

Старайтесь делать тесты короче

10 вопросов всегда лучше, чем 15, а 7 — лучше, чем 10. Можно пойти еще дальше и сделать тест из двух вопросов — и даже из одного! Все зависит от цели и от того, что в вашем тесте главное, — не стоит прятать это слишком далеко.

Также старайтесь соблюдать баланс: если вопросов много, то пусть и вопросы, и варианты ответов будут максимально короткими. Если вопросов мало, то можно себе позволить сделать вопросы или варианты ответов подлиннее. Варианты с картинками выбирать проще, даже если на этих картинках написан текст. Конечно, это не всегда возможно. Просто помните об этом и стремитесь к идеалу.

Старайтесь формулировать вопросы емко, убирайте лишние подробности. Избегайте длинных придаточных и громоздких фраз. Ваш вопрос должен быть понятным и конкретным.

Правило 6

Согласуйте заголовок с результатами

В идеальном мире текст результата всегда должен отвечать на вопрос в заголовке. Человек заинтересовался вопросом в заголовке и хочет получить на него ответ. А если ответа нет, то, вполне вероятно, человека постигнет разочарование. Это не те эмоции, которые нужно получать от тестов.

Правило 7

Не скупитесь на результаты

Желание увидеть результат — это главное, почему человек проходит наш тест. Проходить тест трудно. Нужно думать, читать и нажимать на кнопки. Кнопок бывает много: узнать правильный ответ, перейти к следующему вопросу, узнать результат. Это активное потребление контента. Поэтому в тестах результат — это награда. Если человек получит слишком короткий или неинтересный результат, он также будет разочарован. У него останется ощущение, что результат не стоил затраченных усилий. Поэтому к результатам надо отнестись внимательно и сделать их с любовью.

Правило 8

Добавьте дополнительную стоимость результатам

Если человек получил удовольствие от прохождения теста и от его результата, он становится довольно лояльным пользователем и благосклонно отнесется к нашему предложению продолжить вечеринку. Поэтому при создании теста мы сразу думаем о том, что еще предложить читателю. Мы можем предложить пройти еще один тест или прочитать текст по теме. В каждом результате может быть что-то уникальное: например, если человек показал слабый уровень знаний по какому-то предмету, мы можем отправить его читать про азы, а если высокий — проходить более сложный тест. Или во всех результатах может быть ссылка на что-то одно. Все зависит от цели.

Примеры:

• «Какой ваш финансовый возраст?» — здесь в каждом из восьми вариантов результатов читателю предлагаются разные тесты в зависимости от контекста.
• «В какую теплую страну вам пора переехать?» — здесь мы сопроводили каждый результат ссылкой на статью про конкретную страну.
• «Какой вы модератор Т—Ж?» — здесь тоже восемь вариантов результатов, но в рекомендациях — один и тот же тест.

Правило 9

Не расстраивайте читателей, а дарите им радость

Тесты — это развлекательный формат. Возможно, читателю скучно и он хочет развлечь себя. Возможно, у читателя был тяжелый день и он хочет отвлечься. Но он точно не хочет прочитать что-то неприятное про себя. Поэтому старайтесь даже в самых плохих результатах описывать недостатки мягко, упоминайте возможные сильные стороны и добавляйте во все это самоиронии и дружеского подмигивания.

Правило 10

Избегайте конкретных примеров в результатах

Помните, что и механики тестов, и сама концепция таких тестов построены на допущениях — мы даем очень приблизительный результат. Кроме того, продумать абсолютно все довольно тяжело и весьма вероятно, что где-то в вашей логике найдется слабое место. Поэтому нужно максимально застраховать себя от провалов. Если вы сами чувствуете, что халтурите или чересчур притягиваете нечто за уши, убирайте: это однозначно заметят.

Используйте слова: «возможно», «вероятно», «кажется» и так далее. Старайтесь не упоминать в результатах конкретные вещи, если механика теста не гарантирует вам, что читатель выбрал определенный результат. Зачастую бывает так: один из вариантов ответа — «обожаю хот-доги», читатель фыркает про себя, выбирает другой ответ, но по ответам в других вопросах оказывается, что он должен основать компанию по производству сосисок. Поэтому результат нужно завуалировать таким образом, чтобы даже тем, кто не любит хот-доги, было понятно, почему им выпал такой результат. Добавляйте в описание результата примеры не из вопросов, а другие, из жизни, которые расширяют картину.

Помните, что правила созданы, чтобы их нарушать. Если вы понимаете, что какое-то правило противоречит вашей идее или цели, и вы знаете, как сделать лучше, — делайте. Но сначала согласуйте все с редактором: возможно, он уже сталкивался с подобным и знает, как поступить, или просто поможет найти решение.

Виды тестов

Тесты-квизы: с правильными и неправильными ответами:

1. С одним верным вариантом ответа. Например, тест «Знаете ли вы, чем лечат себя россияне?».
2. С несколькими верными вариантами ответа. Например, тест «Какие финансовые вопросы россияне решают с помощью поисковика?».
3. Со счетчиком: он считает заработанное или штрафы. Например, тест «Сможете ли вы избежать штрафов в другой стране?».

Тесты-стратегии: без правильных и неправильных вариантов ответов:

1. С возможностью выбрать один вариант ответа. Например, тест «Насколько хорошо вы спите по сравнению с другими россиянами?».
2. Экспресс-тесты: собирают статистику. Пример: тест «Как низко вы готовы пасть ради денег?».
3. Со счетчиком: считает потраченное. Пример: тест «Сможете ли вы потратить 10 млрд юаней?».
4. С возможностью выбрать несколько вариантов ответа. Эта механика пока в разработке.

Квесты: тесты с разветвленной системой ответов. Формат пока в разработке.

Форматы вопросов и ответов

В вопросах могут быть заголовок, текст, картинка. Что-то одно из этого или все вместе.

Ответы бывают следующие.

Радиокнопки:

1. С текстом и картинкой. Например, тест «Угадайте, о каком товаре этот отзыв с „Алиэкспресса“».
2. С тайлами. Например, тест «Сколько могла бы стоить ваша самая безумная свадьба?».
3. С видео. Например, тест «В какой богатейшей российской семье вы могли бы родиться?».
4. С аудио. Например, тест «В какую теплую страну вам пора переехать?».

Тайлы:

1. С текстом. Например, тест «Насколько вы типичный читатель Тинькофф-журнала?».
2. С картинками. Например, тест «Угадайте, кто из российских звезд зарабатывает больше».

Чекбоксы:

1. С текстом.
2. С тайлами.
3. С аудио.
4. С видео.

Ползунок. Например, тест «Угадайте, сколько стоит отдых в российских отелях этим летом».

Механики подсчета результатов

Подсчет баллов:

1. Сумма правильных ответов. Каждый вопрос содержит верные и неверные ответы. Если пользователь выбрал верный ответ, то счетчик увеличивается на единицу или любое другое количество баллов. Если неверный — счетчик не меняется. Результат зависит от количества правильных ответов. Примеры: «Кто вы в мире госзакупок?» и «Угадайте, сколько стоят эти вещи из СССР».
2. Сумма набранных баллов. Каждому ответу присваивается стоимость, результат теста зависит от набранной суммы. Примеры: «Поборы в школе: сдать или затаиться?», «Сколько стоят похороны вашей мечты?» и «Сколько вы зарабатывали в прошлой жизни?».

Частотность ответов. Каждый ответ в вопросе принадлежит одной из групп. После прохождения теста отображается результат, у которого группа была выбрана наибольшее количество раз: если больше А, то один результат, если больше Б — другой. Баллы могут быть в виде букв или цифр.

Пример: «В какой европейской стране вам будет комфортно жить?».

Квест. Каждый следующий вопрос зависит от выбранного ответа. Результат выдается в зависимости от последовательности вариантов ответов.

Пример: «Имущественный вычет: сколько вам вернут при покупке квартиры?».

В результатах могут быть:

1. Счет — потраченного, заработанного, штрафов. Например, тест «Сможете ли вы разбогатеть на акциях?».
2. Видео. Например, тест «Собери их все: смогли бы вы работать в налоговой?».
3. Перечисление особенностей. Например, тест «Какое ваше финансовое тотемное животное?».

Рубрики

1. «Психология» — тесты в формате «Какой вы?..» про людей и их предпочтения.
2. «Безумие» — развлекательные тесты, гороскопы, странное.
3. «ЕГЭ» — тесты на знания и финансовую грамотность.
4. «Микротесты» — тесты из одного вопроса.
5. «Финансовое чутье» — тесты на тему чужих зарплат и стоимости чего бы то ни было.
6. «Форумы и новости» — тесты на тему фольклора, россиян и того, как они живут.
7. «Другое» — все, что не подходит под вышеперечисленное.

Подборки

1. Тесты для тех, кто хочет узнать себя.
2. Тесты для тех, кому нечем заняться.
3. Тесты для эрудированных.
4. Тесты из одного вопроса.
5. Тесты на финансовое чутье.
6. Беспощадные тесты о жизни в России.
7. Тесты для тех, кто ищет место для жизни.
8. Тесты для тех, кто хочет сохранить деньги.

Шаблоны

Если вы хотите сделать тест, приходите с идеями. У вас должен быть черновой заголовок и описание на абзац, в чем ваша идея и как вы хотите ее реализовать: в каком формате, на каких источниках, что будет в результатах.

Если тест готов и вы хотите показать его редактору, то самый беспроигрышный способ оформления — шрифт Arial, 11-й кегль. Обратите внимание на обязательные пункты, которые вам нужно учесть. Например, заголовки и подзаголовки для шеров результата теста в соцсетях. Вот примеры, как все может быть оформлено:

• шаблон теста с вариантами ответов;
• шаблон теста с ползунком.

Время на прочтение
7 мин

Количество просмотров 77K

Дайте-ка угадаю: вы согласны с тем, что писать тесты — это хорошо. Это повышает надежность системы, ускоряет разработку, проект с хорошим тестовым покрытием поддерживать легко и приятно, а TDD — это вообще почти идеал процесса разработки. Но не у вас в проекте. То есть, оно клёво, но, к сожалению, сейчас столько работы — просто завал. Куча задач, одних только критических багов — два десятка, плюс надо срочно дописать этот модуль и еще написать письмо заказчику… Так что тесты, наверное, будем прикручивать уже в конце, если время останется. Или в следующем проекте. Нет, ну там точно полегче будет. Скорее всего.

Как, узнали ситуацию?

Так вот — чушь всё это. Сфера ИТ — бесконечна, как вселенная, куча работы будет всегда. Можно или начать писать тесты прямо сейчас, или не сделать этого никогда. Я тут набросал короткий план, как начать это делать за 10 шагов, по шагу в день, по 10 минут на шаг. И когда я говорю «10 минут» я имею в виду не «3 с половиной часа» и не «ну сколько-то времени, лучше побольше», а именно 600 секунд. Если у вас нету в день 600 секунд свободного времени — срочно меняйте проект, работу, профессию, страну проживания (нужное подчеркнуть), потому что это не жизнь, а каторга какая-то. Поехали.

1. Выбираем фреймворк для тестов

Не вздумайте начинать писать собственный фреймворк с нуля — оно вам надо? Тратить неделю на выбор оптимального фреймворка (да, я видел такую оценку времени на это в планах) — тоже глупо. Вот вам рецепт: набирайте в Гугле best test framework for %language% site:stackoverflow.com. Открываете первые 5 ссылок. Закрываете те из них, где рейтинг вопроса или первого ответа около нуля. Из оставшихся вкладок можно смело брать любой рекомендованный фреймворк из первой тройки с максимальным рейтингом. С вероятностью в 99.5% он вам подойдет. Поскольку на данный шаг вы пока потратили минуты 3, то оставшиеся 7 можно потратить на то, чтобы перейти на сайт фреймворка и посмотреть примеры его использования. Скорее всего, там всё будет просто и понятно (иначе он не был бы в топе рекомендаций). Но если вдруг нет — выберите другой по тому же алгоритму.

2. Пишем Hello world!

Написать Hello, world! нам раз плюнуть. Вот, например, на С++.

#include <iostream>

using namespace std;

int main()
{
	cout << "Hello world!" << endl;
	return 0;
}

А теперь сделаем две вещи.
Во-первых, вынесем генерацию выводимого текста в отдельные функции. Да, в две. Это для того, чтобы потом их можно было тестировать.

#include <iostream>
#include <string>

using namespace std;

string GetHello()
{
	return "Hello";
}

string GetAdressat(string adressat)
{
	return adressat;
}

int main()
{
	cout << GetHello() + " " + GetAdressat("world") + "!" << endl;
	return 0;
}

Во-вторых, вынесем написанные функции куда-нибудь из данного файла. В зависимости от подхода и применяемого языка это могут быть просто отдельные файлы кода или библиотека. Это нужно для того, чтобы потом эти функции вызывать из тестов.
У нас будет так:

#include <string>
using namespace std;

string GetHello();
string GetAdressat(string adressat);

#include "HelloFunctions.h"

string GetHello()
{
	return "Hello";
}

string GetAdressat(string adressat)
{
	return adressat;
}

#include <iostream>
#include "HelloFunctions.h"

using namespace std;

int main()
{
	cout << GetHello() + " " + GetAdressat("world") + "!" << endl;
	return 0;
}

3. Подключаем фреймворк к Hello world!

О подключении фреймворка к проекту наверняка очень хорошо написано на сайте фреймворка. Или на stackoverflow. Или на Хабре. Вот я, к примеру, когда-то описывал подключение Google Test. Обычно всё сводится к созданию нового проекта консольного исполняемого приложения (в скриптовых языках — отдельного скрипта), подключению к нему фрейворка парой include (importusing), подключению к проекту тестируемого кода (включением самих файлов с кодом или подключением библиотеки) — ну и всё. Если вы не верите, что этот шаг можно сделать за 10 минут — откройте Youtube, напишите в поиск название своего фреймворка и пронаблюдайте 20 видеороликов примерно одинакового содержимого, которые это доказывают.

4. Разбираемся с возможностями фреймворка

Для начала нам нужно выяснить:

• Как написать один юнит-тест
• Как запустить юнит-тесты

На эти вопросы обычно отвечают все те же самые статьи, о которых я говорил выше. Не лезьте сразу в дебри фреймворка. Начните с простых тестов, которые проверяют простые вещи. Тут ведь как в спорте — не надо сразу рвать большой вес, нужно сначала поставить правильную технику.

Вот, к примеру, пару тестов для нашего Hello world! на упомянутом выше Google Test:

#include "HelloFunctions.h"
#include "gtest/gtest.h"

class CHelloTest : public ::testing::Test {
};

TEST_F(CHelloTest, CheckGetHello) 
{
    ASSERT_TRUE(GetHello() == "Hello");
}

TEST_F(CHelloTest, GetAdressat) 
{
    ASSERT_TRUE(GetAdressat("world") == "world");
	ASSERT_FALSE(GetAdressat("not world") == "world");
}

int main(int argc, char **argv) {
    ::testing::InitGoogleTest(&argc, argv);
    return RUN_ALL_TESTS();
}

5. Подключаем фреймворк к настоящему проекту

Мы уже умеем подключать фреймворк к проекту. Помните, делали на шаге №3? Всё получилось. Теперь давайте сделаем это для боевого проекта. Положите все необходимые файлы фреймворка себе под SVNGitTFSчего-у-вас-там. Сделайте тестовый проект. Подключите к нему фреймворк. Включите сборку тестового проект в процесс сборки вашего продукта. Проверьте сборку в дебаг и релиз-конфигурациях. Комитните тестовый проект, запустите сборку на билд-сервере. Всё должно быть ок. Не нагружайте пока ваших коллег появлением тестового проекта — во-первых, вы ничего не сломали, во-вторых, хвастаться вам тоже пока нечем.

6. Тестируем что-нибудь простое

Вы помните, каким образом мы выше вынесли из Hello world! часть функционала во внешний код? Обратите внимание, какими получились эти функции: они не зависят ни от глобальных переменных, ни от состояния каких-то объектов, ни от внешних данных из файлов или баз данных. Резальтат зависит только от переданных аргументов. Найдите в своём проекте что-то аналогичное. Наверняка ведь у вас есть какие-нибудь функции конвертации чего-то куда-то, сериализациидесериализации, упаковкираспаковки, шифрованиядешифрования и т.д. Не думайте пока о том, насколько нужный и полезный функционал вы тестируете. Ваша задача — написать простой тест, но для боевого проекта. Запустить, увидеть «1 тест успешно пройден».

Кстати, именно на этом этапе очень часто к скептикам приходит озарения. Вдруг оказывается, что самый простой тест, на самую элементарную функциональность — вдруг провалился. Лезем в код — и вдруг находим что-то типа

return 12; // TODO: implement later 

И оказывается, что основной код просто пока вызывал эту функцию с такими аргументами, что всё было ок, но в любой момент это могло измениться.

7. Тестируем что-нибудь посложнее

Вы уже умеете тестировать простые вещи. Теперь разберитесь как тестировать что-то, имеющее внешние зависимости. Посмотрите, как ваш фреймворк предлагает делать подготовку к запуску теста и очистку после него. Разберитесь, что такое моки и стабы. Подумайте как протестировать какой-нибудь ваш код, читающий данные из файла или из базы. Легко ли подменить источник входных данных? Может быть стоит слегка изменить код, чтобы это стало легче? Сделайте это, если нужно. Напишите для этого кода тест.

8. Пишем тест на баг

Как обычно выглядит ваша работа над багом? Вы берёте его из багтрекера, пробуете воспроизвести, если не получается — возвращаете тестеру, если получается, занимаетесь отладкой для понимания его местоположения, находите кусок кода с ошибкой, исправляете, тестируете, отдаёте тестеру. Отлично. А теперь попробуйте при работе над следующим багом между шагами «находите ошибку» и «исправляете» добавить ещё один шаг — написать тест на эту ошибку. Такой, чтобы он падал для текущего кода. Это огромное кайф, исправить код — и не лезть тестировать его руками, а запустить падавший пару минут назад тест и увидеть «успешно» на его выходе. Кроме этого эстетического удовольствия, этот тест можно отдать тестеру и использовать в дальнейшем для регрессионного тестирования (а ещё — для тестирования побочных веток продукта, проекта «в поле», и т.д.). Конечно, не всё и не всегда можно так протестировать, бывает тяжело с UI, с кроссбраузерностью, с многопоточностью. Не заморачивайтесь в случае, если написание теста займёт у вас много-много часов. В конце-концов, эта технология ведь призвана облегчить вашу жизнь, а не заставить плясать под свою дудку.

9. Первый раз TDD

Как обычно выглядит ваша работа при разработке нового функционала? Наверное, вы сначала думаете. Потом проектируете то, что будете делать — набрасываете названия интерфейсов, классов, потом названия методов, наполняете их реализацией, запускаете, отлаживаете. Отлично, менять почти ничего не надо. Просто в тот момент, когда у вас уже есть интерфейсы, классы и названия методов, но еще нет их реализации — напишите для них тесты. Простенькие — вызвали метод — проверили результат. Обратите внимание, как уже на этом этапе вы заметите нелогичность некоторых имён, недостаток или излишество аргументов в методах, ненужные или отсутствующие зависимости и т.д.. При этом сейчас пока что это исправить — почти ничего не стоит (ведь реализация ещё не написана). Подправили архитектуру, дописали тесты, запустили — увидели кучу проваленных тестов. Отлично, так и должно быть. Написали реализацию, запустили тесты — увидели большинство из них пройденными, исправили ошибки, добились успешного прохождения всех тестов — отлично, дело сделано. Вы чувствуете, как хорошо стало, какое моральное удовлетворение вы получили? Оно слегка напоминает удовольствие от получения какой-то ачивки в игре. А почему? А потому, что его можно измерить! «Код проходит 18 тестов при тестовом покрытии в 90%» — это звучит круче, намного круче чем «ну, фича вроде бы реализована, я так потыкал немножко, кажется, не падает». Это даёт право гордится. Идешь домой — и чётко понимаешь, что-то за день сделал полезное, это «что-то» измеримо, ощутимо, реально.

10. Прикручиваем запуск тестов к CI-серверу

В тестах мало смысла, если их не запускать. Запускать их вручную — долго и бессмысленно. Наверняка у вас есть билд-сервер с каким-нибудь TeamCity или CruiseControl, где собирается ваш продукт. Так вот, большинство хороших билд-серверов сразу, из коробки, поддерживают запуск тестов и даже парсят их логи и рисуют красивые отчёты. Соответствие тут, конечно, не «все совместимы со всеми», но если вы взяли тестовый фреймворк по совету в начале статьи — шансы на то, что всё заработает очень высоки. К примеру, упомянутые мною TeamCity и Google Test прекрасно дружат между собой.

Послесловие

Дотошный читатель может заметить, что пункты начиная где-то с седьмого-восьмого скорее всего не впишутся в заявленные в заголовке «10 минут на шаг». Что тут можно сказать? Считайте, что я, нехороший человек, вас слегка наколол. Однако, если вы на практике с праведным негодованием прошли эти пункты, то:

1. У вас уже есть проект, к которому прикручены тесты. Они запускаются, работают, их больше нуля и они уже приносят вам пользу.
2. Вы получили опыт во всём этом деле.
3. Во второй раз у вас получится серьёзно быстрее.

Вот и решайте, стоило оно того или нет.

Где-то пункта после 8-го — хорошее время чтобы представить тестовый проект вашей команде. Объясните в 2-3 абзаца что и как, покажите простенький пример теста, заметьте, что, мол, «feel free to add your own tests», но особо не напирайте пока. Если у вас писать тесты было не принято, скорее всего первым впечатлением будет осторожный скепсис и непонимание. Это быстро лечится после второго-третьего упоминания на совещании о том, что, мол «а этот баг мы нашли благодаря тесту» или «а вот тут написан тест и мы сразу узнаем, если оно сломается снова». Программисты — народ рациональный, они поймут и подтянутся.

← Предыдущий урок
Это шестой урок из цикла «Марафон: как создать онлайн-курс». Для полного погружения в тему, лучше начните с первого.

В этой статье вы узнаете как быстро создать свой первый электронный тест. Для это вам понадобится бесплатная пробная версия программы iSpring Suite. Вы сможете создать неограниченное количество тестов. Скачать iSpring Suite→

Онлайн-тест — главный инструмент для проверки знаний в дистанционном обучении. Однако при разработке теста часто возникает вопросы:

• сколько заданий нужно придумать;
• какие типы вопросов выбрать;
• какой выставить проходной балл;
• нужно ли ветвление;
• сколько времени отвести на тестирование и еще вагон «как», «зачем», «почему».

В этой статье основатель студии по разработке электронных курсов New York Александр Виноградов подробно разберет как сделать качественный онлайн-тест в конструкторе iSpring Suite, чтобы провести тщательную «диагностику» знаний сотрудников.

Редактор iSpring Suite позволяет создавать 14 типов тестов, разрабатывать уникальный дизайн для заданий, добавлять озвучку к текстам:

Шаг 1. Определите тип теста

Работа над тестом очень похожа на разработку электронного курса. Стартовая точка та же — поставить цель.

Чего вы хотите добиться, создав тест? Ответив на вопрос, легче определиться с типом практического задания.

По целям тесты в электронном курсе делятся на два типа:

1. Обучающие — помогают закрепить изученный материал. Обычно такой тест ставят после каждой главы в курсе в качестве небольшой практики. Условия тепличные: нет ограничения по времени, штрафов за неправильный ответ. На решение задачи дается несколько попыток, после каждой ошибки пояснения — почему ответ не верный.
2. Аттестационные — помогают «просканировать» знания сотрудника. Обязательные условия: ограничения по времени, одна попытка на ответ, нет пояснений к каждой ошибке. Тест показывает,  удалось ли курсу попасть «точно в цель» – чему по факту вы обучили сотрудников.

Шаг 2. Выберите типы вопросов

Обычно при составлении тестов в iSpring  Suite используют арсенал из 11 оценочных вопросов:

Верно/Неверно — пользователь должен определить, верно или ложно утверждение в вопросе. Это самый простой вариант задания.

Выбор одного ответа — пользователю нужно выбрать один правильный ответ из предложенных вариантов.

Выбор нескольких ответов — нужно выбрать верные варианты из списка. Задания такого типа сложнее, чем «Одиночный выбор», т.к. количество правильных ответов заранее  неизвестно. Ответить методом «тыка» не получится.

Краткий ответ — здесь нет никакого выбора, пользователю нужно ввести правильный ответ в текстовое поле. Чтобы не ошибиться, важно хорошо разбираться в теме.

Последовательность — пользователя просят расположить элементы в верной последовательности. Такой тип вопроса подойдет, если нужно восстановить хронологию событий, расставить числа по возрастанию/убыванию.

Числовой ответ — нужно ввести число в поле для ответа. Здесь нет никаких подсказок, как и в типе вопроса «Ввод строки». Угадать правильный ответ невозможно.

Выбор из списков — тестируемого просят выбрать правильный вариант из выпадающего списка.

Перетаскивание слов — нужно вставить слова из банка слов на место пропусков в тексте. Это тип вопроса, аналогичный «Вложенным ответам».

Заполнить пропуски — нужно заполнить пропуски, встречающиеся в тексте. Это усложненная версия «Вложенных ответов» и «Банка слов». Такой тип вопроса подойдет, если нужно проверить, к примеру, насколько хорошо сотрудник заучил определенное правило.

Соответствие — нужно соединить пары слов, фраз или изображений. Добавьте несколько лишних вариантов соответствия, чтобы усложнить вопрос.

Оптимальное задание содержит от 4 до 10 условий. Соответствия можно провести между: понятиями и определениями, текстом и изображением, списком авторов и цитатами, датами и событиями.

Выбор области — сотрудник должен отметить области на изображении с помощью маркеров. Если отнестись к работе творчески, можно придумать интересное практическое задание. Например, такое:

Чтобы тест был максимально точным и правдивым, он должен соответствовать правилу 30/40/30.

При таком раскладе на интуицию и везение рассчитывать сотрудникам не придется.

Шаг 3. Продумайте текст вопросов

КПД теста во многом зависит от того, насколько грамотно сформулированы задания. Не забывайте, что сотрудник, который держит экзамен — один на один с проверочным материалом. Если он не поймет вопрос, посоветоваться не с кем — придется отвечать наугад. А это уже минус к объективности конечного результата. Потому важно тщательно проработать каждое задание. Вот несколько рекомендаций:

• Не усложняйте. Вопрос должен быть простым и четким. Постарайтесь не писать длинных сложноподчиненных предложений с деепричастными оборотами. Максимальное количество слов: 20.

• Избегайте повторов и двойного отрицания по типу «не/не». Пример: «Программа Paint не является программой для работы с электронными таблицами. Варианты ответов: Да-Нет». Сложно понять, что от тебя хотят:  и в задании, и в ответе есть отрицание.

• Выжигайте кислотой неточные факты, цифры и слова по типу «примерно», «сколько-нибудь», «хотя бы». «Чему примерно равно значение постоянной Пи?». Ну, примерно, трём. Глупый вопрос порождает глупые ответы.

• Начинайте открытые вопросы со слов: «что», «сколько», «когда», «для чего», «как», «почему».

• Избегайте невольных подсказок, когда текст вопроса наводит на правильный ответ.

Шаг 4. Проработайте варианты ответа для каждого задания

На этом этапе к каждому сформулировану вопросу нужно подобрать правдоподобные дистракторы — варианты ответа, призванные сбить с толку и отвлечь внимание. На что обратить внимание:

• Используйте простые формулировки без сложных оборотов.

• Правильные ответы и дистракторы должны совпадать по содержанию, структуре и общему количеству слов.

• Не используйте варианты ответов из рода «ни один из перечисленных» и «все перечисленные», особенно для типа вопросов «Одиночный выбор».

• Для вопросов типа «Пропуски» избегайте вариантов, в которых можно допустить ошибку: «Москва» и «москва», «Кэрролл» и «Кэррол». Ведь если сотрудник напишет нужное слово, но не стой буквой, тест это не засчитает. Итоговая оценка окажется необъективной.

Шаг 5. Продумайте параметры тестирования

Настройки тестирования зависят от цели: обучить или устроить жесткий экзамен.

Настройка баллов

При создании теста часто возникает вопрос — какой проходной балл выставить. Универсального рецепта нет. Отталкивайтесь от цели.

К примеру, вы собираете для продавцов обучающий тест по основам тайм-менеджмента. Цель — сотрудники должны закрепить изученный материал, вспомнить, что уже забыли. Проходной балл здесь можно поставить на отметке 70-80.

Если же вы проверяете аттестуете врачей по теме «Анатомия нервной системы»,  то здесь можно поставить и все 100 баллов для прохождения. Ведь в реальности каждая ошибка медика может стоить человеку жизни.

Подробнее о том, как установить баллы за правильные и штрафы за неправильные ответы, можно прочитать здесь.

В каком типе теста использовать: обучающий и аттестационный.

Случайная выборка вопросов

Оптимальная длина теста — 25-30 вопросов. Но лучше сделать, что называется, «с запасом» — общий банк заданий должен быть в 3-4 раза больше. К примеру, в тест включаем пул из 75 вопросов, а сотрудники в случайном порядке получают лишь 25-30. В итоге у каждого пользователя тест отличается по содержанию — сложно будет списать у товарища.

Как сделать тесте iSpring Suite случайную выборку вопросов из общего банка, смотрите в коротком видеоуроке.

Ограничение по времени

Чтобы сотрудники не списывали, выставите также время на прохождение теста. Я обычно выделяю на задания от 10 минут до получаса — все зависит от сложности теста.

Если сотрудник полный ноль в теме, то ему никакие шпаргалки не помогут правильно ответить на все вопросы и уложиться в срок.

В iSpring Suite вы можете ограничить время на выполнение всего теста или отдельных вопросов:

Количество попыток

Если вы хотите провести максимально точную «диагностику» знаний сотрудников, введите одну попытку на ответ — тогда будет сложно решить задание методом «тыка». Сделать это можно в несколько кликов:

Ветвление

Если вы создаете обучающий тест, важно настроить ветвление. Это поможет сотрудникам восполнить пробелы в знаниях и лучше усвоить изученный материал.

Суть: когда пользователь ошибается, то попадает на слайд с дополнительной информацией по теме вопроса. Если отвечает правильно — переходит к следующему заданию. Как настроить ветвление, смотрите здесь:

Обратная связь

Вспомните тесты в школе или институте. После проверки преподаватель раздавал тетради, где красной пастой были зачеркнуты неверные ответы. Часто хотелось спросить: «А почему здесь неправильно?».

В дистанционном обучении происходит то же самое, однако учителя нет рядом. И все же электронный тест может автоматически дать обратную связь по каждому неверному вопросу, как в этом примере:

За счет такого подхода тестируемому проще понять, что неверно в его ответе и какой вариант правильный. Чтобы настроить обратную связь в iSpring Suite, потребуется пара минут:

Шаг 6. Озвучьте и оформите вопросы

Далеко не всегда сотрудники охотно проходят тест. Как правило, это одна из самых неприятных частей электронного курса. Чтобы подсластить «горькую пилюлю», поработайте над оформлением теста или придумайте интересные интерактивные задания.

Дизайн вопросов

Каждый вопрос теста можно выполнить в уникальном дизайне: настроить шрифт, макет или выбрать цветовую тему для вопроса.

Озвучка вопросов

К каждому вопросу в тесте можно добавить аудиофайл или записать звук прямо в iSpring Suite, а после отредактировать с помощью встроенного редактора:

При должном подходе можно придумать интересные интерактивные задания, которые сильнее разожгут любопытство сотрудников.

Подробное руководство о работе с тестами в iSpring Suite вы можете прочитать здесь.

Когда запускать тесты

После каждого модуля в курсе. Я рекомендую делать так в объемных курсах с большим количеством информации.

Вот курс компании «Ёрд» — «Тактическое управление». Он учит руководителей правильно выстраивать работу с подчиненными.

Курс в 120 файлов поделен на четыре больших урока. В каждом: кейсы, инструкции, советы по работе. После каждого раздела — небольшой тест в 7-10 вопросов. Это помогает сотруднику крепче запомнить важное.

А теперь представьте, что промежуточных тестов нет. Вы листаете слайды один за другим, информационный шум в голове нарастает и, когда он достиг предела, — бац — тест в 100 вопросов по всем темам. Нерадостный сюрприз.

По итогам курса. Итоговый тест должен быть в каждом курсе. Иначе как вы измерите пользу от электронного тренинга.

По итогам программы обучения, то есть комплекса курсов по глобальной теме. Это своеобразный аналог посттренинга. Результаты покажут насколько хорошо сотрудник применяет полученные знания на практике.

В рамках общей аттестации. Тест показывает остаточные знания сотрудников. Для этих целей можно использовать итоговый тест курса или создать новый.

Как и по каким метрика оценивать результаты тестирования, подробнее читайте в статье «12 отчетов в СДО, которые помогут повысить эффективность обучения».

Тесты в цифрах

Более 80% зарубежных компаний при помощи тестов оценивают соискателей и сотрудников.

69% компаний России тесты помогают при найме персонала. Остальные используют их для оценки квалификации действующих сотрудников.

$500 миллионов — объем рынка тестирования в российских и зарубежных компаниях. Рынок складывается в основном из услуг внешних рекуртеров, подбирающих заказчикам сотрудников при помощи тестов, и компаний, эти тесты создающие. Среди них Multi-Health Systems, Captevrix, Hogan Development Survey.

Источники: Harvard Business Review, The Wall Street Journal, SHL Russia & CIS, РБК.

Дополнительные статьи по теме

• Создаем drag-n-drop вопрос с изображением в iSpring Suite
• Запрещаем пользователям пропускать вопросы теста
• Сохраняем результаты тестирования на локальном компьютере
• Отправляем результаты тестирования на сервер

Если вам понравилась статья, дайте нам знать — нажмите кнопку Поделиться.

А если у вас есть идеи как можно улучшить текст — расскажите нам. Мы будем рады доработать материал!

← Предыдущий урок  Следующий урок →

В этой статье речь пойдёт о разработке образовательных тестов — заданий по проверке предметных знаний и навыков. Но в целом описанные правила универсальны: тесты для оценки психологических качеств или софт-скиллов разрабатываются аналогично.

Вы узнаете:

• можно ли с помощью теста, где учащийся выбирает из вариантов ответов, проверить, как он умеет рассуждать;
• можно ли измерить тестом не просто знание фактов, а понимание учебного материала;
• чем трудные задания отличаются от сложных и почему трудным тест может быть, а вот сложным его лучше не делать;
• с каких заданий лучше начинать — простых или трудных;
• какое количество вариантов ответа оптимально;
• как проверить, работает ли тест.

Психометрики называют тестом любой инструмент измерения — и ролевую игру, и эссе, и оценку портфолио. Мы подробно разберём инструмент, за которым в русском языке закрепилось слово «тест» в узком значении, — вопросы с выбором ответа из предложенных вариантов.

У стандартизированных тестов в образовании не лучшая репутация. Но психометрики по-прежнему отстаивают такой способ измерения: тесты с выбором ответа масштабируемы, справедливы и объективны. Это значит, что по одному и тому же тесту можно проверить сколько угодно учащихся, причём все будут в равных условиях, а на результат не повлияет ничьё постороннее мнение.

Но в то же время любой психометрик скажет вам, что тесты с выбором ответа — не универсальный инструмент. Способ проверки знаний выбирают с учётом того, какой именно конструкт необходимо измерить. Конструктом в психометрике называют свойство психики или способность, которые нельзя наблюдать напрямую, но можно измерить по внешним поведенческим признакам.

Для каких конструктов подходят тесты с выбором ответа? Это практически идеальный инструмент для оценки знания фактов и сугубо технических навыков. Например, для проверки знания о том, как отделить команды друг от друга при программировании на определённом языке.

А вот проверить, как учащийся умеет рассуждать, взаимодействовать с коллегами или находить практическое решение в сложной ситуации, тест с выбором ответов не поможет. Чем сложнее природа конструкта, тем более гибким должен быть инструмент измерения.

Такие тесты способны выявить не любые знания. В любой дисциплине есть простые факты, и по ним легко написать вопросы с несколькими вариантами ответа. Например, спросить, в каком году Колумб открыл Америку.

А есть элементы знания, для которых простого запоминания недостаточно. Например, если мы хотим спросить, какие события и явления стали предпосылками для открытия Америки, вопрос с выбором ответа из нескольких уже не так хорош.

Каждый преподаватель хочет, чтобы студенты не только помнили факты, но и понимали материал. Но, увы, понимание как таковое пока невозможно измерить. Может быть, нейронауки в отдалённом будущем дадут возможность следить за всем, что происходит внутри черепной коробки каждого ученика. Но сейчас психометрика работает с тем, что можно наблюдать, с поведенческими проявлениями. У понимания таких универсальных проявлений нет.

Потому в педагогических измерениях, когда нужно оценить более глубокие, не фактологические знания, измеряют не само по себе понимание, а умение интерпретировать или анализировать. И более практичны, чем тесты с выбором из нескольких вариантов, тут задания с открытым ответом или компьютерные симуляции и игры. В таких инструментах среда тестирования будет более гибкой, чем стандартизированные тесты.

Если ваша задача — проверить усвоение фактологических знаний или отдельных навыков, тест с выбором ответов вполне подойдёт. Чтобы составить и распространить такой тест, не нужны сложные цифровые сервисы. Для базовых задач вполне достаточно форм Google или «Яндекса».

В этом разделе статьи разберёмся с основными вопросами о том, как составить хороший тест. А если нужно узнать по этой теме больше, советую книгу: Haladyna T. M., Rodriguez M. C. Developing and validating test items (Routledge, 2013) — и другие работы её авторов. Правда, на русском языке она, к сожалению, не выходила.

К концу теста любой учащийся устаёт. Поэтому последние задания зачастую уже не дают никакой информации о знаниях тестируемого. Получается, делать тест слишком длинным нельзя.

Но и коротким он быть не может — у небольших тестов ниже надёжность. На какой-то вопрос учащийся даст неверный ответ по невнимательности, а где-то, наоборот, случайно угадает правильный вариант. Если тест будет достаточно объёмным, больше шансов, что такого рода ошибки уравновесят друг друга и итоговый результат будет достоверен.

Так как определить, какой длины должен быть тест? Нужно отталкиваться от времени на решение одного задания. Оно зависит от трудности и может составлять от нескольких десятков секунд до пяти минут. Также стоит учитывать возраст учащихся:

• Детям до подросткового возраста нельзя давать задание дольше, чем на 20 минут, — или нужно предусмотреть возможность перерыва в тесте.
• Для старших подростков и студентов, а также взрослых лучше исходить из продолжительности привычного занятия. Например, для старшеклассника нормально посвятить тесту урок в 45 минут (или два урока с переменой между ними). А для студентов уже можно написать тест и на 80 минут.
• В дополнительном образовании взрослых следует учитывать, что взрослый человек уже не считает себя обязанным участвовать ни в каких тестах. Ему нужна дополнительная мотивация. Например, можно пообещать индивидуальную обратную связь по результатам теста (и потом обязательно её предоставить!).

Золотое правило таково: чем больше часов на тему отведено в курсе, тем больше вопросов в финальном тесте. Потому что изначально, когда курс составлялся, большее число часов было запланировано на более важную тему.

Если темы не слишком дробные, хорошо бы поставить минимум три вопроса на каждую. Опять же, потому, что случайные ошибки уравновесят друг друга. Но обратную связь потом лучше давать не только по каждому отдельному заданию, но и по теме в целом.

Небольшое отступление: в психометрике задание может быть трудным, но не сложным. Трудность в этой науке понимают так же, как обычно в русском языке. Чтобы справиться с трудным заданием, нужно обладать высоким уровнем знаний по теме. Скорее всего, немногие ученики решат трудное задание.

А сложность — отдельное психометрическое понятие. Оно характеризует, сколько действий и когнитивных операций нужно выполнить в процессе решения. Возьмём математический пример. Задание разделить 0,219 на 0,365 трудное, но не сложное: оно состоит всего из одного действия.

И начинать тест следует с более лёгких заданий, то есть с нетрудных. В начале теста уровень стресса всегда выше, что искажает результаты. Если вопросы в тесте распределены по тематическим блокам, можно в каждом из них располагать задания от лёгких к трудным.

Кстати, вопрос о распределении по тематическим блокам сам по себе непростой. С одной стороны, правильнее, чтобы тестируемый концентрировался в каждый момент теста на одной теме. С другой стороны, иногда важно проверить, может ли он быстро переключаться с одной проблемы на другую.

Как именно поступить, решают в зависимости от дисциплины и задач теста. Но важно ставить всех тестируемых в одинаковые условия, чтобы результаты были сопоставимы.

В целом делить на блоки тест правильно: так тестируемый увидит, что тест не бесконечен. В ситуации компьютерного тестирования, когда нельзя пролистать задания и понять, сколько ещё осталось, это важно. И, конечно, нужно предупредить, если время на ответы ограничено.

Наиболее привычны сегодня тесты как в ЕГЭ — с четырьмя вариантами ответа. Иногда можно услышать, что это связано с объёмом рабочей памяти: якобы четыре варианта появились, потому что именно такое количество элементов средний человек способен одновременно удерживать в уме.

Психологи-когнитивисты такое обоснование считают ненаучным. Скорее всего, к четырём вариантам ответа практики пришли случайно, и ничего биологически или психологически заданного в этой цифре нет. Вариантов может быть и меньше — например, три.

А вот придумать больше неверных ответов обычно затруднительно.

Создание неправильных вариантов ответа — на самом деле сложное психометрическое мастерство. Не зря их называют дистракторами, то есть отвлекающими внимание от верного варианта.

Суть в том, что неправильные ответы должны быть похожи на правильный и привлекательны. Очевидно неправильных ответов нужно избегать, как и ответов из другой области. Например, если в вопросе стоит формулировка «В каком году?», все ответы должны быть датами примерно из одного диапазона.

Но неверные варианты не должны содержать в себе правильный ответ или какую-то его часть — иначе нужно в вопросе объяснить, что тестируемый должен выбрать самый правильный ответ.

Высший пилотаж — неправильные варианты на основе типичных ошибок студентов. Это позволяет давать более глубокую обратную связь: не просто показывать, где учащийся ошибся, а анализировать, почему он выбрал именно такой неправильный вариант.

Кроме надёжности, у любого теста есть ещё одно важное качество — валидность. По классическому определению, валидность — свойство теста измерять то, на что он направлен. Более современное определение гласит, что результаты валидного теста можно интерпретировать в той логике, в которой он создан.

И иногда на валидность может повлиять просто то, что тестируемый иначе (но не неправильно!) смотрит на ситуацию в задании.

Возьмём пример из теста на критическое мышление, разработанного в ВШЭ. Это тест‑симуляция онлайн-среды, в ней нужно общаться с ботом. Одна из задач — получить недостающую информацию для рецепта торта.

По идее, тестируемый должен задать боту конкретный вопрос, например: «Сколько яиц нужно добавить?» Но человек может начать с приветствия, и не потому, что не понял задание. Сказать «Привет, как дела?» перед тем, как уточнять рецепт, вообще‑то нормально. Но если об этом не подумать при составлении теста, такой ответ будет оцениваться как ошибочный.

Одно из частых опасений по поводу тестов и причин, почему в них предлагают добавлять больше вариантов ответа, — «угадайка». Кажется, что в задании с двумя вариантами ответа вероятность угадать составляет 50%. Но это верно только в случае, когда весь тест состоит из одного вопроса с двумя вариантами ответа.

Если добавить второй вопрос, в котором не будет подсказок к первому и наоборот, вероятности просто перемножатся. И шанс случайно угадать правильные ответы составит уже 25%. В случае с тестом из десяти заданий вероятность ответить на всё правильно случайно пренебрежимо мала.

Но такой расчёт справедлив только для тестов с хорошо написанными неправильными ответами.

На магистерской программе Института образования психометриков учат проверять работоспособность тестов все два учебных года. Попробуем коротко разобрать, что именно они изучают.

Проверить тест можно качественным или количественным методом. Качественный метод представляет собой интервью. Разработчик теста выдаёт задания представителю целевой группы, наблюдает за ним и расспрашивает. Так можно выяснить, всё ли понятно в заданиях, что именно тестируемый делает для решения, какие вопросы ставят его в тупик, а какие кажутся слишком простыми.

Цель качественной проверки — убедиться, что решение теста задействует именно те когнитивные процессы, которые требовалось вовлечь (скажем, тестируемый действительно решает математическую задачу, а не навскидку выбирает из вариантов наиболее подходящий), что варианты-дистракторы не содержат элементов правильного ответа, что все инструкции к тесту понятны и так далее.

Оценка работоспособности теста количественными методами — как раз психометрика в узком смысле слова. Проводится она через статистический анализ, для которого нужно порядка 100 наблюдений.

Понятно, что для каждого курса такую проверку не проведёшь, обычно достаточно интервью. Но количественная оценка обязательна, если по результатам теста принимается какое-либо решение — о зачислении на курс, о сертификации.

В результате разработчик теста получит все те же данные, что и при качественной оценке. К тому же количественная оценка покажет, какие вопросы и утверждения не измеряют то, что должны, а какие вообще избыточны — тест работает и без них.