Учебный квиз: как составить вопросы, которые проверяют, а не путают

Правила существуют, и они проверены

Учителя составляют тестовые вопросы на глазок — и это не упрёк, а следствие того, что нигде не учат. Между тем область изучена. Haladyna, Downing и Rodriguez в 2002 году в Applied Measurement in Education опубликовали таксономию из 31 правила составления заданий с выбором ответа, специально для классного оценивания. Правила они собрали из 27 учебников по педагогическим измерениям и сверили с 27 исследованиями и обзорами, вышедшими с 1990 года.

Полезнее всего в этой работе не сам список, а его структура: правила разделены на содержание, форматирование, стиль, написание основы вопроса и написание вариантов ответа. Большая часть школьных ошибок живёт в последних двух разделах — в основе и в вариантах. Их и разбираю подробно.

Сразу оговорка про смысл всей затеи. Хороший вопрос нужен не ради красоты, а потому что эффект даёт извлечение из памяти. Если правильный ответ виден по длине строки или по грамматике, извлекать нечего, и все цифры про пользу частого опроса — g = 0,499 на 222 исследованиях у Yang и коллег — к вашему уроку отношения не имеют.

Основа вопроса: где ломается чаще всего

Основа — это то, что стоит до вариантов ответа. Четыре правила из таксономии Haladyna касаются именно её, и все четыре нарушаются регулярно.

• Главная мысль стоит в основе, а не в вариантах. Плохо: «Митоз — это: а) деление, при котором… б) деление, при котором… в) деление, при котором…». Хорошо: «При каком делении дочерние клетки получают тот же набор хромосом, что и материнская?» Ученик должен прочитать одну длинную строку, а не три.
• Никакого словесного обрамления. «Как известно из курса восьмого класса, который мы проходили в прошлой четверти, при определённых условиях…» — всё это вырезается. Правило прямо называется «избегать оконных занавесок»: лишний текст замедляет чтение и не проверяет ничего.
• Формулировка положительная. Отрицательные конструкции — «что НЕ является», «всё, КРОМЕ» — по таксономии допустимы только с осторожностью, и слово-отрицание тогда пишется прописными и жирным. На практике в школьном квизе я их просто не использую: половина неверных ответов там от невнимательности, а не от незнания.
• Задание понятно без вариантов. Закройте варианты ладонью. Если после этого непонятно, что от вас хотят, вопрос надо переписывать — это отдельное правило про ясность инструкции в основе.

Сколько делать вариантов

Три. Восемнадцатое правило таксономии формулируется мягко — «разработайте столько эффективных вариантов, сколько сможете, но исследования показывают, что трёх достаточно», — и опирается оно на отдельный мета-анализ. Rodriguez в 2005 году в Educational Measurement свёл восемьдесят лет исследований по числу вариантов и получил вывод: переход с четырёх-пяти вариантов на три не ухудшает психометрические свойства теста, а времени экономит столько, что за то же занятие удаётся задать больше вопросов и шире покрыть содержание.

На практике это работает так. Четвёртый вариант почти всегда получается тем, который никто не выбирает: он либо очевидно нелепый, либо повторяет по смыслу один из соседних. Диагностической информации он не даёт, а секунды на чтение отнимает у каждого ученика в классе. На двадцати вопросах это лишние две-три минуты — ровно тот запас, которого потом не хватает на разбор.

Дистракторы: единственное место, где квиз работает как диагностика

Тридцатое правило таксономии звучит буквально так: используйте типичные ошибки учеников для написания дистракторов. Это самое практичное правило во всём списке и самое редко исполняемое. Неверные варианты обычно придумывают, а придумывать их не надо — класс уже всё написал в тетрадях.

Технология простая. Берёте последнюю проверочную, выписываете все неверные ответы, встретившиеся больше одного раза, сортируете по частоте. Два самых частых становятся дистракторами. Дальше по тому, какой именно вариант выбрал класс, вы читаете диагноз: не «половина не знает тему», а «половина складывает проценты от разной базы» или «половина путает причастие с деепричастием по суффиксу».

Неприятный эффект, о котором мало кто знает

У формата с выбором ответа есть побочка, и она документирована. Roediger и Marsh в 2005 году в Journal of Experimental Psychology показали: чем больше неверных вариантов ученик прочитал, тем чаще он потом воспроизводит эти неверные варианты как собственные ответы на открытых вопросах. То есть дистрактор может закрепиться в памяти как знание. Эффект назвали негативным суггестивным.

Хорошая новость в том, что противоядие найдено и оно бесплатное. Butler и Roediger в 2008 году в Memory & Cognition проверили ровно это: обратная связь усиливает положительный эффект тестирования и одновременно уменьшает отрицательный. Проще говоря — если после вопроса вы называете верный ответ и объясняете, почему притягателен неверный, ложное знание не закрепляется.

Практический вывод довольно жёсткий: квиз с выбором ответа без разбора — не нейтральная процедура, а процедура с известным риском. Двадцать секунд объяснения после каждого вопроса снимают его.

Выбор ответа или открытый вопрос

Спор старый, и данные в нём неоднозначны. У Adesope и коллег в 2017 году практика с выбором ответа дала более высокий средний эффект, чем практика с кратким ответом: +0,70 против +0,48. Но здесь важна поправка — в большой части исследований итоговый тест тоже был с выбором ответа, а совпадение форматов само по себе даёт прибавку.

С другой стороны, Kang, McDermott и Roediger в 2007 году показали: краткий открытый ответ работает лучше выбора из вариантов при условии, что даётся корректирующая обратная связь. Без обратной связи преимущество открытого формата пропадает, потому что ученик просто не узнаёт, что ошибся.

Что должен уметь вопрос

Проверка на четыре пункта. Занимает секунд десять на вопрос и отсеивает примерно треть заготовок.

1. Требует шага в голове

   «Дайте определение изотопа» — не требует, пересказать можно и не поняв. «У двух атомов одинаковое число протонов и разное число нейтронов — это изотопы или разные элементы?» — требует.

2. Имеет один проверяемый ответ

   Число, слово, «да» или «нет», один вариант. Девятнадцатое правило таксономии — убедитесь, что верный вариант ровно один. Спорный ответ на уроке убивает темп и порождает разбирательство.

3. Отвечается за 15–30 секунд

   Если нужны три действия и черновик, это задача для урока, а не для квиза. Тринадцатое правило — минимизировать объём чтения в задании.

4. Проверяет важное, а не мелочь

   Второе правило таксономии: опирайтесь на существенное содержание, избегайте тривиального. Год рождения второстепенного персонажа проверяет память, а не понимание темы.

Как проверить вопрос после урока

Составление не заканчивается на уроке — там оно только начинает проверяться. Два показателя, которые считаются в уме за минуту, отделяют рабочий вопрос от бесполезного.

Первый — доля верных ответов. Вопрос, который взяли все, ничего не измерил: класс подтвердил то, что и так знал. Вопрос, который не взял никто, тоже ничего не измерил — он либо про неизученное, либо сформулирован непонятно. Рабочий диапазон в классном квизе примерно от трети до четырёх пятых класса, а самые информативные вопросы — те, где верно ответила примерно половина.

Второй — распределение ошибок по дистракторам. Если неверные ответы легли поровну на все варианты, класс угадывал: содержание вопроса не сработало, и его надо переписывать. Если восемьдесят процентов ошибок сошлись на одном варианте, вы нашли конкретную развилку в понимании, и это самая ценная информация, которую квиз способен дать. Такой вопрос сохраняется в банк без изменений.

Как собрать двадцать вопросов за вечер

Порядок, который у меня отработан. Сорок минут на комплект, если не сочинять содержание с нуля.

1. Выпишите из последней проверочной задания, где ошиблась треть класса и больше. Это каркас комплекта.
2. Переформулируйте каждое в одну строку с коротким проверяемым ответом.
3. Достаньте дистракторы из неверных ответов, встретившихся дважды и чаще. Придумывать не нужно.
4. Приведите варианты к одной длине, одной части речи и одной конструкции.
5. Перемешайте позицию верного ответа по всему комплекту.
6. Припишите к каждому вопросу фразу разбора: почему неверный вариант притягателен.
7. Прочитайте комплект вслух с секундомером. На уроке всё ощущается вдвое длиннее, чем при чтении про себя.

И про долговечность. Комплект, собранный по этим правилам, служит годами: содержание не устаревает вместе с классом, а дистракторы с каждым годом становятся точнее — вы добавляете новую частую ошибку и выбрасываете ту, которую никто не выбрал ни разу. Как из готового банка вопросов быстро собирать наборы под конкретный урок, разбираю в тексте про конструктор квизов, а общую механику формата — в разборе школьного квиза.