Опрос в большой аудитории: телефон вместо поднятых рук
Поднятые руки не измеряют ничего: отвечают одни и те же пятеро, остальные смотрят на них. Разбираю, что даёт голосование с телефона, какое правило принятия решения по результату придумал Мазур и где формат ломается.
Руслан БарашкинЦифровой ведущий, игротехник, предприниматель в event, создатель игр, квизов и игровых механик
«Всем понятно?» — вопрос, на который нельзя ответить
В аудитории на сто пятьдесят человек сигнал обратной связи почти отсутствует. Вопрос «всем понятно» собирает молчание, которое одинаково означает и «да», и «я потерялся на двадцатой минуте и уже не спрошу». Поднятая рука стоит студенту репутационного риска при ста пятидесяти свидетелях, поэтому руку поднимают те же пятеро с первых рядов, и по их ответам вы строите картину всего потока. Это не обратная связь, а систематически смещённая выборка.
Интерактивный опрос в аудитории решает ровно эту задачу: он делает ответ анонимным для соседей и одновременным для всех. Не «кто знает», а «что думает каждый». Разница между этими двумя вопросами и составляет всю ценность формата.
Что известно про голосование студентов
Опорная цифра — мета-анализ Хансу, Адесопе и Бэйли в Computers & Education за 2016 год. В него вошли 53 работы и 26 059 участников. Эффект систем ответа аудитории на учебные результаты — g = 0,21, на вовлечённость и участие — g = 0,19. Величины небольшие, и это стоит принять честно: сам по себе кликер или телефон учебные результаты почти не двигает. Авторы отдельно указывают, что эффект значимо модерируется тем, как устроены вопросы, — то есть работает не устройство, а содержание.
Гораздо интереснее выглядит связка опроса с обсуждением. Смит и коллеги опубликовали в Science в 2009 году эксперимент на вводном курсе генетики в Университете Колорадо: 350 студентов, по пять вопросов за занятие в течение семестра. Схема была такой — ответ индивидуально, обсуждение с соседями, ответ повторно, а затем изоморфный вопрос: тот же концепт в другом контексте. Из тех, кто ответил на первый вопрос неверно, а после обсуждения верно, 77% справились и с изоморфным вопросом. Ключевой вывод: обсуждение улучшает понимание даже тогда, когда в группе изначально никто не знал правильного ответа.
И третья опора — десятилетний отчёт Крауч и Мазура в American Journal of Physics за 2001 год. Семестр до введения Peer Instruction нормированный прирост на концептуальном тесте по механике составлял 0,25, что типично для традиционного курса. Первый же семестр с новой методикой дал 0,49 — величину, характерную для интерактивных курсов по классификации Хейка. Речь при этом об одном и том же преподавателе, одном курсе и одном университете: изменилась не аудитория, а протокол работы с вопросом.
Правило, ради которого всё это и затевается
Самая ценная часть протокола Peer Instruction — не сам вопрос, а то, что вы делаете с распределением ответов. Мазур описывает решающее правило, которое снимает главную проблему поточной лекции: вы больше не гадаете, объяснять дальше или идти вперёд.
| Доля верных ответов | Что это значит | Что делаете |
|---|---|---|
| Меньше 30% | Блок не дошёл. Обсуждение с соседом бессмысленно: обмениваться нечем | Объясняете заново, другим заходом, и задаёте вопрос повторно |
| От 30% до 70% | Понимание есть у части аудитории и оно передаваемо | Девяносто секунд обсуждения с соседом, затем повторное голосование |
| Больше 70% | Тема в основном закрыта, но неверный вариант всё же выбрали | Короткий разбор популярной ошибки — и дальше по плану |
| Больше 95% | Вопрос был слишком лёгким | Информации не получено; перепишите вопрос к следующему потоку |
Интуитивно кажется, что при обсуждении правильный ответ просто перетекает от того, кто знает, к тому, кто нет. Изоморфные вопросы в работе Смита это опровергли: улучшение сохраняется и в парах, где верного ответа изначально не знал никто. Работает не подсказка, а необходимость сформулировать и защитить свою версию вслух.
Пять типов вопросов, которые дают информацию
Вопрос на воспроизведение определения даёт вам ноль. Все ответят верно или все ошибутся одинаково, и вы не узнаете ничего, кроме того, что аудитория умеет читать слайд. Информацию дают вопросы, где неверные варианты — это реальные способы думать.
Меняется один параметр в разобранной задаче. Три варианта: вырастет, упадёт, не изменится. Проверяет, понята ли зависимость, а не запомнен ли результат.
Готовое решение из пяти шагов, один из которых не нужен или неверен. Аудитория называет номер. Идеально для расчётных и юридических дисциплин.
Голосование за результат до того, как вы его получили на доске. Ошибочный прогноз, зафиксированный публично, делает последующий вывод осмысленным.
Конкретный случай и четыре понятия. К какому относится. Классификационные ошибки — самые устойчивые и самые диагностичные.
Короткий связный текст с одной логической подменой. Хорошо работает на гуманитарных курсах, где расчётных задач нет вовсе.
Без вычислений: единицы, десятки, тысячи. Быстро выявляет тех, кто оперирует формулой, не понимая масштаба.
Общее правило по неверным вариантам то же, что и в школьном квизе: каждый дистрактор — чья-то реальная ошибка из прошлогодних работ, а не выдуманный подвох. Подробно эта механика разобрана в анатомии обучающего квиза, и для вуза она не меняется.
В PLACETEACHER вопрос выводится на экран аудитории, студенты отвечают со своих телефонов по коду, а распределение ответов вы видите сразу — вместе с тем, какой неверный вариант выбрало большинство. Пульт остаётся у вас. Демо открывается без регистрации.
Техника: что ломается на практике
Первое и главное — сеть. Сто пятьдесят одновременных подключений выдерживает не каждая точка доступа, а мобильный интернет в подвальной аудитории не работает вовсе. Проверьте это не на паре, а заранее: попросите десять человек с задних рядов открыть страницу одновременно. Если не открывается — переходите на карточки, они закрывают ту же задачу без сети.
Второе — анонимность. Обратная связь на лекции работает ровно до тех пор, пока ответ ничего не стоит. Как только система требует фамилию, а балл идёт в ведомость, вы начинаете измерять не понимание, а готовность рисковать. Опрос должен быть анонимным для соседей и для вас: интересно распределение, а не персональный список.
Как только вы просите студентов регистрироваться по фамилии и почте в стороннем сервисе, вы становитесь звеном в обработке персональных данных со всеми вытекающими обязанностями по 152-ФЗ. Самое простое решение — не собирать их вовсе: вход по коду сессии, без учётных записей. Разбор того, что можно и чего нельзя, есть в тексте про данные в цифровых сервисах.
Третье — время. Один цикл «вопрос — голосование — обсуждение — повторное голосование — разбор» занимает четыре-пять минут. Больше двух-трёх циклов за пару в поточной лекции не помещается, и попытка сделать пять превращает занятие в непрерывный опрос без содержания. Как распределить эти вставки по 90 минутам, я расписал в тексте про интерактив на лекции.
Момент, который решает всё: девяносто секунд между двумя голосованиями
Самая частая ошибка при переносе протокола — сократить обсуждение. Кажется, что полторы минуты на разговор с соседом в потоке на сто пятьдесят человек — это шум и потеря времени, и вместо них ставят пятнадцать секунд «посоветуйтесь». За пятнадцать секунд никто не успевает даже назвать свой вариант, и повторное голосование даёт то же распределение, что первое.
Инструкция должна быть конкретной. Не «обсудите», а «повернитесь к соседу, назовите свой вариант и объясните, почему именно он; если варианты разошлись — договоритесь». Формулировка занимает семь секунд и меняет содержание следующих полутора минут целиком. И не пытайтесь перекричать аудиторию в это время: девяносто секунд гудения на сто пятьдесят человек — это нормально, а сигналом к тишине служит объявление повторного голосования, а не ваш голос.
Что делать с результатами после пары
Самая частая потеря: распределение ответов посмотрели, порадовались или огорчились и забыли. При этом за семестр накапливается точная карта того, где ломается ваш курс, — и она стоит больше, чем любые анкеты удовлетворённости.
- Записывайте два числа на каждый вопрос
Долю верных до обсуждения и после. Разница между ними показывает, передаваемо ли понимание в этой теме или блок нужно переписывать.
- Отмечайте, какой неверный вариант лидировал
Не «40% ошиблись», а «32% выбрали второй вариант». Второй вариант — это конкретный неправильный ход мысли, и его можно адресовать прямо.
- Возвращайтесь к провальному вопросу через две недели
Тот же концепт в другой формулировке. Если доля верных не выросла — тема не закрылась ни лекцией, ни семинаром.
- Переносите провальные вопросы в контрольную точку
Совпадение формата подготовки и проверки убирает эффект неожиданности и делает результаты сопоставимыми.
- Перепишите вопросы, где верных больше 95%
Они не дают информации и тратят четыре минуты пары. Один такой вопрос в начале уместен как разогрев, три подряд — потеря времени.
К третьей-четвёртой паре студенты начинают спорить с соседом до того, как вы объявили обсуждение, а после голосования спрашивают, почему верен именно этот вариант. Это и есть цель: не оживление, а привычка формулировать позицию до объяснения.
И последнее замечание про ожидания. Голосование само по себе даёт немного — g = 0,21 по мета-анализу, то есть заметно меньше, чем обещают презентации вендоров. Всё остальное приносят формулировка вопроса, обсуждение между двумя голосованиями и разбор популярной ошибки. Устройство — самая дешёвая часть конструкции.
Частые вопросы
Насколько сильно голосование улучшает результаты?
Что делать, если правильно ответили меньше трети аудитории?
Можно ли обойтись без телефонов и приложений?
Ставить ли баллы за ответы в опросе?
Сколько вопросов помещается в одну пару?
Как понять, что вопрос сформулирован плохо?
Источники
- Hunsu N.J., Adesope O., Bayly D.J. A meta-analysis of the effects of audience response systems. Computers & Education, 2016
- Smith M.K. и др. Why peer discussion improves student performance on in-class concept questions. Science, 2009 (разбор в PMC)
- Crouch C.H., Mazur E. Peer Instruction: Ten years of experience and results. AJP, 2001 (полный текст)
- Hake R.R. Interactive-engagement versus traditional methods. AJP, 1998 (полный текст, ERIC)
- Freeman S. и др. Active learning increases student performance. PNAS, 2014
В PLACETEACHER уже собраны интерактивы по 17 предметам с 1 по 11 класс. Демо открывается без регистрации.
