Тесты с вариантами ответов могут измерять не только запоминание. При аккуратном проектировании они могут выявлять заблуждения, модели рассуждений, частичное понимание и те направления обучения, куда стоит двигаться дальше.

Что делает тест с выбором варианта ответа сильным?

Хороший тест с вариантами ответов просит учащихся выбрать наилучший ответ из набора правдоподобных вариантов. Правильный ответ должен быть явно обоснован целью обучения, а неправильные варианты должны отражать значимые закономерности в мышлении учащихся. Цель не просто сделать вопросы сложнее. Цель — сделать их понятнее, лучше увязанными с целями обучения и более полезными как для оценки, так и для преподавания. Это руководство связано с более широкими работами по дизайну оценивания и критическому мышлению.

Краткое руководство: 12 способов улучшить тесты с вариантами ответов

Используйте эту таблицу как быстрый справочник при написании или переработке заданий с выбором ответа.

1. Убедитесь, что задание измеряет что-то конкретное.

Держите вопрос в рамках конкретной концепции, навыка или хода рассуждения. Вместо общего вопроса о теме сначала определите цель: учащиеся могут выявить тему, подтверждаемую решением персонажа.

2. Сделайте основу (stem) понятной до того, как учащиеся увидят варианты.

Это помогает понять задачу до чтения возможных ответов. Слабый вариант: «Какое из следующего верно?» Сильный вариант: «Какое предложение лучше всего объясняет, почему персонаж отказывается от помощи?»

3. Попросите учащихся сначала сформулировать ответ самостоятельно.

Снижает угадывание и мешает полагаться только на узнавание ответа. Подсказка: «Перед тем как смотреть варианты, запишите ответ, который, по вашему мнению, лучше всего подтверждается текстом.»

4. Тестируйте рассуждение, а не только узнавание.

Переводите задание с простого воспроизведения термина на применение, вывод и суждение. Слабый: «Что такое вывод?» Сильный: «Какой вывод лучше всего подтверждается решением персонажа?»

5. Делайте неправильные варианты диагностически полезными.

Пусть отвлекающие варианты отражают вероятные заблуждения или частичное понимание. Например, для вопроса о выводе одним из отвлекающих вариантов может быть предсказание, показывающее, что ученик путает вывод с прогнозированием.

6. Избегайте случайных подсказок в формулировке, длине, грамматике или структуре.

Не делайте один длинный формальный ответ и три коротких расплывчатых. Сделайте варианты похожими по структуре и конкретности. Это делает вопрос справедливее и сохраняет сложность в самой концепции.

7. Держите сложность в содержании, а не в формулировке.

Проверьте, чтобы трудность заключалась в концепте, а не в том, как сформулирован вопрос. Слабый: «Какой ответ не является наименее неточным?» Сильный: «Какой ответ лучше всего подтверждается доказательствами?»

8. Просите учащихся объяснять, почему другие ответы неверны.

Это показывает, понимают ли учащиеся, почему правильный ответ лучше. Подсказка: «Выберите лучший ответ. Затем объясните, почему каждый другой вариант не является лучшим.»

9. Позвольте учащимся править варианты ответов.

Это помогает распознать точность, правдоподобие и степень обоснованности вариантов. Подсказка: «Измените один слабый вариант так, чтобы он стал более сильным отвлекающим вариантом.»

10. Используйте систему «сдано/переделать» вместо «правильно/неправильно».

Сосредотачивает внимание на улучшении ответа, а не на простой оценке. Сдано: ответ ясен, обоснован и увязан с целью обучения. Переделать: нужно усилить доказательства, рассуждение, точность или увязку. Это помогает отделить устойчивое понимание от угадывания.

11. Разделяйте уверенность и угадывание.

Попросите учащихся выбрать ответ, затем отметить уверенность: высокая / средняя / низкая. Это помогает отличить надежное знание от догадки.

12. Анализируйте паттерны ответов и вносите правки.

Используйте данные учащихся для улучшения обучения и будущих заданий. Если многие учащиеся выбирают один и тот же отвлекающий вариант, повторно объясните соответствующее заблуждение или переработайте вопрос, если его формулировка вводит в заблуждение.

Практический чеклист для правки вопросов с вариантами ответов

Перед использованием вопроса проверьте:

  • Понятен ли вопрос до чтения вариантов?
  • Требует ли задание мышления, а не только узнавания?
  • Каждый ли неправильный ответ отражает вероятное заблуждение или ошибку?
  • Похожие ли варианты по грамматике, длине, тону и конкретности?
  • Заключается ли сложность в концепте, а не в формулировке?
  • Могут ли учащиеся объяснить, почему неправильные ответы неверны?
  • Могут ли учащиеся улучшить варианты или придумать лучшие отвлекающие ответы?
  • Знают ли учащиеся, уверены ли они, неуверены или угадывают?
  • Что показывает распределение ответов?
  • Следует ли оставить вопрос, переработать или удалить?
  • Что должен сделать учитель дальше на основе результатов?

Рекомендации по написанию вопросов

  • Задавайте конкретный вопрос в основе.
  • Делайте варианты параллельными по длине и структуре.
  • Используйте предсказуемые заблуждения или частичное понимание как отвлекающие варианты.
  • Помещайте концепт в контекст, где учащиеся должны его применить.
  • Часто просите за лучший объяснительный вариант, самое сильное доказательство или наиболее точное применение.
  • Перерабатывайте вопрос до тех пор, пока один ответ явно не будет лучше поддержан.

Вывод

Вопросы с вариантами ответов не обязательно поверхностны. Они становятся такими, когда основа нечеткая, варианты неравномерны, а отвлекающие ответы ничего не говорят о мышлении учащихся. При тщательном проектировании такие вопросы помогают учителям увидеть не только то, правильно ли учащиеся ответили, но и почему они могли ответить неверно.

Источники: Haladyna, T. M., Downing, S. M., & Rodriguez, M. C. (2002). A review of multiple-choice item-writing guidelines for classroom assessment. Applied Measurement in Education, 15(3), 309–333. Rodriguez, M. C. (2005). Three options are optimal for multiple-choice items: A meta-analysis of 80 years of research. Educational Measurement: Issues and Practice, 24(2), 3–13. Brookhart, S. M. (2010). How to Assess Higher-Order Thinking Skills in Your Classroom. ASCD.