Автор: Дмитрий Аббакумов
Когда тестовые задания разработаны, наступает время следующего этапа – экспертизы. Экспертиза очень важна, так как в это время задания очищаются от ошибок и неточностей, которые встречаются даже у самых опытных разработчиков. Дмитрий Аббакумов, руководитель Лаборатории адаптивных образовательных технологий ВШЭ, делится практическими советами.
Начинается экспертиза с поиска и привлечения экспертов. Минимальное требование к экспертам – специализация на тематике теста. При этом желательно, чтобы эксперты были знакомы с правилами конструировании тестовых заданий. Эксперты могут отличаться, пересекаться или совпадать с авторами заданий. Эксперты могут быть как внутренними, так и внешними по отношению к организации, в которой разрабатывается и/или планируется к внедрению тест.
Качество экспертизы во многом зависит от количества экспертов. Рекомендуется минимум три эксперта, не считая автора задания, для оценки каждого тестового задания. Важно ответственно отнестись и к планированию объемов работы. В качестве ориентира А. Г. Шмелев в книге «Практическая тестология» приводит следующее соотношение: 100-150 тестовых заданий на 1 день работы эксперта в режиме двух сеансов по 2-3 часа с перерывом между ними (имеются в виду задания с выбором одного ответа).
После того как команда экспертов собрана, необходимо организовать их работу.
ПОРЯДОК РАБОТЫ ЭКСПЕРТА С КАЖДЫМ ОТДЕЛЬНЫМ ЗАДАНИЕМ:
- Найти или сформулировать правильный ответ в зависимости от типа задания.
- Оценить качество задания, обращая внимание на ясность и лаконичность формулировок, отсутствие ошибок и неточностей, по трехбалльной (высокое, среднее, низкое) или по пятибалльной шкале (очень высокое, высокое, среднее, низкое, очень низкое) с письменной аргументацией своей оценки.
- Оценить трудность задания по трехбалльной (высокая, средняя, низкая) или по пятибалльной (очень высокая, высокая, средняя, низкая, очень низкая).
- Оценить соответствие задания теме теста, например, в двоичной логике да/нет.
Количественная оценка качества заданий дает возможность измерить согласованность мнений экспертов. Если все эксперты оценили задание как качественное – оно остается в банке заданий. Если эксперты согласованно отвергают задание – оно удаляется из банка заданий. При отсутствии согласия у экспертов требуется доработка задания . В этом случае будет полезно обратиться к аргументации экспертов (см. пункт 2 выше). Зачастую в порядок экспертизы включают дополнительный пункт, предлагающий экспертам предложить свои варианты доработки некачественного задания. В этом случае доработка «спорного» задания становится еще проще.
Очень важным элементом процедуры экспертизы является анонимность. Только в этом случае можно рассчитывать на откровенность экспертов и можно доверять полученным оценкам.
ТРИ КЛЮЧЕВЫХ ПРИЗНАКА НЕКАЧЕСТВЕННЫХ ЗАДАНИЙ:
- Задание не связано с темой теста.
- Указанный автором правильный ответ является спорным.
- Задание имеет неточности в формулировках, грамматические, орфографические или пунктуационные ошибки.
Экспертизу удобнее проводить в электронной форме. Для этого можно использовать сервисы Google Forms или Survey Gizmo, которые позволяют собрать оценки и затем проанализировать их с использованием возможностей MS Excel или любой программы для статистического анализа данных. Можно воспользоваться специализированными сервисами, например, HT-LINE, достоинством которого является автоматический анализ результатов экспертизы и их наглядное отображение.
Экспертиза является непростым этапом разработки компьютерного теста. Поиск и привлечение экспертов (а они зачастую являются очень занятыми людьми), необходимость удаления заданий, которые разрабатывались с таким трудом, но оказались некачественными – превращают экспертизу в настоящее испытание не для слабонервных. Но важно понимать, что качество тестовых заданий, получающихся в итоге, того стоит.
При подготовке текста использовались материалы книги А. Г. Шмелева «Практическая тестология» Дмитрий Аббакумов
Источник
Комментариев нет:
Отправить комментарий