Показаны сообщения с ярлыком создание электронных тестов. Показать все сообщения
Показаны сообщения с ярлыком создание электронных тестов. Показать все сообщения

четверг, 3 сентября 2015 г.

Подборка материалов по теме тестирования

Тестирование - наиболее распространенный способ проверки знаний после прохождения электронного курса. Разрабатывая тесты, у нас часто возникают вопросы:
- как составить тестовое задание,
- какие типы вопросов и ответов использовать,
- какой поставить проходной балл,
- как понять, что тест сдан самостоятельно,
- давать ли возможность пересдачи и сколько раз,
- сколько времени отвести на тестирование,
- нужны ли тесты вообще,
- эффективно ли тестировать и т д.


Ответы на эти вопросы вы можете найти в постах от наших экспертов:
Читайте также другие наши подборки:


понедельник, 8 июня 2015 г.

Компьютерные тесты: проводим апробацию

Апробация, как и экспертиза, является крайне желательным (если не обязательным) этапом создания теста. Она позволяет найти ошибки, которые пропустили авторы и эксперты в силу самых различных факторов, например, «замыленности взгляда» или спешки. Авторы и эксперты могли ошибиться не только в заданиях, но и в оценке трудности отдельных заданий или теста в целом. Очень часто встречаются случаи, когда авторы считают задания простыми, а в итоге они оказываются «неберушками», и их не решает ни один из испытуемых. Обратные ситуации, когда тест оказывается слишком простым, также нередки. Именно поэтому лучше провести апробацию на небольшой выборке, прежде чем запускать тест на десятки, сотни и тысячи – в случае онлайн-курсов – испытуемых.

ДВА КЛЮЧЕВЫХ УСЛОВИЯ УСПЕШНОЙ АПРОБАЦИИ:

  • Качество выборки. Тест нужно апробировать на группе испытуемых, совпадающей по характеристикам с целевой аудиторией. Другими словами, если мы планируем применять тест для оценки знаний второкурсников филологического факультета, то и апробировать его нужно на филологах-второкурсниках.
  • Объем выборки. Выборка апробации должна быть не менее 50 испытуемых. Этот минимум позволяет рассчитать необходимые статистики для оценки качества заданий и теста в целом.
Процедура апробации должна также повторять процедуру будущего использования теста на целевом контингенте. Это особенно важно применительно ко времени проведения теста. Например, если тест запланирован на 60 минут, то и апробировать его нужно в течение 60 минут.
По итогам апробации для каждого задания рассчитываются две базовые статистики:
  • трудность или коэффициент решаемости,
  • различительная (дифференцирующая) способность или коэффициент дискриминативности.

среда, 13 мая 2015 г.

Компьютерные тесты: проводим экспертизу

Автор: Дмитрий Аббакумов
Когда тестовые задания разработаны, наступает время следующего этапа – экспертизы. Экспертиза очень важна, так как в это время задания очищаются от ошибок и неточностей, которые встречаются даже у самых опытных разработчиков. Дмитрий Аббакумов, руководитель Лаборатории адаптивных образовательных технологий ВШЭ, делится практическими советами.
Начинается экспертиза с поиска и привлечения экспертов. Минимальное требование к экспертам – специализация на тематике теста. При этом желательно, чтобы эксперты были знакомы с правилами конструировании тестовых заданий. Эксперты могут отличаться, пересекаться или совпадать с авторами заданий. Эксперты могут быть как внутренними, так и внешними по отношению к организации, в которой разрабатывается и/или планируется к внедрению тест.
Качество экспертизы во многом зависит от количества экспертов. Рекомендуется минимум три эксперта, не считая автора задания, для оценки каждого тестового задания. Важно ответственно отнестись и к планированию объемов работы. В качестве ориентира А. Г. Шмелев в книге «Практическая тестология» приводит следующее соотношение: 100-150 тестовых заданий на 1 день работы эксперта в режиме двух сеансов по 2-3 часа с перерывом между ними (имеются в виду задания с выбором одного ответа).
После того как команда экспертов собрана, необходимо организовать их работу.

ПОРЯДОК РАБОТЫ ЭКСПЕРТА С КАЖДЫМ ОТДЕЛЬНЫМ ЗАДАНИЕМ:

  1. Найти или сформулировать правильный ответ в зависимости от типа задания.
  2. Оценить качество задания, обращая внимание на ясность и лаконичность формулировок, отсутствие ошибок и неточностей, по трехбалльной (высокое, среднее, низкое) или по пятибалльной шкале (очень высокое, высокое, среднее, низкое, очень низкое) с письменной аргументацией своей оценки.
  3. Оценить трудность задания по трехбалльной (высокая, средняя, низкая) или по пятибалльной (очень высокая, высокая, средняя, низкая, очень низкая).
  4. Оценить соответствие задания теме теста, например, в двоичной логике да/нет.

Количественная оценка качества заданий дает возможность измерить согласованность мнений экспертов. Если все эксперты оценили задание как качественное – оно остается в банке заданий. Если эксперты согласованно отвергают задание – оно удаляется из банка заданий. При отсутствии согласия у экспертов требуется доработка задания . В этом случае будет полезно обратиться к аргументации экспертов (см. пункт 2 выше). Зачастую в порядок экспертизы включают дополнительный пункт, предлагающий экспертам предложить свои варианты доработки некачественного задания. В этом случае доработка «спорного» задания становится еще проще.
Очень важным элементом процедуры экспертизы является анонимность. Только в этом случае можно рассчитывать на откровенность экспертов и можно доверять полученным оценкам.

ТРИ КЛЮЧЕВЫХ ПРИЗНАКА НЕКАЧЕСТВЕННЫХ ЗАДАНИЙ:

  1. Задание не связано с темой теста.
  2. Указанный автором правильный ответ является спорным.
  3. Задание имеет неточности в формулировках, грамматические, орфографические или пунктуационные ошибки.
Экспертизу удобнее проводить в электронной форме. Для этого можно использовать сервисы Google Forms или Survey Gizmo, которые позволяют собрать оценки и затем проанализировать их с использованием возможностей MS Excel или любой программы для статистического анализа данных. Можно воспользоваться специализированными сервисами, например, HT-LINE, достоинством которого является автоматический анализ результатов экспертизы и их наглядное отображение.
Экспертиза является непростым этапом разработки компьютерного теста. Поиск и привлечение экспертов (а они зачастую являются очень занятыми людьми), необходимость удаления заданий, которые разрабатывались с таким трудом, но оказались некачественными – превращают экспертизу в настоящее испытание не для слабонервных. Но важно понимать, что качество тестовых заданий, получающихся в итоге, того стоит.
При подготовке текста использовались материалы книги А. Г. Шмелева «Практическая тестология» 
Дмитрий Аббакумов


Источник

четверг, 19 марта 2015 г.

Как создать качественный компьютерный тест?

Автор: Дмитрий Аббакумов


Задания на установление соответствия
Такие задания содержат два параллельных списка. Первый обычно включает достаточно длинные позиции – это список условий. Испытуемый должен сопоставить каждую позицию из списка условий с позицией из списка ответов. Элементы списка ответов обычно формулируются лаконично. Преимуществами заданий на установление соответствия являются их компактность и возможность охвата большого количества проверяемых знаний. Однако они имеют и недостатки: при их конструировании трудно подобрать однородные списки, а сами задания стимулируют исключительно процессы запоминания фактов.
Задания на установление соответствия требуют очень чётких инструкций. Инструкции должны содержать информацию о том, на каком основании должно устанавливаться соответствие, а также может ли один ответ использоваться дважды или не использоваться вовсе.

ПРИНЦИПЫ СОСТАВЛЕНИЯ ЗАДАНИЙ:

  • Оптимальное задание содержит от 4 до 10 условий.
  • По возможности составляйте задания так, чтобы количество условий не равнялось количеству ответов (это позволит сократить риск угадывания на последнем этапе работы с заданием).
  • При необходимости организуйте условия в логической последовательности, например, в хронологическом порядке или по алфавиту.
Пример задания на установление соответствия:
(инструкция) Запишите в специальном поле для ответов букву, подходящую для каждого элемента из первого (нумерованного) списка. К каждому элементу из первого списка может относиться один элемент из второго списка. 
(формулировка задания) При формировании представления о партнере по общению люди используют четыре основных механизма. В левом списке перечислены их названия, а в правом даны определения. Сопоставьте их между собой.
НазванияОпределения
1. Атрибуция
2. Эмпатия
3. Идентификация
4. Рефлексия
А. Принятие позиции партнера, восприятие событий его глазами
Б. Осознание того, как Вас представляет партнер по общению
В. Сопереживание партнеру, повторение его эмоций
Г. Приписывание партнеру индивидуальных особенностей, причин, ответственности


Задания на установление последовательности

Подобная форма заданий используется, когда требуется оценить знания этапов и событий какого-либо процесса. Эти задания также требуют чёткой инструкции, из которой должно быть понятно, в какой форме нужно фиксировать последовательность. Оптимально, если задание содержит от 3 до 7 элементов. А главным при конструировании таких заданий является то, чтобы используемая последовательность не являлась искусственной (например, известной и понятной только автору задания).

Задания открытой формы

Есть два типа заданий: с коротким ответом и с развернутым ответом. Задания с коротким ответом могут быть организованы как вопросы или как задания на дополнение. Задание-вопрос представляет собой конкретный вопрос, на который можно ответить одним словом, фразой, числом или символом. Задание на дополнение – это неполное утверждение, которое необходимо дополнить одним словом, фразой, числом или символом. Неоспоримым преимуществом заданий с коротким ответом является очень низкая вероятность угадывания. Недостатком является то, что при их конструировании необходимо учесть все варианты, которые могут быть правильными. Для задание с коротким текстовым ответом важно не забыть о нюансах согласования. А для заданий с числовым ответом – о количестве знаков после запятой или интервале значений.
При конструировании заданий с коротким ответом нужно избегать невольных подсказок, когда формулировка вопроса или утверждения наводит на правильный ответ; а также большого количества пропусков, так как тогда может потеряться смысл задания.
Задания с развернутым ответом предполагают, что ответ испытуемого на поставленный вопрос будет содержать несколько предложений или ответом будет законченный короткий текст. Эти задания позволяют оценить навыки интерпретации, анализа и оценки применительно к конкретным ситуациям. Их преимуществом является то, что они сочетают в себе разные мыслительные процессы, дают испытуемому возможность самому конструировать ответ, оценивают и развивают навыки письменной речи. Однако такие задания являются сложными и дорогостоящими с точки зрения проверки. Часто компьютер для таких заданий выполняет лишь функцию сбора ответов, а не их проверки. Для обеспечения объективности необходимо привлечение 2-3 экспертов. Тем не менее, важно отметить, что в настоящее время активно внедряются машинные способы проверки таких заданий, результаты которых сопоставимы с экспертными оценками, например, при проверке эссе в компьютерных тестах на знание английского языка.

ПЯТЬ СОВЕТОВ РАЗРАБОТЧИКАМ ЗАДАНИЙ С РАЗВЕРНУТЫМ ОТВЕТОМ:

  • Используйте такие задания только в тех случаях, где оценка другими, более объективными способами, не применима.
  • Убедитесь, что задание соотносится с целями обучения.
  • Для заданий с ограниченным объёмом четко задайте объём и элементы содержания.
  • Для заданий со свободным объёмом дайте четкие рекомендации по выполнению и оформлению, а также минимальные требования к содержанию.
  • Установите время выполнения.
Пример неудачной формулировки задания с развернутым ответом:
Почему символы так важны в произведении «451 градус по Фаренгейту»?
Пример оптимизированной формулировки задания с развернутым ответом:
Символы очень важны в произведении «451 градус по Фаренгейту». Какие три, по Вашему мнению, являются наиболее важными в нём? Опишите их и выделите их роль и смысл в этом произведении.
Итак, мы разобрались в основных формах тестовых заданий, используемых в компьютерном тестировании. Следующий материал будет посвящен одному из важнейших этапов в разработке теста – экспертизе качества тестовых заданий.
При подготовке текста использовались материалы лекций академического руководителя магистерской программы «Измерения в психологии и образовании» к. психол. н. Екатерины Алексеевны Орел.

Источник