Компьютерные тесты: проводим экспертизу

Автор: Дмитрий Аббакумов

Когда тестовые задания разработаны, наступает время следующего этапа – экспертизы. Экспертиза очень важна, так как в это время задания очищаются от ошибок и неточностей, которые встречаются даже у самых опытных разработчиков. Дмитрий Аббакумов, руководитель Лаборатории адаптивных образовательных технологий ВШЭ, делится практическими советами.

Начинается экспертиза с поиска и привлечения экспертов. Минимальное требование к экспертам – специализация на тематике теста. При этом желательно, чтобы эксперты были знакомы с правилами конструировании тестовых заданий. Эксперты могут отличаться, пересекаться или совпадать с авторами заданий. Эксперты могут быть как внутренними, так и внешними по отношению к организации, в которой разрабатывается и/или планируется к внедрению тест.

Качество экспертизы во многом зависит от количества экспертов. Рекомендуется минимум три эксперта, не считая автора задания, для оценки каждого тестового задания. Важно ответственно отнестись и к планированию объемов работы. В качестве ориентира А. Г. Шмелев в книге «Практическая тестология» приводит следующее соотношение: 100-150 тестовых заданий на 1 день работы эксперта в режиме двух сеансов по 2-3 часа с перерывом между ними (имеются в виду задания с выбором одного ответа).

После того как команда экспертов собрана, необходимо организовать их работу.

ПОРЯДОК РАБОТЫ ЭКСПЕРТА С КАЖДЫМ ОТДЕЛЬНЫМ ЗАДАНИЕМ:

1. Найти или сформулировать правильный ответ в зависимости от типа задания.
2. Оценить качество задания, обращая внимание на ясность и лаконичность формулировок, отсутствие ошибок и неточностей, по трехбалльной (высокое, среднее, низкое) или по пятибалльной шкале (очень высокое, высокое, среднее, низкое, очень низкое) с письменной аргументацией своей оценки.
3. Оценить трудность задания по трехбалльной (высокая, средняя, низкая) или по пятибалльной (очень высокая, высокая, средняя, низкая, очень низкая).
4. Оценить соответствие задания теме теста, например, в двоичной логике да/нет.

Количественная оценка качества заданий дает возможность измерить согласованность мнений экспертов. Если все эксперты оценили задание как качественное – оно остается в банке заданий. Если эксперты согласованно отвергают задание – оно удаляется из банка заданий. При отсутствии согласия у экспертов требуется доработка задания . В этом случае будет полезно обратиться к аргументации экспертов (см. пункт 2 выше). Зачастую в порядок экспертизы включают дополнительный пункт, предлагающий экспертам предложить свои варианты доработки некачественного задания. В этом случае доработка «спорного» задания становится еще проще.

Очень важным элементом процедуры экспертизы является анонимность. Только в этом случае можно рассчитывать на откровенность экспертов и можно доверять полученным оценкам.

ТРИ КЛЮЧЕВЫХ ПРИЗНАКА НЕКАЧЕСТВЕННЫХ ЗАДАНИЙ:

1. Задание не связано с темой теста.
2. Указанный автором правильный ответ является спорным.
3. Задание имеет неточности в формулировках, грамматические, орфографические или пунктуационные ошибки.

Экспертизу удобнее проводить в электронной форме. Для этого можно использовать сервисы Google Forms или Survey Gizmo, которые позволяют собрать оценки и затем проанализировать их с использованием возможностей MS Excel или любой программы для статистического анализа данных. Можно воспользоваться специализированными сервисами, например, HT-LINE, достоинством которого является автоматический анализ результатов экспертизы и их наглядное отображение.

Экспертиза является непростым этапом разработки компьютерного теста. Поиск и привлечение экспертов (а они зачастую являются очень занятыми людьми), необходимость удаления заданий, которые разрабатывались с таким трудом, но оказались некачественными – превращают экспертизу в настоящее испытание не для слабонервных. Но важно понимать, что качество тестовых заданий, получающихся в итоге, того стоит.

При подготовке текста использовались материалы книги А. Г. Шмелева «Практическая тестология» 
Дмитрий Аббакумов

Источник

Книжная полка e-learning специалиста

Недавно у нас в сообществе состоялась дискуссия на тему, что почитать начинающему специалисту в области педагогического дизайна и обучения взрослых людей. Обучением взрослых занимается андрогогика, и уже само существования такой специальной науки говорит о том, что анализ целевой аудитории электронного курса является важным этапом педагогического дизайна. И так как обе эти темы связаны, то и осваивать литературу лучше комплексно. Итак, ниже - то, что рекомендуем мы и наши эксперты. Резюмируем результаты дискуссии. Постепенно в этот пост добавляем книги из различных областей, полезных для e-learning специалиста.

КНИГИ

• Джули Дирксен "Искусство обучать" - must read для каждого e-learning специалиста (разработчика, эксперта). У нас в блоге можно почитать отзыв об этой книге от Павла Безяева.
• Джон Медина "Правила мозга. Что стоит знать о мозге вам и вашим детям". И также читайте рекомендации разработчикам электронных курсов по идеям этой книги. И еще - краткое содержание книги.
• Ли ЛеФевер "Искусство объяснять" 
• Алексей Каптерев "Мастерство презентации"
• Андриенко А. Обучение взрослых: взгляд на теорию и практику. Lambert, 2014.
• С.И. Змеев "Основы андрагогики"
• "eLearning and the Science of Instruction" - конспект книги на русском языке можно почитать у нас в блоге
• M.Allen – Designing successful e-learning - и снова есть конспект книги на русском языке, за что огромная благодарность Денису Якореву
• Майкл Аллен, «e-learning: Как сделать электронное обучение понятным, качественным и доступным». Кратко о книге. Прочитать аннотацию и посмотреть первые 30 страниц можно на сайте.
• возможно кому-то будет полезна книга на английском - "Engineering of Learning: Conceptualizing e-Didactics". Скачать можно тут.
• И еще одна книга на англ.яз - "How to become an Instructional Designer", прочитать можно тут
• "От слайдов к историям. Пошаговая методика создания убеждающих презентаций" Мартин Сайкс, Никлас Малик. Практически пошаговое руководство о том, как превратить сырой материал в увлекательную историю.
• Д`Соуза Стивен, Реннер Дайана "Не в знании сила. Как сомнения помогают нам развиваться".
• Хэлворсон Хайди Грант и Хиггинс Тори "Психология мотивации. Как глубинные установки влияют на наши желание и поступки"
• Оакли Барбара "Думай как математик"
• Елена Тихомирова , основатель e-learning PRO, "Живое обучение: Что такое e-learning и как заставить его работать" 

КНИГИ О ПРЕЗЕНТАЦИЯХ (от Константина Бугайчука, за что ему огромная благодарность):

ДРУГИЕ МАТЕРИАЛЫ

• Презентация вебинара про обучение взрослых http://elearningtime.blogspot.com/2010/09/blog-post_8526.html  
• в блоге Елены Тихомировой "Живое обучение" можно найти много информации  http://elearningtime.blogspot.com/ 
• также читайте все выпуски журнала "Про e-learning"
• на украинском языке можно найти много информации по педагогическому дизайну в блоге у Владимира Кухаренко http://kvn-e-learning.blogspot.com 
• еще у нас в блоге - пост Проектирование электронных курсов (о вебинаре Кухаренко В.Н.)

Читайте другие посты по теме проф. развития e-learning-специалиста:

- Как вырастить спеца e learning, 
- Проектировать деятельность
- 10 навыков, необходимых педагогическому дизайнеру.

Постепенно будем дополнять этот список.

Рады вашим комментариям!

Сложные переговоры. Или как договориться ради общего результата.

Автор: Елена Денисова

Как часто бывает так, что успех выполнения задачи зависит не только от вас и не столько от вас, а от других людей или даже подразделений? Довольно часто сталкиваешься с ситуацией, когда в сердцах говоришь: "Ах, если бы не "Петя" и не "Вася", все давно решили бы и сделали, а он такой нехороший ставит палки в колеса и все портит!"

Часто бывает так, что лиц, принимающих решение, несколько и у всех свое мнение и видение. А нужно общее согласие и общее решение, учитывающее замечания и предложения каждого. В проекте автоматизации - это обязательное условие: организовать работу представителей совершенно разных сфер деятельности.

Самое сложное в переговорах - это преодолеть конфликт интересов. Каждый опирается на свои ощущения, потребности и ценности. Играет роль и род деятельности участников переговоров, их профессиональные знания и личные предпочтения.

Чтобы переговоры были продуктивными необходимо обязательное соблюдение следующих правил:

1. Взаимоуважение

2. Желание выполнить задачу, поставленную перед участниками переговоров

Взаимоуважение возможно только тогда, когда участники выслушивают все точки зрения и учитывают психологические особенности каждого: все должны высказаться, и каждого необходимо выслушать. Часто бывает так, что кто-то берет на себя роль "лидера" и давит своим мнением на остальных, а кто-то отстраняется от дискуссии и предпочитает отмолчаться, так как не желает вступать в полемику, а потом сдержать решение своим несогласием. 

Второе правило также обязательно! Если кто-то из обязательных участников не заинтересован в выполнении поставленных задач, то чтобы не делали остальные, они всегда будут встречать сопротивление. Важно, чтобы все были заинтересованы в получении результата выполнения поставленной задачи.

Что можно сделать для выполнения этих двух правил?

Конечно, легче сказать: "Давайте будем относиться друг к другу с взаимным уважением", чем это осуществить на деле. Тем не менее для выполнения общей задачи его необходимо достичь в реальности. Для этого следует обратить внимание на личностные особенности участников переговоров - лучше до начала работы с ними. В этом поможет классификация по психотипу MBTI и методы доктора Ицхака Адизеса. Часто род деятельности косвенно указывает на личные предпочтения участников переговоров. Если говорить про рабочую группу автоматизации HR-процессов, то состав участников выглядит примерно так:

Заказчики - HR:

Кадровики (юристы) - управленческий уровень преобладает А (Администраторы) - уделяют внимание деталям, выполнению сроков, букве закона, отвечают за качественное выполнение 

краткосрочных задач.

Подбор персонала - управленческий уровень преобладает P (Производители) - уделяют внимание выполнению задачи здесь и сейчас - отвечают за выполнение срочных задач в краткосрочной перспективе;

 Обучение персонала - управленический уровень может быть P или I (если I - интеграторы) - уделяют внимание коммуникационным каналам и отвечают за долгосрочную перспективу работы с персоналом - но чаще всего и здесь преобладает уровень P (Производитель) - это связано с потребностью массового адаптационного или вводного обучения, в то время, как профессиональное обучение слабо развито.

Системные аналитики - управленческий уровень преобладает А (Администраторы) - уделяют внимание деталям, описывают подробные бизнес-процессы, составляют БТА и ТЗ - тесно сотрудничают с подразделениями айти. 

Программисты - управленческий уровень - сочетание А и Е (Предприниматель). Обычно трудность общения с айти специалистом (программистом) с одной стороне заключается в любви к деталям (ТЗ должно быть детализировано и описано вплоть до мельчайших подробностей, "кнопочек"), с другой неприятие чужой точки зрения не специалиста (программиста) - ТЗ пишут не так, как нужно - все нужно переделать.

Если собрать всю эту разношерстную компанию в одном помещении, то окажется, что добиться общего понимания и согласия крайне сложно: кто-то будет постоянно шумно доказывать свою точку зрения (P и E),  а кто-то саботировать молча процесс (А). К тому же разногласия могут возникнуть (и часто возникают) в одной сфере - у Заказчика. Что уж говорить о коммуникациях между разными не смежными подразделениями?

Для обеспечения первого правила необходимо руководствоваться следующими принципами: дать высказаться по вопросу каждому, заложить для этого время, провести фасилитацию или воспользоваться другими методами проведения мозгового штурма.

Далее проверить второе правило - действительно ли интересы всех участников лежат в области решения предстоящей задачи - нет ли конфликтов интереса. Как правило, если система KPI верно выстроена (или каждый замотивирован на выполнение своей работы качественно, а не только выполнять количественные показатели за счет упрощения задач), то конфликтов при автоматизации не должно возникнуть в принципе.

Если же оба правила соблюдены, но есть вопросы, по которым у участников нет договоренности - каждый тянет на себя одеяло, поможет только один метод поиска решения! Это единая цель выполнения задачи!

Если возникают разногласия, необходимо сверяться с целью и конечным результатом и спрашивать: "Если мы сделаем так, то это поможет достичь поставленной цели?", "Это на столько важно выполнить условие участника или это не отразится или даже помешает выполнению нашей общей цели?", "Что нужно сделать, чтобы достичь нашу общую цель?" и т.д. Цель - это единственный знаменатель, к которому необходимо привести все потребности и особенности участников. Цель - это единственный ориентир решения задачи, маяк рабочей группы. И если снова возникает конфликт интересов между участниками, необходимо сверяться с поставленной целью - она самый объективный судья в любом споре в процессе работы участников проекта.

Всегда ваша,
Денисова Елена,
https://www.facebook.com/profile.php?id=100004487832154
http://blogofdenisova.blogspot.ru

Учимся задавать вопросы (несколько стратегий)

Автор: Константин Бугайчук

Несколько стратегий, чтобы помочь студентам задавать хорошие вопросы

Перевод (оригинал статьи).


1. TeachThought таксономия обучения

TeachThought таксономия является шаблоном для критического мышления.

Человек (ученик, студент) воображает какой-нибудь процесс (например, обучение) продукт, цель, а затем применяет разные способы размышления об этой вещи:

1. Как «вещь» работает.
2. Самоосмысление того, как субъект относится к «вещи» или явлению.
3. Абстрактное размышление о «вещи» нетрадиционными способами.
4. Разделение «вещи» на составные части.
5. Сравнение, т.е. изучение того, каким образом “вещь” соотносится к другими (похожими и не похожими) «вещами».
6. Определение сути вещи в каком-нибудь контексте.

Короче говоря, студенты могут использовать эту систему, чтобы создавать свои собственные вопросы, например:

1) в секторе «Части (Parts)» есть подсказка «приведите примеры и антипримеры»

Вопросы: приведите 3 примера и антипримера млекопитающих? Приведите 5 примеров каких-либо факторов? Приведите 3 примера смешанных дробей?

2) Сектор «взаимосвязь» - подсказка: объяснить по-другому просто или сложно.

Вопросы: как объяснить теорему Пифагора для первоклассника и первокурсника колледжа? В чем разница?

Недостаток использования этого метода — относительная сложность программы (схемы), и соответственно последующего преобразования подсказок этой схемы в конкретные вопросы. Поэтому она лучше подходит для более взрослой аудитории.

2. Сократический семинар

Это педагогический подход, основанный на методе Сократа используется для лучшего усвоения информации. Данная методика подразумевает исследование информации с помощью дискуссии и основывается на том, что у ученика есть уже какие-либо знания по теме дискуссии, а новые знания приобретаются путем участия в обсуждении.

Эти семинары они обычно имеют следующий состав: материал с которым должны ознакомиться ученики заранее и два концентрических круга студентов- внутренний и внешний круги. 

Внутренний круг сосредоточен на анализе материала с помощью метода Сократа, то есть последовательных вопросов и ответов. В это время участники внешнего круга наблюдают за дискуссией внутреннего круга, не вступая в неё. 

Когда обсуждение во внутреннем круге заканчивается, участники внешнего круга высказывают мнение о нем. Продолжительность этого процесса зависит от темы дискуссии. Преподаватель может менять группы местами на своё усмотрение, или же группы чередуются после каждой дискуссии. Разница между таким способом обучения и обычным методом обучения заключается в роли преподавателя. 

Роль преподавателя в «сократическом» круге заключается лишь в том, что он только направляет дискуссию в нужное русло с помощью наводящих вопросов, при этом он не является полноценным участником дискуссии (В книге Геймшторминг: Игры в которые играет бизнес этот метод называется Аквариум). Кстати, еще этот метод похож на панельную дискуссию, которая часто практикуется на конференциях.


3. Пайдейя Семинар

Он похож на "Сократический" семинар, но на самом деле, он использует метод сократовой дискуссии со стороны студентов, в сочетании с небольшой, но четкой ролью для учителя, для облегчения вербального и критического рассмотрения идей. Целью занятий Пайдейя семинара является поддержка у студентов умения мыслить концептуально и общаться совместно друг с другом.

Одно из ключевых различий между Пайдейя семинаром и Сократовым семинаром заключается в том, что в пределах Пайдейя, у учителя есть возможность участвовать в обсуждении, при условии, что эта роль не должна превышать 10% от общего времени обсуждения. 

Подробнее можно посмотреть тут: http://www.learnnc.org/lp/editions/paideia/contents

4. Кубик вопросов. Все просто – не так ли?

5. Таксономия Блума

Аналогично TeachThought таксономии, таксономия Блума может выступать в качестве основы для формулировки вопросов. Вот, например, есть следующая таблица вопросов, исходя из сущности отдельных компонентов таксономии Блума.

6. Методика QFT

 По словам авторов этот процесс, который помогает всем студентам научиться производить собственные вопросы, улучшить свои вопросы, и выработать стратегию по использованию собственных вопросов.

Шаг 1: Преподаватель задает определенную тему (в оригинале задает фокус). Это может быть заявление, тезис и т.д. Фокус отличается от многих традиционных подсказок тем что это не вопрос учителя. Он служит, напротив, как бы отправной точкой, чтобы студенты могли сами по себе, выявить и исследовать широкий спектр тем и идей. Например, после изучения причин революции на Гаити 1804 года один учитель представил такой QFocus: «После того, как мы были рабами. Теперь мы стали свободными». Студенты начали задавать вопросы о том, что изменилось, а что осталось прежним после революции.

Шаг 2: студенты представляют вопросы. Студенты используют набор правил, которые обеспечивают четкий протокол для получения вопросов без помощи со стороны учителя. Вот 4 правила: задать столько вопросов, как вы можете, не переставать обсуждать, записать все вопросы точно так, как они были заданы, преобразовывать какие-либо утверждения в вопросы.

Шаг 3: Студенты улучшают вопросы. Студенты используют определения, чтобы классифицировать список вопросов, которые они только что произвели. Затем, учитель ведет их через процедуру обсуждения их преимуществ и недостатков. В заключение этого шага, учитель просит учащихся изменить, по крайней мере, один открытый вопрос в закрытую форму и наоборот, что заставляет студентов думать о том, как формулировка вопроса может повлиять на глубину, качество и значение информации, которую они будут получать.

Шаг 4: Студенты расставляют приоритетность своих вопросов. Например, им можно предложить выбрать три вопроса, которые они хотят исследовать дальше. Или можно дать задание выбрать три проверяемых вопроса для последующей деятельности.

Шаг 5: На этом этапе, студенты и преподаватели работают вместе, чтобы решить, как использовать вопросы. Учитель, например, представляет все приоритетные вопросы на обсуждение и все вместе решают, какие из них можно обсуждать на следующих занятиях. Или по каким, например, сделать сократический семинар.

Шаг 6: Преподаватель предоставляет студентам возможность провести обзор того, что они узнали, производя, совершенствуя расставляя вопросы по приоритетам.

Организационное знание и Латеральное мышление. Что общего?

Автор: Елена Денисова

Меня радует факт, что в последнее время все больше говорят не просто про обучение и образование, но и о знаниях. Жаль только, конкретного определения, всем понятного и принятого всеми до сих пор нет. Поэтому перед любым разговором на тему знаний необходимо договариваться об определениях.

Начну как раз с этого. Чтобы не было разночтений и соблазна поспорить о терминах, введу определение "знания", используемое мною не только в этом сообщении, но и в своей диссертации на тему автоматизации систем управления знаниями. Данное определение придумано не мною, а лишь заимствовано как наиболее подходящее для объяснения процесса создания организационного знания. Источник данного определения, к сожалению, не представляется возможным, так как с древних времен люди так и не пришли к единому мнению. Ну, разве только можно точно сказать, что "западные" ученые соглашаются с тем, что знание - это доказанное истинное убеждение, положение, впервые высказанное Платоном в диалогах Meno, что говорит о теоретической природе знания. В то время, как восточные философы больше ценят воплощение прямого личного опыта. Изучив современные системы управления знаниями, реализованные в успешных организациях (как японских, так и западных), стало понятно данное определение:

Знание - это те данные, навыки, умения, жизненный опыт и так далее, которые используются практически и доказывают собой истинность поставленных целей. То есть знания имеют индивидуальную ценность.

Определение дано, и будем придерживаться его. Исходя из определения, становится понятным, что организационное знание возможно только при наличии индивидуумов или сотрудников и их личных знаний, большая их часть находящаяся в неформализованном или скрытом виде, выраженная в их личном опыте, иногда в виде принятия интуитивных решений. Если смотреть на соотношение используемых знаний в любой организации в формализованном виде и неформализованном, то оно не будет превышать 20 на 80 (правило Парето). При этом, в 20% формализованных знаний в виде инструкций, регламентов, текстовых описаний, программ и других документов, всегда есть часть устаревшей информации. Кстати, чем отличается информация и данные от знаний? Тем, что информация хранится и может никогда и не потребоваться, а знания используются для достижения поставленных целей - если цель достигнута, значит, знания верны (истины).

Получается, что большая часть организационного знания не структурировано и хаотично. Это не означает, что эта часть не поддается управлению. Просто ее использовать логически крайне затруднительно: как часто бывает так, что опытный сотрудник, когда его просишь рассказать словами, "как он достигает такого высокого результата" с трудом подбирает слова и часто упускает какие-то важные моменты - не со зла, просто описать то, что "делаешь на глаз" сложно.

Недавно я слышала вполне разумный, на первый взгляд, совет, что управлять знаниями нужно строго по алгоритму или порядку. Т.е., прежде чем выстраивать систему управления знаниями, нужно определиться с направлениями знаний организации - что-то собирать и структурировать, а чем-то не заниматься вовсе. Ну, что ж, звучит логично. 

Но здесь кроется большая опасность! Если большая часть знаний находится в эфире, а не в документах, и вообще не понятно где, то если отсекать целые направления, где гарантия, что с помощью такого грубого отсева, не пропустишь или упустишь что-то действительно важное? 

Часто бывает так, что в текущий момент важно одно направление в бизнесе (в зависимости, например, от внешних политических или экономических факторов), а через какое-то время (часто, весьма не продолжительное) - кардинально другие направления. С таким подходом приоритезации направлений высок риск оказаться в числе постоянно догоняющих и опаздывающих с принятием правильных решений. Что, в принципе, и доказывают большинство организаций с каждым кризисом, реагируя на текущую ситуацию. Выигрывает тот, кто быстрее всех среагировал и изменился. Конечно, организации следят за внешними условиями и строят прогнозы и стараются "подстелить" соломку под основной бизнес. Другой вопрос, если заниматься только реакцией на негативные изменения во внешней среде, рискуешь если не утонуть, то постоянно бежать на месте, так как в приоритете постоянно оказывается "выживание" или основные функции организации.

Сейчас уже ни для кого не является секретом, что для успешной конкуренции необходимо постоянно развиваться, а значит быть "другими", отличными от конкурентов (см. теорию "Голубого океана"). Для этого необходимы новые работающие идеи, отличные от конкурентов. Но если потоки знаний строго регламентированы и приоритезированы, то откуда им взяться?

Принцип латерального мышления и состоит в отсутствии рамок знания - потоки знаний должны быть открыты по всей организации, так как для решения задачи хорошая идея может прийти из самого неожиданного направления! Система управления знаниями не должна равняться системе управления данными. Если система управления данными - это хранилище информации, то система управления знаниями организации - это живой организм компании, где движущая сила - живые коммуникации.

В качестве примера хочу привести привычную мне среду - дистанционное обучение. Данное направление давно вышло за границы сферы IT. Чтобы успешно развиваться в этой отрасли необходимо изучать не только смежные, но и казалось бы совершенно не связанные с ней направления - педагогика, психология, логика, математика, дизайн, биология, кинематография, систематехника, теория игр и многое-многое другое! Безусловно, специалист elearning не может быть отличным специалистом в любой из перечисленных сфер (или еще где-то), но искать источники развития может где-угодно, помимо ключевых.

Принцип латерального мышления - это открытый доступ другим сферам, откуда может прийти новая освежающая идея или мысль. Дистанционное обучение - инструмент, который может и (должен) применяться в любой человеческой сфере, поэтому где-где, но именно в elearning можно учиться-учиться и еще раз учиться без границ!

Возможно, это звучит сейчас утопично. Но, когда я разрабатывала свою первую систему управления знаниями на базе elearning для диссертационной работы, мне тоже говорили, что это утопия, а она уже как 5 лет работает и продолжает развиваться... Главное, не ставить границ и искать.

Всегда Ваша,
Денисова Елена,
https://www.facebook.com/profile.php?id=100004487832154
http://blogofdenisova.blogspot.ru/