Объявлен шортлист! [Искусство разработки курсов]

Искусство разработки курсов 14 декабря 2017 // Москва, ЦДХ В этот четверг встречаемся в ЦДХ. Будем смотреть лучшие курсы! В программе курсы самых известных брендов: eNano, Tele 2, L'Occitane, METRO Cash & Carry, Уралсиб, Окей, Северсталь, ЮниКредит Банк, SIKE, Гулливер, Юрiя-Фарм. Каждый разработчик покажет свой проект: расскажет о дизайне, методике, бюджете, инструментах. ПРОГРАММА:

Конференция Искусство разработки курсов 2017: только кейсы

Конференция Искусство разработки курсов 2017: ТОЛЬКО КЕЙСЫ

Приглашаем на самую практичную конференцию #proelearning: Искусство разработки курсов!

14 декабря 2017 вы увидите победителей - лучшие электронные курсы 2017!

Каждый спикер покажет свой курс и расскажет все о:

• дизайне
• методике
• бюджете
• инструментах

Один спикер = один курс.

Учитесь у лучших - станьте лучшим!

Конференция Искусство разработки курсов 2017

14 декабря 2017 // Москва, ЦДХ

http://art.elearningpro.ru

+7 (495) 276 08 71

solovey@e-lc.ru (Юля Соловьева)

Приглашаем на ежегодную конференцию "Искусство разработки курсов"!

14 декабря 2017 г. мы приглашаем в Москву на ежегодную конференцию "Искусство разработки курсов"!

ТОЛЬКО КЕЙСЫ: 1 спикер = 1 курс.

Каждый спикер покажет курс и расскажет:

-1- О РЕШЕНИИ ЗАДАЧИ ОБУЧЕНИЯ

Почему именно такой курс был выбран для решения конкретной задачи обучения, как принимали решение о создании курса, планировали и разрабатывали его.

-2- О ДИЗАЙНЕ И МЕТОДИКЕ

Принципы, которыми пользовались при разработке архитектуры курса, визуального оформления, проверки знаний, отработки полученных навыков.

-3- О БЮДЖЕТЕ, РАЗРАБОТЧИКАХ, ИНСТРУМЕНТАХ

Сколько стоила внутренняя или внешняя разработка, на чем нельзя экономить, чтобы не потерять больше, сколько человек участвовало в проекте, как работали с экспертами, какой инструмент выбрали и почему.

КАЖДЫЙ УЧАСТНИК КОНФЕРЕНЦИИ ПОЛУЧИТ ДОСТУП КО ВСЕМ КУРСАМ, УЧАСТВУЮЩИМ В КОНКУРСЕ ЭЛЕКТРОННЫХ КУРСОВ 2017.

Детали участия и оплаты мероприятия: http://art.elearningpro.ru/

Контакты:

• Юлия Соловьева
• Телефон: +7 985 646 26 19
• E-mail: solovey@e-lc.ru

По горячим следам конференции "Искусство разработки курсов"

Идеальная e-Learning команда
Андрей Матюков

Послушав финалистов конкурса разработчиков электронных курсов и турнира WebSoft, просмотрев множество курсов, часть из которых даже в качестве эксперта (посчастливилось), у меня сформировался некий вывод, на чем точно не нужно экономить при создании крутых курсов - на сценарии и дизайне.

Комплектование по позициям

В таком случае в моем понимании идеальную e-Learning команду рискну представить в виде квадрата, где его одинакового размера грани – это следующие специалисты:

- методолог, 

- верстальщик,

- дизайнер,

- корректор.

Всё это может сочетаться в одном универсальном специалисте, эти функции могут выполняться усилиями 2-х или 3-х героев. Но если поток курсов большой, и при этом хочется, чтобы качество их улучшалось, фирменный стиль не терялся, появлялись новые интересные идеи и всё это, в конце концов, не портили некрасивые опечатки, пунктуация или неправильные фразы, то лучше, чтобы каждый занимался своим делом. Менее важным даже становится содержание большое количество однотипных специалистов, особенно в условиях постоянного кризиса.

Отдельным пятым пунктом можно было бы вывести тестировщика, превратив нашу условную квадратную фигуру успеха в правильную пятиконечную звезду. Другим сравнением можно привести пять пальцев на руке. Хотя, если каждый из ранее перечисленных четырех качественно сделает и проверит свою составляющую, то доля итоговых ляпов будет стремиться к нулю, а назначенная тестовая группа "простых смертных" выполнит ту самую завершающую огранку электронного бриллианта.

Если будет значительный перевес в одну из сторон, то возможны следующие неприятные исходы:

1) курсы шаблоны - все как один;

2) нефункциональные курсы, в которых великолепный сценарий реализован нелогично, неудобно, ошибочно;

3) бессмысленный мультик;

4) курс – поэма;

5) курс с долгим периодом создания, редактирования, актуализации в случае человека-оркестра;

6) великолепный курс, который просто убивают проблемы родного языка.

Возможны и сочетания таких негативов. В этой связи я могу сравнить e-Learning с моим любимым баскетболом, где в идеале хорошо бы иметь на паркете сразу 5 разноплановых игроков:

- разыгрывающий защитник;

- атакующий защитник;

- легкий форвард;

- мощный форвард;

- центровой.

Последний, как раз исполняет роль тестировщика, который всё подчищает за товарищами по команде. Он самый высокий, но не всем им могут располагать из-за «штучности товара», и в современном баскетболе нередко справляются без него, когда каждый из первых четырех делает чуть больше нормы.

В случае перекосов по позициям получаем:

- только быструю команду без царя в голове,

- только низкую команду без подборов,

- только меткую команду без прорывов,

- только атакующую команду без защиты.

- команду, в которой всех будет спасать одна суперзвезда, но в случае его травмы или перебора фолов, всё развалится.

В утопическом варианте реальности вообще лучше иметь пятерку универсалов, но на деле это почти невозможно. Если набор специалистов e-Learning, говоря спортивным языком, это КОМАНДА, в которой каждый должен заниматься своим делом, то лучше сразу правильно укомплектовать ее по позициям, тогда будут и результаты и прогресс.

В плохой форме не до роста

Дополняя о прогрессе и снова провоцируя разработку электронных курсов на спортивную игру, важен еще один момент. Для планомерного качественного роста и исключения бесполезной траты времени следует правильно оснастить нашу команду. Как в том же баскетболе, нужны удобные форма и кроссовки, мячи, регулярные тренировки, сборы, несколько тактических схем защиты и нападения. Так и в e-Learning Team необходимо иметь несколько средств разработки, графические редакторы, доступ в банки картинок, фирменный стиль, обсуждения, регламент, плановые обучения, обязательные посещения тематических конференций для обмена опытом.

Кроме того, имея всё вышеперечисленное, надо еще и ставить перед собой высокие цели, проверять себя на прочность, понимать, что собой представляет команда на общем фоне. Каков ее уровень? Нужно участвовать в различных соревнованиях и ставить перед собой максимальные цели, а говоря языком e-Learning - в конкурсах и турнирах, следствием которых и появляются такие научно-практические и приятные мероприятия, как "Искусство разработки курсов".

Спасибо всем организаторам, партнерам и участникам, всем - кто открыт для общения, готов делиться своими наработками с коллегами, всем - кто формирует, поддерживает и позволяет расти отечественное e-Learning сообщество. Новых нам всем интересных курсов и неожиданных открытий! С наступающим!

P.S.: Хотя конкурс разработчиков лишний раз напомнил, что шедевры удаются и одному или в паре. Но такие герои могут оказаться заложником одного хита из-за трудоемкости процесса. Победители же турнира разработчиков показали, что лучшее и за ограниченное время делается всё-таки командой.

***

Практика, практика и еще раз практика.

Тест не должен быть «оторван» от курса

Екатерина Смуглина, MZ5 group

Одним из новогодних подарков для меня стало приглашение от Corporate E-learning Club на конференцию «Искусство разработки курсов», которая прошла 15 декабря 2016 в Москве. Было очень интересно, иногда даже поразительно. В голове прочно поселилась мысль о том, что при разработке курсов нельзя экономить на сценарии и дизайне. Иначе можно потерять не только деньги, но и время на разработку ненужного материала.

В программе конференции было выделено несколько блоков, в которые вошли лучшие курсы по результатам конкурса разработчиков:

- блок теории.

- блок отработки знаний,

- блок навигации,

- блок тестирования.

Самыми полезными для меня были курсы из блока «Отработка знаний»:  Диалоговый тренажёр "Психологические аспекты переговоров" (Efes RUS) и Тренажёр по продаже страховых продуктов (ВТБ Страхование). 

Ещё раз убедилась, что обучающие диалоги отлично подходят для отработки навыков эффективной коммуникации с клиентами. Мы в компании 3 года работаем в CourseLab, пользовались пробными версиями разных продуктов –  articulate storyline, SalesUP, BranchTrack, Ispring. В ноябре мы создали первый тренажёр. Использовали пробную версия Ispring. Нам понравился инструмент – удобный, понятный. Тренажёр по выявлению потребностей создал очный тренер за неделю. При том, что сотрудник видел программу впервые и помимо этой задачи была масса других. 

Понравилась идея того, что тест не должен быть «оторван» от курса. Кстати, наши тесты в курсах сейчас - это светлый фон и вопросы с вариантами ответа. На конференции увидела примеры, как можно сделать это иначе в курсах: Юлмарт – «Курс про курсы» (внутренняя разработка) и Castorama RUS «Химикаты» (разработка eLearning center). 

Также впечатлил курс «Первая помощь» (SIKE - внутренняя разработка) – понравилось, что в курсе идёт сразу и теоретическая часть, и отработка знаний с визуализацией последствий действий слушателя.

Больше всего меня конечно же впечатлили курсы победителей турнира разработчиков! Да, идея и вовлекающий сюжет – это мощь и сила, которая поможет сделать обучение успешным. Курс про исчезновение HR-ов навсегда в моем сердце! Хотя бы потому, что я сама HR. А в целом, очень хороша идея курса – не просто описание функционала, а интересная история, после которой слушатели видят, что HR – это суперпомощники бизнеса! 

На конференции я осознала, что мы в компании на верном пути в разработке курсов. Например, мы интуитивно стали уходить от псевдоинтерактивности в курсах, стараемся использовать закрытую навигацию только в исключительных случаях, активно используем сторителлинг.

Спасибо организаторам и всем участникам конференции за идеи и вдохновение!

Быть или не быть. Или почему 700 лучше 4000?

Автор: Александр Слепец

Не так давно, на конференции «Искусство разработки курсов» было отличное выступление на тему «Разработка тестов, результаты которых имеют значение» (Алексей Корольков, Websoft). Когда я с утра увидел программу, то подумал, что этот блок, наверное, будет самым скучным, но я ошибался. Доклад спикера вызвал активную дискуссию не только на конференции, но и за ее пределами.

Рекомендую перед прочтением поста просмотреть данную презентацию.

******************

Не смотря на, то что «классика жанра» говорит нам о трех этапах тестирования: 

1.       Проектирование и разработка теста.

2.       Реализация (запуск) тестирования.

3.       Анализ, оценка и интерпретация результатов тестирования.

Алексей предложил более детализированные процесс разработки тестирование:

Как часто при создании и запуске нового тестирования мы проходим все эти этапы? Вопрос оставлю открытым, но на 100% соглашусь со спикером, что если Вы хотите достичь эффективности от тестирования, то это оптимальный путь.

Определения целей тестирования – это всему голова. Ведь в зависимости от цели у Вас будет меняться формат и параметры теста, а в некоторых случаях и отказ от тестирования. Но об этом стоит писать в отдельном посте.

Поскольку я себе ставил за цель написать о том, как в один день мы «удалили» около 4000 вопросов из системы и почему мы так сделали. 

База в 4000 тестовых заданий досталась нам в наследство, при попытке оптимизировать – поняли, что лучше не надо. А теперь почему:

1) большая часть тестовых заданий (вопросов) были легкими или очень лёгкими, вторая часть – непонятными или неактуальными;

2) в большинстве вопросов страдали варианты ответов (дистракторы): верный вариант был в большинстве случаев очевидным (длина, местоположения, не похожесть на другие варианты); недостаточное количество вариантов ответов; отсутствие перемешивание вариантов ответов;

3) наличие множества дублей тестовых заданий (создавались или различными сотрудниками, или для различных тестов)

На текущий момент – действующих вопросов около 700, из них около 10% в течение года переносятся в архив (нет надобности дальнейшего использования), 90% в течении года пересматриваются на актуальность (од одного до несколько раз, в зависимости от потребности). Большинство вопросов включены сразу в несколько тестов и в случае внесения изменений – мы вносим корректировки только в один вопрос, во всех остальных тестах будет актуальная версия. При перенесении вопроса в архив мы просматриваем с помощью агрегированного отчета в каких тестах данный вопрос еще использовался, чтобы его тоже своевременно исключить. Это то что касается управления базой тестовых заданий.

Мы четко себе отдавали отчет, если мы не изменим подход к написанию тестовых заданий и вариантов ответов к ним, а также если не будет изменён подход к созданию теста и анализа результатов тестирования, то ни про какую эффективность тестирования лучше и не говорить.

Перед нами стоял вопрос, как можно повысить и за счет чего эффективность тестирования. Ответы мы нашли, в свойствах теста. Кстати при нарушении одного из их делает любой тест неприменимым. Вот эти свойства:

§  Валидность – соответствие измеряемым знаниям, умениям.

§  Сложность – объем умственных усилий для выбора ответа.

§  Надежность – правильность и адекватность отражения уровня знаний.

§  Устойчивость – равнозначность для различных групп участников тестирования.

§  Репрезентативность – полнота охвата темы тестирования.

§  Значимость – актуальность включения в тест. 

Управлять ими посредством качественно разработанным тестовым заданиям (вопросов) и дистракторов.

Дистракторы (от англ. distract — отвлечение внимания) — варианты ответов в заданиях с выбором, не являющиеся правильными решениями, но внешне близкие к правильному решению.

За время создания различных тестов и их последующего анализа, хочу поделиться некоторыми рекомендациями.

Рекомендации по написанию тестовых заданий (вопросов)

- Тестовое задание должно быть сформулировано ясно и четко.

- Старайтесь формулировать задание в виде одного предложения, которое должно легко восприниматься каждым участником тестирования. 

- Задания тесте должны проверять конкретные знания, умения или конкретные навыки ваших сотрудников.

- Тестовые задания должны быть информативными.

- Необходимо использовать простую, грамматически правильную утвердительную форму задания в виде одного предложения из 5-20 слов, без оборотов, используя простые придаточные предложения.

- Не используйте в заданиях «нестрогие» слова типа «иногда», «часто», «все», «всегда», «никогда», «большой», «небольшой», «малый», «много», «меньше», «больше» и грамматические обороты «Почему не может не…», «Правда ли, что…», «Возможно ли…».

- Умело используйте вопросительные слова «Кто», «Что», «Где», «Когда», «Как», «Какая», «Какой». В большинстве случаем они не нужны в тестовом задании J.

Рекомендации по составлению верного варианта и дистракторов тестового задания.

- Неправильные ответы должны быть разумны, умело подобраны, не должно быть явных неточностей, подсказок.

- Все варианты ответов должны быть грамматически согласованы с основной частью задания; в любом случае следует использовать короткие, простые предложения, без зависимых или независимых оборотов.

- Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов.

- Применяйте правдоподобные ошибочные варианты, взятые из опыта.

- Не используйте варианты ответов «ни один из перечисленных» и «все перечисленные», особенно для типов вопросов «единственный выбор».

- Убедитесь, что различия между вариантами ответов точны.

- Чем больше варианты ответа походят друг на друга, тем труднее распознать правильный ответ и тем лучше тестируется умение понимать, например, прочитанный текст. Но когда различия не очень четки, то может случиться так, что тестируемый, зная правильный ответ, выберет правдоподобный.

- Избегайте повторения в вариантах ответов, особенно для вопросов, которые следуют последовательно.

- Лучше использовать длинный вопрос и короткий ответ. В противоположной ситуации на прочтение ответов уходит больше времени и больше сил тратится на анализ высказываний.

Совет «С ног на голову»

Создать тестовые задания очень просто. Когда у Вас четко поставленная цель и Вы точно знаете, какие знания Вы должны проверить в участников тестирования, тогда смело начинайте из написания верных вариантов ответов. К верным вариантам ответов подберите правдоподобные дистракторы. И тогда смелой приступайте к написанию самого вопроса (тестового задания).

Сколько должно быть вариантов ответов? Как минимум 4 для вопросов типа «единичный выбор». А для вопросов «множественный выбор» все зависит от количества верных ответов. А что бы участники тестирования не играли «в морской бой» во время тестирования, не забывайте установить перемешивания вариантов ответов (следования вариантов - случайно).

Да, в большинстве тестовых заданий у нас проставлен вес 1 бал за верный вариант ответа, но это не стандарт для нас. 2, 3, 5 баллов за верный ответ также имеет право на жизнь. Количеством баллов мы определяем сложность вопроса.  Был опыт, когда мы ставили и 0 балов. При удобном случае поделюсь данным кейсом.

Длина теста. Оптимальное значение - 25-30 вопросов. Выборка должна быть в 3-4 раза больше. То есть в тест включаем пул из 75 вопросов, а каждому слушателю выдаем по 25-30 вопросов.

Помните, что затрачиваемое время на сдачу теста должно быть не больше 60 мин., а минимальное время зависит от занятости Ваших сотрудников. Мы делаем тесты так, чтобы время, затраченное на его прохождения, не превышало 20-30 минут.

Параметры теста. Как минимум, перемешивайте вопросы в тесте и используйте выборку вопросов. А все остального будет исходить от цели тестирования.

Пример, когда нам нужно было включить в тест вопросы с различным весом верного ответа:  

15 вопросов с весом 1 балл за верный ответ;

10 вопросов с 2 балами за верный ответ;

5 вопросов с 5 балами за верный ответ.

Почему именно так? Ведь проще было поставить настройку показать 30 вопросов из 100. Но в таком случае может получиться так, что кому-то попадутся все 30 вопросов с весом в 1 балл, а кому-то только вопросы с высоким весом. 

Как понять, что с тестом что-то не то? После каждого тестирования каждый из нас выгружает из системы как минимум отчет по завершенном тестировании. Постройте на его основе диаграмму, которая бы показала частоту распределения результатов теста.  Если в результате у Вас получилось что-то на подобие вот такой картинки, значит тест и тестовые задания требуются пересмотра.

Чтобы понять в чем причина, следует сделать выгрузку во варианты ответов участников тестирования. В большинстве LMS это стандартный отчет. Названия его может отличаться, а вот суть нет.  Он имеет приблизительно вот такой вид.

На что обращать внимание:

1. На вопросы, которые имеют слишком высокий средний балл.

2. На вопросы, которые имеют слишком низкий средний балл.

3. На количество выбранных тех или иных вариантов ответов.

Давайте попробуем понять на примерах, что нужно улучшить в некоторых вопросах (тексты вопросов и вариантов ответа показывать не буду, так как в них может содержаться конфиденциальная информация).

Кейс 1.

Средний бал 0,96, только 4% участников тестирования предоставили неверный ответ.

Ошибка №1. Не достаточное количество дистракторов (помним не меньше 4), требуется увеличениях их количества.

Ошибка №2. Второй дистрактор скорее всего не правдоподобный, так как его никто из 50 участников, так и не выбрал - смело его убирайте и придумайте новый.  

Кейс 2.

Средний балл 1.

Ошибка №1. Не используйте вариант ответа «Все ответы верны». В таком случае слушателю достаточно знать только два верных ответов и поскольку тип вопроса не позволит их выбрать одновременно у слушателя появляется мысль «Значит все варианты ответа».

Решения. Если уж не хочется добавлять дистракторы, то хотя бы замените тип вопроса на «множественный выбор» с одним верный вариантом ответа. Но в таком случае будьте готовы править результаты руками для тех участников, которые выберут все первые 4 варианта, что тоже будет правильно. Так что не ленитесь и добавляйте дистракторы и убирайте вариант ответа «Все ответы верны».

Кейс 3.

Вот пример, когда тестовое задание имеет проблемы с дистрактором (вариант 1 та вариант 4). 

Кейс 4.

Обратите внимания, первые два дистрактора никто так и не выбрал, лучше их заменить. А теперь обратите внимание на дистрактор 6, которые ввел в заблуждения более 90% участников тестирования. И здесь могут быть различные сценарии: к примеру дистрактор 6 может демонстрировать, то что сотрудники выбирают его по старинке (раньше был верный вариант ответа) так и то, что он плохо составлен.

Кейс 5.

Вот такая картинка, сигнал что тестовое задание или сформулирована непонятно, или двузначно.

Вот такой небольшой и не затратный анализ поможет Вам повысить эффективность Вашего тестирования. Успехов Вам в роботе!

It Is Tomorrow – And Me, то что меня вдохновляло в процессе написания данного поста. 

Источник