Показаны сообщения с ярлыком оценка эффективности. Показать все сообщения
Показаны сообщения с ярлыком оценка эффективности. Показать все сообщения

четверг, 3 ноября 2016 г.

Какие показатели e-Learning интересуют Бизнес?

Автор: Марина Литвинова


Сегодня мне задали вопрос "Какие показатели e-Learning интересуют Бизнес?". Я поняла, что однозначно ответить очень сложно. Решила расписать, почему.

Во-первых, нужно понимать кто такой "Бизнес" - это топ-менеджер, руководитель HR, линейный руководитель сотрудника, руководитель бизнес-подразделения, руководитель или специалист отдела обучения, или же любой представитель компании-клиента в глазах провайдера e-learning платформы?

Во-вторых, на каком этапе интересуют эти показатели: покупка LMS, смена системы обучения, подведение итогов обучения в конце года, доказательство успешного внедрения проекта, формирование программ обучения, анализ итогов одного конкретного учебного онлайн-мероприятия?

Единственный общий критерий в этом - показатели e-learning. Цифры. 
Посмотрим, кому и какие цифры могут понадобится, а также для каких целей.

1. Базовые отчеты по статистике прохождения обучения.

КОГДА: На этапе выбора LMS при анализе ее функционала. Сразу после внедрения LMS и на протяжении всего периода развития системы.
ДЛЯ ЧЕГО: Планирование программ обучения, подведение итогов обучения (ежеквартальные ежегодные срезы, отчеты, приказы по компании, результаты обучения по конкретной теме), возможно даже для внедрения неких элементов геймификации для повышения мотивации в обучении, и еще выше - для движения в сторону анализа больших данных и формирования персонализированных программ обучения.
КОМУ: Руководителю или специалисту отдела обучения, HR-ру.

Пример показателей в базовых отчетах:
- количество сотрудников которым назначено обучение,
- количество сотрудников, которые прошли обучение успешно/не успешно,
- показатели прохождения обучения по сотрудникам, отделам, должностям, подразделениям, анализ по баллам, периоду, времени обучения,
- активности сотрудника в различных учебным мероприятиях, рейтинги, лидеры.

2. Приборная панель руководителя (dashboard) или просто страница руководителя в LMS.

КОГДА: На протяжении всего периода развития LMS. Логично посмотреть на эти возможности и на этапе выбора LMS при анализе ее функционала.
ДЛЯ ЧЕГО: Визуализация всей картины обучения (наглядно, красиво, удобно), принятие решений по результатам обучения по сотрудникам отдельно и по подразделениям в целом, анализ затрат на обучение, анализ эффективности работы отдела обучения, сравнение успешности обучения различных подразделений.
КОМУ: Линейному руководителю сотрудника, руководителю бизнес-подразделения, топ-менджеру, HR-ру.

Примеры показателей на приборной панели (ключевое - визуализировано, поддается легкой сортировке и анализу):
- количество сотрудников, которые регулярно обучаются в LMS,
- результаты обучения в разрезе подразделений в сравнении и динамике,
- лидеры обучения по подразделениям, должностям,
- затраты на обучение по подразделениям, годам,
- количество обращений к LMS в день/месяц/год, динамика
- выделенные "красные" и "зеленые" зоны обучения, в которые попали сотрудники/подразделения по конкретному курсу, программе обучения, активности в LMS.

3. Параметры эффективности LMS в целом, KPI (ключевые показатели эффективности), ROI (показатель рентабельности вложений).

КОГДА: На этапе выбора LMS, смены системы обучения, подведения промежуточных итогов внедрения, обоснования затрат текущего бюджета и планирования бюджета на развитие LMS.
ДЛЯ ЧЕГО: Анализ эффективности работы LMS для компании, понимание правильности выбранного решения, понимание целесообразности затрат на e-learning, понимание эффективности обучения, понимание взаимосвязи обучения с другими HR- и бизнес-процессами в компании.
КОМУ: Топ-менеджменту, HR-ру и лицам, принимающим решение при выборе/смене LMS.

Как вы, наверное, догадываетесь, третий вариант самый сложный. Любой проект достаточно трудоемко оценить комплексно, а тем более проект, в котором сложно описать параметры в цифрах. Нельзя сказать, что если 100% сотрудников обучаются в LMS, то это однозначно хорошо. И даже если половина из этих сотрудников сдают тесты не менее, чем на 80% это тоже еще не о чем не говорит. Потому что эти показатели сами по себе нельзя рассматривать. Только комплексно.

Примеры показателей эффективности LMS:
- для анализа эффективности конкретного назначенного учебного онлайн-мероприятия (количество ошибок допущенных сотрудником до и после проведения обучения, увеличение количества звонков клиентам до и после обучения, сравнение результатов тестирования до и после проведения обучения, использование модели Кирпатрика: реакция, оценка знаний, оценка поведения, влияние на бизнес).
- для анализа эффективности/полезности всего контента в LMS (количество обращений к конкретному материалу, количество затраченного времени на обучение, количество незаконченных курсов, результаты анкет обратной связи по каждому материалу).
- для анализа эффективности работы LMS в компании (количество обращений к LMS, количество назначенных/пройденных мероприятий, количество обращений в тех.поддержку, %-ное соотношение дистанционных и очных программ обучения, сравнение количество обученных сотрудников до и после внедрения LMS, количество времени на обучение).
- для анализа затрат бюджета и планирования бюджета (соотношение затрат на очное и дистанционное обучение, сравнение затрат до и после внедрения LMS, расчет стоимости обучения на одного сотрудника по курсам внутренней и вендорной разработки, использование калькуляторов ROI, например - eLearning Cost Benefit Calculator или e-learning return on investment calculator и еще вариант).
- для анализа LMS как системы для покупки (тут мне сложно было в цифрах описать, потому по смыслу - гибкость ИТ-решения, масштабируемость системы, поддержка развития системы, работа клиентской службы и службы тех.поддержки, опыт реализации похожих проектов, отвечающий поставленным задачам функционал, ценовое решение, возможность самостоятельной поддержки системы без услуг вендора, возможность интеграции с другими системами, удобство организации обучения и администрирования системы).

четверг, 1 октября 2015 г.

Как оценить эффективность e-learning по модели Киркпатрика

Автор: Марина Литвинова

Не секрет, что классическим способом оценки эффективности обучения сегодня считается предложенная в 1975 г. Дональдом Киркпатриком модель, состоящая из четырех уровней:
- уровень 1 – оценка реакции обучаемых, 
- уровень 2 – оценка уровня знаний, 
-  уровень 3 – оценка поведения на рабочем месте, 
- уровень 4 – оценка влияния на результаты бизнеса.

Можно выделить три причины проведения оценки эффективности e-leanring:
  • оправдать существование/развитие/бюджет e-learning-проекта и его отдельных элементов, показав его вклад в достижение целей и задач организации; 
  • сформировать механизм получения информации о том, как улучшить процесс обучения;
  • сформировать механизм принятия решений о том, как улучшить процесс обучения.
На схеме - мой вариант данной схемы в применении к оценке эффективности дистанционного обучения. 



  • 1 (справа вверху) - Реакция слушателей на курс/тест/вебинар и т.д.
В электронном обучении оценку первого уровня можно легко провести в режиме он-лайн в формате анкеты обратной связи, желательно с визуализацией результатов. Что можно оценивать? Удобство восприятия информации, актуальность темы курса для сотрудника, применимость на практике и др. Удобно также использовать дополнительное поле для комментариев.
  • 2 - Оценка знаний и опыта, полученных в ходе обучения
Именно на втором уровне измеряются результаты обучения. Для этой цели необходимо провести тестирование до и после обучения (если выбран формат теста для проверки знаний, хотя это может быть и др вариант, например, набранные баллы в игре, тренажере, собеседование, реальная продажа продукта и т.д.). В СДО обычно имеется своя форма отчета по тесту и форма отчета по статистике тестирования определенных групп обучаемых. Со знаниями статистика справится конечно же лучше, чем с измерением опыта. 
  • 3 - Оценка поведения на рабочем месте
Нам необходимо понять в какой мере новые знания и навыки сохранились в памяти и используются теперь на рабочем месте. Для этого служит третий уровень оценки. 

В идеальном случае такая оценка производится через 3-6 месяцев после проведения программы обучения. За это время обучаемые имеют возможность применить новые навыки, а наставники, руководители или тренеры могут  проверить, как был усвоен материал.
Важно: в курсе (или др формате e-learning), по результатам изучения которого проводится оценка, должно быть прописано, чему должен научиться сотрудник, что он должен выполнять, при каких условиях и в какой последовательности. То есть должна быть четкая цель обучения. Без цели мы не сможем оценить, у нас просто не будет параметров для такой оценки.

Оценка происходит в реальных условиях. При оценке поведения на рабочем месте может принимать участие сам сотрудник, прошедший обучение, его руководитель и даже покупатели (клиенты).  Например, при оценке результатов обучения технике продаж могут рассматриваться следующие темы: 
 - рассказывает ли сотрудник покупателю о преимуществах продукта? 
 - может ли сотрудник проанализировать возражения  отдельных категорий покупателей? 
 - использует ли сотрудник для каждого из этих возражений соответствующую модель ответа? 
 - если потенциальный покупатель ничего не купил, предпринимает ли сотрудник после разговора с ним какие-либо шаги, чтобы это случилось в будущем?    
  • 4 - Оценка влияния обучения на деятельность компании
На четвертом уровне модели Киркпатрика оценивается воздействие обучение на результаты бизнеса. Ниже приведены примеры учебных программ и измеряемых параметров влияния на бизнес. К сожалению, такой способ используется достаточно редко из-за сложности получения данных о бизнесе и сложности выделения влияния прошедших обучение в качестве отдельной переменной.

Учебная программа
Параметр для измерения
Обучение методам ведения продаж
Объем продаж, лояльность покупателей, продолжительность цикла продажи,  доходность каждой продажи
Обучение техническим навыкам
Число звонков в «справочный стол», время на составление отчетов, форм или заданий, уверенное пользование программным обеспечением или оборудованием
Обучение методам повышения качества
Сокращение числа дефектов
Обучение технике безопасности
Сокращение количества несчастных случаев

Источник

вторник, 22 сентября 2015 г.

Кейс по оценке эффективности обучения

Автор: Эдуард Бабушкин

Я в свое время думал, что кейсы по оценке эффективности обучения буду делать на основе ваших данных, но данных не дождался, хотя не вижу ничего в этом сложного, поэтому выдаю вам кейс на основе данных, полученных в результате нашего исследования (в котором многие из вас так и не приняли участие, хотя оно открыто до сих пор).
Вы можете воспринимать пост как шаблон для собственного анализа.

В исследовании есть вопрос
Проходили ли обучение за время поиска работы
  1. Языковые курсы
  2. Обучение офисным программам: Excel, Word и т.п.
  3. Проходили профессиональные курсы
  4. Тренинги по развитию навыков поиска работы
  5. другое
Я решил посмотреть, есть ли какие эффекты у тех кандидатов, кто проходил тренинги по развитию навыков поиска работы. По данным данным мы можем выдвинуть и проверить две гипотезы:
  1. Кандидаты, прошедшие тренинги по развитию навыков поиска работы, быстрее находят работу, чем остальные кандидаты;
  2. Данные кандидаты выигрывают в зарплате, т.е.  разница между зарплатой на новом и предыдущем местах работы в среднем больше у тех, кто прошел тренинги по развитию навыков поиска работы. 

Описание выборки

И это самый ненадежный момент данного анализа. Как нам очистить влияние других факторов? Или по русски: вполне может быть такая ситуация, что тренинги по развитию навыков поиска работы посещают те, кто отчаялся уже искать, они ищут долго, это уже даст эффект на результаты. Кроме того, часть кандидатов не ищут работу, а их хантят, что проходящих тренинги уже ставит в невыгодное положение.
Поэтому я принял следующее решение: взять только
  1. тех, кто искал работу, а не его хантили
  2. тех, кто проходил хоть какое-то обучение во время поиска работы.
Т.е. см. выше, у нас были те, кто проходили, профессиональные, языковые курсы, обучение офисным программа и т.п..
Логика моя простая: кандидаты, проходившие обучение во время поиска работы, делали сознательный выбор, чему учиться. Они могли выбрать профессиональные курсы, а могли тренинг "Как проходить собеседование". Тем самым "подтягивая" недостающие у них, по их же мнению, навыки.
Кроме того, выбирая обучение, они понимали, что процесс поиска работы может быть длительным.
Итого: выборка состоит из тех, кто искал работу и проходил обучение, и разбита на две группы:
  1. тех, кто проходил тренинги по развитию навыков поиска работы (в результатах анализа обозначу группу цифрой "1");
  2. тех, кто проходил любое другое обучение во время поиска работы (цифра "0").
Причем, обращаю ваше внимание, те, кто указал, что проходил тренинги по развитию навыков поиска работы, могли учиться одновременно с этим и чему-то другому, а во второй группе могли учиться чему угодно, но только не тренингам по развитию навыков поиска работы.
Если вы считаете, что мой подход к формированию выборки исследования не самый лучший, предложите свой, напишите критику, помогите улучшить подход к анализу.

Результаты

Время поиска работы
Проверим гипотезу, кто дольше ищет работу.


  1. В группе "1" у нас 31 респондент (это те, кто проходил тренинги по развитию навыков поиска работы и что-то еще);
  2. В группе "0" - 207 (те, кто изучали что-то другое)
Анализ времени поиска работы провожу с помощью анализа дожития (интепретация анализа дожития см. Анализ и визуализация дожития: чем HR похож на медиков).
Оценка эффективности тренингов по развитию навыков поиска работы
Ось X - время поиска работы работы в месяцах, Ось Y - % не нашедших работу. Зеленая линия - те, кто указал, что проходил тренинги по развитию навыков поиска работы, Желтая - любое другое обучение. что "зеленые" дольше ищут работу. Но различие это незначимо (значимость на уровне 0.573), поэтому мы делаем вывод, что те, кто прошли тренинги по развитию навыков поиска работы не находят работу быстрее тех, кто учится чему то другому.

пятница, 18 сентября 2015 г.

Нормативные документы и dashboard - помощники в оценке эффективности обучения

Автор: Марина Литвинова

Хочу кратко рассказать о том, какие документы помогут качественно подойти к оценке эффективности обучения и как визуально можно представить результаты такой оценки, а также постоянно держать "руку на пульсе", отслеживая динамику развития СДО-проекта.

Документы:
1) Положение про обучающие материалы в СДО - поможет в оценке качества наполнения и обновления СДО учебным контентом (как происходит создание, оценка, размещение, обновление, блокировка, и конечно же ответственные люди на каждом из этапов)
2) Стандарт оценки эффективности обучения - на этот документ можно опираться представляя результаты работы СДО на квартальных и годовых совещаниях, на основании этого же документа будем создавать тех.задания и доработки в зависимости от наших целей (тут обозначаем, кто что оценивает, по каким параметрам, порядок оценки, порядок обработки результатов, принятие решений по результатам оценки)
3) Стандарт электронного курса - поможет в контроле качества учебного контента и анализе прохождения каждого курса в отдельности (содержит требования к наполнению и оформлению учебного материала, % визуализаций, интерактива, формат шрифта, количество слайдов, длительность модулей, требования к аудио-, видео-, текстовым блокам и т.д.)
4) Порядок проведения обучения и тестирования - поможет в оценке результатов тестирования, выполнения программ обучения, анализе сложности вопросов внутри тестов, общем количестве тестирований и анализе активности использования СДО (тут описываем, что включает программа обучения и каким образом она формируется, назначается, как измеряется успешность ее прохождения, процесс заказ курсов и сдача тестов, проходной балл, повторные тестирования, анализ статистики, принятие решений по результатам обучения, ответственные люди на каждом из этапов).
Возможно, будет лучше, если все эти документы вы сможете свести в один. Главное, чтобы он был удобен для использования и понятен. 

Визуализация:
Результаты оценки эффективности было бы замечательно продемонстрировать на так называемой "приборной панели проекта" (dashboard), интерактивной и отображающей актуальную на сегодня информацию о системе дистанционного обучения в целом в компании. Схематически это можно представить так:




Еще несколько примеров того, как может выглядеть ваш dashboard:

  • http://elearning.jiscinvolve.org/wp/files/2012/12/skills_dashboard_initial_design-868x1024.jpg
  • http://www.tusur.ru/export/sites/ru.tusur.new/ru/news/2014/04/58-2.jpg
  • https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgAVb6G3YuiJ9JPRdYV5H571KUZnGYMuHhvdmDxY_y_GAZInAKSBLGRv1Gxs5BhWA814yRXYhGnw8Ec_OAjzGw6JVo6htG5rIB53VFmBm0lEkWL2HgIvwysVze0fGOB3cmo3p_TJaD7UM8/s1600/tumblr_lgb5yiFtZ61qb88sy.png
  • http://www.geospafitness.com/GeoSpaFittness/files/81/81320f29-fd15-4942-8fd9-c8cf9f605a7e.jpg
О том, как красиво оформить можно почитать тут https://econsultancy.com/blog/62844-24-beautifully-designed-web-dashboards-that-data-geeks-will-love/ 

среда, 15 июля 2015 г.

Эффективность обучения: как понять, что происходит в момент изучения курса?

Автор: Елена Тихомирова

Меня всегда больше всего интересует, как люди проходят те курсы, которые мы создаем. Некоторые курсы я даю друзьям, родителям и всем окружающим, чтобы посмотреть, как они на них реагируют. Самое интересное - встать за спиной и смотреть, где мы перемудрили с навигацией. Но эти люди - не сотрудники компаний и обучение им не нужно. Точнее сказать, что это не обязательно и мотивация скорее в том, чтобы посмотреть что-то новое и сделать мне приятно. А вот что происходит с теми, для кого курс сделан? 

Мы можем сделать анкету в конце курса, в которой зададим все самые важные вопросы. Про использование курса, про удобство, про содержание и еще что-то, что нам важно. Но в конце курса мы уже ничего не можем поменять, не сможем изменить впечатление.

Можно ли как-то организовать оценку эффективности курса, которая будет передавать нам оперативные данные и позволит корректировать курс по ходу? 

  1. Курс должен быть сделать в виде набора небольших модулей. По сути - программа обучения. Например, некий типовой курс по этике изучается около 40 минут. Его можно разбить на 4 курса по 10 минут или на 10 курсов по 4 минуты. На мой личный вкус, второй вариант более интересный. Но я чуть позже про это напишу. Сейчас пусть это будут 4 курса по 10 минут изучения каждый.
  2. Программу обучения строим так - 1 модуль в неделю.
  3. В конце каждого курса добавляем 1 минуту на опрос о обучении: полезно ли, понятно ли, решает ли задачи и т.д. Вопросы должны быть по существу и, по возможности, должны спрашивать о том, какие вопросы остались, что еще хотелось бы узнать.
  4. На прохождение даем 2-3 дня - за это время большинство людей смогут найти 10 минут.
  5. Ближе к завершению изучения курса собираем и анализируем данные по опросам.
  6. Так как модули у нас небольшие, то на их корректировку достаточно 1 дня. Если опросы показывают, что слушателям не все нравится или чего-то не хватает, то изменения могут быть внесены не только в сами курсы, но и могут быть просто приложенными документами, ссылками - инструментами быстрого обновления и дополнения.
Такая система оценки эффективности дает возможность держать руку на пульсе и видеть, что на самом деле важно для сотрудников и как они оценивают обучение. 

Сами по себе короткие курсы вообще более удобные. Их можно быстро исправить, можно какие-то курсы убрать, другие добавить. Самое важное, что по ним гораздо проще понять, что слушателям было полезно, а что нет. Большой курс слушатели не воспринимают полностью - банально не хватит оперативной памяти на все, что было изучено в течении 40-60 минут. 

пятница, 16 января 2015 г.

Как предсказать увольнение работника по результатам электронного курса

Автор: Эдуард Бабушкин

Представляете идею: человек у нас проходит электронный он лайн курс, что то делает, а мы по результатам курса говорим: это уволится, а этот... попозже уволится...
Ну вот мы приближаемся к этой фантастике.
Аналитика в дистанционном обучении (кейс для работы)
Напомню: в кейсе есть данные оценок удовлетворенности электронным курсом, и есть стаж работы в компании работника.
Сразу результаты
Непараметрическая регрессия показывает значимые различия между "отличниками" (кто ставил "5" за курс) и "хорошистами", "отличниками" и "троечниками" (для спецов сообщаю, что использовал непараметрическую регрессию, учитывая также стаж тех, кто не уволился).
Грустно, что R^2 = 0, 001, но он значим
Посмотрите на статистики
$`3`
   Min. 1st Qu.  Median    Mean 3rd Qu.    Max.
    6.0   114.8   258.0   425.8   561.0  3570.0

$`4`
   Min. 1st Qu.  Median    Mean 3rd Qu.    Max.
    2.0   101.0   241.0   402.7   525.0  4513.0

$`5`
   Min. 1st Qu.  Median    Mean 3rd Qu.    Max.
    1.0   101.0   224.0   368.7   496.0  4743.0

Как предсказать увольнение работника по результатам электронного курса


Те, кто оценивают курс на "4" или "3" работают в компании значимо дольше.
Но обращаю Ваше внимание: данные "грязные", много bullshit, непонятен инициатор увольнения, поэтому еще много вопросов к выводам.

среда, 14 января 2015 г.

Как зависит удовлетворенность электронным курсом от времени его прохождения

Автор: Эдуард Бабушкин.

Порешаем кейс Аналитика в дистанционном обучении.
Напомню, основная идея: посмотреть как время прохождения курса влияет на оценку удовлетворенности этим курсом.

Диаграмма. Распределение времени прохождения курсов



Как зависит удовлетворенность электронным курсом от времени его прохождения
Данные по оценкам такие
     1     2       3      4        5
   63    90   769  5280 22585
Ценность прогноза, безусловно, снижается тем, что у "пятерки" дают три четверти оценок. Тем не менее, мы различия нашли
Данные регрессии следующие (время прохождения курса мы логарифмируем)
lm(formula = log(r1$timec, base = exp(1)) ~ k, data = r1)

Residuals:
    Min      1Q  Median      3Q     Max
-1.2396 -0.5590 -0.0482  0.4218  3.3122

Coefficients:
             Estimate Std. Error t value Pr(>|t|)  
(Intercept) 3.9601884  0.0046702 847.976  < 2e-16 ***
k1          0.2416935  0.0866167   2.790  0.00527 **
k2          0.2267594  0.0730114   3.106  0.00190 **
k3          0.1126549  0.0255257   4.413 1.02e-05 ***
k4          0.0004889  0.0107263   0.046  0.96364  
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 0.7027 on 28870 degrees of freedom
  (19 observations deleted due to missingness)
Multiple R-squared:  0.001263, Adjusted R-squared:  0.001124
F-statistic: 9.125 on 4 and 28870 DF,  p-value: 2.305e-07
Потрясающий R^2?)
И распределение времени по каждому уровню оценки
Как читать диаграмму boxplot - для понимания результатов
Как зависит удовлетворенность электронным курсом от времени его прохождения

понедельник, 12 января 2015 г.

Аналитика в дистанционном обучении (кейс для работы)

Автор: Эдуард Бабушкин.


В ответ на мою просьбу (см. пост Оценка удовлетворенностью электронным курсом (предложение)) мне прислали файл с данными, а я их вам передаю.
Данные реальные! Я только закодировал названия курсов и должностей, чтобы нельзя было по ним догадаться, что это за компания. Сам я пока ничего не считал.

Итак, кейс

У вас есть файл excel в 36 066 строк со следующими переменными
  1. ID пользователя - уникальный код работника
  2. Дата создания - дата прохождения курса
  3. курс - уникальный код курса
  4. позиция - занимаемая должность
  5. Дата рождения - того, кто проходил курс
  6. Дата приёма - на работу учащегося
  7. Дата увольнения - его же дата увольнения (если пустое поле, значит работает)
  8. Оцени удобство перемещения по курсу - оценка логистики курса учащимся
  9. Сколько времени потратил на изучение курса в минутах? Введи число - оценка учащимся времени прохождения курса
  10. Оцени весь курс по пятибальной оценке - оценка курса учащимся
Вопросы к вам:
  • Какие результаты мы можем извлечь из данного файла;
  • Этот же вопрос в другой формулировке: какие гипотезы можно выдвинуть, исходя из имеющихся данных;
  • Посмотрите на данные и скажите, какие данные вызывают недоверие и почему.
Считать пока ничего не надо, просто выдвигайте гипотезы, если вы не умеете посчитать, посчитаю я. Мне важно, чтобы вы научились зряче смотреть на данные.
ПыСы. осторожней качайте файл
Аналитика в дистанционном обучении (данные для анализа)

пятница, 26 декабря 2014 г.

Оценка удовлетворенностью электронным курсом (предложение)

Автор: Эдуард Бабушкин

В продолжение баталий и битв
Видали вот такую фигню в переводчике гугля? Понимаете, что на основе этих рожиц Гугль улучшает сервис?
Оценка удовлетворенностью электронным курсом (предложение)
Кто нибудь у себя в курсах такую хрень ставил?
Насколько я помню, Михаил Протасов говорил (вебинар Практический опыт автоматизации HR-процессов в компании Enter с помощью системы WebTutor), что у них в Энтере разработчикам заложено в KPI получать высокие оценки по оценке курсов.
Предлагаю технологию того, как можно научиться зряче управлять процессом получения высоких оценок обратной связи по курсу.
От вас нужен лог прохождения курса участниками
Лог этот выгружается из курса формата SCORM или TinCan.
Я не знаю, как он выглядит этот лог (я не специалист по SCORM or TinCan)), но подозреваю (по практике работы с другими системами), что это TXT файл, в котором есть переменные
  • session или sessionID
  • userID или типа того
  • time
  • duration
  • response (это как раз про то, как оценил курс)
  • и еще какие нибудь переменные
Я обращаюсь к спецам: я правильно понимаю, что такое в принципе возможно выгрузить из SCORM?
Если вы выгрузите это из SCORM / TinCan
Я могу вам посчитать, какие параметры курса влияют на оценку удовлетворенности курсом.
Например,
  • если собрать инфо по курсам с разной продолжительностью / кол-вом слайдов, мы ответим на вопрос, какое оптимальное время продолжительности обучения с т.з. удовлетворенности курсом. 
  • Мы можем понять, влияет ли факт того, что студент прошел весь курс без перерывов или разбивал его на отрезки, на удовлетворенность курсом.
  • Можно посмотреть связь между удовлетворенностью курсом и характеристиками самих обучаемых (если мы знаем, кто стоит за userID
  • мы можем оценить влияние отдельных решений курса на восприятие курса в целом (если это решение как то выделено в курсе - например, влияет на оценку курса в целом, то, как отвечал на проверочные вопросы обучаемый)
  • ну и т.п...
Я не обсуждаю здесь, насколько это важно бизнесу или нет. Я не обсуждаю целесообразность этой затеи.
Что вы, собственно, можете получить в итоге: в итоге вы понимать, какие факторы позитивно / негативно влияют на оценку удовлетворенностью курсом, создавать курсы с учетом этих знаний и управлять удовлетворенностью курсами, собственно.
Но если вам интересно посмотреть, что получится, пишите edvb()websoft.ru - будем пообсуждать

четверг, 16 октября 2014 г.

Кейс по оценке эффективности очного и дистанционного обучения

Автор: Эдуард Бабушкин

Это уже второй мой кейс про эффективности в дистанционном обучении, первый здесь Кейс по эффективности вебинара


Буду создавать кейсотеку.

Сегодняшний кейс абсолютно реальный, но не спрашивайте название банка. Точно только то, что дистанционной платформой был Webtutor
Кейс может показаться простым. Он в отличие от этого поста (см. Кейс по HR-аналитике без цифр (на понимание)), во первых, на определение критерия (это про цифры), а, во вторых, на понимание: важным элементом анализа является корректная интерпретация полученных результатов.
Удачи в решении.

Кейс

В банке прошло одновременно очное и дистанционное обучение по продукту: 13 менеджеров отправили обучаться в подмосковный пансионат, 24 менеджера учились дистанционно.
После обучения спустя две недели все прошли дистанционное тестирование.
Результаты показали следующие:
  • В группе "очников" 3 студента ответили на 100 % правильных ответов по тесту, 7 - 90 % правильно, 2  - 80 %, 1 - 70 %.
  • В группе "дистанционщиков" такие результаты: 2 студента - 100 % правильных ответов, 6 - 90 %, 8 - 80 %, 4 - 70 %, 3 - 60 %, 1 - 50 % правильных ответов.

Вопрос к кейсу:

  1. Представьте данные в виде таблицы;
  2. Визуализируйте данные (каким типом диаграммы воспользуетесь)
  3. Определите статистический критерий для решения
  4. Ответьте на вопрос: можно ли по полученным результатам утверждать, что очное обучение эффективней дистанционного (или наоборот, или они не отличаются по эффективности)
Продолжение:

пятница, 4 июля 2014 г.

Биржа контента и рейтинги. Кому-то нужен открытый рынок e-learning?

Автор: Павел Безяев

Последнее время в сообществе e-learning активно обсуждаются идеи по созданию биржи контента. Даже появляются некие очень упрощенные прототипы. Меня вопрос создания прозрачного рынка e-learning волнует давно. Готов ли к этому рынок и действительно ли это нужно заказчикам и уже тем более провайдерам электронного обучения?  Вопрос очень даже не простой. В свое время мне казалось просто диким то, что происходит на «рынке» сейчас. Когда государство год за годом выделяет миллиарды (!) на проекты, в которых только меняется название, а по сути это тот же движок на базе Moodle, те же сканированные учебники и немного анимированных материалов, те же люди и тоже отсутствие ярких результатов. А в корпоративном секторе есть провайдеры, выдающие за инновации функции LMS, которые считали минимальным набором еще году так в 1998 и потом еще годами не могут это внедрить – выкачивая деньги и нервы заказчиков. А заказчики – считают, что СДО должна стоить копейки, при этом готовы отдать пару миллион (спасибо!) за разработку яркого, но сомнительного по эффективности электронного курса. Или готовы брать на работу специалистов уже за сотни тысяч рублей в месяц, но бюджеты на внедрения и развитие LMS закладывают на порядок меньше и ждут при этом каких-то чудес. А эти чудесные сравнении коммерческих LMS, когда каким-то образом оказывается, что у каждой системы стоят «+» напротив любого пункта интересного потенциальному клиенту. Ну, просто все системы идеальными получаются на бумаге, только вот на практике все сильно отличается. С другой стороны, если возвращаться к бирже контента, то глядя на сложившуюся ситуацию, как разработчик курсов я могу и не очень хотеть какой-то дополнительно открытости. Почему? Потому что иногда я с удивлением узнаю, что кто-то готов делать интерактивные курсы для компаний раз так в 10 дешевле, чем готов делать я. Я не знаю точно насколько эти курсы хуже, но догадываюсь, но самое страшно, что и 90% заказчиков не могут этого знать. Ну, нет пока у нас не нормальных критериев эффективности курсов. Все по-прежнему очень субъективно. Конечно, можно надеяться, что кто-то добросовестно оценит курс хотя бы по трем уровням Крикпатрика и это будет отражено в рейтинге, но ведь 80% такой оценки не сделают, а значит рейтинги будут малоинформативными и все будет решать цена. Тогда мне и другим разработчикам придется или делать свои курсы себе в убыток или делать их раз в 5 хуже, чтобы получать заказы. А выиграют ли от этого заказчики? 

Вопрос. Можно ли сделать подобный ресурс для LMS? Точно нет – не набрать критическую массу. Но как бы было интересно, если бы такой ресурс посвился и честно отображал происходящие на рынке. Вот бы многие заказчики удавились, узнав, как один и тот же провайдер продает свое решение с разницей на порядок или что результат многолетнего дорого внедрения, можно приобрести у другого подрядчика в качестве «коробки» раз так в 100 дешевле. Появление такого ресурса означало бы уход с рынка целой армии «мертвых» систем. Полезность такого ресурс для заказчиков была бы однозначной, но с другой стороны я, как консультант, в общем-то могу быть доволен тем, что существует сейчас. Тем, что действительно есть огромные риски приобрести «кота в мешке», если пытаться делать это без помощи независимых экспертов.

Вот такой вот у нас пока интересный рынок e-learning. Такой вот «прозрачный» и «объективный»…

Удачи!
Павел Безяев

Источник

понедельник, 17 марта 2014 г.

Кейс по оценке эффективности обучения (половинчатый и бестолковый как большая часть практических кейсов)

Автор:  Эдуард Бабушкин

Для внутренних T&D кейс может показаться не под их задачи, хотя, уверен, что во внутреннем T&amp;D есть большой кластер задач, который имеет аналогичное решение. Когда я был HR, я постоянно сталкивался с подобными задачами. Почему половинчатый и бестолковый - позже.

Кейс

Проводили вебинар Алексея Королькова Автоматизация деятельности корпоративного учебного центра с помощью системы WebTutor. Анонс вебинара был размещен загодя, еще в декабре. На вебинар зарегистрировалось 146 человек, пришло 68 из записавшихся. 
Отсюда следует задача: что можно сделать, чтобы приходило больше?
Одна из гипотез (даже скорее области проблемных вопросов): на посещаемость вебинара влияет промежуток времени, за который до начала вебинара зарегистрировался участник (ибо те, кто зарегистрировался заранее, уже остывают и теряют актуальность). И зная некую критическую дату, давать рекламу вебинара, которое обеспечит, во - первых, максимальный приток участников, во -вторых, максимальную конверсию. 
Реальная бизнес задача? Ок.

Решение

среда, 10 апреля 2013 г.

e-learning на старт. 100 проверенных рекомендаций для успешного внедрения электронного обучения

Для тех, кто только начинает внедрять электронное обучения - рекомендуем презентации цикла вебинаров "e-learning на старт. 100 проверенных рекомендаций для успешного внедрения электронного обучения"









Автор: Марина Литвинова, менеджер e-learning PRO

среда, 20 февраля 2013 г.

Анализ эффективности дистанционного обучения сотрудников продающих подразделений

Автор: Алексей Воробьев



В этой заметке хочу рассказать о ряде практических инструментов для анализа эффективности дистанционного обучения сотрудников. 

Коснемся, в первую очередь, сотрудников продающих подразделений, т.к. результаты их деятельности измерять несколько легче – воронка продаж в помощь. 


Для того чтобы оценить эффективность любого обучающего мероприятия (тренинг, фасилитация, курс дистанционного обучения и др.), важно проанализировать несколько аспектов и показателей деятельности обучающихся:

·  Результаты работы на «входе» и на «выходе». Если мы говорим, скажем, о повышении количества выставляемых коммерческих предложений, важно замерить их число до и после проведения обучения;

·   Используемые для решения предметной задачи инструменты. Например, если речь идет о презентации коммерческого предложения клиенту, важно понять, как это происходит до обучения и что реально работает: речевые модули, слайды, инфографика и др.

·     Круг проблем, предшествующих обучению: низкое владение навыком, отсутствие мотивации и прочее. Все это можно условно измерить на основе той же статистики, бесед с руководителями сотрудников, интервью с сотрудниками.

Таким образом, прежде чем создавать\назначать курс, писать\проводить тренинговую программу мы можем обратиться к следующим данным: менеджер N назначает X встреч, делает это с помощью Y речевых модулей, совершает Z ошибок. 

Далее я буду вести речь о конкретном кейсе, достаточно экспериментальном. Мы работали над заказом, суть которого сводилась к комплексному повышению показателей воронки продаж. Инструмент решения задачи – создание модульного курса дистанционного обучения. Расскажем о том, как мы работали над повышением количества назначаемых встреч. 

Мы решили отказаться от советов гуру продаж с фамилиями Смит, Хилл, Джонс, Рин и иже с ними. От самоочевидных идей из адаптированных для российского рынка книжек западных методологов. От прописных истин, пылящихся на складах коробочной продукции ведущих e-learning разработчиков. Потому что мы были (и остаемся) убеждены, что реальная практика (успешная, конечно) конкретной компании может дать наиболее высокие результаты. 

 Для того чтобы эту практику формализовать нам пришлось прибегнуть к проведению очных групповых мероприятий, в рамках которых нам удалось собрать опыт лучших менеджеров компании. Под опытом мы понимаем набор приемов и техник, которые в рамках реального рынка показывают наибольшую эффективность. Пришлось, в этом смысле, основательно потрудиться для того, чтобы понять какие фразы потенциальных клиентов игнорировать, на что приводить аргументы, а с чем любезно соглашаться. Но важно то, что, окунувшись в атмосферу практических кейсов, мы поняли, что даже косность языка («удобно пообщаться счас?»), сленг в речи («тачка будет через неделю») и даже грубые фразы («не понимаю, что мешает встретиться сегодня?») могут не просто не помешать принятию решения о покупке, но, наоборот, стимулировать его. Ведь сфера коммуникаций совершенно точно предполагает  учет личностных характеристик и установок действующих лиц, стилей общения и т.д. 

Мы также смогли актуализировать алгоритм назначения встречи, отказавшись, в частности, от ряда лишних элементов, таких как, например, «подведение итогов беседы». С учетом ускорения динамики делового мира, тратить лишние секунды жизни клиента на достаточно очевидные вещи оказывается не всегда оправданным и, как показала практика продажников, многие «дипломатические» фразы вызывают у клиентов ярко выраженный негатив. 

Таким образом, в рамках модуля «назначение встречи» нашего курса мы сконцентрировались на презентации обновленного алгоритма, эффективных речевых модулей и демонстрации примеров использования невербальных уловок в общении по телефону. На последнем хочется остановиться несколько подробнее. В ходе встреч с результативными продажниками мы выяснили одну интересную деталь. Человек редко самостоятельно фиксирует детали и мелочи, которые повлияли на успешный результат переговоров, но всегда замечает нюансы, приведшие к неудаче. Например, когда в телефонном общении удачно вставленная шутка или звонкий смех позволяет сформировать дружелюбное отношение с клиентом, вы вряд вспомните об этой находке через 5 минут после звонка. О неудачной же шутке вы будете помнить еще долго.
 
Именно для того, чтобы собрать пул таких удачных и неудачных приемов мы проводили ролевые упражнения, а также самостоятельно выступали в роли «тайных покупателей». Это позволило нам в итоге сделать отличный видеоряд переговоров между клиентом и менеджером с использованием различных переговорных «фишек». Главное, здесь то, что видео получилось по-настоящему живым, несмотря на то, что снималось по заранее написанному сценарию.

В начале статьи мы выделили несколько полей для измерения эффективности работы курсов ДО. К каким же результатам нам удалось прийти на выходе?

·  Количество встреч, назначаемых менеджерами, в течение месяца после прохождения курса увеличилось в среднем на 18%. К слову это прирост на уровне 10-12 встреч в месяц. С учетом того, что конверсия встреч в договора составляет примерно 10 к 1, мы получаем существенную прибавку к доходам компании (при 300 менеджерах по продажам!)

·   Интервью, которые мы проводили с руководителями продающих подразделений после того, как их сотрудниками был пройден обучающий курс, также показало, что инструментарий менеджеров увеличился и, как минимум, для части ситуаций, вызывавших ранее сложности, решение теперь присутствует.

·    Сотрудники (в особенности новые) повсеместно указывали в анкетах, что представление о телефонных переговорах у них несколько изменилось и действовать не по одному единственному и привычному скрипту, а иметь на руках широкий набор инструментов, гораздо эффективней и, что особенно важно, интереснее.