Это уже второй мой кейс про эффективности в дистанционном обучении, первый здесь Кейс по эффективности вебинара
Буду создавать кейсотеку.
Сегодняшний кейс абсолютно реальный, но не спрашивайте название банка. Точно только то, что дистанционной платформой был Webtutor
Кейс может показаться простым. Он в отличие от этого поста (см. Кейс по HR-аналитике без цифр (на понимание)), во первых, на определение критерия (это про цифры), а, во вторых, на понимание: важным элементом анализа является корректная интерпретация полученных результатов.
Удачи в решении.
После обучения спустя две недели все прошли дистанционное тестирование.
Результаты показали следующие:
Удачи в решении.
Кейс
В банке прошло одновременно очное и дистанционное обучение по продукту: 13 менеджеров отправили обучаться в подмосковный пансионат, 24 менеджера учились дистанционно.После обучения спустя две недели все прошли дистанционное тестирование.
Результаты показали следующие:
- В группе "очников" 3 студента ответили на 100 % правильных ответов по тесту, 7 - 90 % правильно, 2 - 80 %, 1 - 70 %.
- В группе "дистанционщиков" такие результаты: 2 студента - 100 % правильных ответов, 6 - 90 %, 8 - 80 %, 4 - 70 %, 3 - 60 %, 1 - 50 % правильных ответов.
Вопрос к кейсу:
- Представьте данные в виде таблицы;
- Визуализируйте данные (каким типом диаграммы воспользуетесь)
- Определите статистический критерий для решения
- Ответьте на вопрос: можно ли по полученным результатам утверждать, что очное обучение эффективней дистанционного (или наоборот, или они не отличаются по эффективности)
Продолжение:
Одним из главных контраргументов против моих кейсов является тезис "размер выборки мал".
Решил я ответить на этот тезис. Раз и навсегда.
Но не обижайтесь, если кому то покажется, что "папа, ты сейчас с кем говорил?".
Напомню, в Кейс по оценке эффективности очного и дистанционного обучения была группа очников - 13 человек и группа дистанционников - 24 человека.
T критерий Стьюдента показывает значимость различий. Вроде бы этого достаточно, но мне возражают: группы маленькие, нужно побольше.
Ок, давайте посчитаем мощность теста при заданных параметрах.
В нашем случае размер группы можно определить исходя из следующих параметров:
d - Effect size Cohen's d - думаю, вы сможете сами в excel высчитать величину 0,9.
уровнем значимости - он у нас по умолчанию - 0, 05
После чего мы заходим в любимую программу аналитиков Rstudio и считаем мощность теста.
library(pwr)
pwr.t2n.test(n1 = 13, n2 = 24, d=.9, sig.level=.05)
t test power calculation
n1 = 13
n2 = 24
d = 0.9
sig.level = 0.05
power = 0.7194678
alternative = two.sided
Мощность теста 0, 72. Только очень придирчивый аналитик скажет, что мы не дотягиваем до уровня мощности в 0, 8. Но я тогда скажу, что нам направленность гипотезы известна, и мы можем применить односторонний тест, тогда все условия будут соблюдены.
А кто то скажет: а вообще имеет смысл использовать Post hoc анализ? А именно: мы должны были изначально определить потребный уровень effect cize, а исходя из него танцевать. А для этого нужно понимать глубоко тест.
И кто нибудь еще задастся вопросом: а мы вообще правомочны T критерий Стьюдента использовать?
И тогда в данном случае все становится проще
Коллеги, будут возникать задачки по размеру выборки - обращайтесь)))
Решил я ответить на этот тезис. Раз и навсегда.
Но не обижайтесь, если кому то покажется, что "папа, ты сейчас с кем говорил?".
Напомню, в Кейс по оценке эффективности очного и дистанционного обучения была группа очников - 13 человек и группа дистанционников - 24 человека.
T критерий Стьюдента показывает значимость различий. Вроде бы этого достаточно, но мне возражают: группы маленькие, нужно побольше.
Ок, давайте посчитаем мощность теста при заданных параметрах.
В нашем случае размер группы можно определить исходя из следующих параметров:
d - Effect size Cohen's d - думаю, вы сможете сами в excel высчитать величину 0,9.
После чего мы заходим в любимую программу аналитиков Rstudio и считаем мощность теста.
library(pwr)
pwr.t2n.test(n1 = 13, n2 = 24, d=.9, sig.level=.05)
Результат
Two-sample t test power calculationt test power calculation
n1 = 13
n2 = 24
d = 0.9
sig.level = 0.05
power = 0.7194678
alternative = two.sided
Мощность теста 0, 72. Только очень придирчивый аналитик скажет, что мы не дотягиваем до уровня мощности в 0, 8. Но я тогда скажу, что нам направленность гипотезы известна, и мы можем применить односторонний тест, тогда все условия будут соблюдены.
А кто то скажет: а вообще имеет смысл использовать Post hoc анализ? А именно: мы должны были изначально определить потребный уровень effect cize, а исходя из него танцевать. А для этого нужно понимать глубоко тест.
И кто нибудь еще задастся вопросом: а мы вообще правомочны T критерий Стьюдента использовать?
И тогда в данном случае все становится проще
ПыСы.
Подробнее про размер выборки здесь Эмпирические правила статистики, или Что нужно помнить о размерах выборкиКоллеги, будут возникать задачки по размеру выборки - обращайтесь)))
Комментариев нет:
Отправить комментарий