Для внутренних T&D кейс может показаться не под их задачи, хотя, уверен, что во внутреннем T&D есть большой кластер задач, который имеет аналогичное решение. Когда я был HR, я постоянно сталкивался с подобными задачами. Почему половинчатый и бестолковый - позже.
Кейс
Проводили вебинар Алексея Королькова Автоматизация деятельности корпоративного учебного центра с помощью системы WebTutor. Анонс вебинара был размещен загодя, еще в декабре. На вебинар зарегистрировалось 146 человек, пришло 68 из записавшихся.
Отсюда следует задача: что можно сделать, чтобы приходило больше?
Одна из гипотез (даже скорее области проблемных вопросов): на посещаемость вебинара влияет промежуток времени, за который до начала вебинара зарегистрировался участник (ибо те, кто зарегистрировался заранее, уже остывают и теряют актуальность). И зная некую критическую дату, давать рекламу вебинара, которое обеспечит, во - первых, максимальный приток участников, во -вторых, максимальную конверсию.
Реальная бизнес задача? Ок.
Решение
Для анализа у нас есть данные, представленные в приложении. Мы знаем очередность регистрации участников и факт участия / не участия в вебинаре (ну просто такая статистика, другой нет). В данном случае любой начинающий аналитик (здесь незамысловая реклама своего семинара Аналитика для HR - присоединяйтесь, если вы хотите научиться решать такие задачки) применяет "наш любимый критерий Манн Уитни" и получает p-value < 0, 000....
Это первая и последняя радость в исследовании.
Мы показали, что есть значимые различия в порядке регистрации между теми, кто участвовал в вебинаре, и теми, кто не участвовал. И, скорее всего, это значит, что дата регистрации влияет на выбор регистранта принять участие или нет.
Половинчатый и бестолковый кейс потому, что это знание нам мало что дает. Мы знаем, что чем ближе регистрация к дате самого вебинара, тем вероятность участия в вебинаре выше (люди, далекие от аналитики, скажут: "ну это же очевидно! чё вы нам тут ерунду втюхиваете, которая и так понятна"), но мы не можем этим управлять: мы не можем сказать, в какой момент регистрации участие в вебинаре становится значимым.
В этой ситуации у нас два пути:
- заводить N вебинаров с разными датами начала регистрации и проведения, причем с одинаковыми промежутками времени должно быть несколько вебинаров (уже сама по себе интересная задача для анализа: сколько вебинаров нужно провести, чтобы ответить на вопрос о критичной дате вывешивания анонса. И она решается не так тривиально, поскольку мы оцениваем как минимум два параметра: конверсию участников (% участников от числа регистрантов) и само максимальное число регистрантов, которое также является производной количества дней. Т.е. первую задачу мы бы просто решили с помощью логистической регрессии, выявив вес фактора "число дней между регистрацией и проведением вебинара", но вторая выводит нас на задачу оптимизации двух параметров. Красивая задачка, правда?
- завести сбор информации о дате регистрации. Тогда мы получаем более гибкий инструмент анализа.
Половинчатый пост потому, что чаще всего у нас нет ресурса для сбора данных о дате регистрации. Наш айтишник скажет, что это невозможно (реже, что некогда, или начальник скажет, что это не в приоритете, и т.п..). И вы никогда не докажете, что может быть один потенциальный участник вебинара, который мог прийти, но не пришел, и потому он не купил ваш продукт, а стоимость покупки продукта значительно превышает работу программиста по доработке.
Знакома вам такая ситуация?
Приложение. Таблица регистрации участников на вебинар
Левая колонка - участвовал в вебинаре или нет, правая - каким по счету зарегистрировался (т.е. чем больше номер, тем ближе к дате вебинара).
Участвовал (1 -да, 0 -нет)
|
Каким по счету зарегистрировался
|
0
|
1
|
0
|
2
|
0
|
3
|
0
|
4
|
0
|
5
|
0
|
6
|
0
|
7
|
0
|
8
|
0
|
9
|
0
|
10
|
0
|
11
|
1
|
12
|
1
|
13
|
0
|
14
|
1
|
15
|
1
|
16
|
0
|
17
|
0
|
18
|
0
|
19
|
1
|
20
|
0
|
21
|
0
|
22
|
0
|
23
|
1
|
24
|
0
|
25
|
0
|
26
|
1
|
27
|
0
|
28
|
0
|
29
|
0
|
30
|
1
|
31
|
1
|
32
|
0
|
33
|
1
|
34
|
1
|
35
|
0
|
36
|
0
|
37
|
0
|
38
|
0
|
39
|
0
|
40
|
1
|
41
|
1
|
42
|
0
|
43
|
1
|
44
|
1
|
45
|
0
|
46
|
0
|
47
|
1
|
48
|
1
|
49
|
0
|
50
|
0
|
51
|
1
|
52
|
0
|
53
|
0
|
54
|
0
|
55
|
1
|
56
|
1
|
57
|
0
|
58
|
0
|
59
|
1
|
60
|
1
|
61
|
0
|
62
|
0
|
63
|
0
|
64
|
1
|
65
|
0
|
66
|
0
|
67
|
1
|
68
|
1
|
69
|
0
|
70
|
1
|
71
|
0
|
72
|
1
|
73
|
1
|
74
|
1
|
75
|
1
|
76
|
1
|
77
|
1
|
78
|
0
|
79
|
0
|
80
|
0
|
81
|
1
|
82
|
1
|
83
|
0
|
84
|
1
|
85
|
1
|
86
|
0
|
87
|
1
|
88
|
1
|
89
|
0
|
90
|
0
|
91
|
1
|
92
|
1
|
93
|
1
|
94
|
1
|
95
|
1
|
96
|
0
|
97
|
1
|
98
|
1
|
99
|
0
|
100
|
1
|
101
|
1
|
102
|
0
|
103
|
1
|
104
|
1
|
105
|
1
|
106
|
0
|
107
|
1
|
108
|
1
|
109
|
1
|
110
|
1
|
111
|
1
|
112
|
1
|
113
|
0
|
114
|
1
|
115
|
0
|
116
|
1
|
117
|
1
|
118
|
1
|
119
|
0
|
120
|
0
|
121
|
0
|
122
|
1
|
123
|
0
|
124
|
0
|
125
|
0
|
126
|
0
|
127
|
1
|
128
|
1
|
129
|
0
|
130
|
0
|
131
|
1
|
132
|
1
|
133
|
1
|
134
|
1
|
135
|
1
|
136
|
1
|
137
|
1
|
138
|
1
|
139
|
1
|
140
|
1
|
141
|
1
|
142
|
1
|
143
|
1
|
144
|
1
|
145
|
Источник: Кейс по оценке эффективности обучения (половинчатый и бестолковый как большая часть практических кейсов)
Комментариев нет:
Отправить комментарий