Кейс по эффективности вебинара

Для внутренних T&D кейс может показаться не под их задачи, хотя, уверен, что во внутреннем T&D есть большой кластер задач, который имеет аналогичное решение. Когда я был HR, я постоянно сталкивался с подобными задачами. Почему половинчатый и бестолковый - позже.

Кейс

Сегодня проводили вебинар Алексея Королькова Автоматизация деятельности корпоративного учебного центра с помощью системы WebTutor. Анонс вебинара был размещен загодя, еще в декабре. На вебинар зарегистрировалось 146 человек, пришло 68 из записавшихся. 

Отсюда следует задача: что можно сделать, чтобы приходило больше?

Одна из гипотез (даже скорее области проблемных вопросов): на посещаемость вебинара влияет промежуток времени, за который до начала вебинара зарегистрировался участник (ибо те, кто зарегистрировался заранее, уже остывают и теряют актуальность). И зная некую критическую дату, давать рекламу вебинара, которое обеспечит, во - первых, максимальный приток участников, во -вторых, максимальную конверсию. 

Реальная бизнес задача? Ок.

Решение

Для анализа у нас есть данные, представленные в приложении. Мы знаем очередность регистрации участников и факт участия / не участия в вебинаре (ну просто такая статистика, другой нет). В данном случае любой начинающий аналитик применяет "наш любимый критерий Манн Уитни" и получает p-value < 0, 000....

Это первая и последняя радость в исследовании.

Мы показали, что есть значимые различия в порядке регистрации между теми, кто участвовал в вебинаре, и теми, кто не участвовал. И, скорее всего, это значит, что дата регистрации влияет на выбор регистранта принять участие или нет. 

Половинчатый и бестолковый кейс потому, что это знание нам мало что дает. Мы знаем, что чем ближе регистрация к дате самого вебинара, тем вероятность участия в вебинаре выше (люди, далекие от аналитики, скажут: "ну это же очевидно! чё вы нам тут ерунду втюхиваете, которая и так понятна"), но мы не можем этим управлять: мы не можем сказать, в какой момент регистрации участие в вебинаре становится значимым. 

В этой ситуации у нас два пути:

• заводить N вебинаров с разными датами начала регистрации и проведения, причем с одинаковыми промежутками времени должно быть несколько вебинаров (уже сама по себе интересная задача для анализа: сколько вебинаров нужно провести, чтобы ответить на вопрос о критичной дате вывешивания анонса. И она решается не так тривиально, поскольку мы оцениваем как минимум два параметра: конверсию участников (% участников от числа регистрантов) и само максимальное число регистрантов, которое также является производной количества дней. Т.е. первую задачу мы бы просто решили с помощью логистической регрессии, выявив вес фактора "число дней между регистрацией и проведением вебинара", но вторая выводит нас на задачу оптимизации двух параметров. Красивая задачка, правда?
• завести сбор информации о дате регистрации. Тогда мы получаем более гибкий инструмент анализа.

Половинчатый пост потому, что чаще всего у нас нет ресурса для сбора данных о дате регистрации. Наш айтишник скажет, что это невозможно (реже, что некогда, или начальник скажет, что это не в приоритете, и т.п..). И вы никогда не докажете, что может быть один потенциальный участник вебинара, который мог прийти, но не пришел, и потому он не купил ваш продукт, а стоимость покупки продукта значительно превышает работу программиста по доработке. 

Знакома вам такая ситуация?

Приложение. Таблица регистрации участников на вебинар 

Левая колонка - участвовал в вебинаре или нет, правая - каким по счету зарегистрировался (т.е. чем больше номер, тем ближе к дате вебинара). Даю не всю таблицу, чтобы не раздувать пост

Участвовал (1 -да, 0 -нет)	Каким по счету зарегистрировался
0	1
0	2
0	3
0	4
0	5
0	6
0	7
0	8
0	9
0	10
0	11
1	12
1	13
0	14
1	15