Кейс по оценке эффективности обучения
Я в свое время думал, что кейсы по оценке эффективности обучения буду делать на основе ваших данных, но данных не дождался, хотя не вижу ничего в этом сложного, поэтому выдаю вам кейс на основе данных, полученных в результате нашего исследования (в котором многие из вас так и не приняли участие, хотя оно открыто до сих пор).
Вы можете воспринимать пост как шаблон для собственного анализа.
Вы можете воспринимать пост как шаблон для собственного анализа.
В исследовании есть вопрос
Поэтому я принял следующее решение: взять только
Т.е. см. выше, у нас были те, кто проходили, профессиональные, языковые курсы, обучение офисным программа и т.п..
Логика моя простая: кандидаты, проходившие обучение во время поиска работы, делали сознательный выбор, чему учиться. Они могли выбрать профессиональные курсы, а могли тренинг "Как проходить собеседование". Тем самым "подтягивая" недостающие у них, по их же мнению, навыки.
Кроме того, выбирая обучение, они понимали, что процесс поиска работы может быть длительным.
Итого: выборка состоит из тех, кто искал работу и проходил обучение, и разбита на две группы:
Причем, обращаю ваше внимание, те, кто указал, что проходил тренинги по развитию навыков поиска работы, могли учиться одновременно с этим и чему-то другому, а во второй группе могли учиться чему угодно, но только не тренингам по развитию навыков поиска работы.
Если вы считаете, что мой подход к формированию выборки исследования не самый лучший, предложите свой, напишите критику, помогите улучшить подход к анализу.
Проверим гипотезу, кто дольше ищет работу.
Анализ времени поиска работы провожу с помощью анализа дожития (интепретация анализа дожития см. Анализ и визуализация дожития: чем HR похож на медиков).
Ось X - время поиска работы работы в месяцах, Ось Y - % не нашедших работу. Зеленая линия - те, кто указал, что проходил тренинги по развитию навыков поиска работы, Желтая - любое другое обучение. что "зеленые" дольше ищут работу. Но различие это незначимо (значимость на уровне 0.573), поэтому мы делаем вывод, что те, кто прошли тренинги по развитию навыков поиска работы не находят работу быстрее тех, кто учится чему то другому.
В группе "1" всего 12 респондентов;
Группа "0" - 69 кандидатов.
Картинка такая
По оси Y - разница в заработной плате между новым и предыдущим местами работы. Как читать Boxplot - по ссылке. Описательные статистики такие
$`0`
Min. 1st Qu. Median Mean 3rd Qu. Max.
-130.00000 -10.00000 5.00000 0.07246 20.00000 200.00000
$`1`
Min. 1st Qu. Median Mean 3rd Qu. Max.
-105.00 -77.50 -35.00 -36.25 5.00 25.00
Забавно, правда? Те, кто проходил тренинги по развитию навыков поиска работы в среднем проигрывают в зарплате 35 000 рублей.
Т тест и тест Манна Уитни дают почти одинаковые цифры p-value = 0.0293.
Поскольку данных мало, решил, что ниже приведенная диаграмма более визуазибильная
По оси X - зарплата на предыдущем месте работы, По оси Y - зарплата на новом месте работы. Цвет точек показывает группы. Красная линия обозначает: если точка попала на красную линию, значит кандидат на новом месте работы получает ту зарплату, что была при увольнении с предыдущего места работы. Точки ниже красной линии говорят, что кандидаты вышли на работу, потеряв в оплате, а те, что выше - выиграли. Желтая точка посредине вверху говорит о том, что кандидат с зарплаты в 150 000 р перешел на зарплату в 350 000 р.
У меня два замечания
И улучшайте картину, принимайте участие в исследовании
Проходили ли обучение за время поиска работыЯ решил посмотреть, есть ли какие эффекты у тех кандидатов, кто проходил тренинги по развитию навыков поиска работы. По данным данным мы можем выдвинуть и проверить две гипотезы:
- Языковые курсы
- Обучение офисным программам: Excel, Word и т.п.
- Проходили профессиональные курсы
- Тренинги по развитию навыков поиска работы
- другое
- Кандидаты, прошедшие тренинги по развитию навыков поиска работы, быстрее находят работу, чем остальные кандидаты;
- Данные кандидаты выигрывают в зарплате, т.е. разница между зарплатой на новом и предыдущем местах работы в среднем больше у тех, кто прошел тренинги по развитию навыков поиска работы.
Описание выборки
И это самый ненадежный момент данного анализа. Как нам очистить влияние других факторов? Или по русски: вполне может быть такая ситуация, что тренинги по развитию навыков поиска работы посещают те, кто отчаялся уже искать, они ищут долго, это уже даст эффект на результаты. Кроме того, часть кандидатов не ищут работу, а их хантят, что проходящих тренинги уже ставит в невыгодное положение.Поэтому я принял следующее решение: взять только
- тех, кто искал работу, а не его хантили
- тех, кто проходил хоть какое-то обучение во время поиска работы.
Т.е. см. выше, у нас были те, кто проходили, профессиональные, языковые курсы, обучение офисным программа и т.п..
Логика моя простая: кандидаты, проходившие обучение во время поиска работы, делали сознательный выбор, чему учиться. Они могли выбрать профессиональные курсы, а могли тренинг "Как проходить собеседование". Тем самым "подтягивая" недостающие у них, по их же мнению, навыки.
Кроме того, выбирая обучение, они понимали, что процесс поиска работы может быть длительным.
Итого: выборка состоит из тех, кто искал работу и проходил обучение, и разбита на две группы:
- тех, кто проходил тренинги по развитию навыков поиска работы (в результатах анализа обозначу группу цифрой "1");
- тех, кто проходил любое другое обучение во время поиска работы (цифра "0").
Причем, обращаю ваше внимание, те, кто указал, что проходил тренинги по развитию навыков поиска работы, могли учиться одновременно с этим и чему-то другому, а во второй группе могли учиться чему угодно, но только не тренингам по развитию навыков поиска работы.
Если вы считаете, что мой подход к формированию выборки исследования не самый лучший, предложите свой, напишите критику, помогите улучшить подход к анализу.
Результаты
Время поиска работыПроверим гипотезу, кто дольше ищет работу.
- В группе "1" у нас 31 респондент (это те, кто проходил тренинги по развитию навыков поиска работы и что-то еще);
- В группе "0" - 207 (те, кто изучали что-то другое)
Анализ времени поиска работы провожу с помощью анализа дожития (интепретация анализа дожития см. Анализ и визуализация дожития: чем HR похож на медиков).
Выигрыш в зарплате
Для данной гипотезы у нас выборка маловата, поскольку в исследовании не все указывают размер оплаты на новом и предыдущем местах работы.В группе "1" всего 12 респондентов;
Группа "0" - 69 кандидатов.
Картинка такая
$`0`
Min. 1st Qu. Median Mean 3rd Qu. Max.
-130.00000 -10.00000 5.00000 0.07246 20.00000 200.00000
$`1`
Min. 1st Qu. Median Mean 3rd Qu. Max.
-105.00 -77.50 -35.00 -36.25 5.00 25.00
Забавно, правда? Те, кто проходил тренинги по развитию навыков поиска работы в среднем проигрывают в зарплате 35 000 рублей.
Т тест и тест Манна Уитни дают почти одинаковые цифры p-value = 0.0293.
Поскольку данных мало, решил, что ниже приведенная диаграмма более визуазибильная
Резюме
Мы выяснили:- кандидаты, проходившие тренинги по развитию навыков поиска работы, не находят работу быстрее тех, кто проходил любое другое обучение во время поиска работы;
- кандидаты, проходившие тренинги по развитию навыков поиска работы, значимо проигрывают в зарплате н новом месте работы в сравнении с теми, кто проходил любое другое обучение во время поиска работы.
У меня два замечания
- Если вы хотите сказать, что выборка мала, то сначала ответьте, прошли ли вы сами опрос и пригласили ли друзей?
- Я подозреваю, что мы нашли во второй гипотезе не влияние тренингов, а другой фактор, например, характеристику самих кандидатов (например, в качестве гипотезы: тренинги по развитию навыков поиска работы посещают кандидаты определенного психологического склада). Но в таком случае, если тренинги по развитию навыков поиска работы влияют на уровень оплаты на новом месте работы, то какова была бы картина в том случае, если бы кандидаты не проходили эти тренинги, если принять во внимание, что их зарплата в среднем на 35 000 рублей меньше предыдущего места?
И вопрос: какое объяснение всему этому можно придумать?
И улучшайте картину, принимайте участие в исследовании
