Кейс по оценке эффективности обучения

Кейс западный, наши пока не созрели. Хотя ничего запредельного здесь нет. Надеюсь, скоро клиенты Вебсофта будут показывать такие же.

Если вы имеете fluent english и сечете в статистике, то вам лучше вот эту лекцию послушать Video: Data Science for Workforce Optimization: Reducing Employee Attrition. Я покажу несколько слайдов и поясню кейс.

Кейс по оценке эффективности обучения персонала в финансовом колл-центре
Процесс входа в компаниюю состоял из этапов:

1. Подбор
2. 12 недель подготовки
3. Экзамены "Series 7"
4. Начало работы на телефоне

Диаграмма потерь сотрудников

Диаграмма показывает, что 20 % всех принятых сотрудников "отваливалась" во время обучения. 33 % не проходили барьер экзамена. И только меньше половины сотрудников доходили до собственно работы.
Аналитики поставили задачу выявлять на этапе подбора тех кандидатов, кто не сможет пройти барьер экзамена. Задача достаточно очевидна: основные потери на данном этапе: более 40 % тех, кто дошел до экзаменов, не проходит его. А это три месяца обучения, расходы составляют зарплату вновь принятых, расходы на обучение, зарплаты тренеров и т.п..
Поэтому было бы замечательно еще на этапе подбора выявлять кандидатов, которые не пройдут экзамен.
Вот здесь спикер не рассказал самое интересное: какие данные о кандидатах собирали, что измеряли конкретно. Обращаю ваше внимание, что данные выбирали не произвольно, измерения сопровождались статистическим анализом, т.е. данные "обкатывали" на уже работающих сотрудниках, валидизировали процедуры, а потом работали (см. например Прогноз успешности кандидатов на основе тестов).
Но даже то, что спикер показал - полезно и поучительно

Этот слайд более подробно я раскрою далее, а в этом месте я хочу одну "страшную" вещь раскрыть. Всего по результатам работы было просмотрено (Screen) 952 кандидата. 682 было отклонено по разным причинам. 173 подходили по оцениваемым параметрам, их приняли. 97 кандидатов не подходили по параметрам, но их все равно приняли!!! Для оценки качества модели. Т.е. по оцениваемым параметрам кандидаты не подходили, но их взяли, чтобы проверить, насколько они себя "оправдают" в работе.

Оценка качества модели

самый интересный слайд

Из 173 кандидатов, которые были приняты и соответствовали критериям приема экзамен успешно сдали 103 или 59 %. 60 из них не прошли или 35 % (не знаю, куда делись еще 10).
Из 97 "подопытных кроликов" 62 не сдали экзамен, что составляет 63 %, а вот 35 прошли планку.
Т.е. по другому говоря, 165 кандидата соответствовали правильно нашим ожиданиям. 165 - это 103 + 62.
А в оценке 95 кандидатов мы ошиблись (60+35).

Общая точность модели составила 63 % (103+62)/(103+62+60+35). 

 Напишите в комментах, насколько понятно, то, как я эти цифры сложил. Если есть вопросы, я отвечу в комментах.

Я обращаюсь здесь к коллегам HR, которым вешают лапшу консультанты про валидность их методик. 

Вот сравните: в данном кейсе работали очень серьезные аналитики, за 8 месяцев они накопали 63 % точность модели, работали непосредственно на месте, а к вам приходят консалтеры, которые рассказывают про 85 - 90 - 95 % точность своих методик. И вы покупаете этот бред. Любую методику нужно валидизировать на своих данных.
И точность модели кажется нам слабой - всего 63 %
Однако давайте посмотрим на это в деньгах.
Финансовые результаты или ROI от применения этой модели получился такой
Первоначальное положение, напомню, было таким: барьер экзамена проходили только 47 % кандидатов.
В нашей модели барьер проходят 59 % отобранных кандидатов
В деньгах это столько

Я думаю, понятно, из чего складываются 4 миллиона долларов.
Приходите на семинар по аналитике для HR в Москве 18-19 июня, если хотите научиться считать такое же для своей компании.

И Домашнее Задание

Про качество подбора персонала на основе интервью - вот здесь Ласло Бок - главный HR в Google - говорит про 86 % точность при подборе.
Как Вы думаете, почему такая разница: в нашем кейсе 63 %, а у Google - 86 %&