Новости HRTech, интересные идеи о Digital HR в нашем канале в Telegram: https://t.me/WebsoftHR

Оценка эффективности обучения - типичные ошибки и многострадальный ROI

Любопытная статья "Assessment Mistakes by E-Learning Developers" рассказывает о методах оценки результатов обучения, а также типичных ошибках при их применении.

Для тех, кому лениво читать по-английски, краткое содержание:
100 профессионалов e-learning в США опросили, с тем чтобы выяснить, какие методы (в привязке к уровням модели Киркпатрика) они используют для оценки эффективности обучения:

Получились такие результаты:
11% - не используют никаких методов оценки
26% - используют опросники (по-английски - "smile sheets") после обучения (Уровень 1)
48% - оценивают знания (Уровень 2)
15% - оценивают изменение поведени на рабочем месте (Уровень 3)
0% - т.е. НИКТО не проводит оценку на Уровне 4, т.е. оценку влияния обучения на результаты бизнеса(или ROI).

Т.е. несмотря на многие годы пропаганды, а также толпы консультантов готовых расчитать ROI для всего что движется за неограниченный бюджет, даже в штатах реальной оценкой ROI практически никто не занимается. Видимо это либо очень сложно, либо никому не нужно ;)

Кроме этого, по результатам опроса, даже те методы оценки, которые применяются, используются не совсем верно. Подробно ошибки описаны в статье, вот только одна из них:

На вопрос "Когда вы проводите оценку знаний (тестирование)" ответы распределились так:
77% - сразу после тренинга
7% - через некоторое время
14% - сразу после тренинга и через некторое время
2% - затруднились ответить :)

Очевидно что оценка только по завершению тренинга не дает полностью валидной картины (т.к. проверяется не долгосрочное усвоение знаний, а короткая память), т.е. 77% респондентов не правы. Их конечно можно понять - если нет средств автоматизировать назначение тестов участникам учебного мероприятия через неделю, две, месяц после обучения, то сделать это на бумаге, когда группа разъехалась по разным офисам крайне сложно. Вывод - автоматизируйте процесс :)

Ситуация в России явно не лучше и я к сожалению практически не наблюдал реальных результатов оценки ROI для e-learning в российской практике. Что касается методов оценки на уровне 1, 2 и 3, то мне кажется что нормальная современная СДО должна поддерживать методы их автоматизации. Вот например что делаем мы для этого в WebTutor:
- автоматизация сбора форм обратной связи через Учебный Портал (как для очного, так и для дистанционного обучения) - Уровень 1
- автоматизация проведения pre и post тестов (как для ДО, так и для участников аудиторных занятий) и их сравнение - Уровень 2
- автоматизация различных процедур оценки по компетеницям - можно сказать, что Уровень 3

Мы конечно автоматизируем процедуры оценки результатов деятельности (по проектам и KPI) и управления по целям, но задача расчета ROI на основе результатов этой оценки весьма не очевидна (как понять каков вклад конкретного тренинга в увеличение продаж продукта сотрудником?). Поэтому я и не берусь говорить о возможности какой-либо автоматизации на уровне 4, за исключением сбора данных для знаменателя формулы расчета ROI (т.е. затрат на все форсмы обучения) .

Было бы очень интересно услышать мнение уважаемых коллег из бизнеса по их опыту использования методов оценки для результатов обучения в целом и ДО в частности.

См. также:
1) Применение модели Киркпатрика для оценки дистанционного обучения
2) Еще статейка на английском
3) Kirkpatrick's Four Levels of Evaluation

Популярные сообщения из этого блога

Кто владеет информацией тот владеет миром, или как создать быстро работающую базу знаний с «умным» поиском

Сказка о непотерянном времени, или Как учесть трудозатраты сотрудников на обучение

Как подсчитать стоимость подбора персонала, опираясь на показатели воронки подбора?

Как выбрать систему автоматизации рекрутмента (ATS)?

Мобильные инструменты WebTutor для современной HR-автоматизации