Оценка эффективности обучения - типичные ошибки и многострадальный ROI
Любопытная статья "Assessment Mistakes by E-Learning Developers" рассказывает о методах оценки результатов обучения, а также типичных ошибках при их применении.
Для тех, кому лениво читать по-английски, краткое содержание:
100 профессионалов e-learning в США опросили, с тем чтобы выяснить, какие методы (в привязке к уровням модели Киркпатрика) они используют для оценки эффективности обучения:
Получились такие результаты:
11% - не используют никаких методов оценки
26% - используют опросники (по-английски - "smile sheets") после обучения (Уровень 1)
48% - оценивают знания (Уровень 2)
15% - оценивают изменение поведени на рабочем месте (Уровень 3)
0% - т.е. НИКТО не проводит оценку на Уровне 4, т.е. оценку влияния обучения на результаты бизнеса(или ROI).
Т.е. несмотря на многие годы пропаганды, а также толпы консультантов готовых расчитать ROI для всего что движется за неограниченный бюджет, даже в штатах реальной оценкой ROI практически никто не занимается. Видимо это либо очень сложно, либо никому не нужно ;)
Кроме этого, по результатам опроса, даже те методы оценки, которые применяются, используются не совсем верно. Подробно ошибки описаны в статье, вот только одна из них:
На вопрос "Когда вы проводите оценку знаний (тестирование)" ответы распределились так:
77% - сразу после тренинга
7% - через некоторое время
14% - сразу после тренинга и через некторое время
2% - затруднились ответить :)
Очевидно что оценка только по завершению тренинга не дает полностью валидной картины (т.к. проверяется не долгосрочное усвоение знаний, а короткая память), т.е. 77% респондентов не правы. Их конечно можно понять - если нет средств автоматизировать назначение тестов участникам учебного мероприятия через неделю, две, месяц после обучения, то сделать это на бумаге, когда группа разъехалась по разным офисам крайне сложно. Вывод - автоматизируйте процесс :)
Ситуация в России явно не лучше и я к сожалению практически не наблюдал реальных результатов оценки ROI для e-learning в российской практике. Что касается методов оценки на уровне 1, 2 и 3, то мне кажется что нормальная современная СДО должна поддерживать методы их автоматизации. Вот например что делаем мы для этого в WebTutor:
- автоматизация сбора форм обратной связи через Учебный Портал (как для очного, так и для дистанционного обучения) - Уровень 1
- автоматизация проведения pre и post тестов (как для ДО, так и для участников аудиторных занятий) и их сравнение - Уровень 2
- автоматизация различных процедур оценки по компетеницям - можно сказать, что Уровень 3
Мы конечно автоматизируем процедуры оценки результатов деятельности (по проектам и KPI) и управления по целям, но задача расчета ROI на основе результатов этой оценки весьма не очевидна (как понять каков вклад конкретного тренинга в увеличение продаж продукта сотрудником?). Поэтому я и не берусь говорить о возможности какой-либо автоматизации на уровне 4, за исключением сбора данных для знаменателя формулы расчета ROI (т.е. затрат на все форсмы обучения) .
Было бы очень интересно услышать мнение уважаемых коллег из бизнеса по их опыту использования методов оценки для результатов обучения в целом и ДО в частности.
См. также:
1) Применение модели Киркпатрика для оценки дистанционного обучения
2) Еще статейка на английском
3) Kirkpatrick's Four Levels of Evaluation
Для тех, кому лениво читать по-английски, краткое содержание:
100 профессионалов e-learning в США опросили, с тем чтобы выяснить, какие методы (в привязке к уровням модели Киркпатрика) они используют для оценки эффективности обучения:
Получились такие результаты:
11% - не используют никаких методов оценки
26% - используют опросники (по-английски - "smile sheets") после обучения (Уровень 1)
48% - оценивают знания (Уровень 2)
15% - оценивают изменение поведени на рабочем месте (Уровень 3)
0% - т.е. НИКТО не проводит оценку на Уровне 4, т.е. оценку влияния обучения на результаты бизнеса(или ROI).
Т.е. несмотря на многие годы пропаганды, а также толпы консультантов готовых расчитать ROI для всего что движется за неограниченный бюджет, даже в штатах реальной оценкой ROI практически никто не занимается. Видимо это либо очень сложно, либо никому не нужно ;)Кроме этого, по результатам опроса, даже те методы оценки, которые применяются, используются не совсем верно. Подробно ошибки описаны в статье, вот только одна из них:
На вопрос "Когда вы проводите оценку знаний (тестирование)" ответы распределились так:
77% - сразу после тренинга
7% - через некоторое время
14% - сразу после тренинга и через некторое время
2% - затруднились ответить :)
Очевидно что оценка только по завершению тренинга не дает полностью валидной картины (т.к. проверяется не долгосрочное усвоение знаний, а короткая память), т.е. 77% респондентов не правы. Их конечно можно понять - если нет средств автоматизировать назначение тестов участникам учебного мероприятия через неделю, две, месяц после обучения, то сделать это на бумаге, когда группа разъехалась по разным офисам крайне сложно. Вывод - автоматизируйте процесс :)Ситуация в России явно не лучше и я к сожалению практически не наблюдал реальных результатов оценки ROI для e-learning в российской практике. Что касается методов оценки на уровне 1, 2 и 3, то мне кажется что нормальная современная СДО должна поддерживать методы их автоматизации. Вот например что делаем мы для этого в WebTutor:
- автоматизация сбора форм обратной связи через Учебный Портал (как для очного, так и для дистанционного обучения) - Уровень 1
- автоматизация проведения pre и post тестов (как для ДО, так и для участников аудиторных занятий) и их сравнение - Уровень 2
- автоматизация различных процедур оценки по компетеницям - можно сказать, что Уровень 3
Мы конечно автоматизируем процедуры оценки результатов деятельности (по проектам и KPI) и управления по целям, но задача расчета ROI на основе результатов этой оценки весьма не очевидна (как понять каков вклад конкретного тренинга в увеличение продаж продукта сотрудником?). Поэтому я и не берусь говорить о возможности какой-либо автоматизации на уровне 4, за исключением сбора данных для знаменателя формулы расчета ROI (т.е. затрат на все форсмы обучения) .
Было бы очень интересно услышать мнение уважаемых коллег из бизнеса по их опыту использования методов оценки для результатов обучения в целом и ДО в частности.
См. также:
1) Применение модели Киркпатрика для оценки дистанционного обучения
2) Еще статейка на английском
3) Kirkpatrick's Four Levels of Evaluation
