Что такое эффективность электронных курсов?
Очень часто приходится слышать выражение "эффективность электронных курсов". На конференции E-learn Expo что-то по этой теме говорилось в каждом третьем выступлении. Что это такое и как его измеряют компании (и провайдеры или пользователи e-learning) когда говорят о том что тот или иной курс более или менее эффективен? К сожалению четко на этот вопрос получить ответ удается крайне редко.
Я не хочу сейчас говорить о ROI и прочем прекрасном и несбыточном (хотя точно знаю что найдутся несогласные) и хочу обсудить прозу жизни - как это делают или могут делать компании в ежедневной практике.
Какие числовые показатели на мой взгляд как правило используют что аргументировать эффективность того или иного курса и как их извлечь из LMS (я буду приводить примеры на основе WebTutor). Показатели приведены не в порядке важности или привязки к модели Киркпатрика, а что называется "от балды".
1) Рейтинг популярности курсов
Если курсы открыты для выбора сотрудниками (т.е. они могут сами назначать их себе), то можно определить популярность курсов отсортировав их по количеству обучаемых (исключив те курсы, которые были назначены "насильственно"). К эффективности это имеет мало отношения, но по крайней мере демонстрирует интерес людей к теме курса или его содержанию, т.к. во многих случаях люди активируют курс услышав совет коллеги - "сходи почитай, интересно". Отчет, который на эту тему должна генерировать LMS настолько очевиден, что и приводить его не стоит.
2) % завершивших курс
Не секрет, что при отсутствии давления со стороны HR (обязательности изучения, напоминаний, штрафов и санкций и т.п.) % завершивших курс может быть не очень большим. Можно предположить, что чем выше % завершивших, тем больший интерес для обучаемого он представляет. Коррелирует ли это с реальной эффективностью? До некоторой степени - чем больше людей дочитали курс до конца, тем больше шансов, что они усвоили какую-то часть материалов.
Курс может быть завершен, но неуспешно (не набран проходной балл, не изучены необходимые разделы). Соответственно % завершивших успешно - также показатель того, насколько успешно обучаемые смогли сдать тесты по результатам чтения материалов курса (хотя возможно это всего лишь индикатор крайней простоты контрольных вопросов и упражнений курса). Пример отчета из LMS:
3) Набранные баллы и длительность
Еще одним критерием для оценки курса может быть средний балл за курс (в % от максимально возможного), набранный обучаемыми. Чем он выше тем лучше сданы итоговые тесты и решены упражнения по итогам обучения. Хотя с другой стороны это может коррелировать с не успешностью изучения, а со сложностью вопросов и исходной подготовленностью обучаемых.
Также можно проанализировать среднюю длительность изучения курса (от момента активации до момента завершения) и сравнить ее с нормативной длительностью (предложенной разработчиком курса или экспертами). Там где время превышает нормативное - возможно курс не интересен или слишком сложен (также возможно, что неверно экспертами выставлено нормативное время изучения).
В переделе можно еще посмотреть на распределение длительности изучения курса в днях - если оно более или менее равномерно распределено от минимума до максимума, то это похоже на норму. Если все завершили изучения в последний момент (когда крайний срок подходит) - значит никому не интересно и учатся из под палки.
4) Отзывы обучаемых и преподавателей
Сбор отзывов обучаемых по результатам прохождения обучения также может быть автоматизирован в LMS и проанализирован. Анкета с оценками естественно у всех своя - каждый сам решает как оценивать (3, 5 или 10 балльная шкала) и что (преподавателей, качество, интерактивность и т.п.).
Обратная ситуация - оценка экспертом (преподавателем или тьютором) обучаемых после по некоторым критериям (вплоть до профиля компетенций), эта форма также заполняется через LMS и анализируется - встречал в своей практике всего один раз. Пример аналитического отчета по отзывам:
5) Влияние обучения на результаты деятельности сотрудника
Самые продвинутые компании пытаются определить связь между результатами обучения и изменением характера производственной деятельности.
Здесь на практике я наблюдал 2 варианта:
- проведение опроса сотрудника/руководителя о влиянии курса на деятельность. С точки зрения LMS - это заполнение отзыва о курсе, только отложенного по времени (например, через 2 месяца после обучения), получения показателя вроде средней оценки по шкале (например, от 1 (никогда не использовал на практике знания из курса) до 5 (использую каждый день)) и построения отчета/рейтинга типа того что в п. 4
- построения отчета по корреляции результатов деятельности (вплоть до отдельных KPI) и результатов обучения по курсу, развивающего соответствующие навыки. Где эта корреляция выше - там курс можно считать более эффективным. Только к сожалению прописать и просчитать эту связь весьма нетривиально.
Из этого всего еще раз вытекает главный вопрос - что же такое эффективность о которой все говорят (Дайте кто-нибудь корректное определение!!!) и как же правильно ее измерять (выбрать из описанных или возможно пропущенных способов)!
Я не хочу сейчас говорить о ROI и прочем прекрасном и несбыточном (хотя точно знаю что найдутся несогласные) и хочу обсудить прозу жизни - как это делают или могут делать компании в ежедневной практике.
Какие числовые показатели на мой взгляд как правило используют что аргументировать эффективность того или иного курса и как их извлечь из LMS (я буду приводить примеры на основе WebTutor). Показатели приведены не в порядке важности или привязки к модели Киркпатрика, а что называется "от балды".
1) Рейтинг популярности курсов
Если курсы открыты для выбора сотрудниками (т.е. они могут сами назначать их себе), то можно определить популярность курсов отсортировав их по количеству обучаемых (исключив те курсы, которые были назначены "насильственно"). К эффективности это имеет мало отношения, но по крайней мере демонстрирует интерес людей к теме курса или его содержанию, т.к. во многих случаях люди активируют курс услышав совет коллеги - "сходи почитай, интересно". Отчет, который на эту тему должна генерировать LMS настолько очевиден, что и приводить его не стоит.
2) % завершивших курс
Не секрет, что при отсутствии давления со стороны HR (обязательности изучения, напоминаний, штрафов и санкций и т.п.) % завершивших курс может быть не очень большим. Можно предположить, что чем выше % завершивших, тем больший интерес для обучаемого он представляет. Коррелирует ли это с реальной эффективностью? До некоторой степени - чем больше людей дочитали курс до конца, тем больше шансов, что они усвоили какую-то часть материалов.
Курс может быть завершен, но неуспешно (не набран проходной балл, не изучены необходимые разделы). Соответственно % завершивших успешно - также показатель того, насколько успешно обучаемые смогли сдать тесты по результатам чтения материалов курса (хотя возможно это всего лишь индикатор крайней простоты контрольных вопросов и упражнений курса). Пример отчета из LMS:
3) Набранные баллы и длительность
Еще одним критерием для оценки курса может быть средний балл за курс (в % от максимально возможного), набранный обучаемыми. Чем он выше тем лучше сданы итоговые тесты и решены упражнения по итогам обучения. Хотя с другой стороны это может коррелировать с не успешностью изучения, а со сложностью вопросов и исходной подготовленностью обучаемых.
Также можно проанализировать среднюю длительность изучения курса (от момента активации до момента завершения) и сравнить ее с нормативной длительностью (предложенной разработчиком курса или экспертами). Там где время превышает нормативное - возможно курс не интересен или слишком сложен (также возможно, что неверно экспертами выставлено нормативное время изучения).
В переделе можно еще посмотреть на распределение длительности изучения курса в днях - если оно более или менее равномерно распределено от минимума до максимума, то это похоже на норму. Если все завершили изучения в последний момент (когда крайний срок подходит) - значит никому не интересно и учатся из под палки.
4) Отзывы обучаемых и преподавателей
Сбор отзывов обучаемых по результатам прохождения обучения также может быть автоматизирован в LMS и проанализирован. Анкета с оценками естественно у всех своя - каждый сам решает как оценивать (3, 5 или 10 балльная шкала) и что (преподавателей, качество, интерактивность и т.п.).
Обратная ситуация - оценка экспертом (преподавателем или тьютором) обучаемых после по некоторым критериям (вплоть до профиля компетенций), эта форма также заполняется через LMS и анализируется - встречал в своей практике всего один раз. Пример аналитического отчета по отзывам:
5) Влияние обучения на результаты деятельности сотрудника
Самые продвинутые компании пытаются определить связь между результатами обучения и изменением характера производственной деятельности.
Здесь на практике я наблюдал 2 варианта:
- проведение опроса сотрудника/руководителя о влиянии курса на деятельность. С точки зрения LMS - это заполнение отзыва о курсе, только отложенного по времени (например, через 2 месяца после обучения), получения показателя вроде средней оценки по шкале (например, от 1 (никогда не использовал на практике знания из курса) до 5 (использую каждый день)) и построения отчета/рейтинга типа того что в п. 4
- построения отчета по корреляции результатов деятельности (вплоть до отдельных KPI) и результатов обучения по курсу, развивающего соответствующие навыки. Где эта корреляция выше - там курс можно считать более эффективным. Только к сожалению прописать и просчитать эту связь весьма нетривиально.
Из этого всего еще раз вытекает главный вопрос - что же такое эффективность о которой все говорят (Дайте кто-нибудь корректное определение!!!) и как же правильно ее измерять (выбрать из описанных или возможно пропущенных способов)!