Проверка честности ответов на тесты в e-learning
Сразу скажу, что написание поста не вызвано ситуацией с выборами в России. Хотя бы потому, что на эту тему меня заставила поразмышлять Марина Литвинова (за что ей огромное спасибо!!!) – руководитель проекта Дистанционного обучения в Приват Банке. А Приват банк находится в Украине и теоремы Чурова им далеки.
Но проблема, тем не менее, знакома многим специалистам, занимающимся тестированием знаний (тесты достижений, если правльно) в дистанционном обучении: как проверить, что специалисты на вопросы теста отвечали честно, без подсказок и т.п.?
Чаще всего специалисты по e-learning отвечают: никак. Можно конечно веб камеры поставить (опять же: никаких намеков на политику)))), но дорого
Поэтому меня совершенно потрясло сообщение Марины Литвиновой, что они в банке проверяют результаты на честность с помощью статистики. К сожалению, методику Марины по понятным причинам не могу обсуждать, но могу свои мысли по этому поводу вынести.
Я придумал два способа проверки, готов поделиться ими и сделать деловое предложение
Проверка влияния факторов филиала
Этот способ позволяет проверить, не сговорились ли в филиале. Вам нужные показатели времени ответов на вопрос контрольной группы, в честности ответов которых вы уверены, и время ответов не вопросы данного филиала. После чего с помощью статистического критерия определяете значимость различий и отмечаете, что ребята мухлевали.
Способ не сильно мощный, потому что кто-то в филиале может порвать на себе тельняшку и сказать: я да сутки их дрючил и готовил отвечать! И если сотрудников в филиале немного, то этому можно поверить…..
Проверка конкретного сотрудника
Нам надо иметь опять контрольную группу «честных» и время ответов этой группы на каждый конкретный вопрос.
Теперь следите за руками. Исходим из предположения, что каждый вопрос имеет свою сложность, и время ответов на вопросы конечно колеблется в зависимости от качеств тестируемого, но в целом соотношение времени ответов на вопросы должно быть примерно равным. Что делает мухлевщик? Он, даже если знает, что за временем ответов на вопросы следят, не может оценивать сложность вопросов и выжидает какое-то положенное время. И его время ответов идет в разрез с логикой ответов честных.
Далее, в excel выстраиваем таблицу, где в одной колонке среднее время ответов контрольной группы, в правой – подозреваемого. Применяем статистический критерий и, если расхождения критичны, говорим ему: ну ты даешь…
Возражения к последнему показателю
Вполне возможно, что сложность вопроса – дело субъективное и не определяется нормальным распределением. Но это можно легко проверить: взять контрольную группу и прогнать всех через статистический критерий.
И вполне возможно, что есть исключения из правил, когда честный человек попадает не в ногу. Но тем более интересно определить, в чем его «невножность»
Деловое предложение
Если вы специалист по тестированию у себя в компании и хотели бы поработать с этими способами, напишите мне. Со своей стороны обещаю методологическое обоснование исследований, сами расчеты, интерпретация результатов и т.п..
С Вас – подготовка контрольной группы, тестирование, предоставлениеe результатов. Со своей стороны не могу гарантировать, что указанные способы будут работать, но проверить стоит.
edvb(собака)websoft.ru
И приглашаю вас на свой вебинар по инструментам проверки в том числе)
