Автоматическая генерация тестов
Как сделать абсолютно надежный тест (такой, чтобы обучаемые не могли запомнить вопросы и варианты ответов, сфотографировать или записать их и т.п.)? Можно увеличивать выборку, перемешивать варианты ответов и т.п. Но 100% гарантии это не дает.
Недавно я наблюдал технологию на базе семантической сети, которая позволяет сделать (точнее сгенерировать автоматически) такие тесты, по крайней мере для достаточно узкого круга задач. Опишу в 2-х словах пример использования. Берем нормативный документ, например закон или приказ. Описываем базовые понятия предметной области, например, "Продажа объекта недвижимости - сделка с недвижимостью" или "Акция Аэрофлота - ценная бумага". Описываем контролируемые сведения, например "Покупка наличной валюты юридическим лицом на сумму, превышающую 600000руб, не регламентируется п 1 статьи 6 ФЗ115". Описываем реальные ситуации :
"1 ноября 2007 года на счет И.И.Иванова в Промсвязьбанке поступили 3500000руб от продажи автомобиля; 2 ноября 2007 года Иванов купил в Промсвязьбанке наличные фунты на всю поступившую сумму. Кроме того, 3 ноября 2007 года Иванов купил в том же банке акции Аэрофлота на сумму 700000руб за наличный расчет"
Этот кейс мы переписываем в следующие базовые утверждения:
Иванов - физическое лицо
Иванов продает автомобиль за 3500000руб через счет в Промсвязьбанке
Иванов покупает наличные фунты на сумму 3500000руб в Промсвязьбанке
Иванов покупает за наличный расчет акции Аэрофлота на сумму 700000руб в Промсвязьбанке
Запускаем генератор тестов и система генерирует нам произвольное количество вопросов следующего вида (для нашего кейса):
Верно ли утверждение?
Иванов не отвечает за своевременное документирование покупки им акций Аэрофлота на 700000 руб.
или
Покупка Ивановым наличных фунтов в Промсвязьбанке на 3500000руб не подлежит обязательному контролю
Минусы - сложно описать предметную облать (нужен высокий профессионализм). Те, кто мне это показывали - весьма профессиональные люди. Плюсы - генерируется бесконечное количество вопросов. Хорошее приложение - знание нормативных документов и правил.
Что думаете?
Недавно я наблюдал технологию на базе семантической сети, которая позволяет сделать (точнее сгенерировать автоматически) такие тесты, по крайней мере для достаточно узкого круга задач. Опишу в 2-х словах пример использования. Берем нормативный документ, например закон или приказ. Описываем базовые понятия предметной области, например, "Продажа объекта недвижимости - сделка с недвижимостью" или "Акция Аэрофлота - ценная бумага". Описываем контролируемые сведения, например "Покупка наличной валюты юридическим лицом на сумму, превышающую 600000руб, не регламентируется п 1 статьи 6 ФЗ115". Описываем реальные ситуации :
"1 ноября 2007 года на счет И.И.Иванова в Промсвязьбанке поступили 3500000руб от продажи автомобиля; 2 ноября 2007 года Иванов купил в Промсвязьбанке наличные фунты на всю поступившую сумму. Кроме того, 3 ноября 2007 года Иванов купил в том же банке акции Аэрофлота на сумму 700000руб за наличный расчет"
Этот кейс мы переписываем в следующие базовые утверждения:
Иванов - физическое лицо
Иванов продает автомобиль за 3500000руб через счет в Промсвязьбанке
Иванов покупает наличные фунты на сумму 3500000руб в Промсвязьбанке
Иванов покупает за наличный расчет акции Аэрофлота на сумму 700000руб в Промсвязьбанке
Запускаем генератор тестов и система генерирует нам произвольное количество вопросов следующего вида (для нашего кейса):
Верно ли утверждение?
Иванов не отвечает за своевременное документирование покупки им акций Аэрофлота на 700000 руб.
или
Покупка Ивановым наличных фунтов в Промсвязьбанке на 3500000руб не подлежит обязательному контролю
Минусы - сложно описать предметную облать (нужен высокий профессионализм). Те, кто мне это показывали - весьма профессиональные люди. Плюсы - генерируется бесконечное количество вопросов. Хорошее приложение - знание нормативных документов и правил.
Что думаете?
