В соавторстве с Крупским А. Ю.

Одной из составляющих современных систем обучения, в том числе дистанционного, являются системы интерактивного контроля знаний, приобретаемых учащимися в процессе обучения. Несмотря на большое число существующих систем, вряд ли стоит полагать, что проблема создания систем интерактивного контроля знаний окончательно решена. На наш взгляд эта задача продолжает оставаться актуальной хотя бы потому, что подавляющее число известных систем являются как по форме, так и по содержанию не новой разработкой, а адаптацией известных зарубежных систем, причем не самых современных.

В настоящем докладе представлены некоторые аналитические оценки, полученные в результате внедрения отечественной системы интерактивного контроля знаний «Аргус-М» (www.argusm.com), разработанной доцентом кафедры Прикладной информатики и программирования факультета Информационных технологий ИГУПИТ Приходько М. А. и применявшейся для интерактивного контроля знаний студентов ИГУПИТ по дисциплинам «Проектирование информационных систем», «Базы данных», «Высокоуровневые методы программирования».

В ходе внедрения были проверены всевозможные варианты использования системы и, в конечном итоге, сформулированы следующие основные выводы с точки зрения эффективного использования системы интерактивного контроля знаний в условиях ВУЗа:

1. Должно обеспечиваться проведение контроля знаний не только индивидуально, но и в группе;

2. Время, отведенное на контроль знаний, должно быть жестко ограничено как по длительности, так и по моменту его начала и/или завершения (согласно расписанию занятий);

3. Мелкие технические сбои в силу жестких временных ограничений переходят в разряд критических проблем и требуют привлечения преподавателя (организатора аттестации) для их оперативного устранения;

4. Эффективное управление ходом аттестации требует использования специализированных инструментов онлайн-мониторинга действий участников;

5. Использование информационных технологий делает результаты контроля знаний уязвимыми для изменения как после завершения аттестации, так и в самый момент ее проведения, в том числе за счет недобросовестного поведения участников аттестации и требует использования специализированных средств защиты информации.

Только анализ практического опыта применения систем интерактивного контроля знаний в традиционных учебных заведениях позволяет в полном объеме уточнить и детально изучить сформулированные особенности.

Групповая форма проведения контроля знаний подразумевает возможность общения участников между собой, а значит и возможность обмена ответами на вопросы — фактор «коллективного знания». Представим себе ситуацию, когда аттестационное задание состоит из 10 вопросов, а 10 участников аттестации по отдельности знают только один правильный ответ. В случае индивидуальной аттестации получить положительную отметку для них будет сложно. Однако в случае обмена правильными ответами каждый из них сможет получить отличную отметку, ответив правильно на все 10 вопросов.

Временные рамки, жестко регламентированные расписанием занятий в традиционных учебных заведениях, вносят свою специфику в процесс аттестации. Кроме того, сама длительность аттестации также должна быть ограничена (например, длительностью занятия). Автоматический контроль временных ограничений необходим еще и потому, что он не только снимает с преподавателя бремя слежения за временем, отведенным для всей аттестации или какого-то конкретного участника, но и организует и стимулирует участников аттестации.

Групповая форма проведения аттестации в совокупности с использованием информационных технологий также ставит перед организаторами аттестации новую задачу. Если в случае «off-line» аттестации следить за ее ходом достаточно просто, то эффективный контроль над ходом интерактивной аттестации возможен только с использованием специализированных средств online-мониторинга как действий отдельного участника аттестации, так и всей группы в целом.

Использование информационных технологий порождает и последнюю из главных проблем — проблему защиты результатов контроля знаний в ходе аттестации и после ее завершения. Применение веб-технологий при разработке автоматизированной системы контроля знаний делает ее уязвимой для всех видов атак, которым подвержены «обычные» веб-сайты. Однако, сами алгоритмы работы автоматизированной системы контроля знаний могут дать участникам аттестации механизмы для заведомого улучшения результатов без несанкционированного доступа к системе. Поэтому требуются специализированные механизмы защиты результатов контроля знаний как от попыток несанкционированного изменения, так и от недобросовестных действий участников аттестации, направленных на заведомое улучшение результата.

Все вместе это позволяет сформулировать требования к системе интерактивного контроля знаний, которую предполагается использовать в традиционных учебных заведениях. А именно:

1. Наличие механизмов, препятствующих улучшению результатов аттестации в случае общения ее участников между собой

2. Наличие механизмов контроля временных ограничений как для момента начала прохождения аттестации, так и для ее длительности (в том числе длительности ответа на один вопрос)

3. Наличие механизмов оперативного устранения последствий мелких некритичных сбоев, в том числе

• механизма восстановления возможности прохождения аттестации для определенного круга участников (путем аннулирования предыдущих результатов или предоставления дополнительных попыток)

• механизма принудительной активации регистрационных записей участников аттестации

• механизма принудительного допуска к аттестации учащегося, не включенного ранее в список участников

4. Наличие механизмов интеллектуального online-мониторинга хода аттестации как отдельного участника, так и группы в целом

5. Наличие механизмов защиты результатов контроля знаний как от попыток несанкционированного изменения, так и от недобросовестных действий участников аттестации, в том числе

• механизма защиты от раскрытия точных формулировок правильных ответов;

• механизма защиты от раскрытия информации о правильности/неправильности варианта ответа;

• механизма защиты от раскрытия набора ответов, гарантирующих определенную оценку;

• механизма защиты от возможного изменения варианта ответа для вопроса, на который ответ уже был дан;

• механизма защиты от нерегламентированной навигации по системе во время прохождения аттестации;

• механизма защиты результатов контроля знаний от попыток несанкционированного изменения без использования системы (т. е. от «взлома» данных системы злоумышленником извне).

Вопрос о требованиях, предъявляемых к автоматизированным системам интерактивного контроля знаний, является предметом ряда исследований [1], [3], [4], но ни в одном из них эти требования не реализованы полностью в перечисленном выше комплексе. Наиболее близко к решению этой задачи подошли Калинин И.А. и Самылкина Н.Н. в работе [2], в которой они рассмотрели систему интерактивного контроля знаний в том числе с точки зрения ее применения в школе, однако ряд важнейших для использования в традиционном учебном заведении факторов так и не был сформулирован.

Библиография

1. Веретенников М. В. Автоматизация проверки знаний и навыков студентов в области прикладной математики и информатики // Диссертация кандидата технических наук. 2004. С. 59-61.

2. Калинин И.А., Самылкина Н.Н. Требования к современным тестирующим системам // Применение новых технологий в образовании: Материалы XVII Международной конференции. 2006. С. 352-356.

3. Молнина Е.В., Данилюк В.А., Косовец Е.А. Проблема автоматизации контроля знаний студентов по гуманитарным дисциплинам // Заочная электронная конференция «Интеграция науки и образования». 2007.

4. Kinshuk & Patel A. A conceptual framework for Internet based intelligent tutoring systems. // Knowledge transfer. 1997. V. II. PP. 117-124.