В качестве одной из своих составляющих современные СДО включают в себя системы интерактивного контроля знаний, приобретаемых учащимися в процессе обучения. Естественное желание использовать подобные системы вне контекста дистанционного обучения, например в традиционных (офф-лайн) учебных заведениях (ВУЗах), порождает новую самодостаточную задачу разработки специализированной системы интерактивного контроля знаний, функционирующей самостоятельно вне контекста СДО и учитывающей особенности традиционных форм обучения.

В то время как СДО ориентированы на индивидуальное обучение, традиционные учебные заведения предпочитают групповую форму обучения. Естественно, это касается не только самого обучения, но и процедур контроля знаний, который обычно также проходит в группах. Эти различия заставляют пересмотреть существующие подходы к разработке систем интерактивного контроля знаний. И первоочередного решения требует задача анализа и выявления требований к системам интерактивного контроля знаний, предназначенным для применения в традиционных учебных заведениях.

Особенности использования систем интерактивного контроля знаний в традиционных учебных заведениях и требования к ним

При использовании систем интерактивного контроля знаний в традиционных учебных заведениях можно выделить следующие главные особенности:

1. Контроль знаний происходит в группе, а не индивидуально;
2. Время, отведенное на контроль знаний, жестко ограничено как по длительности, так и по моменту его начала и/или завершения (согласно расписанию занятий);
3. Мелкие технические сбои в силу жестких временных ограничений переходят в разряд критических проблем и требуют привлечения преподавателя (организатора аттестации) к их оперативному устранению;
4. Эффективное управление ходом аттестации невозможно без использования специализированных инструментов онлайн-мониторинга действий участников;
5. Использование информационных технологий делает результаты контроля знаний уязвимыми для изменения как после завершения аттестации, так и в самый момент ее проведения, в том числе за счет недобросовестного поведения участников аттестации.

Перечисленные особенности представляют собой наиболее общий взгляд на исследуемую проблему, их более подробное изучение невозможно без анализа практического опыта применения систем интерактивного контроля знаний в традиционных учебных заведениях. В частности, только практический опыт позволяет выявить перечень наиболее часто возникающих некритичных сбоев и выработать методики их устранения, а также обнаружить возможность регламентированного использования систем интерактивного контроля знаний для заведомого улучшения результатов аттестации.

Групповая форма проведения контроля знаний подразумевает возможность общения участников между собой, а значит и возможность обмена ответами на вопросы — фактор «коллективного знания». Представим себе ситуацию, когда аттестационное задание состоит из 10 вопросов, а 10 участников аттестации по отдельности знают только один правильный ответ. В случае индивидуальной аттестации получить положительную отметку будет невозможно. Однако в случае обмена правильными ответами каждый из них сможет получить отличную отметку, ответив правильно на все 10 вопросов.

Временные рамки, жестко регламентированные расписанием занятий в традиционных учебных заведениях, вносят свою специфику в процесс аттестации. Аттестация в традиционном учебном заведении должна быть доступна для прохождения только в определенном временном интервале (например, в течение занятия, на котором планируется проведение аттестации). Кроме того, сама длительность аттестации также должна быть ограничена (например, длительностью занятия). В дополнение ко всему автоматический контроль временных ограничений не только снимает с преподавателя бремя слежения за временем, отведенным для всей аттестации или какого-то конкретного участника, но и организует и стимулирует участников аттестации.

Возникновение некритичных сбоев в работе системы интерактивного контроля знаний в традиционном учебном заведении может стать критичным в силу уже упомянутых временных ограничений, так как невозможность оперативного вмешательства в ход аттестации (например, для организации повторной аттестации определенного круга участников) автоматически влечет за собой ее срыв.

Эффективный контроль над ходом интерактивной аттестации возможен только с использованием специализированных средств онлайн-мониторинга как действий отдельного участника аттестации, так и всей группы в целом.

Применение веб-технологий при разработке автоматизированной системы контроля знаний делает ее уязвимой для всех видов атак, которым подвержены «обычные» веб-сайты. Но даже сами алгоритмы работы автоматизированной системы контроля знаний могут дать участникам аттестации механизмы для заведомого улучшения результатов без несанкционированного доступа к системе. Поэтому требуются специализированные механизмы защиты результатов контроля знаний как от попыток несанкционированного изменения, так и от недобросовестных действий участников аттестации, направленных на заведомое улучшение результата.

Анализ особенностей использования систем интерактивного контроля знаний в классических учебных заведениях позволяет сформулировать ряд требований к ним, а именно:

1. Наличие механизмов, препятствующих улучшению результатов аттестации в случае общения ее участников между собой
2. Наличие механизмов контроля временных ограничений как для момента начала прохождения аттестации, так и для ее длительности (в том числе длительности ответа на один вопрос)
3. Наличие механизмов оперативного устранения последствий мелких некритичных сбоев, в том числе
   • механизма восстановления возможности прохождения аттестации для определенного круга участников (путем аннулирования предыдущих результатов или предоставления дополнительных попыток)
   • механизма принудительной активации регистрационных записей участников аттестации
   • механизма принудительного допуска к аттестации учащегося, не включенного ранее в список участников
   • механизма принудительной смены пароля зарегистрированного участника аттестации
4. Наличие механизмов интеллектуального онлайн-мониторинга хода аттестации как отдельного участника, так и группы в целом
5. Наличие механизмов защиты результатов контроля знаний как от попыток несанкционированного изменения, так и от недобросовестных действий участников аттестации, в том числе
   • механизма защиты от раскрытия точных формулировок правильных ответов;
   • механизма защиты от раскрытия информации о правильности/неправильности варианта ответа;
   • механизма защиты от раскрытия набора ответов, гарантирующих определенную оценку;
   • механизма защиты от возможного изменения варианта ответа для вопроса, на который ответ уже был дан;
   • механизма защиты от нерегламентированной навигации по системе во время прохождения аттестации;
   • механизма защиты результатов контроля знаний от попыток несанкционированного изменения без использования системы (т. е. от «взлома» данных системы злоумышленником извне).

Анализ существующих систем интерактивного контроля знаний и предъявляемых к ним требований с точки зрения пригодности к использованию в традиционных учебных заведениях

Вопрос о требованиях, предъявляемых к автоматизированным системам интерактивного контроля знаний, является предметом ряда исследований [1], [2], [3], но ни в одном из них эти требования не рассматриваются через призму использования системы в традиционном учебном заведении, а аргументируются с других точек зрения.

Наиболее близко к исследуемому вопросу подошли Калинин И.А. и Самылкина Н.Н. в своей работе [4], в которой они рассмотрели систему интерактивного контроля знаний в том числе с точки зрения ее применения в школе. Это позволило им сформулировать несколько требований, близких к изложенным в данной работе, и в частности требование о том, что «В системе должны быть предусмотрены средства уменьшающие вероятность намеренного искажения результатов (списывания, подмены данных и пр.)». Однако, ряд важных для использования в традиционном учебном заведении факторов, а с ними и целый ряд вытекающих особенностей не были рассмотрены. Была недооценена роль преподавателя в управлении ходом аттестации и устранении мелких технических сбоев, возникающих в ходе аттестации. Не была сформулирована необходимость специализированных средств мониторинга хода аттестации. Вопрос о способах «намеренного искажения результатов» не был проанализирован достаточно глубоко. Ключевой фактор – групповая форма обучения – не был назван, хотя частично учитывался при выработке требований.

Помимо теоретических работ существует целый ряд практических разработок, выполненных как отдельными людьми (обычно преподавателями ВУЗов), так и компаниями, специализирующимися на разработке программного обеспечения: SunRav TestOfficePro.WEB, WEB-система контроля знаний учащихся IS-test, Система контроля знаний Auto Control, Система контроля знаний Консультационно-внедренческого центра «Истина ВЦ», Система контроля знаний Quizzz, Система контроля знаний Knost, Программный комплекс УСАТИК, СЭКЗ - система электронного контроля знаний, Система АИССТ, Система контроля знаний "CBM - TEST", Система Интерактивного Тестирования Знаний «СИнТеЗ». Анализ функциональных возможностей этих систем позволяет констатировать: ни одна из них в полной мере не удовлетворяет сформулированным требованиям к системам интерактивного контроля знаний, предназначенным для использования в традиционных учебных заведениях. В том числе даже те их них, что были разработаны преподавателями ВУЗов для использования в соответствующих ВУЗах. Все это говорит о недостаточном внимании к особенностям традиционных учебных заведений на этапе формирования требований к разрабатываемым системам.

Решение поставленных задач и опыт использования Автоматизированной системы интерактивного контроля знаний «Аргус-М» в Институте Государственного Управления, Права и Инновационных Технологий

Автоматизированная система интерактивного контроля знаний «Аргус-М» (далее Система «Аргус-М») разрабатывается с 2006 года. За время своего существования Система «Аргус-М» использовалась для официальных аттестаций в трех ВУЗах – Московском Государственном Горном Университете, Институте Государственного Управления, Права и Инновационных технологий (ИГУПИТ) и Московской Финансово-Промышленной Академии. В общей сложности было проведено более 30 аттестаций, аттестовано более 400 учащихся. Сформулированные в этой работе требования являются результатом многолетней практики использования Системы «Аргус-М» в условиях ВУЗа, позволившей уточнить, изменить, а также дополнить требования в их первоначальном виде.

В Системе «Аргус-М» реализованы автоматизированные средства контроля над временными ограничениями как по моменту начала и завершения аттестации, так и по ее длительности, механизмы онлайн-мониторинга, предоставляющие полную информацию о прохождении аттестации как отдельным участником, так и группой в целом не только после завершения аттестации, но и в любой текущий момент, средства управления ходом аттестации.

Система «Аргус-М» протоколирует несанкционированные попытки изменения ответов на вопросы, а также попытки «взлома» системы с использованием атак типа SQL-инъекция, PHP-инъекция, межсайтовый скриптинг. Защита от различных способов заведомого улучшения участником результатов своей аттестации реализована введением интеллектуального механизма разграничения прав на просмотр информации об аттестации и ее результатах.

Как показала практика, одним из наиболее часто встречающихся мелких сбоев является аварийное завершение аттестации по вине учащегося или по техническим причинам без возможности ее продолжения. В любом из этих случаев при ограниченном числе разрешенных попыток требуется оперативное вмешательство для обеспечения возможности пройти аттестацию еще раз. Одним из механизмов такого вмешательства является аннулирование предыдущих результатов аттестации, которое в данном случае равносильно уменьшению числа использованных попыток на единицу. Вторым механизмом является возможность предоставления дополнительных попыток по запросу пользователя. Оба механизма реализованы в Системе «Аргус-М».

Еще одну серьезную проблему таит в себе функция автоматизации процесса идентификации пользователя в системе с помощью технологии cookies. В традиционных учебных заведениях к учебному компьютеру обычно имеет доступ целая группа людей. В этом случае любая сохраненная в cookies информация теоретически может не относиться к тому, кто в данный конкретный момент компьютером пользуется, что приводит к возникновению ситуаций ошибочной идентификации пользователя (чаще всего из-за невнимательности учащихся). В Системе «Аргус-М» данная проблема решена добавлением промежуточного этапа дополнительной идентификации пользователя, когда перед непосредственным прохождением аттестации предлагается еще раз подтвердить (без дополнительного ввода имени пользователя и пароля или любой другой информации) корректность аутентификации системой.

Другой проблемой является еще одна общепринятая для интернет-систем практика активации создаваемой при регистрации учетной записи с помощью электронной почты. Если регистрации в интернет-системе контроля знаний производится непосредственно перед аттестацией, успех активации учетной записи становится критичным фактором, определяющим саму возможность прохождения аттестации. А решающую роль в условиях ограниченного времени начинает играть длительность задержки от момента регистрации до фактического получения письма с инструкциями по активации учетной записи. Опыт использования Системы «Аргус-М» показывает, что реальная длительность задержки, проходящей от момента регистрации до фактического получения письма с инструкциями по активации учетной записи, может достигать нескольких часов, что категорически неприемлемо в условиях ограниченного времени. В Системе «Аргус-М» данная проблема решена введением механизма принудительной активации учетной записи администратором или организатором аттестации (по запросу пользователя)

Наиболее интересную проблему «коллективного знания» можно решать двумя способами: ужесточить дисциплину в аудитории, где проводится интерактивный контроль знаний, или попросту постараться лишить смысла общение участников между собой, например:

А) формировать аттестационное задание так, чтобы состав вопросов отличался от участника к участнику;

Б) формировать аттестационное задание так, чтобы состав вариантов ответов на один и тот же вопрос отличался от участника к участнику.

Оба варианта реализованы в Системе «Аргус-М» и апробированы в ИГУПИТ. В качестве признака возможного общения студентов между собой (с целью обсуждения варианта ответа, который следует выбрать в данный момент) рассматривается наличие одинаковых ответов, данных на один и тот же вопрос в течение короткого интервала времени. Такие ответы образуют цепочки, максимально допустимый временной интервал между ответами называется шагом цепочки.

С точки зрения числа вопросов, среди ответов на которые обнаружены цепочки, варьирование вопросов, как и вариантов ответов само по себе является серьезным инструментом повышения достоверности оценки (т.е. уменьшения возможностей для обсуждения правильных ответов). Одновременное применение обоих методов снижает стартовый порог (для шага цепочки равного 60 секундам) числа вопросов с цепочками более чем в 2 раза по сравнению с аналогичной аттестацией, в которой применяется лишь один метод. Это позволяет надеяться на сведение эффективности «коллективного интеллекта» к приемлемо низкому уровню даже в случае полного отсутствия контроля над участниками аттестации (при наличии соответствующей базы вопросов). Кроме того, использование аппарата цепочек позволяет не только выявлять последовательности одинаковых ответов на тот или иной ответ с малыми интервалами между ними, но и делать вывод о наличии групп участников, «коллективно» проходящих аттестацию.

Еще одним реализованным в Системе «Аргус-М» механизмом противодействия списыванию является возможность принудительного разделения во времени момента начала прохождения аттестации разными участниками (например, с интервалом в 5 минут).

Выводы

Автоматизированные системы интерактивного контроля знаний перестали быть частью систем дистанционного обучения и представляют интерес как самостоятельные единицы. Одним из показателей такого интереса является наличие большого числа разработок в этой области и все более частое использование подобных систем в традиционных учебных заведениях, в первую очередь в ВУЗах.

Вместе с тем «наследие СДО» продолжает довлеть над разработчиками, не позволяя им взглянуть на специфику использования систем интерактивного контроля знаний в традиционных учебных заведениях, а именно: отличие формы обучения и возросшую роль преподавателя в управлении и контроле над ходом аттестации (в том числе и в разрешении технических проблем).

Сформулированные в этой работе требования к системам интерактивного контроля знаний, предназначенным для применения в традиционных учебных заведениях, являются результатом многолетней практики использования Системы «Аргус-М» в условиях ВУЗа, позволившей уточнить, изменить, а также дополнить требования в их первоначальном виде.

Анализ проблемы показывает, что существующие на настоящий момент системы интерактивного контроля знаний в полной мере не соответствуют сформулированным требованиям, а теоретические работы в этой области при разработке требований к системам интерактивного контроля знаний не учитывают специфику традиционных учебных заведений.

Библиография

1. Веретенников М. В. Автоматизация проверки знаний и навыков студентов в области прикладной математики и информатики // Диссертация кандидата технических наук. 2004. С. 59-61.

2. Молнина Е.В., Данилюк В.А., Косовец Е.А. Проблема автоматизации контроля знаний студентов по гуманитарным дисциплинам // Заочная электронная конференция «Интеграция науки и образования». 2007.

3. Kinshuk & Patel A. A conceptual framework for Internet based intelligent tutoring systems. // Knowledge transfer. 1997. V. II. PP. 117-124.

4. Калинин И.А., Самылкина Н.Н. Требования к современным тестирующим системам // Применение новых технологий в образовании: Материалы XVII Международной конференции. 2006. С. 352-356.