Как сдают экзамен онлайн в институте

Как мы сдавали онлайн экзамены в вузах прошли сертификацию, выиграли несколько онлайн олимпиад

В начале года у меня был разговор с моим хорошим другом – студентом одного московского вуза: он рассказал, как в условиях карантина и массовой «удаленки» ему приходится сдавать экзамены. Я узнал новое для себя слово – «прокторинг». Естественно, как человек любопытный, сразу же после беседы полез смотреть, что это за чудо-юдо такое.

Итак, для тех, кому лень гуглить: прокторинг — это наблюдение за экзаменуемым, для предотвращения списывания. К слову следует сказать, прокторинг применяется и при обычных экзаменах, когда у профессора нет желания и возможности тратить время на контроль списывания, и он приглашает на экзамен либо аспиранта, которому доверяет, либо сотрудника кафедры. Оказывается, западных университетах существует такая профессия как проктор – это специально обученный человек, который натренирован на то, чтобы следить, чтобы экзаменуемые не могли воспользоваться каким-либо преимуществом, которое не положено по условию экзамена.

Но в сегодняшних условиях уже несколько месяцев студенты учатся дистанционно, и сессию в большинстве вузов не отменяли, на которых экзаменуемый сидит перед веб-камерой, а проктор наблюдает за ним. Одновременно этот человек видит, что у студента на экране компьютера. Если проктору что-то не нравится в поведении экзаменуемого, он выносит ему предупреждение или даже прерывает экзамен.

Если вы думаете, что «поскольку я уже не студент, то меня не коснется», не спешите закрывать статью. Прокторинг применяется при сертификации, при прохождении корпоративных курсов. А в связи с переводом их в онлайн формат, даже после снятия эпидемиологических ограничений большинство экзаменов будет переведено в онлайн формат, поскольку это экономически выгодно. Кроме того, системы прокторинга будут применяться в компаниях, которые проводят регулярное обучение сотрудников и тестирования для повышения квалификации или при приеме на работу.

Дисклеймер: Во всех олимпиадах и сертификациях, в которых мы приняли участие, мы написали организаторам и честно признались, что применяли средства обхода прокторинга и просили исключить нас из списка победителей, поскольку нашей целью было не выиграть олимпиаду, а обойти прокторинг. Там, где мы удостоверились, что это сделать удалось, мы прекращали самостоятельно дальнейшие участие. Мы не принимали участие во вступительных экзаменах в ВУЗы. А поскольку сдача сессионных экзаменов лежит на совести студентов, все они были предупреждены что нарушают правила, а мы оказывали только техническую поддержку.

Итак, в чем же заключается онлайн прокторинг? В основе своей это наблюдение за экзаменуемым посредством WEB камеры, контроль звуков в комнате экзаменуемого и контроль экрана монитора, что теоретически может контролироваться с помощью:

• WEB камеры: аномалии в направлении взгляда; закрытие части лица; наличие других лиц в кадре; обнаружение вторичных гаджетов; обнаружение книг и заметок; обнаружение невербальной коммуникации; обнаружение калькулятора (если это не разрешено).

• микрофона: обнаружение человеческого голоса; обнаружение шелеста бумаги.

• контроля экрана монитора: обнаружение переключения монитора; обнаружение широковещательного ПО; обнаружение переключения вкладок в браузере; обнаружение сторонних алгоритмов.

  При этом часто визуально контролируются панель задач и системное время на панели задач, иногда с точностью до секунды; вкладки в браузере; пару раз организаторы попросили продемонстрировать диспетчер задач и диспетчер устройств. При этом некоторое ПО для прокторинга может мониторить процессы, сетевую активность и другие параметры компьютера, но об этом позже.

Прокторинг может проводиться непосредственно под контролем человека — это называется синхронным прокторингом; может проводиться в полуавтоматическом режиме, когда система сама идентифицирует экзаменуемого и фиксирует возможные нарушения, а затем проктор подтверждает или опровергает предположения системы. И может применяться автоматический прокторинг, когда контроль и принятие решений обеспечивает система. Еще есть так называемый «пост прокторинг», когда ведётся запись всех активностей во время экзамена, которая затем просматривается проктором.

Для нас это стало вызовом, сможем ли мы обойти организационные и технические ограничения прокторинга. Первое, к чему мы приступили, было детальное изучения правил прокторинга, на основе анализа которых мы вырабатывали стратегию поведения. Для различных мероприятий правила различались деталями, но, в основном, их можно было свести к следующим пунктам:

• обеспечить необходимые условия для работы системы прокторинга, в том числе в соответствии с рекомендациями к подготовке рабочего места; обеспечить достаточную освещенность и чистый рабочий стол.

• использовать для идентификации оригинал документа, удостоверяющий личность;

• не покидать зону видимости веб-камеры во время выполнения заданий;

• при выполнении заданий экзаменуемый по требованию проктора обязуется расположить камеру так, чтобы обеспечить видимость любого места в комнате;

• в случае отсутствия технической возможности для реализации вышеуказанного пункта (например, недостаточный угол обзора видеокамеры, встроенной в ноутбук или монитор компьютера) экзаменуемый по требованию проктора обязан показывать лист с решением задания по запросу проктора во время проведения экзамена;

• не отключать микрофон и не снижать его уровень чувствительности к звуку во время тестирования;

• использовать только одно средство вывода изображения (монитор), одну клавиатуру, одну компьютерную мышь;

• участник олимпиады не имеет права предоставлять доступ к компьютеру посторонним лицам во время выполнения заданий заключительного этапа, в том числе посредствам программ для удаленного управления компьютером, вступать в разговоры с третьими лицами, открывать другие вкладки браузера, использовать справочные материалы (книги, записи и т.д.), любые гаджеты (мобильные телефоны, пейджеры, планшеты, умные часы и т.д.), наушники, дополнительные мониторы и компьютерную технику;

• не использовать средства виртуализации;

• не проговаривать вопросы и задания вслух с уровнем громкости, обеспечивающим возможность третьим лицам услышать текст заданий/вопросов;

• выполнять инструкции проктора;

• немедленно сообщить проктору о нарушениях правил, произошедших не по вине экзаменуемого.

Большинство вышеперечисленных требований обеспечивается добросовестностью экзаменуемого и сопровождается трудностями проверки их выполнения.

Некоторые организации не желали тратить деньги на системы прокторинга и пытались обеспечить контроль посредством систем видео связи Skype или Zoom, некоторые выбрали пост прокторинг и просили прислать видеофайл с записью экрана и web камеры программой захвата экрана и веб камеры.

Был случай, когда задания были направлены на почтовый ящик экзаменуемого, их под видео в Skype необходимо было скачать, решить, отсканировать и направить организаторам экзамена. Запись монитора компьютера при этом не велась, но требовалось установить камеру так, чтобы было видно экзаменуемого, письменный стол, и по возможности экран компьютера. Мы во время экзамена вошли на почтовый ящик экзаменуемого, выполнили решения, отсканировали его своим сканером, а потом положили наши сканы в расшаренную папку на компьютер экзаменуемого. Он сделал вид что отсканировал свою работу на своем сканере, а отправил наши уже загруженные сканы. Поскольку контроль почерка не проводился, за эту работу мы получили 100 из 100 условных баллов. Кода мы связывались с организаторами и пытались объяснить, как обошли контроль, было видно, что они нас даже не понимали.

Очень часто прокторинг обеспечивался следующим образом: сайт, на котором демонстрируются задания, и браузер просят включить демонстрацию экрана доступ к веб камере и микрофону.

В данном случае нам необходимо было получить задания, которые демонстрировались экзаменуемому. Мы делали скриншоты экрана каждые 10 сек в расшаренную папку, для этого написали простое приложение, которое не видно ни в панели задач, ни в диспетчере задач. Виден процесс, название которого ничем не выделяется. Отследить факт снятия скриншота достаточно сложно, а запретить практически невозможно, тем более что его можно делать на уровне драйвера. Или, например, можно воспользоваться картой захвата.

Необходимо было организовать канал обратной связи, но использовать микронаушник не очень хотелось, поскольку мы посчитали данный способ слишком простым и «неспортивным». Мы обнаружили, что чувствительность нашего микрофона недостаточно хороша, чтобы определить некоторые низкочастотные звуки, но при этом микрофон проходит все необходимые проверки. Поигравшись чувствительностью микрофона и АЧХ колонки, мы добились того, что смогли передать и воспроизвести низкочастотный звук, различаемый экзаменуемым, но при этом не фиксируемый микрофоном. Качество звука при этом чуть ниже среднего, но можно разобрать концепцию решения задачи. Для коммуникации экзаменуемого с помощником использовали обычный беспроводной дверной звонок, что позволяло коммуницировать в режиме «да/нет».

Излишние требования к прокторингу затрудняют работу самих организаторов. Показательным примером была олимпиада по информатике университета одного IT университета. Необходимо было вести запись рабочего экрана и участника с двух камер с помощью программы OBS. При этом перед началом экзамена необходимо было продемонстрировать подключенное оборудование, разрешение монитора и подтвердить, что подключен один монитор, продемонстрировать диспетчер задач. Организаторы потребовали, чтобы во время записи панель задач не скрывалась, а системное время показывалось с точностью до секунды — для этого нам пришлось править реестр. Затем необходимо было видео файл с записью решения задач размером более 5-6 ГБ загрузить на облачное хранилище, а ссылку отправить организаторам. При этом необходимо было подключаться через Zoom, в Zoomе выбрать виртуальную камеру OBS, которая передавала видеопоток с двух web камер и захвата экрана. Это вызвало кучу головной боли у организаторов, поскольку настройки программы OBS и правка реестра вызывала огромные проблемы у пользователей, несмотря на подробную инструкцию.

Поскольку в ходе олимпиады необходимо было писать код. А человек, который учавствовал не то что не умел программировать он даже печатать нормально не умел. Необходимо было расширить функционал нашего приложения. Суть его заключалась в следующем. Мы, анализируя задания получение со скринов писали код программки в обычный текстовый файл.  Затем загружали его в папку на компьютере экзаменуемого. Программка отслеживала нажатия клавиш и в случае комбинации трех заранее выбранных клавиш. Считывала этот файл, а затем по нажатию любой клавиши на клавиатуре выводила на экран нужный символ. От экзаменуемого в данный момент требовалось в лучших традициях голливудских фильмов про хакеров, просто нажимать кнопки на клавиатуре как на пианино. По признанию самого экзаменуемого, самое сложное было в тот момент сдержать улыбку и держать «poker face». В данной олимпиаде мы вошли в топ 5 лучших после чего опять написали организаторам, и все рассказали. На удивление в данном случае нас выслушали с особым вниманием и обещали принять меры.

Стоит сказать, что не всегда удавалось найти понимание. Некоторым очень не нравилось, что их обманули, некоторых случаях нас обвиняли в мошенничестве и обещали пожаловаться в правоохранительные органы.

Далее мы столкнулись с системой examus или «Экзамус» на данный момент — это самая совершенная система прокторинга. Но ее использование вызывает кучу вопросов. Сама система представляет собой расширение, для браузера которое требует доступ к камере микрофону, может вести запись экрана. Анализирует запущенные приложения, подключенное оборудование историю браузера и историю поиска. И требует отключить антивирус на компьютере. По их заявлениям они обладают достаточно серьезными возможностями ИИ для анализа поведения экзаменуемого, анализа его клавиатурного почерка, экзаменуемого и планируют контролировать пульс ЭКГ и другие биометрические параметры. Система требует прав администратора в системе и может залезть куда угодно на компьютере. Она собирает обрабатывает кучу персональных данных.

Следует отметить что examus является закрытой системой нигде не публиковался аудит кода и ее истинные возможности и методы контроля. И даже для ВУЗов не раскрываются ее полный функционал.

Отдельный вопрос вызывает документ о политике приватности программы, в котором содержится абстрактный пункт о возможности «‎передавать личную информацию при заключении коммерческой сделки»

Студенты ВШЭ выражали претензии, публично заявив о недоверии к ней, и направив ректору просьбу пересмотреть решение об экзаменации через систему «Экзамус». Их недовольство спровоцировали стандарты проведения экзамена и вседозволенность программы. Студентам удалось выйти на связь с директором «Экзамуса». Хотя он и ответил на вопросы, его комментарии почти не внесли ясности. Мониторинг ранее открытых сайтов объяснялся необходимым «для статистики и повышения эффективности работы сайта», а пункт о личных данных оказался якобы обычной практикой IT-компаний, и необходим из-за обязанности передавать данные в правоохранительные органы.

Поскольку в данном случае это были не олимпиады, а сессионные экзамены и за попытку списывания у студента могли бы быть серьезные проблемы. К вопросу подошли максимально серьезно. Мы поставили себя на место прокторов и думали, как и что бы мы контролировали в системе.

Было принято решение не использовать виртуальную машину поскольку программе достаточно легко определить, что она запущенна в виртуальной среде. Так же приняли решение проводить тестирование на чистой только что установленной ОС и после экзамена откатывать ОС к изначальному состоянию.

Поскольку система скорее всего реализует функцию «keylogger», было принято решение отказаться от трюка с клавиатурой. Мы использовали 2 одинаковые радио клавиатуры и мыши, а система видела только радио модуль, а радио модуль реагировал на обе клавиатуры, можно было в соседней комнате набирать текст. Все файлы скриншоты шифровались внутри программки и максимально пережимались и отправлялись на локальный сервер через https со стороны что система общается с роутером. Программка была максимально замаскирована под системное приложение. В этом году мониторинг биоактивности в этом году не проводился. Но мы относимся этим заявлениям максимально серьезно.

В итоге мы успешно сдали все сессионные экзамены в нескольких вузах.

Так же мы без особых проблем прошли прокторинг при Сертификация по Яндекс.Директу. но там система не определяла вообще ни чего и можно было спокойно пользоваться программами удаленного доступа.

Выводы

В интернете очень большое количество маркетинговых статей о том, что прокторинг спасение от списывания, которые ни имеют ничего общего с действительностью если экзаменуемый достаточно заинтересован в успешном результате он сможет обойти практически любую систему.

Для студента данная система добавляет просто огромное количество стресса, помимо самого экзамена заставляет переживать за интернет соединение, работу компьютера, вдруг он посмотрел в окно почесал за ухом, и система приняла это за попытку коммуникации.

Данные системы будут дальше развиваться и применяться поскольку это существенно дешевле чем реальные экзамены.

Я даже боюсь представить каково это сдавать экзамен под детектором лжи.

Планы на будущее

• Попробовать применить IP KVM, мы хотели его попробовать сразу, но не успели заказать и оттестировать.

• Раздобыть карту захвата, которая не определяется системой и позволяет добавить в видеопоток на монитор собственную информацию попробуем реализовать технологию picture by picture.

• Будем разрабатывать собственную клавиатуру, которая бы позволяла обеспечить подключение других систем.

• Будем думать, как можно будет подделывать информацию с датчиков ЭКГ и пульса.

Все имена изменены все совпадения случайны.

Формат экзамена

Казалось бы, удаленный режим проведения экзаменов накладывает отпечаток на саму процедуру сдачи экзамена, однако на дистанте в любом случае будет использоваться один или несколько уже знакомых вам форматов:

• тест;
• письменный экзамен с развернутым ответом на несколько объемных вопросов;
• устный экзамен с билетами.

Таким образом, переживать из-за самого формата не стоит: он вам отлично знаком. Отличие заключается лишь в необходимом использовании компьютера, возможно, камеры, наушников, микрофона и переходе на цифровые платформы.

Разберем каждый из этих форматов по отдельности.

• Тест

Экзамены, проводимые в форме тестирования, могут содержать вопросы с выбором ответа из предложенных, с написанием краткого ответа, с поиском соответствий в двух колонках и пр.

Для проведения тестирования преподаватель может использовать даже бОльшие возможности: прикреплять аудио- и видеоматериалы, изображения в цвете (что не всегда реализуемо в тестах на бумаге, поскольку цветная печать намного дороже).

В целом сейчас очень многие тесты выполняются на компьютере, поэтому, мы надеемся, такой формат вас не смутит. Главное
правило — перед подтверждением окончания тестирования обязательно проверьте все свои ответы: в тестах, проверяемых автоматически, большую роль играет не только содержательная корректность ответа, но и правильность его оформления.

Например, в задании указано, что ответы пишутся с маленькой буквы, без пробелов и знаков между словами, то есть в одно слово (примерно так: воднослово), а вы написали то же самое, но иначе: В одно слово. Увы, такой ответ может быть не засчитан (но сразу отметим, что механизмы проверки с каждым годом совершенствуются, чтобы из-за такой неточности студенты не теряли баллы).

Кроме того, возможны ошибки в ответах из-за неуверенного владения компьютером (но это же не про вас, правда?).

Для преподавателей формат онлайн-теста, возможно, один из самых удобных: будучи составленным единожды, он позволяет тиражировать вопросы, перемешивать их и автоматически проверять задания.

— В Вышке в этом году все вступительные испытания сдаются дистанционно. Подсказка первая: для экзамена абитуриенту понадобится стационарный компьютер или ноутбук с web-камерой и микрофоном, скоростной интернет. Абитуриент регистрируется на сайте Вышки и открывает личный кабинет. На программе «Журналистика» творческое испытание состоит из двух туров — письменного и устного. Письменный проходит на платформе «Экзамус».

Примерно за неделю до письменной части мы проводим пробный экзамен для того, чтобы абитуриент осмотрелся на платформе. В течение 15-20 минут можно познакомиться с интерфейсом, где какие кнопочки, как выглядит таймер. Подсказка вторая: важно, чтобы на технические детали абитуриент не тратил время во время экзамена. Выполняя работу, важно уложиться в отведенное время, иначе система просто закроется.

Расписание экзаменов составляется заранее — к 1 июня. Однако за несколько дней до экзамена абитуриенту приходит «напоминалка» с логином, паролем, временем дистанционного экзамена. Перед началом испытания нейросеть просит абитуриента подтвердить личность — он должен показать камере паспорт. Система мгновенно сличает фото в паспорте и вашу личность, и, если увиденное ее удовлетворяет, пропускает вас дальше. Далее вы нажимаете кнопку «начать экзамен», и вам открывается окно с заданиями.

А если абитуриент списывает или ему помогают выполнить задание?

Татьяна Тихомирова: Вот тут и есть самая «фишка», зачем нужна камера и микрофон. Подсказка третья: во время экзамена система «Экзамус» пишет два потока видео: первый — это все происходящее на вашем экране, второй — все, что делает абитуриент и что происходит в помещении: мама принесла стакан молока, абитуриент подглядывает в шпаргалку, кошка забежала… Все это система фиксирует как нарушение, в том числе движения глаз, посторонние звуки, шумы.

Но потом видео просматривает эксперт и проверяет, было нарушение или нет. Был случай, когда во время экзамена за окном у абитуриентки грохотал отбойный молоток, система сделала пометки о нарушении, но мы разобрались с этой ситуаций в «ручном» режиме.

Подсказка четвертая: нужно помнить, что все работы проверяются в системе «Антиплагиат», так что списать вряд ли получится.

Как проводится устная часть?

Татьяна Тихомирова: Собеседование проходит на старой доброй платформе zoom, прекрасно знакомой и школьникам, и родителям. И тут еще больше преимуществ — абитуриент не томится в аудитории в ожидании, а сидит и пьет какао на любимом диване до назначенного ему времени.

Чем можно пользоваться? Наушниками, например, можно?

Татьяна Тихомирова: На письменном туре — никаких наушников. Подсказка пятая: умные часы, наушники, смартфоны — на расстоянии вытянутой руки. Всем этим пользоваться нельзя, за такие нарушения могут отстранить от конкурса.

В этом году на Всероссийской олимпиаде был случай, когда две сестры не смогли дистанционно написать работу, так как не открылись ключи личных кабинетов, хотя интернет был. Как позже выяснилось, причина могла быть сугубо техническая. Если такие трудности возникнут на дистанционном экзамене, что делать?

Татьяна Тихомирова: Подсказка шестая: все время, пока проходит дистанционный экзамен, у нас работают десятки сопровождающих специалистов, которые в режиме реального времени помогают абитуриентам решать технические вопросы. Есть регламент, по которому ответ вам должен быть дан в течение 10 минут. И даже если вы живете во Владивостоке, пишете работу в 10 часов утра по местному времени, когда в Москве еще ночь, можете рассчитывать на техническую поддержку.

Как абитуриент узнает, какую оценку получил за дистанционный письменный экзамен?

Татьяна Тихомирова: Подсказка седьмая: в личный кабинет придет проверенный текст с оценкой и комментарием проверяющего. Родители, особенно если они с компьютером на «вы», волнуются и переживают за дистанционные экзамены гораздо больше, чем дети, которые как «рыба в воде», поскольку накопили мощный опыт дистанционного обучения во время изоляции. Подумайте о положительных сторонах — не надо никуда лететь, тратить деньги на проживание, школьник готовится в уютных условиях. И что еще важно — успевает сдать экзамены в выбранные вузы, так как не мечется между городами.