Верификация бланков егэ

1. Верификатор при обработке бланков регистрации и бланков ответов № 1 должен:
   1. проводить на станции верификации работы по верификации бланков в соответствии с руководством оператора верификации и рекомендациями ФЦТ;
   2. провести сверку символов электронного изображения бланка с информацией, полученной в результате распознавания бланка;
   3. внести исправления в распознанный текст, обеспечивая идентичность полученного текста с информацией бланка, если информация в поле бланка противоречит «Перечню допустимых символов», установленному ФЦТ и размещенному на сайте технической поддержки;
   4. верификатор не имеет права вносить изменения, не предусмотренные настоящими Правилами. В случае возникновения нештатной ситуации, верификатор действует в соответствии с письменным указанием руководителя РЦОИ.
   5. оставить в данном поле только исправленный (не зачеркнутый) символ, если при заполнении бланка участник ЕГЭ зачеркнул какой-либо символ, и внес исправление рядом;
   6. верификация бланков регистрации:

1.5.1. внести вместо распознанного текста данные участника ЕГЭ в именительном падеже, если ФИО записаны в родительном падеже;

1.5.2. не следует исправлять орфографические ошибки в записи ФИО, т.к. они будут устранены после сверки с РИС;

1.5.3. просмотреть ФИО участника и поставить метку в соответствующее поле, если на этапе проверки правил выдается ошибка в поле «Пол» (стоит код «-1», участник ЕГЭ не заполнил соответствующее поле);

1.5.4. записывать данные свидетельства о рождении строчными латинскими буквами (т.е. I – i, V – v, X – x), если в поле «документ» они внесены римскими цифрами;

1.5.5. провести сверку с базой данных и внести соответствующие изменения в поля «серия и номер документа», поставить «1» в поле «Номер документа», если у участника не внесены данные о документе, удостоверяющем личность;

1.5.6. открыть и просмотреть изображение указанного бланка, если при закрытии пакета выдается ошибка «Участник не найден в РИС», исправить ошибку в пакете — в случае ошибки верификации, отправить этот пакет старшему верификатору — в случае несовпадения данных бланка с данными РИС.

1. верификация бланка ответов № 1 (область ответов на задания типа А и типа В)
   1. если в одном из полей для ответов на задания типа А отмечено более чем одна метка:

• проверить правильность распознавания меток в данных полях (возможно, что случайная черта или точка в квадрате была распознана ПЭВМ как метка) – если была ошибка распознавания, то следует исправить ошибку распознавания;
• при отсутствии ошибок распознавания меток в данных полях проверить правильность распознавания полей замены ошибочных ответов (не было ли неверного распознавания полей замены ошибочных ответов на это задание);
• отменить все метки в столбце при отсутствии ошибок распознавания в полях замены ошибочных ответов;

1. если в нескольких полях для замены ошибочных ответов заменяется ответ на одно задание типа А:

• проверить правильность распознавания символов во всех полях замены ошибочных ответов;
• принять за ответ последнюю замену ответа на это задание при отсутствии ошибок распознавания, а остальные удалить;
• считать последней заменой ошибочного ответа то поле, которое находится ниже и правее (отчет сверху вниз слева направо). Для того чтобы удалить «не последние» замены, достаточно в соответствующих полях замены удалить только номер задания.

1. если участник ЕГЭ внес ответ в виде слова в поле, в котором допустимыми символами являются только цифры, необходимо изменить ответ на цифровой эквивалент (например, в бланк ответов внесен ответ «ПЯТЬ», а допустимые символы в данном поле – цифры, необходимо исправить слово «ПЯТЬ» на цифру «5»);
2. если участник ЕГЭ внес ответ в виде числа в поле, в котором допустимыми символами являются только символы кириллицы, необходимо изменить ответ на словесный эквивалент (например, в бланк внесен ответ — цифра «5», а допустимые символы в данном поле – символы кириллицы, необходимо исправить цифру «5» на слово «ПЯТЬ»). В этом случае числительное должно быть внесено в именительном падеже;
3. надо удалить символы, обозначающие размерность, оставив только числовое значение, если участник ЕГЭ внес ответ в виде числа и его размерности, например, «5 м» или «5 метров» в поле, где допустимыми символами являются только цифры;
4. необходимо удалить недопустимые символы, если участник ЕГЭ внес ответ, используя и допустимые и недопустимые для этого поля символы;
5. необходимо удалить недопустимые символы, если нет эквивалента ответа участника ЕГЭ, который можно записать, используя допустимые для этого поля символы, если участник ЕГЭ внес ответ, используя только недопустимые символы;
1. верификация бланка ответов № 2:
   1. оператор верификации должен остановить обработку данного пакета и обратиться к начальнику смены или непосредственно к руководителю РЦОИ в случае, если запись в бланке велась светлыми чернилами и/или в других, не предусмотренных настоящими Правилами ситуациях;
   2. необходимо открыть другой бланк в верифицируемом пакете и скопировать в данный бланк соответствующую недостающую информацию при отсутствии на бланках информации о названии предмета, номере ППЭ, аудитории ППЭ;
   3. пакет необходимо отправить старшему верификатору в следующих случаях:

• если номер дополнительного бланка № 2 не совпадает со штрих-кодом основного бланка №2 либо отсутствует;
• при сообщении об отсутствии варианта (вариант «-1»).

2. Верификатор обязан соблюдать дисциплину во время работы. Во время работы верификаторам запрещается:

• пользоваться мобильными телефонами, иными средствами связи, фото и видеоаппаратурой, портативными персональными компьютерами (ноутбуками, КПК и другими);
• слушать музыку (в том числе в наушниках);
• переговариваться и отвлекать своих коллег;
• совершать иные действия, вызывающие снижение эффективности верификации (качество и скорость верификации).

Приложение № 5

к методическим материалам по подготовке и проведению обработки материалов ЕГЭ

в РЦОИ в 2012 году

Верификатор Обзор: Часто многие люди задаются такими вопросами: кто такой верификатор? Что такое РЦОИ?

Рейтинг: 5 — количество голосов за статью

Публикация:
29.01.2012,
в категории «Образование»

Просмотр: эта статья прочитана 9109 раз

    Часто многие люди задаются такими вопросами: кто такой верификатор? Что такое РЦОИ? Чтобы было понятно для всех — это региональный центр обработки информации, куда стекаются все работы выпускников после экзамена. А вот верификатор , это и есть ответственный труженик РЦОИ, и является самым главным человеком во всём процессе экзамена. От верификатора тут зависит все. Его роль настолько же важна, насколько и трагична. Когда ваши бланки привезли в РЦОИ, они вместе с бланками других участников экзамена попадают в сканер, где ваши ответы распознаются и вносятся в специальный файл.

 У многих прекрасный, чёткий, разборчивый почерк, которым вы безукоризненно напишете все необходимые крестики, буквы и цифры. К сожалению, таким замечательным почерком могут похвастаться далеко не все. Есть некоторые люди, которые цифры 1, 4, 7 пишут совершенно одинаково. Более того, они на письме практически не различают цифры 3 и 5, да и к буквам А и Д, Л и П подходят универсально. И если программа, распознающая ответы, натыкается на такой универсализм, она начинает сомневаться. Разрешение своих сомнений программа предоставляет верификатору. Вот тут и начинается труд верификатора. Veritas — по латыни истина. Вот ещё с чем должны обязательно ознакомиться все абитуриенты и студенты.

 Тем самым верификатор — искатель истины. Он внимательно рассматривает подозрительную закорючку на бланке или донельзя исчерканные и трижды обведенные знаки и пытается определить, что же это такое хотел сказать автор . При этом верификатор руководствуется здравым смыслом и иногда интуицией. Но даже опытнейшему верификатору замысел автора удается выявить далеко не всегда. И тогда верификатор вписывает в поле ответа то, что ему лишь мнится, надеясь, что ангелы нашептали ему верное решение. Упражнение. Догадайтесь, что это за буквы? А между тем ничего загадочного нет. Вот как выглядел ответ в исполнении одного выпускника до верификации.

 Сверху — предположения компьютера. Только усилия верификатора позволили восстановить заветное слово. Так выглядит результат после верификации. Бывает так, что программа распознавания ошибается, но не испытывает никаких сомнений. В приведенном примере компьютер абсолютно однозначно прочел первую букву как Е, а третью как О. И если бы не сомнительные буквы У, С и Л (которые на самом деле Т, О и А), слово не попало бы на верификацию, и тогда никто не нашел бы и не смог исправить ошибку. Остается лишь заметить, что в горячую пору рабочий день верификатора не нормирован. И к концу суток непрерывной верификации глаз его может помутнеть, а рука — дрогнуть.

 В результате в поле ответа появляется число или слово, которое не имеет никакого отношения к замыслу автора работы. Очень хорошо, что, Вы, отчетливо осознаете, как хорошо, что у вас четкий и разборчивый почерк. Я уверен, что вы подойдете к заполнению бланка ЕГЭ со всей ответственностью и приложите все силы к тому, чтобы компьютер распознал ваши ответы сразу и безошибочно, чтобы верификатору не пришлось разгадывать ваши письмена, как берестяные грамоты древних новгородцев. Незамеченные верификатором ошибки, которые возникают на этапе сканирования, относят к техническим ошибкам. От этого, правда, никому легче не становится. Иногда техническая ошибка закрадывается в номер варианта. Это совсем худо. Написал человек номер своего варианта 325, а сканер прочел 925. И весь вариант проверяется неправильно. (И.Р. Высоцкий).

ЕГЭ изнутри (глазами админа)

Злободневная тема, много топиков и на хабре (вот и вот)
Совершенно не собираюсь останавливаться на законности эксперимента, содержании КИМ (контрольно измерительных материалов) и прочем. Постараюсь сконцентрироваться непосредственно на технологическом аспекте подготовки и проведения экзамена.
Почему мне можно верить – опыт работы 2004-2007 в РЦОИ Московской области (системное администрирование, сбор данных, координация с разработчиками и регионами, проведение обучений, консультации и прочее). Все это время мы работали по технологии КРОК (см. ниже), в 2009 года технология изменилась в приказном порядке на ЦТ. Итак, по порядку

Технологии

До недавнего времени были две технологии организации и проведения ЕГЭ: Федеральный Центр Тестирования (далее ЦТ, www.rustest.ru) и КРОК (ЗАО КРОК www.croc.ru, далее просто КРОК).
Технологии различаются принципиально. Я максимально подробно остановлюсь на технологии КРОК и в конце укажу моменты, почему это было лучше, нежели ЦТ (личное профессиональное мнение мое, коллег и руководства).
КРОК – MS SQL 2000 в качестве сервера баз данных и WIN 2000 (2003) в качестве сервера приложений. Сервера разнесены по разным машинам, на WIN 2000 стоял дополнительно AD для внутренней локальной сети.
На сервере приложений стоит серверная часть программного комплекса (далее АИС), на клиентских машинах соответственно клиентская часть, пользователь логинится через AD в домен, работа через интерфейс браузера (обязательно IE6). По правилам безопасности никакое другое ПО на клиента ставить нельзя (я ставил еще офис, rar и radmin – запароленные и только для группы администраторов). Весь софт 100% лицензионный (винды, офисы, серверные программы и подобное).
В качестве дополнения по комментариям по объемам на дисках: 7 гигов несжатый дамп базы (полный) и 90 гигов архив картинок всех экзаменов. Общее количество человекоэкзаменов около 120 000

Вся локальная сеть с базой данных и любыми данными экзамена ФИЗИЧЕСКИ отсоединены от сети интернет (во избежание утечки данных).

На уровне АИС существует распределение прав пользователей по доступу к системе (настраивается очень гибко, чекбоксами отмечаются нужные привилегии для группы пользователей). Соответственно на любую клиентскую станцию можно авторизоваться через AD с нужными правами и работать как требуется.

Структура сети для проведения экзамена на 50 000 человек (у нас это была максимальная нагрузка, данные необходимо обработать и передать на проверку максимум на 4-й день после экзамена) в итоге состояла из:
1 – 3 сервера (баз данных, сервер АИС, файловый архив отсканированных картинок)
2 — 12-17 станций сканирования
3 – 20-25 станций верификации
2 – 1-2 станции администратора для постоянного мониторинга узких мест.

Все остальное время года клиенские станции сканированияверификации работают в штатном режиме у других пользователей. На время экзаменов накатывался образ с готовой системой и изымаются в наше пользование.
Станции сканирования — высокоскоростные сканеры ДС-300 производства ЛОМО, PANASONIC типа KV-S3105C и маломощные Fujitsu. ДС работали через сеть, KV и Fujitsu через скайзи. Скорость работы первых двух машин впечатляет (по первости) – 90-120 листов в минуту в черно-белом формате порядка 200 dpi. При сканировании бланк режется на кусочки (по реперным меткам), моментально проходит распознавание и файлы перемещаются на файловый сервер. Весь софт – разработка КРОК (в их субподряды не вмешивался).

Сбор данных.

Подготовка к экзаменам начинается с октября (примерно) и продолжается весь год. Включает в себя следующие этапы:
1 – выверка сведений по образовательным учреждением, административных справочников, уточнение ответственных за проведение экзаменов (обычно один человек от района Московской области, но если район большой иили человек мало подкован к компьютерах – двое, один технарь, один управленец). Муниципальные координаторы – вообще отдельная тема, им бы памятник поставить. Обычно это женщины из органов управления образованиям.

2 – сбор данных по выпускникам ОУ (максимально полная карта, ФИО, паспорт, планируемые для сдачи экзамены). Сбор осуществляется специализированным клиентским ПО (программа без инсталляции) с весьма наглядным интерфейсом. Возможности ПО значительно шире – помимо базового сбора данных это и сбор аналитических данных для стат. Анализа. К примеру – данные по учителю (стаж, специализация, дата курсов), годовые оценки по предмету, учебник и много другого. Эти данные заполняются в течении всего года (ибо очень большой объем информации необходимо собрать и внести).

3 – выверка паспортных данных выпускников (на бумажных носителях за подписью руководителя ОУ)

4 – с публикации точных дат экзаменов окончательный сбор данных по регистрации на экзамены и последующая выверка (на бумажных носителях за подписью руководителя ОУ и подписью ученика рядом с собственными паспортными данными и выбранными экзаменами). Срок этого этапа очень сжат, потому что от приказа с датами экзаменов и крайним сроком подачи данных в вышестоящие органы крайне мало времени. Зачем так строго – для печати необходимого количества КИМ

С выверками вообще очень интересные вещи творились. Ученики на протяжении всего года должны были минимум 2-3 раза видеть списки с своими данными и по необходимости исправлять (фио, паспорта). Мало того, что каждая выверка приносила порядка 5-10% изменений в БД (это все вносится руками операторами центра), так и на экзаменах выходило множество форм с коррекцией. Дети совершенно невнимательно относятся к своим данным, а ведь из-за этого и у них могут быть проблемы с получением результатов (коррекция данных проходит через ФЦТ и это очень долго и сложно для нас).

Итак, все данные собраны, выверены, переходим к экзамену.

Проведение экзамена

За несколько дней до экзамена из ФЦТ получаем заказанное количество КИМ (с некоторым лимитом на случай брака либо недокомплекта аудитории). Все очень серьезно – запечатано, принимается по описи руководителем центра.

Печать материалов на экзамен
В центре печатаются комплекты для каждой аудитории и ППЭ (пункта проведения экзамена). Печатали на HP в диком потоковом режиме, с второго года наловчились одновременно печатать с двух клиентов на два принтера сразу. Распечатанный комплект вынимается из принтера, подписывается ведомость и запечатывается в так называемый секьюрпак. После пачки комплектуются для каждого районаППЭ и складируются в специальном помещении (с кодовым замком). Картриджи меняются каждые 3-4 часа, пыль столбом, легкие медленно умирают от 3-4х одновременно работающих HP-шников.

За сутки до экзамена приезжают муниципальные координаторы – по описи происходит выдача пакетов, сверка количества и общих данных. Часов в 18-19 последний пакет выдан, по коньячку и спать, ибо следующие 3-4 дня как страшный сон.

День экзамена

С 8 утра (время вскрытия пакетов на местах) в центре находились мы с начальником – ответы на все возможные вопросы в течении экзамена и нервное ожидание брака в КИМ (было и такое, на стадии печати брак, приходится ребенку оформлять смену варианта), ошибок при регистрации детей на экзамен (несколько раз муниципальные координаторы забывали внести ученика на экзамен, а он спокойно не расписывался на ведомостях выверки). Некоторое затишье после 10 утра (экзамен пошел).

Примерно с 14 дня начинается привоз материалов из ППЭ. Приемка происходит следующим образом:
1 – сверка пакетов начальником центра

Прием и сканирование после экзамена
2 – муниципальный координатор и оператор станции сканирования «уединяются» в зале и попакетно сканируют, после обработки каждого пакета аудитории сверяются данные (машинной обработки) с ведомостями, ни один бланк не должен быть утерян. На этом этапе несколько раз встречались случаи, что в ППЭ забыли бланк. В таком случае прием данного района приостанавливается до выяснения. На уровне клиентской машины ведется строгий подсчет количества бланков выданных и отсканированных по каждой аудитории. Подмена невозможна. Бланки именные и с уникальным кодом, при сканировании идет сверка всех полей.

Был курьезный случай, когда в ППЭ ученик вышел в туалет с нерешенной частью С и смыл бланк в унитаз (хорошо не спустил воду). При приемке обнаружили, отправили гонца в пункт, тот в туалете выловил бланк и зажав нос привез нам, пришлось так и обрабатывать.

3 – я как администратор, в промежутках между решением текущих вопросов, проверяю обработанные аудитории, если количество выданныхпринятых бланков сошлось – перевожу аудиторию на проверку.

Документы с большого района, Одинцовский район (коллеги напомнили), ждут очереди на сканирование, в этой пачке бланки 2500 участников
4 — после этого бланки с работами проходят верификацию. Верификация дело тонкое – каждая клиентская машина с базой верификации самообучаема. Если оператор 2 раза подтвердит значение одного поля – оно попадает в словарик и с вероятностью 99% будет автоматически отработано. Занятие весьма нудное, потому заканчивается обычно много позже сканирования (2-6 часов ночи). Вот на этом этапе и происходит обработка «случайных» ошибок. Если ребенок поставил в части А ответ в 5-ю клетку (она зарезерервирована), заполнены лишниеслужебные поля – все это попадает верификатору.

5 – администратор – ведет общий мониторинг работы системы, исправляет любые ошибки по ведомостям и прочее. Отслеживаются случаи простановки метки «ученик не явился» и заполнненного бланка (система показывает подобные случаи), иначе работа не будет засчитана. Потерянные бланки – система не смогла распознать отсканированный номер и не прикрепила бланк к аудитории.

6 – после окончания верификации можно распечатывать пакеты для работы экспертов. Они приступают с 10 утра следующего дня экзамена. Потому часов с 8-9 вечера запускаются минимум 2 станции печати работ С. Выдача строго случайна – бланки неименные, эксперт не знает кого он проверяет, каждая работа отдается двум экспертам, если расхождении в их оценках выше заданной отметки – работа показывается как требующая дополнительной проверки и распечатывается для «третьего эксперта». Третий эксперт не может быть из числа двух уже проверявших, назначается вручную с указания председателя комиссии проверки.

Проверка части С длится 3-4 дня. Как только все данные обработаны и ни один бланк не потерян – формируется CSV с результатами. Данный файл шифруется на сервере (Crypto Pro, ключи хранятся на отдельном носителе в сейфе и выдаются под роспись) и по зашифрованному каналу через специальную программу отправляются в ФЦТ на оценку.

Про шкалирование рассказывать не буду, кому интересно найдут выкладки. Достаточно сложная математическая модель, строится в ФЦТ при получении результатов с всей России.

Через 3-5 дней обработанные результаты с оценками приходят из ФЦТ в CSV, загружаются в БД и распечатываются протоколы (каждый за подписью печатью министра образования области) и выдаются в каждый район. Последние годы стали разрешать публикацию данных через сайты, в этом году мы на нашем сайте Мособласти сделали такой же функционал (чем вызвали рост посещаемости и положили сервер хостера )).
В принципе в общих чертах все. В режиме реального времени, когда экзамены проходят с промежутком 3-5 дней иили 2-3 экзамена в один день, это выливается в 2-3 недели 100% присутствия на работе без выходных по 25 часов в сутки. Но когда знаешь, что за нашими спинами 50000 нормально сдавших экзамен детей и довольные родители — того стоит.

Апелляции

Апелляций по проведению экзамена я не припомню (хотя иногда и стоило бы, но дети уставшие и не сразу понимают ситуацию). По результатам – порядка 500 штук на 50 000.

Для апелляции собирается специальная комиссия, распечатываются распознанные бланки, копии оригиналов, происходит сверка на предмет машинной ошибки распознавания и эксперты по предметы с ребенком и родителем пошагово проходят по всем заданиям. Апелляции делятся на категории: отклоненные и рассмотренные. 99% рассмотренных апелляций проходит с повышением балла (редко когда оправданно, обычно цветы, конфеты, слезы). Пару раз особо «наглым» понижали балл. Порядка 40% остаются при том же результате, то есть апелляция отклоняется. Отдельно хочется сказать отличникам – если вам в вуз не хватает 1-2 балла – обязательно подавайте апелляцию, такие случаи (их немного) всегда положительно рассматриваются.

Узкие места всей процедуры:

1 – банальная невнимательность на уровне районов и школ. Координаторы теряютзабывают детей, дети не обращают внимание на свои паспортные данные и выбранные даты экзаменов. Создает множество проблем нам при выверке данных и детям в случае осложнений.

2 – низкая компьютерная грамотность координаторов. Ни в коем случае не хочу их винить, но факт остается фактом. Не в каждом районе могут найти специалиста для решения технических вопросов (обычно заключаются в работе с электронной почтой, excel, word, ПО для сбора информации). Оттуда и мой анекдот про «красненький и синенький интернет».

3 – отсутствие интернета в органах управления образованием. Многие работают через модем, с домашних компьютеров отправляют нам данные. Про школы просто молчу – редко редко есть сеть, обмен данных через дискеты обычно (!!!!)

4 – полный хаос в взаимоотношениях с ФЦТ. Пара примеров. Они пишут и утверждают с представителями КРОК и министерства формат базы данных. По факту мы обнаруживаем расхождение – утвердили одно, выгрузили данные в CSV, а в базу ФЦТ они не загружаются – очередность полей изменилась, формат данных и прочее. Идет ругань, крок судорожно пишет хак для своей базы, чтобы подогнать якобы утвержденный формат по новые требования (никем нигде не высказанные). Далее – выдача результатов, по како-либо причине наш файл ими не принимается (формат ошибочный либо другое) – тишина полная с их стороны, только по звонку (а дозвониться к ним ох как сложно) оказывается что имеет место косяк. Опять же это время, нервы нас и детейродителей. При общении создается впечатление классического «совкового» магазина из анекдотов. Очень, очень напрягает такие факты, вроде бы общее дело делаем, а тут такие подлянки.

5 – еще больший хаос на более высоком уровне. Несоответствие приказов действительности, одно постановление противоречит другому и подобное. Вечная слава нашему шефу, что не жалея седин утрясал такие вопросы максимально оперативно (хоть совершенно не наш уровень)

6 – и, пожалуй, самое главное – НЕВНИМАТЕЛЬНОСТЬ и НЕЗНАНИЕ правил при проведении экзамена в пункте. Мы круглый год проводим обучение специалистов каждого ППЭ, готовы постоянно ответить на любой вопрос. После оказывается, что они не знаю с какой стороны открыть пакет и оформить ведомость.

Положительные аспекты технологии

1 – очень и очень доброжелательный софт (не без грехов, но по сравнению с софтом ФЦТ – рай на земле). Спецы по внедрению отвечали почти на любой вопрос. Много собственных наработок (грешен, писал на php пару приблуд для быстроты однотипных процедур). Единый комплекс, гибкий и расширяемый, разработан одной конторой. Софт же ЦТ был собран из разных кусочков разных разработчиков, на базе ABBYY. В работе неинтуитивен, неудобен и на мой взгляд просто крив.

2 – удобство конечной конфигурации системы в центре, отлаженность технологии буквально до нитки. Когда центр перевели на ФЦТ – трудозатраты при проведении выросли в разы (как и уровень рисков)

3 – высокая безопасность данных. Из центра и из ППЭ в дни проведения ни единой капли информации потеряно не было. Кроме администратора никто физически не может внести изменения в БД, на уровне клиента все мониторится и сохраняется. Возможность сделать «бяку» есть только у админа. Пару раз правда приходили лично к мне с тихим предложением денег но безуспешно. Насколько мне известно — на уровне районов подобные случаи тоже не проходили.

4 – почти 100% удобство для конечного пользователя – ученика. Бланк именной, с указанием школы, ППЭ, только подпись ставить и решай задачи (у ЦФТ нужно еще и ФИО вписывать – лишний повод для ошибки)

5 – огромные возможности для проведение статистического анализа не только ЕГЭ но и всей образовательной системы. Массив данных это позволял (при условии 100% заполнения на местах). Нами использовался SQL Analyze Server с веб-компонентами (модуль аналитики — разработка того же КРОК). Ну и напрямую из базы запросами тягались особо интересные показатели. Сравнивать можно почти все что угодно – оценка от продолжительности изучения предмета в совокупности с учебником, соответствие оценки ЕГЭ и готовых показателей на кривой роста итогового балла с 5-го класс. Множество чудесных вещей, подобных данных не было нигде ранее. На практике же накрывалось медным тазом, хоть и для статистической работы был отдельный центр при министерстве.

Итоги (по опыту работы) – процент ошибок машинной обработки – 0,1 %, процент ошибок верификатора – 2 случая на 50 000 человекоэкзаменов. То есть с нашей стороны все чисто.

Повторюсь – все написанное – мое личное мнение по опыту работы на данной технологии и опыт солидарных коллег нашего центра в период работы до 2007 года. И простите за язык изложения — чукча не писатель, чукча читатель.

UPD информация от ведущего разработчика системы

1 — на чем написано: на C# (ASP.Net) — апп. серверная часть, T-SQL — клиентская часть, Active-X (С++, VB6, C#) + VBScript — клиент.
2 — как происходит выдача вариантов для аудитории: достаточно сложный алгоритм, который достаточно равномерно размазывает варианты КИМ по аудиториям ППЭ, стараясь не выдвать одинаковые варианты соседям по «крестику» (влево-вправо-вверх-вниз)

Если заинтересуют отдельные, нераскрытые, аспекты технологии – пишите, постараюсь дополнить. Ну а если нет аккаунта на хабре — пишите в комменты в блоге
Рабочее место админа ))