Как проверяют ЕГЭ? Рассказ эксперта!
Самое волнительное в ЕГЭ — ожидание результатов. С первой частью всё понятно: компьютер в необъективности не заподозришь. А вот как проверяется вторая?
Кто оценивает работы школьников всей страны?
Каждый регион формирует комиссию из ведущих преподавателей профильных факультетов вузов и опытных школьных учителей. Отбирают тщательно. В нашей комиссии по проверке ЕГЭ по литературе — доктора и кандидаты филологических наук; педагоги, воспитавшие победителей олимпиад и творческих конкурсов. Через пять лет ежегодного участия в проверке могу сказать: экспертиза ЕГЭ — работа очень сложная и ответственная. И вот почему.
Проверяющие тоже сначала учатся
Предмет может быть любым — правила проверки и её условия одинаковы. Сначала эксперты учатся. Председатель комиссии вооружается подробными инструкциями от начальства и материалами для тренировки проверяющих, чтобы начать напряжённую работу.
У всех в руках критерии проверки и примеры заданий. Каждое разбирается подробно. Во время обучения эксперты проверяют по несколько десятков заданий каждого типа. В итоге пишут контрольную работу. Старший эксперт анализирует её и решает, кого из обучившихся можно допустить к реальной экспертизе, а кого — нет. Каждый год состав нашей комиссии меняется на два-три человека, а то и просто сокращается.
Экспертиза ЕГЭ как сдача экзамена
Проверяют работы выпускников в отдельном помещении, оборудованном камерами слежения. Обстановка практически такая же, как у выпускников на ЕГЭ. Места пронумерованы, каждому эксперту указывается своё. На столе уже лежат ксерокопии ученических работ. Их число зависит от темпа работы проверяющего. Протокол у каждого персональный. Ответственность за выставленные баллы тоже. Пользование любыми средствами коммуникации во время экспертизы ЕГЭ запрещено.
Каждую работу параллельно проверяют два эксперта. Они трудятся в разных помещениях и никак не связаны друг с другом. Если по какому-то критерию проверяющие разошлись в один балл, оценка ставится в пользу ученика. Допустим, за глубину раскрытия темы и обоснованность суждений я поставила один балл, а мой паритет-эксперт — два. В этом случае выпускник получает по данному критерию два балла.
При более существенном расхождении назначается третья проверка старшим экспертом. Он или соглашается с одним из выставленных баллов, или ставит свой.
Оценка заданий ЕГЭ по литературе: есть нюансы
Поскольку я — эксперт по литературе, то расскажу подробнее о проверке этого экзамена. Во время учёбы вырабатываются общие подходы к оцениванию.Так, для получения максимального балла за задания объёмом в пять-десять предложений размер высказывания на самом деле не очень важен. Все люди разные. Один даст идеальный ответ в три-четыре развёрнутых предложениях, и эксперт оценит его высоко. Другой нальёт десять предложений воды или скатится в пересказ произведения и достойного балла не получит. Ответы на эти вопросы необходимо выстраивать как текст-рассуждение. В большинстве случаев это два тезиса и небольшое, но точное обоснование каждого из них.
Оценка ноль — крайний случай. Есть хотя бы какой-то ответ — эксперт обязательно попытается найти, за что поставить балл. Обидно, когда выпускник говорит о произведении, а название его или фамилию автора не указывает. Тогда эксперту зацепиться не за что. Ноль гарантирован. Значительно снижают балл фактические ошибки.
Сочинение по заданию №17 должно строго соответствовать критериям. Хотите получить максимум за владение теоретико-литературными понятиями — выпишите на черновик пять-шесть терминов, имеющих непосредственное отношение к теме, и уместно используйте в работе. Эксперт обязательно все их подчеркнёт, сосчитает и учтёт правильность употребления. Так же строго учитывается и использование текста литературного произведения. Прозу цитировать необязательно, можно ограничиться пересказом и ссылками на текст. А вот пишущему по поэзии совсем без цитат обойтись сложно. Пересказ лирики — дело неблагодарное. Мало у кого он достойно получается, потому рисковать не стоит. Главное — каждое обращение к тексту должно работать на раскрытие темы сочинения.
При проверке ЕГЭ по литературе орфографические, пунктуационные и грамматические ошибки не учитываются. На оценку они не влияют. Но читаешь работу с массой ошибок, и приходится уговаривать себя поставить высокий балл за содержание.
Курьёзы ЕГЭ
Случаются во время проверки и забавные вещи. Бывает, ребята от волнения допускают смешные ляпы: «Пьер Безухов — неуклюжий медведь дворянского происхождения». Пришлось видеть и такую приписку после текста работы: «Уважаемые члены комиссии, поставьте баллов побольше. Пожалейте молодую жизнь — в армию ведь заберут». Это, конечно, вызывает улыбку. Но, видя такое обращение, эксперт обоснованно снимает балл за логику: текст приписки никак не связан по смыслу с предшествующим высказыванием. Встречаются, хотя и редко, мудрецы, которые придумывают несуществующие произведения и пытаются приписать их создание известным авторам. Напрасно. Эксперты — профессионалы высокого уровня. Подобные штуки не проходят.
Короче говоря
Ответственность за судьбу выпускника каждый проверяющий ощущает огромную. Система продумана до мелочей. При тройной проверке ошибки практически исключены. Если же вы считаете, что они допущены, подайте апелляцию. И главное — помните: ничего сверхсложного в ЕГЭ нет. Готовьтесь добросовестно, и у вас всё получится.
Устные экзамены, итоговые зачеты и выпускные контрольные работы сменились ЕГЭ – итоговой государственной аттестацией, которая ежегодно проводится во всех школах по программе общего среднего образования. Что нужно знать об этой системе?
Расписание сдачи ЕГЭ едино на всей территории страны. Сдать экзамены можно по следующим дисциплинам:
- русский язык;
- математика;
- обществознание;
- химия;
- физика;
- биология;
- история;
- информатика;
- география;
- литература;
- иностранные языки.
Обязательными для всех выпускников являются ЕГЭ по русскому языку и математике, а остальные экзамены выпускники выбирают самостоятельно, руководствуясь требованиями выбранных ими вузов.
Кто проверяет ЕГЭ?
Задания ЕГЭ делятся на три части:
- А: выбор ответа из нескольких вариантов;
- В: короткий ответ, выбор одного или нескольких предложенных вариантов;
- С: задания, требующие развернутого ответа.
За каждый ответ выпускники набирают баллы, а общий результат оценивается по стобалльной системе. Ответы категории А и В проверяются при помощи компьютера: он сканирует работы, автоматически распознавая правильные ответы. Вот почему так важно аккуратно заполнять тесты и стараться не допускать в тексте ошибок.
Кто проверяет задания с развернутыми ответами
Ответы категории С проверяются специалистами. Для максимально объективной оценки приглашаются два независимых специалиста, но и в этой системе проверки есть свои нюансы:
- если баллы, выставленные экспертами, совпадают, то выставляется полученная оценка;
- если оценки различаются, то выставляется средний результат;
- если результаты проверки экспертов отличаются друг от друга кардинально, приглашается третий эксперт для независимой оценки работы.
Как компьютер проверяет бланки ЕГЭ
Компьютер, проверяющий работы выпускников, может также допустить ошибку. Это происходит из-за неразборчивого почерка, неаккуратности экзаменуемых или неподходящего цвета чернил (с трудом распознаются слишком светлые). Если вам кажется, что работа оценена неверно, вы имеете право подать апелляцию о том, что не согласны с результатами. Однако, в этом случае необходимо помнить: комитет может пересмотреть результаты как в сторону повышения, так и понижения баллов, и конечную оценку изменить уже будет невозможно.
Где проверяют ЕГЭ?
Оценки экзаменационных итогов проверяет Региональный центр обработки информации, поэтому все жалобы необходимо направлять именно сюда. После обработки в Региональном центре бланки отправляют в Федеральный центр тестирования, где выбранные участниками ЕГЭ варианты сверяются с правильными ответами. Апелляцию можно подать в течение двух рабочих дней. Результаты экзаменов действительны в течение четырех лет.
Сколько дней проверяют бланки экзаменов?
Перепроверка бланков в Федеральном центре тестирования занимает около пяти рабочих дней. Еще один день требуется для того, чтобы утвердить результаты Государственной экзаменационной комиссией.
В следующие три дня происходит публикация итогов. Выпускники 2018 года могут узнать свои результаты на официальном сайте Мэра Москвы. Для этого нужно указать номер паспорта и код регистрации школьника, сдавшего экзамен. Лично узнать результаты можно в школе, где проходило тестирование. Выпускники прошлых лет могут узнать результаты в том отделении Регионального центра информации, в котором подавалось заявление на сдачу ЕГЭ.
После окончания экзамена все бланки ответов, аккуратно рассортированные по отдельным стопкам, передают в региональный центр обработки информации (РЦОИ). Затем начинается проверка ЕГЭ, проходящая в три этапа:
— обработка бланков специальной аппаратно-программной системой. Их сканирование определено очень умной машиной, апелляция ее решений невозможна;
— проверка бланка с развернутыми ответами группой экспертов;
— финальная проверка уже в федеральном центре тестирования, установка первичных и тестовых баллов для каждого участника и определение минимального балла для ЕГЭ по проверяемому предмету.
Каждый из этих этапов — весьма трудоемкий процесс, в который вовлечено большое количество людей. В среднем результаты ЕГЭ публикуются на портале через 8-12 дней после экзамена.
Первый этап
Первую часть проверяет компьютер: отсканированные работы обрабатываются специальной программой, заносящей информацию в базу данных. Правда, на этом проверка первой части не заканчивается. Чтобы избежать ошибок, связанных с неправильным распознаванием программой ответа в бланке (причиной может стать непонятный почерк, неяркие чернила или ошибки в информационном блоке), ответы из базы данных сверяются со сканами работ группой верификаторов.
Верификатором может стать любой, кто откликнется на объявление РЦОИ и пройдет обучение и тестирование.
По окончании тестирования организаторы определят количество рабочих смен, и после пробной двухчасовой смены вы получите звание верификатора, именной пропуск и узнаете часы работы.
— Мы все сидели в большом кабинете с компьютерами, вход в который возможен только через кабинет регистрации и строго по пропуску, там ты получаешь именную флешку и входишь в свой профиль Windows, открываешь программу (доступ к которой возможен только после всех предыдущих операций) и начинаешь работать, — рассказывает о своей работе Алиса Максимова. — Разговаривать между собой нельзя, слушать музыку нельзя, есть нельзя, в телефоне сидеть тоже — повсюду камеры, за всеми следят, но, конечно, есть те, кто это нарушает…
Всего проверка проходит в три смены с 9:00 до 16:00, с 16:00 до 00:00 и с 00:00 до 08:00. В конце июля отработанные часы суммируются и выплачивается зарплата из расчета 186 рублей в час. В течение смены предусмотрен перерыв на прием пищи, у курящих есть время на перекур. Работающим в вечернюю и ночную смены обеспечивают трансфер.
— Каждый бланк — это всегда что-то необычное, бывают такие, что ты просто удивляешься, как красиво написано, даже сам хотел бы так писать, а есть другие, где не прочитать ни буквы: шестерка это, или буква «б», или цифра «5» — непонятно. А иногда напишут слово с дурацкой орфографической ошибкой, очень хочется исправить, но нельзя, — объясняет верификатор Дмитрий Кича.
Основная задача верификаторов — проверить верность информационного блока (там, где указывается ФИО, серия и номер паспорта). В данной части бланка самой распространенной ошибкой считается написание «е» и «ё», поэтому Алены/Алёны и Артемы/Артёмы находятся в группе риска (будьте внимательны и заполняйте все четко по паспорту). Если у верификатора возникают какие-то проблемы (несоответствия с базой данных, например), он обращается к старшему верификатору.
Второй и третий этапы
Вторая часть ЕГЭ, оформляемая на отдельных бланках, намного сложнее первой как для написания, так и для проверки. Ее проверяют эксперты. Чтобы получить такую работу, необходимо пройти специальные курсы, сдать экзамен и получить сертификат, который нужно подтверждать каждый год. В основном набирают опытных учителей первой и высшей категории.
Как и верификаторы, эксперты сидят в одной большой аудитории, оставляя все вещи (включая телефон) при входе. Никаких посторонних записей вести нельзя, за всем следят камеры.
В первые годы сдачи ЕГЭ (2005—2006) из-за маленького количества экспертов в последний день проверки оставались до 2-3 ночи. Сейчас же обычная смена составляет десять часов — с 9 до 19.
Работы проверяют два эксперта в разных аудиториях, а сейчас, возможно, еще и в разных городах, так как идет перекрестная проверка — часть работ одной области смотрит другая. Если выявляется несовпадение по баллам, то работу проверяет третий эксперт. Но процент несовпадений выставления баллов очень мал. На апелляции экзаменационную работу рассматривает комиссия. Поэтому миф о том, что за каждый поднятый балл на апелляции проверяющий выплачивает штраф — это только миф, ведь скан бланка проходит через минимум троих человек, а на апелляции бланк проверяют и исправляют совершенно другие люди.
Быть экспертом ЕГЭ сложно. Прежде всего, устают глаза за 9-10 часов напряженной работы. К тому же проверка экзаменационных работ — большая ответственность, ведь за каждой — судьба ребенка.
После проверки всех частей экзамена РЦОИ отправляет информацию в федеральный центр тестирования, где происходит перепроверка всех бланков. После этого результаты утверждает Государственная экзаменационная комиссия и они публикуются на портале ЕГЭ.
Вот так проходит проверка страшного и важного единого государственного экзамена. Если вы его уже сдали, то поздравляем, теперь можете смело выдохнуть с облегчением, а если сдача ЕГЭ только предстоит, помните, что это лишь одно из жизненных испытаний, которое вам предстоит пройти. Будьте уверены: каждому, кто учился в школе, по силам сдать этот экзамен.
Кто и как проверяет ответы на задания ЕГЭ
28.11.2019
3394
Как известно, ЕГЭ – стандартизированный экзамен, который разработан специально для унификации проверки знаний школьников и качества полученного образования. Однако для самих школьников и их родителей важно знать, кто и как проверяет ответы на задания ЕГЭ, насколько объективна оценка и возможны ли ошибки при проверке?
Для объективности оценки знаний школьников и предоставления им равных прав при поступлении в вузы специалисты ФИПИ работают не только над составлением заданий, которые в полной мере отражают требуемый уровень знаний, но и тщательно продумывают вопрос, кто и как проверяет ответы на задания ЕГЭ.
Экзамены состоят из частей, которые требуют краткого ответа и развернутого. Ответы на задания ЕГЭ с кратким ответом, выполненные на специальном бланке, проверяет компьютер. В этом случае необъективность в выставлении оценки исключена.
Ответы на задания ЕГЭ, подразумевающие развернутый ответ, проверяют независимые эксперты, которых назначают в Комитете образования. Эксперты выбираются из числа опытных педагогов, заслуженных учителей, они проходят ежегодную подготовку и сдают зачет. Одну работу проверяют два независимых эксперта в соответствии со стандартными критериями, причем экзаменационный лист не содержит информации об имени и образовательном учреждении школьника. Если оценки двух экспертов разнятся, работа отдается на проверку третьему эксперту, который имеет более высокую квалификацию, его оценка является решающей.
Таким образом, организаторами проведения единого экзамена предусмотрено полное исключение необъективности в проверке работ школьников. При этом как школьникам, так и родителям подробно разъясняют, кто и как проверяет ответы на задания ЕГЭ для обеспечения прозрачности процедуры.
Лайфхаки экзамена
К рубрике
ЕГЭ изнутри (глазами админа)
Время на прочтение
11 мин
Количество просмотров 19K
Злободневная тема, много топиков и на хабре (вот и вот)
Совершенно не собираюсь останавливаться на законности эксперимента, содержании КИМ (контрольно измерительных материалов) и прочем. Постараюсь сконцентрироваться непосредственно на технологическом аспекте подготовки и проведения экзамена.
Почему мне можно верить – опыт работы 2004-2007 в РЦОИ Московской области (системное администрирование, сбор данных, координация с разработчиками и регионами, проведение обучений, консультации и прочее). Все это время мы работали по технологии КРОК (см. ниже), в 2009 года технология изменилась в приказном порядке на ЦТ. Итак, по порядку
Технологии
До недавнего времени были две технологии организации и проведения ЕГЭ: Федеральный Центр Тестирования (далее ЦТ, www.rustest.ru) и КРОК (ЗАО КРОК www.croc.ru, далее просто КРОК).
Технологии различаются принципиально. Я максимально подробно остановлюсь на технологии КРОК и в конце укажу моменты, почему это было лучше, нежели ЦТ (личное профессиональное мнение мое, коллег и руководства).
КРОК – MS SQL 2000 в качестве сервера баз данных и WIN 2000 (2003) в качестве сервера приложений. Сервера разнесены по разным машинам, на WIN 2000 стоял дополнительно AD для внутренней локальной сети.
На сервере приложений стоит серверная часть программного комплекса (далее АИС), на клиентских машинах соответственно клиентская часть, пользователь логинится через AD в домен, работа через интерфейс браузера (обязательно IE6). По правилам безопасности никакое другое ПО на клиента ставить нельзя (я ставил еще офис, rar и radmin – запароленные и только для группы администраторов). Весь софт 100% лицензионный (винды, офисы, серверные программы и подобное).
В качестве дополнения по комментариям по объемам на дисках: 7 гигов несжатый дамп базы (полный) и 90 гигов архив картинок всех экзаменов. Общее количество человекоэкзаменов около 120 000
Вся локальная сеть с базой данных и любыми данными экзамена ФИЗИЧЕСКИ отсоединены от сети интернет (во избежание утечки данных).
На уровне АИС существует распределение прав пользователей по доступу к системе (настраивается очень гибко, чекбоксами отмечаются нужные привилегии для группы пользователей). Соответственно на любую клиентскую станцию можно авторизоваться через AD с нужными правами и работать как требуется.
Структура сети для проведения экзамена на 50 000 человек (у нас это была максимальная нагрузка, данные необходимо обработать и передать на проверку максимум на 4-й день после экзамена) в итоге состояла из:
1 – 3 сервера (баз данных, сервер АИС, файловый архив отсканированных картинок)
2 — 12-17 станций сканирования
3 – 20-25 станций верификации
2 – 1-2 станции администратора для постоянного мониторинга узких мест.
Все остальное время года клиенские станции сканированияверификации работают в штатном режиме у других пользователей. На время экзаменов накатывался образ с готовой системой и изымаются в наше пользование.
Станции сканирования — высокоскоростные сканеры ДС-300 производства ЛОМО, PANASONIC типа KV-S3105C и маломощные Fujitsu. ДС работали через сеть, KV и Fujitsu через скайзи. Скорость работы первых двух машин впечатляет (по первости) – 90-120 листов в минуту в черно-белом формате порядка 200 dpi. При сканировании бланк режется на кусочки (по реперным меткам), моментально проходит распознавание и файлы перемещаются на файловый сервер. Весь софт – разработка КРОК (в их субподряды не вмешивался).
Сбор данных.
Подготовка к экзаменам начинается с октября (примерно) и продолжается весь год. Включает в себя следующие этапы:
1 – выверка сведений по образовательным учреждением, административных справочников, уточнение ответственных за проведение экзаменов (обычно один человек от района Московской области, но если район большой иили человек мало подкован к компьютерах – двое, один технарь, один управленец). Муниципальные координаторы – вообще отдельная тема, им бы памятник поставить. Обычно это женщины из органов управления образованиям.
2 – сбор данных по выпускникам ОУ (максимально полная карта, ФИО, паспорт, планируемые для сдачи экзамены). Сбор осуществляется специализированным клиентским ПО (программа без инсталляции) с весьма наглядным интерфейсом. Возможности ПО значительно шире – помимо базового сбора данных это и сбор аналитических данных для стат. Анализа. К примеру – данные по учителю (стаж, специализация, дата курсов), годовые оценки по предмету, учебник и много другого. Эти данные заполняются в течении всего года (ибо очень большой объем информации необходимо собрать и внести).
3 – выверка паспортных данных выпускников (на бумажных носителях за подписью руководителя ОУ)
4 – с публикации точных дат экзаменов окончательный сбор данных по регистрации на экзамены и последующая выверка (на бумажных носителях за подписью руководителя ОУ и подписью ученика рядом с собственными паспортными данными и выбранными экзаменами). Срок этого этапа очень сжат, потому что от приказа с датами экзаменов и крайним сроком подачи данных в вышестоящие органы крайне мало времени. Зачем так строго – для печати необходимого количества КИМ
С выверками вообще очень интересные вещи творились. Ученики на протяжении всего года должны были минимум 2-3 раза видеть списки с своими данными и по необходимости исправлять (фио, паспорта). Мало того, что каждая выверка приносила порядка 5-10% изменений в БД (это все вносится руками операторами центра), так и на экзаменах выходило множество форм с коррекцией. Дети совершенно невнимательно относятся к своим данным, а ведь из-за этого и у них могут быть проблемы с получением результатов (коррекция данных проходит через ФЦТ и это очень долго и сложно для нас).
Итак, все данные собраны, выверены, переходим к экзамену.
Проведение экзамена
За несколько дней до экзамена из ФЦТ получаем заказанное количество КИМ (с некоторым лимитом на случай брака либо недокомплекта аудитории). Все очень серьезно – запечатано, принимается по описи руководителем центра.
Печать материалов на экзамен
В центре печатаются комплекты для каждой аудитории и ППЭ (пункта проведения экзамена). Печатали на HP в диком потоковом режиме, с второго года наловчились одновременно печатать с двух клиентов на два принтера сразу. Распечатанный комплект вынимается из принтера, подписывается ведомость и запечатывается в так называемый секьюрпак. После пачки комплектуются для каждого районаППЭ и складируются в специальном помещении (с кодовым замком). Картриджи меняются каждые 3-4 часа, пыль столбом, легкие медленно умирают от 3-4х одновременно работающих HP-шников.
За сутки до экзамена приезжают муниципальные координаторы – по описи происходит выдача пакетов, сверка количества и общих данных. Часов в 18-19 последний пакет выдан, по коньячку и спать, ибо следующие 3-4 дня как страшный сон.
День экзамена
С 8 утра (время вскрытия пакетов на местах) в центре находились мы с начальником – ответы на все возможные вопросы в течении экзамена и нервное ожидание брака в КИМ (было и такое, на стадии печати брак, приходится ребенку оформлять смену варианта), ошибок при регистрации детей на экзамен (несколько раз муниципальные координаторы забывали внести ученика на экзамен, а он спокойно не расписывался на ведомостях выверки). Некоторое затишье после 10 утра (экзамен пошел).
Примерно с 14 дня начинается привоз материалов из ППЭ. Приемка происходит следующим образом:
1 – сверка пакетов начальником центра
Прием и сканирование после экзамена
2 – муниципальный координатор и оператор станции сканирования «уединяются» в зале и попакетно сканируют, после обработки каждого пакета аудитории сверяются данные (машинной обработки) с ведомостями, ни один бланк не должен быть утерян. На этом этапе несколько раз встречались случаи, что в ППЭ забыли бланк. В таком случае прием данного района приостанавливается до выяснения. На уровне клиентской машины ведется строгий подсчет количества бланков выданных и отсканированных по каждой аудитории. Подмена невозможна. Бланки именные и с уникальным кодом, при сканировании идет сверка всех полей.
Был курьезный случай, когда в ППЭ ученик вышел в туалет с нерешенной частью С и смыл бланк в унитаз (хорошо не спустил воду). При приемке обнаружили, отправили гонца в пункт, тот в туалете выловил бланк и зажав нос привез нам, пришлось так и обрабатывать.
3 – я как администратор, в промежутках между решением текущих вопросов, проверяю обработанные аудитории, если количество выданныхпринятых бланков сошлось – перевожу аудиторию на проверку.
Документы с большого района, Одинцовский район (коллеги напомнили), ждут очереди на сканирование, в этой пачке бланки 2500 участников
4 — после этого бланки с работами проходят верификацию. Верификация дело тонкое – каждая клиентская машина с базой верификации самообучаема. Если оператор 2 раза подтвердит значение одного поля – оно попадает в словарик и с вероятностью 99% будет автоматически отработано. Занятие весьма нудное, потому заканчивается обычно много позже сканирования (2-6 часов ночи). Вот на этом этапе и происходит обработка «случайных» ошибок. Если ребенок поставил в части А ответ в 5-ю клетку (она зарезерервирована), заполнены лишниеслужебные поля – все это попадает верификатору.
5 – администратор – ведет общий мониторинг работы системы, исправляет любые ошибки по ведомостям и прочее. Отслеживаются случаи простановки метки «ученик не явился» и заполнненного бланка (система показывает подобные случаи), иначе работа не будет засчитана. Потерянные бланки – система не смогла распознать отсканированный номер и не прикрепила бланк к аудитории.
6 – после окончания верификации можно распечатывать пакеты для работы экспертов. Они приступают с 10 утра следующего дня экзамена. Потому часов с 8-9 вечера запускаются минимум 2 станции печати работ С. Выдача строго случайна – бланки неименные, эксперт не знает кого он проверяет, каждая работа отдается двум экспертам, если расхождении в их оценках выше заданной отметки – работа показывается как требующая дополнительной проверки и распечатывается для «третьего эксперта». Третий эксперт не может быть из числа двух уже проверявших, назначается вручную с указания председателя комиссии проверки.
Проверка части С длится 3-4 дня. Как только все данные обработаны и ни один бланк не потерян – формируется CSV с результатами. Данный файл шифруется на сервере (Crypto Pro, ключи хранятся на отдельном носителе в сейфе и выдаются под роспись) и по зашифрованному каналу через специальную программу отправляются в ФЦТ на оценку.
Про шкалирование рассказывать не буду, кому интересно найдут выкладки. Достаточно сложная математическая модель, строится в ФЦТ при получении результатов с всей России.
Через 3-5 дней обработанные результаты с оценками приходят из ФЦТ в CSV, загружаются в БД и распечатываются протоколы (каждый за подписью печатью министра образования области) и выдаются в каждый район. Последние годы стали разрешать публикацию данных через сайты, в этом году мы на нашем сайте Мособласти сделали такой же функционал (чем вызвали рост посещаемости и положили сервер хостера )).
В принципе в общих чертах все. В режиме реального времени, когда экзамены проходят с промежутком 3-5 дней иили 2-3 экзамена в один день, это выливается в 2-3 недели 100% присутствия на работе без выходных по 25 часов в сутки. Но когда знаешь, что за нашими спинами 50000 нормально сдавших экзамен детей и довольные родители — того стоит.
Апелляции
Апелляций по проведению экзамена я не припомню (хотя иногда и стоило бы, но дети уставшие и не сразу понимают ситуацию). По результатам – порядка 500 штук на 50 000.
Для апелляции собирается специальная комиссия, распечатываются распознанные бланки, копии оригиналов, происходит сверка на предмет машинной ошибки распознавания и эксперты по предметы с ребенком и родителем пошагово проходят по всем заданиям. Апелляции делятся на категории: отклоненные и рассмотренные. 99% рассмотренных апелляций проходит с повышением балла (редко когда оправданно, обычно цветы, конфеты, слезы). Пару раз особо «наглым» понижали балл. Порядка 40% остаются при том же результате, то есть апелляция отклоняется. Отдельно хочется сказать отличникам – если вам в вуз не хватает 1-2 балла – обязательно подавайте апелляцию, такие случаи (их немного) всегда положительно рассматриваются.
Узкие места всей процедуры:
1 – банальная невнимательность на уровне районов и школ. Координаторы теряютзабывают детей, дети не обращают внимание на свои паспортные данные и выбранные даты экзаменов. Создает множество проблем нам при выверке данных и детям в случае осложнений.
2 – низкая компьютерная грамотность координаторов. Ни в коем случае не хочу их винить, но факт остается фактом. Не в каждом районе могут найти специалиста для решения технических вопросов (обычно заключаются в работе с электронной почтой, excel, word, ПО для сбора информации). Оттуда и мой анекдот про «красненький и синенький интернет».
3 – отсутствие интернета в органах управления образованием. Многие работают через модем, с домашних компьютеров отправляют нам данные. Про школы просто молчу – редко редко есть сеть, обмен данных через дискеты обычно (!!!!)
4 – полный хаос в взаимоотношениях с ФЦТ. Пара примеров. Они пишут и утверждают с представителями КРОК и министерства формат базы данных. По факту мы обнаруживаем расхождение – утвердили одно, выгрузили данные в CSV, а в базу ФЦТ они не загружаются – очередность полей изменилась, формат данных и прочее. Идет ругань, крок судорожно пишет хак для своей базы, чтобы подогнать якобы утвержденный формат по новые требования (никем нигде не высказанные). Далее – выдача результатов, по како-либо причине наш файл ими не принимается (формат ошибочный либо другое) – тишина полная с их стороны, только по звонку (а дозвониться к ним ох как сложно) оказывается что имеет место косяк. Опять же это время, нервы нас и детейродителей. При общении создается впечатление классического «совкового» магазина из анекдотов. Очень, очень напрягает такие факты, вроде бы общее дело делаем, а тут такие подлянки.
5 – еще больший хаос на более высоком уровне. Несоответствие приказов действительности, одно постановление противоречит другому и подобное. Вечная слава нашему шефу, что не жалея седин утрясал такие вопросы максимально оперативно (хоть совершенно не наш уровень)
6 – и, пожалуй, самое главное – НЕВНИМАТЕЛЬНОСТЬ и НЕЗНАНИЕ правил при проведении экзамена в пункте. Мы круглый год проводим обучение специалистов каждого ППЭ, готовы постоянно ответить на любой вопрос. После оказывается, что они не знаю с какой стороны открыть пакет и оформить ведомость.
Положительные аспекты технологии
1 – очень и очень доброжелательный софт (не без грехов, но по сравнению с софтом ФЦТ – рай на земле). Спецы по внедрению отвечали почти на любой вопрос. Много собственных наработок (грешен, писал на php пару приблуд для быстроты однотипных процедур). Единый комплекс, гибкий и расширяемый, разработан одной конторой. Софт же ЦТ был собран из разных кусочков разных разработчиков, на базе ABBYY. В работе неинтуитивен, неудобен и на мой взгляд просто крив.
2 – удобство конечной конфигурации системы в центре, отлаженность технологии буквально до нитки. Когда центр перевели на ФЦТ – трудозатраты при проведении выросли в разы (как и уровень рисков)
3 – высокая безопасность данных. Из центра и из ППЭ в дни проведения ни единой капли информации потеряно не было. Кроме администратора никто физически не может внести изменения в БД, на уровне клиента все мониторится и сохраняется. Возможность сделать «бяку» есть только у админа. Пару раз правда приходили лично к мне с тихим предложением денег но безуспешно. Насколько мне известно — на уровне районов подобные случаи тоже не проходили.
4 – почти 100% удобство для конечного пользователя – ученика. Бланк именной, с указанием школы, ППЭ, только подпись ставить и решай задачи (у ЦФТ нужно еще и ФИО вписывать – лишний повод для ошибки)
5 – огромные возможности для проведение статистического анализа не только ЕГЭ но и всей образовательной системы. Массив данных это позволял (при условии 100% заполнения на местах). Нами использовался SQL Analyze Server с веб-компонентами (модуль аналитики — разработка того же КРОК). Ну и напрямую из базы запросами тягались особо интересные показатели. Сравнивать можно почти все что угодно – оценка от продолжительности изучения предмета в совокупности с учебником, соответствие оценки ЕГЭ и готовых показателей на кривой роста итогового балла с 5-го класс. Множество чудесных вещей, подобных данных не было нигде ранее. На практике же накрывалось медным тазом, хоть и для статистической работы был отдельный центр при министерстве.
Итоги (по опыту работы) – процент ошибок машинной обработки – 0,1 %, процент ошибок верификатора – 2 случая на 50 000 человекоэкзаменов. То есть с нашей стороны все чисто.
Повторюсь – все написанное – мое личное мнение по опыту работы на данной технологии и опыт солидарных коллег нашего центра в период работы до 2007 года. И простите за язык изложения — чукча не писатель, чукча читатель.
UPD информация от ведущего разработчика системы
1 — на чем написано: на C# (ASP.Net) — апп. серверная часть, T-SQL — клиентская часть, Active-X (С++, VB6, C#) + VBScript — клиент.
2 — как происходит выдача вариантов для аудитории: достаточно сложный алгоритм, который достаточно равномерно размазывает варианты КИМ по аудиториям ППЭ, стараясь не выдвать одинаковые варианты соседям по «крестику» (влево-вправо-вверх-вниз)
Если заинтересуют отдельные, нераскрытые, аспекты технологии – пишите, постараюсь дополнить. Ну а если нет аккаунта на хабре — пишите в комменты в блоге
Рабочее место админа ))