За кулисами ВНО - "Мы делаем несколько "черных пакетов", в каждом из которых — вариант теста"

Внешнее независимое оценивание (ВНО) всегда привлекает к себе усиленное внимание, особенно во время вступительной кампании. Что и неудивительно, ведь ставки в нем очень высоки как для отдельных абитуриентов (поступление в университет, а значит - будущее), так и для всей страны (качественный отбор студентов - это шанс повысить качество высшего образования, а следовательно - получить хорошо подготовленных специалистов).

На этих днях сессия ВНО перешагнула экватор, - половина запланированных тестирований уже состоялась. Кто-то удовлетворен ходом тестирования и радостно подсчитывает свои баллы, а кто-то, наоборот, разочарованно вздыхает, обвиняя школу, репетиторов или сами тесты. Например, под критику некоторых репетиторов и журналистов попали несколько заданий теста по украинскому языку и литературе, на что Украинский центр оценивания качества образования (УЦОКО) дал публичные подробные ответы в СМИ.

ZN.UA попробовало заглянуть за кулисы экзамена, поинтересоваться у посвященных, как готовятся тесты и кто их проверяет, можно ли купить шпаргалку и чего нельзя делать на тестировании - словом, всем, что беспокоит абитуриентов и их родителей. Об этом мы расспрашивали руководство УЦОКО - директора центра Вадима КАРАНДИЯ (В.К.), его заместителя Валерия БОЙКО (В.Б.) и начальника отдела общественно-гуманитарных учебных предметов Андрея ПАНЧЕНКОВА (А.П.).

- Буквально перед стартом сессии ВНО прошли слухи, что в Интернете можно купить ответы на тест по украинскому языку и литературе. МОН и Центр тестирования предупреждали тогда абитуриентов, чтобы не ловились на такие предложения.

А.П. - Да, мы нашли это предложение (фото якобы реальной тестовой тетради), внимательно его рассмотрели и выяснили, что это подделка. Титульная страница грубо сделана в Фотошопе: взята обложка тетради по пробному тестированию, на место слов "пробное тестирование" вставлено, что это ВНО-2017. А первая страница с заданиями взята из тернопольского пособия по подготовке к ВНО.

В.Б. -Есть определенные признаки, по которым мы можем сделать вывод, что размещенное в Интернете - чистой воды мошенничество. И мы об этом сообщали на своем сайте, чтобы дети или родители не покупались на такое.

В.К. - Мы говорим им: не доверяйтесь неизвестно кому. В этом году был случай, когда продавец "ответов ВНО" выставлял рядом свое фото вместе с фотографией паспорта: смотрите, дескать, я абсолютно реальный, я гарантирую, что есть результат. Был даже профессионально сделанный сайт, который откровенно работает на то, чтобы убедить человека, что все реально, классно, доступно. Скажите, кто-то так открыто будет распространять конфиденциальные материалы? Журналисты начали все это анализировать, гуглить выставленные на сайте фото "абитуриентов", которые рассказывают, что им в прошлом году удалось поступить по купленным тестам. Фото сделаны профессионально, и это удивило. Позже журналисты нашли эти фотографии в американских студенческих сообществах.

- Насколько вообще возможна утечка информации о содержании тестов?

В.К. - Нет, сегодня это невозможно. Я объясню схему работы по составлению тестов. Есть много экспертов, которые разрабатывают вопросы для ВНО. Из них формируется банк тестовых заданий. Дальше несколько составителей комплектуют несколько вариантов тестов. Эти люди осознают специфику своей работы, знают, что они работают с информацией с грифом ДСП (для служебного пользования) и что в случае разглашения содержания тестов им угрожает уголовная ответственность. Составители тестов ставят свою подпись под каждым из вариантов теста, в соответствующих карточках фиксируется, что эти варианты сделали они. То есть если возникает проблема утечки информации, первыми, к кому придут правоохранительные органы, чтобы разобраться в указанной ситуации, будут именно эти лица. Они подставят себя, если допустят утечку данных.

Все рабочие компьютеры в УЦОКО, на которых хранится конфиденциальная информация, находятся под комплексной системой защиты. Человек, работающий с текстами заданий, не может самостоятельно с ними ничего сделать: распечатать, перенести на флешку, отдать на верстку. Нужно вмешательство другого лица - работника отдела защиты информации. Он контролирует эти процессы. Он тоже не заинтересован в утечке информации, ибо тоже будет за это отвечать. Так строится система защиты.

Какой из нескольких разработанных вариантов тестов будет использован на ВНО, не знают даже те, кто их готовит. Это решает директор УЦОКО. Меня многие спрашивают: почему вы не составите комиссию, не возьмете ребенка, который будет вытягивать эти материалы и таким образом выбирать вариант тестов? Я говорю: ну хорошо, мы устроим шоу, а что это даст? Ведь, наоборот, нужна как можно меньшая огласка. Мы закрываем информацию даже от разработчиков. Доверие к разработчикам есть, но не хочется ставить их в ситуацию, когда они могут попасть под давление, потому что им что-то известно. Мы делаем несколько "черных пакетов", в каждом из которых - вариант теста. И директор УЦОКО, не открывая их, выбирает один. Дальше выбранный тест печатается на большом принтере с участием минимального количества людей.

- Есть другой канал для нечестной сдачи ВНО - подделка уже готовых результатов. За примерами далеко ходить не надо - по этому поводу было открыто целое уголовное производство против нескольких экс-работников УЦОКО. Теперь эта лазейка закрыта?

В.К. -Система защиты информации УЦОКО усовершенствована, ее привели в соответствие с современными технологиями защиты информации. Есть защищенные каналы связи, на которых стоят шифратор и дешифратор. Каждый, у кого есть доступ к базе данных, получил свой электронный ключ (электронная цифровая подпись) и заходит в базу только с его помощью. Этот ключ не позволяет выполнить функции по изменению данных. А все, что делается в базе данных, фиксируется: когда, кто в какой части базы был, что смотрел. На сегодняшний день у администратора базы данных есть отдельный монитор, куда выводится информация обо всех аномалиях: кто-то хочет вмешаться в неразрешенную ему зону, происходит атака или еще что-то. Кроме того, наша система защиты информации теперь получила государственную аттестацию. Это означает, что она не только отвечает всем государственным требованиям, но и что к нам в любой момент могут прийти представители Государственной службы спецсвязи и защиты информации и провести инспекционную проверку.

- Правда ли, что в этом году тесты проверяются по-новому: теперь каждую работу проверяет не один экзаменатор, а два?

В.К. -Да. Сначала выполненный тест проверяет один эксперт и заносит результаты своей проверки в компьютерную систему. Затем проверяет второй (он не видит, как проверял его предшественник) и так же заносит результаты в систему. Если в системе информация от обоих экспертов совпадает - считается, что работа абитуриента проверена корректно. Если же результаты проверки в чем-то не совпадают, окончательное решение принимает старший экзаменатор, - он также проверяет работу и соглашается с мнением или первого экзаменатора, или второго.

На самом деле это старая схема. Но долгое время у нас не было второго экзаменатора, поскольку не было достаточного финансирования. А это работа конкретного специалиста, которому надо платить заработную плату.

- Тесты ВНО-2017 по английскому и украинскому языку критикуют за ошибки.

В.Б. -Нам постоянно приходится искать компромисс между засекреченностью и качеством теста. Чтобы соблюсти конфиденциальность, мы делаем тест довольно ограниченными силами и не можем взять на вычитку дополнительного эксперта или литредактора. В отдельных случаях это привело к определенным техническим огрехам.

А.П. -В этом году их два: по украинской литературе (в одном задании сразу два правильных ответа) и по английскому языку, где вместо одной формы слова употреблена другая (doesn't вместо don't). Досадно, что они есть, но они не повлияют на результат абитуриентов. По украинской литературе УЦОКО утвердил решение зачислить балл всем участникам, которые взялись за выполнение этого задания, какой бы ответ они ни выбрали. В задании по английскому языку техническая ошибка никак не повлияла на общее понимание текста и на выполнение задания. Это как, например, в тексте на украинском языке вместо "написала" напечатать "написать".

В.К. - Мы сразу признали эту ошибку и обнародовали правильные ответы теста по английскому не на следующий рабочий день, как положено по нормативным документам, а вечером в день тестирования. Чтобы абитуриенты не накручивали себя до утра и не волновались. Тем более что по английскому это можно сделать быстрее, чем по математике, например.

- Ходят слухи, что тесты этого года по украинскому языку и литературе были сложнее, чем прошлогодние. Критикующие назвали их "кудрявыми" и больше похожими на олимпиадные.

В.Б. -Когда мы получим статистику по этим заданиям, тогда сможем говорить, сложнее текст или легче. Но минимальный порог "сдал/не сдал" теста по украинскому языку и литературе в этом году приближен к прошлогоднему. Это позволяет нам, по крайней мере на данном этапе, говорить, что эксперты не ощутили большой разницы в сложности тестов двух лет.

- Кто устанавливает порог "сдал/не сдал"?

В.К. - Мы приглашаем приблизительно 70 экспертов-учителей, и они анализируют задания теста, проектируя их на своего ученика, который учится на "4" по 12-балльной шкале: с какими он мог бы справиться, а с какими - нет. То, что он сделал бы, - это и есть порог. Затем этот порог утверждается профессиональной экспертной комиссией. Чем выше порог, тем легче тест.

- В одном из заданий теста по украинскому языку надо было знать ударение в слове "цінник". То, что он падает на второй слог, для многих стало неожиданностью. Вот и критикуют: тест плохой, потому что дети этого не учили, они не могут знать наизусть весь орфоэпический словарь. А вообще, безупречный тест - это тот, который будет по силам большинству абитуриентов, и они скажут: все это мы учили, это есть в учебниках, и не знает этого только ленивый?

А.П. -Нет. Тест, который будет большинству по силам, не сработает. В тестологии есть такое понятие как избыточность теста. То есть тест должен содержать задания, которые дадут возможность показать себя самым сильным абитуриентам. Сильных не может быть половина.

В.К. -Все задания теста составляются на основе программы ВНО, но есть более сложные и более легкие задания, есть и "избыточность", с помощью которой мы "растягиваем" абитуриентов по всей шкале измерения результатов ВНО. Потому что кто-то должен поступать на филологию, а кто-то - на инженера.

А.П. - Слово "цінник" с ударением на втором слоге мало кто произносит. Но самые подготовленные ученики это задание решат правильно, они знают это, в отличие от огромного количества других, и они должны иметь шанс получить свой высокий балл.

- То есть должен быть "люфт", на котором выделятся самые сильные? Если мы поставим низкий "потолок" в тесте, то все участники тестирования одинаково упрутся в него, и сильных, которые могли бы взять большую высоту, просто не будет видно?

В.К. -Да. Помните, несколько лет назад на тестировании по математике были два вида тестов: облегченный вариант, уровня А, и более сложный, уровня Б. Довольно много сильных детей записались тогда на более легкий тест. Это привело к тому, что все они по своим результатам "скучились" на высокой ступеньке рейтинга, где трудно было отличить самых сильных. Им не было куда расти, не было где показать свои возможности. Представьте себе, что тысяча таких абитуриентов придет со своими результатами ВНО в КНУ им. Шевченко на мехмат. Как мехмат, имея далеко не тысячу мест, дифференцирует эту тысячу абитуриентов и отберет действительно самых достойных?

- Если какое-то задание теста не выполнит никто, это катастрофа? Все результаты "срежут" - или, наоборот, это не приведет ни к каким последствиям, ведь оценка ВНО - рейтинговая, и если никто не справился, значит, никто и не набрал дополнительных очков в гонке?

А.П. - Да, за такое задание все получат нуль, и оно ни на что не повлияет.

- Кто подтверждает достоверность правильных ответов на тест ВНО?

В.К. - Довольно часто спрашивают, есть ли заведомо известные ответы. Нет. Когда создается тестовое задание, в нем проецируется правильный ответ. Но это мнение одного человека, составлявшего тест. К сожалению, мы не можем привлечь к составлению заданий много специалистов, потому что должны держать в тайне содержание теста. Поэтому мы идем другим путем.

А.П. - По каждому предмету, по которому составляется тестирование, создана предметная профессиональная комиссия. Тогда, когда идет тестирование, и абитуриенты выполняют тест, мы даем членам этой комиссии тестовую тетрадь, и они тоже решают все задания. При этом никто им готовых правильных ответов не дает. По результатам этой работы принимается постановление о том, какие ответы считать правильными.

- Комиссия может не согласиться с составителем задания и сказать, например, что ответ, который он считает правильным, на самом деле неправильный?

А.П. - Может, как в этом году было на задании по украинской литературе. Комиссия признала, что на один вопрос однозначно правильного ответа нет. И УЦОКО принял решение зачислить балл за это задание всем, кто принялся за его выполнение (об этом уже говорилось выше).

- В этом году полиция проверяла абитуриентов-участников ВНО металлоискателями. Есть мнение, что это нарушение прав ребенка.

В.К. -Мы делаем это еще с 2012-го, а не только теперь. Почему была внедрена такая норма в 2012-м? Потому что в 2010-м и 2011-м гг., в связи с бурным развитием коммуникационных технологий (мобильный Интернет, смартфоны), мы столкнулись с ситуацией, когда абитуриенты начали массово списывать. Они создавали организованные группы, где распределялись роли. Там были фотографы, которые заходили в пункт тестирования и с помощью смартфона в первые же минуты фотографировали тестовую тетрадь. Все это перебрасывали в социальные сети, где уже ждали те, кто быстро решал задания. В 2011 г. мы реально стояли перед угрозой полностью скомпрометировать внешнее оценивание. Тогда ситуацию удержали (вычисляли фотографов), но понимали, что с годами она будет усложняться, и надо бороться кардинально, надо изымать средства, которые помогают передавать и обрабатывать информацию. Остался только один способ, пусть и жесткий: не постоянно, а периодически, на тестировании по определенным предметам, проводить контрольные меры с привлечением правоохранителей. Это делается одновременно во всех пунктах тестирования по всей Украине. На сегодняшний день по шести предметам, по которым проведено тестирование, соответствующая мера касалась двух.

- Но это же бьет по нервам абитуриентов. Дети и так волнуются, а тут еще полиция.

В.К. - Когда абитуриенты регистрируются на ВНО, мы знакомим их с Порядком проведения тестирования. Этот документ утвержден Минюстом (следовательно, и норма о проверках, которая содержится в нем, - также). Когда абитуриенты входят в аудиторию, инструктор их предупреждает: будьте готовы, возможна проверка, сдайте все запрещенные вещи.

Проверка аудитории занимает две–три минуты. Фиксируется время приостановления работы, и потом оно компенсируется абитуриентам.

Мы признаем, что это довольно жесткая мера. Но это уже не учебный процесс, и ВНО выполняет очень важную функцию оценивания, которая имеет довольно серьезные последствия.

- То есть проверка с металлоискателями защищает право абитуриента на справедливое поступление: если он честно выполняет задания, а кто-то рядом списывает и может получить результаты лучше, то этого можно не допустить, только проверив всех?

В.К. - Да. Некоторые правозащитники говорят, что обыск не является правовым. Но если кто-то смотрел процедуру проверки или читал соответствующую юстированную инструкцию для Нацполиции, мог обратить внимание, что это не обыск, это бесконтактный осмотр с помощью металлоискателя. Если абитуриент имеет какие-то сомнительные вещи, ему предлагают их показать.

В.Б. - В аэропортах тысячи людей проходят через металлоискатели, и никто не негодует.

В.К. - Когда мы обсуждали в 2011 г. предложение о проверке абитуриентов металлоискателем, мы консультировались с экспертами. Один из педагогов тогда сказал: современная молодежь посещает клубы, а туда, кстати, никто не войдет, пока его не проверят, и часто - с металлоискателем. Молодежь это воспримет нормально. За пять лет у нас не было ни одного апелляционного заявления от абитуриентов относительно проверок металлоискателем.

- Интересно, а нашли что-то в ходе таких проверок в пунктах тестирования?

В.К. - Нашли. Во время тестирования по украинскому языку в этом году у 241 абитуриента были запрещенные средства. В прошлом году на тестировании по этому предмету не использовался металлоискатель, поэтому выявлено только 28 чел.

- В этом году на тестирования запрещено проносить наручные часы. Почему?

В.К. - Они и в прошлом году были запрещены. Имеются в виду смарт-часы. В Порядке проведения внешнего независимого оценивания есть общий перечень запрещенных средств. В частности, запрещены все средства, дающие возможность фиксировать, сохранять, обрабатывать и передавать информацию. Смарт-часы - это устройство, которое может сохранять, фиксировать информацию. Поэтому общее требование - не берите его с собой на тестирование. Кстати, некоторые смарт-часы внешне очень похожи на механические. Так что лучше просто воздержаться и не нести их на тестирование. В аудитории, где проходит тестирование, обычно есть часы. А если их нет, то, по инструкции, через определенные промежутки времени абитуриентам дается голосовая команда: "Прошло полчаса работы над тестом" или "Остается 15 минут до конца тестирования, перенесите правильные ответы в бланк ответов".

Многие спрашивают, почему изымают флешки и наушники. Во-первых, у нас нет специалистов, которые на месте, в аудитории, смогут точно сказать, что это такое и как оно может быть использовано. Во-вторых, четыре или пять лет назад мы сталкивались с ситуацией, когда в блоке наушников для регулирования громкости был микроприемник. Поэтому мы всех предупреждаем: не берите с собой в аудиторию никакие устройства, не провоцируйте ситуацию.

- Ну что ж, экватор сессии ВНО пройден. Желаем всем успехов. И организаторам, и абитуриентам.