"Ми робимо кілька "чорних пакетів", у кожному з яких — варіант тесту"

Зовнішнє незалежне оцінювання (ЗНО) завжди привертає до себе посилену увагу, особливо під час вступної кампанії. Що й не дивно, адже ставки в ньому дуже високі як для окремих абітурієнтів (вступ до університету, а отже - майбутнє), так і для всієї країни (якісний добір студентів - це шанс підвищити якість вищої освіти, а отже - отримати добре підготовлених фахівців).

Цими днями сесія ЗНО переступила екватор, - половина запланованих тестувань уже відбулася. Хтось задоволений перебігом тестування і радісно підраховує свої бали, а хтось, навпаки, розчаровано зітхає, звинувачуючи школу, репетиторів чи й самі тести. Наприклад, під критику деяких репетиторів і журналістів потрапили кілька завдань тесту з української мови та літератури, на що Український центр оцінювання якості освіти (УЦОЯО) дав публічні розгорнуті відповіді у ЗМІ.

DT.UA спробувало зазирнути за лаштунки екзамену, поцікавитися у втаємничених, як готуються тести і хто їх перевіряє, чи можна купити шпаргалку і чого не можна робити на тестуванні - одне слово, всім, що турбує абітурієнтів та їхніх батьків. Про це ми розпитували керівництво УЦОЯО - директора центру Вадима КАРАНДІЯ (В.К.), його заступника Валерія БОЙКА (В.Б.) та начальника відділу суспільно-гуманітарних навчальних предметів Андрія ПАНЧЕНКОВА (А.П.).

- Буквально перед стартом сесії ЗНО пройшли чутки, що в Інтернеті можна купити відповіді на тест з української мови та літератури. МОН і Центр тестування попереджав тоді абітурієнтів, щоб не ловилися на такі пропозиції.

Андрій ПАНЧЕНКОВ

А.П. - Так, ми знайшли цю пропозицію (фото нібито реального тестового зошита), прискіпливо її розглянули і з'ясували, що то підробка. Титульну сторінку грубо зроблено у Фотошопі: взято обкладинку зошита з пробного тестування, на місце слів "пробне тестування" вставлено, що це ЗНО-2017. А першу сторінку із завданнями взято з тернопільського посібника підготовки до ЗНО.

В.Б. - Є певні прикмети, за якими ми можемо зробити висновок, що розміщене в Інтернеті - чистої води шахрайство. І ми про це повідомляли на своєму сайті, щоб діти або батьки не купувалися на таке.

В.К. - Ми кажемо їм: не довіряйтеся невідомо-кому. Цього року був випадок, коли продавець "відповідей ЗНО" виставляв поряд своє фото разом із фото паспорта: дивіться, мовляв, я абсолютно реальний, я гарантую, що є результат. Був навіть професійно зроблений сайт, який відверто працює на те, аби переконати людину, що все реально, класно, доступно. Скажіть, хтось так відкрито поширюватиме конфіденційні матеріали? Журналісти почали все це аналізувати, гуглити виставлені на сайті фото "абітурієнтів", які розповідають, що їм торік вдалося вступити за купленими тестами. Фото зроблені професійно, і це здивувало. Пізніше журналісти знайшли ці фотографії в американських студентських спільнотах.

- Наскільки, взагалі, можливе витікання інформації про зміст тестів?

Вадим КАРАНДІЙ

В.К. - Ні, це сьогодні неможливо. Я поясню схему роботи з укладання тестів. Є багато експертів, які розробляють запитання для ЗНО. Із них формується банк тестових завдань. Далі укладачі комплектують кілька варіантів тестів. Ці люди усвідомлюють специфіку своєї роботи, знають, що вони працюють із інформацією з грифом ДСК (для службового користування) і що у разі розголошення змісту тестів їм загрожує кримінальна відповідальність. Укладачі тестів ставлять свій підпис під кожним із варіантів тесту, у відповідних картках фіксується, що ці варіанти зробили вони. Тобто якщо виникає проблема витікання інформації, перший, до кого прийдуть правоохоронні органи, щоб розібратися в зазначеній ситуації, будуть саме ці особи. Вони підставлять себе, якщо допустять витікання даних.

Усі робочі комп'ютери в УЦОЯО, на яких є конфіденційна інформація, перебувають під комплексною системою захисту. Людина, котра працює з текстами завдань, не може самостійно з ними нічого зробити: роздрукувати, перенести на флешку, віддати на верстку. Потрібно, щоб втручалася інша особа - працівник відділу захисту інформації. Він контролює ці процеси. Він теж не зацікавлений у витіканні інформації, бо теж за це відповідатиме. Так будується система захисту.

Який із кількох розроблених варіантів тестів буде використаний на ЗНО, не знають навіть ті, хто їх готує. Це вирішує директор УЦОЯО. Мене багато хто запитує: чому ви не створите комісію, не візьмете дитину, яка буде витягувати ці матеріали і таким чином обирати варіант тестів? Я кажу: ну гаразд, ми влаштуємо шоу, а що це дасть? Адже, навпаки, потрібен якомога менший розголос. Ми закриваємо інформацію навіть від розробників. Довіра до розробників є, але не хочеться ставити їх у ситуацію, коли вони можуть потрапити під тиск, бо їм щось відомо. Ми робимо кілька "чорних пакетів", у кожному з яких - варіант тесту. І директор УЦОЯО, не відкриваючи їх, обирає один. Далі обраний тест друкується на великому принтері з участю мінімальної кількості людей.

- Є інший канал для нечесного складання ЗНО - підробка вже готових результатів. По приклади далеко ходити не треба - з цього приводу було відкрито ціле кримінальне провадження проти кількох екс-працівників УЦОЯО. Тепер цю шпаринку закрито?

В.К. - Систему захисту інформації УЦОЯО удосконалено, її привели у відповідність до сучасних технологій захисту інформації. Є захищені канали зв'язку, на яких стоять шифратор і дешифратор. Кожен, хто має доступ до бази даних, отримав свій електронний ключ (електронний цифровий підпис) і заходить у базу тільки з його допомогою. Цей ключ не дозволяє виконувати жодних функцій зі зміни даних. А все, що робиться у базі даних, фіксується: коли, хто в якій частині бази був, що дивився. На сьогодні в адміністратора бази даних є окремий монітор, куди виводиться інформація про всі аномалії: хтось хоче втрутитися в недозволену йому зону, відбувається атака чи ще щось. Крім того, наша система захисту інформації тепер отримала державну атестацію. Це означає, що вона не лише відповідає всім державним вимогам, а й що до нас у будь-який момент можуть прийти представники Державної служби спецзв'язку та захисту інформації і провести інспекційну перевірку.

- Чи правда, що нинішнього року тести перевіряються по-новому: тепер кожну роботу перевіряє не один екзаменатор, а два?

В.К. - Так. Спочатку виконаний тест перевіряє один експерт і заносить результати своєї перевірки в комп'ютерну систему. Потім перевіряє другий (він не бачить, як перевіряв його попередник) і так само заносить результати в систему. Якщо в системі інформація від обох експертів збігається - вважається, що роботу абітурієнта перевірено коректно. Якщо ж результати перевірки в чомусь не збігаються, остаточне рішення приймає старший екзаменатор, - він також перевіряє роботу й погоджується з думкою або першого екзаменатора, або другого.

Насправді це стара схема. Але довгий час у нас не було другого екзаменатора, бо не було достатнього фінансування. А це робота конкретного фахівця, якому треба платити заробітну плату.

- Тести ЗНО-2017 з англійської і з української мови критикують за помилки.

Валерій БОЙКО

В.Б. - Нам постійно доводиться шукати компроміс між утаємниченістю і якістю тесту. Щоб дотриматися конфіденційності, ми робимо тест досить обмеженими силами і не можемо взяти на вичитку додаткового експерта чи літредактора. В окремих випадках це призвело до певних технічних огріхів.

А.П. - Нинішнього року їх два: з української літератури (в одному завданні одразу дві правильні відповіді) і з англійської мови, де замість однієї форми слова вжито іншу (doesn't замість don't). Прикро, що вони є, але вони не вплинуть на результат абітурієнтів. З української літератури УЦОЯО ухвалив рішення зарахувати бал усім учасникам, що взялися за виконання цього завдання, яку б відповідь вони не обрали. У завданні з англійської мови технічна помилка ніяк не вплинула на загальне розуміння тексту й на виконання завдання. Це як, наприклад, у тексті українською мовою замість "написала" надрукувати "написати".

В.К. - Ми одразу визнали цю помилку й оприлюднили правильні відповіді тесту з англійської не наступного робочого дня, як належить за нормативними документами, а ввечері дня тестування. Щоб абітурієнти не накручували себе до ранку й не хвилювалися. Тим більше що з англійської це можна зробити швидше, ніж із математики, наприклад.

- Ходять чутки, що цьогорічні тести з української мови та літератури були складнішими, ніж торішні. Критики назвали їх "кучерявими" і більше схожими на олімпіадні.

В.Б. - Коли ми отримаємо статистику щодо цих завдань, тоді зможемо говорити, складніший текст чи легший. Але мінімальний поріг "склав/не склав" тесту з української мови і літератури нинішнього року наближений до торішнього. Це дозволяє нам, принаймні на цьому етапі, говорити, що експерти не відчули великої різниці у складності тестів двох років.

- Хто встановлює поріг "склав/не склав"?

В.К. - Ми запрошуємо приблизно 70 експертів-учителів, і вони аналізують завдання тесту, проектуючи їх на свого учня, що навчається на "4" за 12-бальною шкалою: з якими він міг би впоратися, а з якими - ні. Те, що він зробив би, - це і є поріг. Потім цей поріг затверджується фаховою експертною комісією. Чим вищий поріг, тим легший тест.

-В одному із завдань тесту з української мови треба було знати наголос у слові ціннИк. Те, що він падає на другий склад, для багатьох стало несподіванкою. Ось і критикують: тест поганий, бо діти цього не вчили, вони не можуть знати напам'ять увесь орфоепічний словник. А взагалі, бездоганний тест - це той, що буде під силу більшості абітурієнтів, і вони скажуть: усе це ми вчили, це є у підручниках, і не знає цього тільки лінивий?

А.П. - Ні. Тест, який буде більшості під силу, не спрацює. У тестології є таке поняття як надлишковість тесту. Тобто тест має містити завдання, які дадуть можливість показати себе найсильнішим абітурієнтам. Найсильніших не може бути половина.

В.К. - Усі завдання тесту укладаються на основі програми ЗНО, але є складніші й легші завдання, є та "надлишковість", із допомогою якої ми "розтягуємо" абітурієнтів по всій шкалі вимірювання результатів ЗНО. Бо хтось має вступати на філологію, а хтось- на інженера.

А.П. - Слово "ціннИк" з наголосом на другому складі мало хто вимовляє. Але найпідготовленіші учні це завдання розв'яжуть правильно, вони знають це, на відміну від величезної кількості інших, і вони повинні мати шанс отримати свій високий бал.

- Тобто має бути "люфт", на якому виділяться найсильніші? Якщо ми поставимо низьку "стелю" в тесті, то всі учасники тестування однаково упруться в неї, і найсильніших, які б могли взяти більшу висоту, просто не буде видно?

В.К - Так. Пам'ятаєте, кілька років тому на тестуванні з математики були два види тестів: полегшений варіант, рівня А, і більш складний, рівня Б. Досить багато сильних дітей записалися тоді на легший тест. Це призвело до того, що всі вони за своїми результатами "скупчилися" на високій сходинці рейтингу, де важко було вирізнити найсильніших. Їм не було куди рости, не було де показати свої можливості. Уявіть собі, що тисяча таких абітурієнтів прийде зі своїми результатами ЗНО в КНУ ім. Шевченка на мехмат. Як мехмат, маючи далеко не тисячу місць, диференціює цю тисячу абітурієнтів і відбере справді найдостойніших?

- Якщо якогось завдання тесту не виконає ніхто, це катастрофа? Всі результати "зріжуть" - чи, навпаки, це не матиме жодних наслідків, адже оцінка ЗНО - рейтингова, і якщо ніхто не впорався, значить ніхто й не набрав додаткових очок у перегонах?

А.П. - Так, за таке завдання всі матимуть нуль, і воно ні на що не вплине.

- Хто підтверджує достовірність правильних відповідей на тест ЗНО?

В.К.: - Досить часто запитують, чи є відомі наперед відповіді. Немає. Коли створюється тестове завдання, в ньому проектується правильна відповідь. Але це думка однієї людини, котра складала тест. На жаль, ми не можемо залучити до складання завдання багато фахівців, бо маємо тримати в таємниці зміст тесту. Тому ми йдемо іншим шляхом.

А.П. - З кожного предмета, за яким складається тестування, створено предметну фахову комісію. Тоді, коли йде тестування й абітурієнти виконують тест, ми даємо членам цієї комісії тестовий зошит, і вони також розв'язують усі завдання. При цьому ніхто їм готових правильних відповідей не дає. За результатами цієї роботи приймається ухвала про те, які відповіді вважати правильними.

- Комісія може не погодитися з укладачем завдання і сказати, наприклад, що відповідь, яку він вважає правильною, насправді неправильна?

А.П. - Може, як нинішнього року було на завданні з української літератури. Комісія визнала, що на одне питання однозначно правильної відповіді немає. І УЦОЯО прийняв рішення зарахувати бал за це завдання усім, хто брався за його виконання (про це вже йшлося вище).

- Нинішнього року поліція перевіряла абітурієнтів-учасників ЗНО металошукачами. Є думка, що це порушення прав дитини.

В.К. - Ми робимо це ще з 2012 р., а не лише тепер. Чому впровадили таку норму у 2012 р.? Тому, що у 2010-му та 2011-му роках, у зв'язку з бурхливим розвитком комунікаційних технологій (мобільний Інтернет, смартфони) ми зіштовхнулися з ситуацією, коли абітурієнти почали масово списувати. Вони утворювали організовані групи, в яких розподілялися ролі. Там були фотографи, які заходили до пункту тестування і з допомогою смартфона в перші ж хвилини фотографували тестовий зошит. Усе це перекидали в соціальні мережі, де вже чекали ті, хто швидко розв'язував завдання. У 2011р. ми реально стояли перед загрозою повністю скомпрометувати зовнішнє оцінювання. Тоді ситуацію втримали (вираховували фотографів), але розуміли, що з роками вона ускладнюватиметься, і треба боротися кардинально, треба вилучати засоби, які допомагають передавати і обробляти інформацію. Залишився тільки один спосіб, хай і жорсткий: не постійно, а періодично, на тестуванні з певних предметів, проводити контрольні заходи із залученням правоохоронців. Це робиться одночасно в усіх пунктах тестування по всій Україні. На сьогодні з шести предметів, із яких проведено тестування, відповідний захід стосувався двох.

- Але ж це б'є по нервах абітурієнтів. Діти й так хвилюються, а тут ще поліція.

В.К. - Коли абітурієнти реєструються на ЗНО, ми ознайомлюємо їх із Порядком проведення тестування. Цей документ затверджений Мін'юстом (отже, і норма про перевірки, яка міститься в ньому, - також). Коли абітурієнти входять до аудиторії, інструктор їх попереджає: будьте готові, можлива перевірка, здайте всі заборонені речі.

Перевірка аудиторії займає 2-3 хвилини. Фіксується час призупинення роботи, і потім він компенсується абітурієнтам.

Ми визнаємо, що це досить жорсткий захід. Але це вже не є навчальний процес, і ЗНО виконує дуже важливу функцію оцінювання, яка має досить серйозні наслідки.

- Тобто перевірка з металошукачами захищає право абітурієнта на справедливий вступ: якщо він чесно виконує завдання, а хтось поруч списує й може отримати кращі результати, то цього можна не допустити, тільки перевіривши всіх?

В.К. - Так. Деякі правозахисники кажуть, що обшук не є правовим. Але якщо хтось дивився процедуру перевірки або читав відповідну юстовану інструкцію для Нацполіції, міг звернути увагу, що це не обшук, це безконтактний огляд із допомогою металошукача. Якщо абітурієнт має якісь сумнівні речі, йому пропонують їх показати.

В.Б. - В аеропортах тисячі людей проходять через металошукачі, і ніхто не обурюється.

В.К. - Коли ми обговорювали у 2011 р. пропозицію про перевірку абітурієнтів металошукачем, ми консультувалися з експертами. Один із педагогів тоді сказав: сучасна молодь відвідує клуби, а туди, до речі, ніхто не ввійде, поки його не перевірять, і часто - з металошукачем.

Молодь це сприйме нормально. За 5 років ми не маємо жодної апеляційної заяви від абітурієнтів щодо перевірок металошукачем.

- Цікаво, а знайшли щось під час таких перевірках у пунктах тестування?

В.К. - Знайшли. Під час тестування з української мови нинішнього року 241 особа мала при собі заборонені засоби. Торік на тестуванні з цього предмета не використовувався металошукач, тому виявлено лише 28 таких осіб.

- Нинішнього року на тестування заборонено проносити наручні годинники. Чому?

В.К. - Вони й торік були заборонені. Маю на увазі смарт-годинники. У Порядку проведення зовнішнього незалежного оцінювання є загальний перелік заборонених засобів. Зокрема, заборонені всі засоби, які дають можливість фіксувати, зберігати, обробляти і передавати інформацію. Смарт-годинник - це пристрій, який може зберігати, фіксувати інформацію. Тому загальна вимога - не беріть його з собою на тестування. До речі, деякі смарт-годинники зовні дуже схожі на механічні. Тому краще просто утриматися й не нести його на тестування. В аудиторії, де проходить тестування, зазвичай є годинник. А якщо його немає, то, за інструкцією, через певні проміжки часу абітурієнтам дається голосова команда: "Пройшло півгодини роботи над тестом" або "Залишається 15 хвилин до кінця тестування, перенесіть правильні відповіді до бланку відповідей".

Багато хто запитує, чому вилучають флешки й навушники. По-перше, у нас немає фахівців, які на місці, в аудиторії, зможуть точно сказати, що це таке і як воно може бути використане. По-друге, років чотири чи п'ять тому ми зіштовхувалися з ситуацією, коли у блоці навушників для регулювання гучності був мікроприймач. Тому ми всіх попереджаємо: не беріть із собою в аудиторію жодного пристрою, не провокуйте ситуацію.

- Ну що ж, екватор сесії ЗНО пройдено. Бажаємо всім успіхів. І організаторам, і абітурієнтам.

УЦОЯО