Димова завіса зовнішнього тестування

Будь-яку, навіть найбільш потрібну, корисну і перспективну справу виконанням можна довести до цілковитого абсурду. Сумно, але зовнішнє незалежне тестування, схоже, спіткала саме ця доля.

Недавно Український центр оцінювання якості освіти (УЦОЯО) на своєму сайті (//www.testportal.com.ua/) опублікував «План запровадження в Україні збалансованої моделі зовнішнього незалежного оцінювання знань випускників загальноосвітніх навчальних закладів у 2008 — 2009 рр.».

Автори цього плану, які не назвалися, твердять, що «пілотне ЗНО (зовнішнє незалежне оцінювання. — Прим. ред.), проведене в Україні у 2006 році з участю відносно невеликої кількості учнів середніх загальноосвітніх шкіл (41818), виявилося успішним…» і «Спираючись на набутий досвід, проаналізувавши світову практику зовнішнього оцінювання, беручи до уваги рекомендації міжнародних експертів, з метою органічного поєднання в одній системі зовнішнього оцінювання двох цілей — атестації за курс повної загальної середньої освіти та відбору на навчання у ВНЗ — пропонується для запровадження в Україні у 2008 — 2009 рр. збалансована модель зовнішнього незалежного оцінювання».

На жаль, ці твердження, та і план у цілому, викликають тільки подив.

У 2006 році було проведено «експериментальне зовнішнє незалежне тестування», яке тепер чомусь названо «Пілотне зовнішнє незалежне оцінювання». І коли термін «експериментальне» з великою натяжкою можна сприйняти як синонім «пілотне», то «тестування» й «оцінювання», — поняття різні.

Колишній директор УЦОЯО Лілія Гриневич так і не підбила підсумків експериментального тестування. А новий директор — Ігор Лікарчук — поки що мовчить. Хоча стосовно змісту тестів, методики, технології і організації зовнішнього незалежного тестування питань накопичилося геть більше, ніж відповідей на них.

Що планували?

Ще в 2005 році президент видав указ «Про невідкладні заходи щодо забезпечення функціонування та розвитку освіти в Україні», яким перед­бачено поставити заслін корупції в системі освіти шляхом якнайшвидшого впровадження зовнішнього незалежного тестування.

Мета впровадження зовнішнього тестування спочатку справді видавалася благородною: розробити процеду­ру прозорого й об’єктивного оцінювання випускників школи, яке стане засобом моніторингу середньої освіти і забезпечить рівний доступ до вищої освіти.

Звичайно, ніякі тести не гарантують абсолютно точної оцінки знань. Проте і викладач не може цього гарантувати. Але тести здатні забезпечити об’єктивність і неупередженість. Зрозуміло, тільки тоді, коли тести, методика і технологія їх застосування не залишає можливостей для фальсифікацій. Проте більшість використаних методик грішать істотним недоліком — між абітурієнтом і комп’ютером завжди є посередник, а це не виключає сумнівів в об’єктивності.

Ось що сказав міністр освіти і науки щодо цього: «Зваживши всі «за» і «проти», ми сьогодні вважаємо найбільш перспективною електронну модель тестування».

Починати збиралися з експериментального тестування в окремих регіонах. Планували в 2006 році в одній з областей провести експериментальне паперове тестування, а в іншій — безпаперове, комп’ютерне.

На сайті МОН з’явилася постанова МОН від 31.12.05 №1312 «Про невідкладні заходи щодо впровадження зовнішнього незалежного оцінювання і моніторингу якості освіти», відповідно до якої затверджено «Положення про Український центр оцінювання якості освіти» і створена «міжвідомча робоча група з питань впровадження зовнішнього незалежного оцінювання і моніторингу якості освіти», в якій Лілія Гриневич призначена заступником голови. У п.3 положення прямо говориться: «...здійснення зовнішнього незалежного тестування… шляхом проведення тестування на паперових носіях і комп’ютерного тестування». Підкреслимо — комп’ютерне тестування не виключалося.

Що реалізували?

Досвід паперового тестування був: згідно зі звітами МВФ за 2002—2004 роки Центр тестових технологій (ЦТТ) отримав і профінансував 23 проекти на загальну суму 492527 доларів США (даних за 2005 р. не опублікували).

З комп’ютерного тестування фонд «Відродження» і ЦТТ такого досвіду не мали, але в країні була значна практика використання комп’ютерного тестування студентів у реальному навчальному процесі. Більш того, реальна система комп’ютерного тестування була представлена на двох нарадах у МОН, які проводила Л.Гриневич. Ось що вона сказала в одному з інтерв’ю: «Треба розуміти, що для такої великої дер­жави, як Україна, надзвичайно небезпечно, прийнявши якусь єдину модель, постаратися втілити її у життя протягом року».

Проте експеримент з комп’ютерним тестуванням без будь-якого мотивування спочатку перенесли на 2007 рік, а нині взагалі відсунули на невизначений термін. Реалізували тільки один — найпримітивніша (одноваріантна) паперова модель. Чому? Це залишається таємницею.

Більше того, під час виділення фінансування на проведення робіт за законодавством України передбачений тендер, в результаті якого визначається організація — виконавець робіт. Тут ми маємо приклад того, як 43 млн. грн. надається організації, яка не має ні досвіду проведення тестування, ні навіть чітко сформульованої методики. Ще у березні 2005 року міністр С.Ніколаєнко запевняв, що «на впровадження системи потрібно мінімум 17 млн. грн. Якби ми їх отримали нині, то перейшли б на нову систему оцінювання знань уже 2006 року». Далі з’явилася вже згадувана фраза про комп’ютерне тестування, на підставі якої потрібне фінансування зросло до 200 мільйонів. На практиці чомусь вийшло, що за виділені 43 мільйони можна лише провести черговий експеримент з тестування частини випускників за паперовою одноваріантною технологією.

Що показало експериментальне тестування?

Уявлення міністра освіти і науки про технологію і результати проведеного в 2006 році експериментального тестування, щонайменше, дивні:

«Усе досить просто: абітурієнт здає свою відповідь, лаборант (без жодної упередженості) сканує цей документ і вводить у комп’ютер, і поки людина виходить на вулицю, на табло біля входу вже спалахує її прізвище, номер білета й оцінка».

Реально не було ні оперативного сканування, ні табло, ні оцінок. Не було і навіть не могло бути, адже учні складали тести в приміщеннях звичайних шкіл, а результати тестування повідомляли кожному учневі особисто. Навіть учителям і батькам учень показував результати тільки за бажанням. Звичайно, результати можна підготувати так швидко, але не під час такого тестування. Крім того, згідно з наказом міністра результати повідомляли учням лише через три тижні після тестування.

Єдиним же захистом від «упередженості» служили пластикові пакети іноземного виробництва (розрекламовані колишнім директором ЦТТ Л.Гриневич), в яких завдання доставлялися до пунктів тестування, а відповіді абітурієнтів відвозилися до місця сканування.

Проведене експериментальне тестування продемонструвало прірву між рівнем знань і рівнем вимог, яка робить невірогідними його результати. На жаль, укотре зробили вигляд, що ніхто нічого не помітив, дітям видали документи з перерахованими в рейтингову шкалу оцінками, а реальні результати засекретили.

Проте висновок міністра однозначний: у 2007/2008 р. «…вступна кампанія проходитиме не тільки виключно за тестовими технологіями, але і під жорстким контролем громадськості». Тим часом жорсткий контроль представників «громадськості» зводиться хіба що до спостереження за розпаковуванням тестових завдань і упаковкою відповідей на них перед відправленням до ЦТТ для сканування.

Що ми знаємо про результати експериментального тестування?

Надзвичайно мало. З «Аналітичними звітами про результати зовнішнього тестування 2006 року» (з математики, історії та української мови) можна ознайомитися на сайті ЦТТ (//www.ukrtest.org).

Звіти містять дані статистичної обробки бланків з відповідями на комп’ютері. Багато термінів з математичної статистики. Багато різних графіків. Багато термінів з тестування. Є висновки. А чого немає — так це логіки під час спроб аналізу результатів.

Природно, з математичною статистикою велика частина «громадськості» навряд чи знайома. Але нині є стандартні комп’ютерні програми для обробки будь-яких даних, що не потребують спеціальних знань. Знання ж основ математичної статистики і теорії ймовірності абсолютно необхідні для аналізу добутих з їх допомогою результатів, формулювання висновків і рекомендацій.

Детальне обгрунтування повної непереконливості висновків «Аналітичних звітів» — це тема для окремої статті у спеціалізованому журналі. Зупинімося тільки на одному параметрі математичної статистики, який добре знайомий і учням, і батькам, і «широкій громадськості». Йдеться про середнє значення, конкретно, в даному разі, — про середній бал.

Припустімо, під час тестування оцінка знань виконується за шкалою від нуля до 100 балів. Очевидно, що коли учні добре підготовлені, то їх середній бал тестів повинен бути високим, ближче до 100 балів. Коли ж підготовлені погано — то ближче до нуля.

А якщо це не так? Якщо ж середній бал тих, хто вгадує відповіді, високий, або і більший, ніж у підготовлених учнів, то очевидно, що тестування не відповідає поставленій меті: визначити, хто підготовлений, а хто ні. Щоб у цьому переконатися, досить порівняти середні значення балів під час експериментального тестування, з середніми значеннями при вгадуванні. Ось тільки де їх узяти? Адже під час реального тестування невідомо, хто вгадував відповіді, а хто ні. Відповідь відома — треба на комп’ютері створити модель учня, який відповідає на ці ж тести випадковим чином. Так ми і зробили. Порівнявши їх з наведеними в «Аналітичних звітах», можна зробити однозначний висновок: менш ніж 10% учасників тестування показали результати, які суттєво вищі, ніж випадкове вгадування. Експериментальне тестування не дозволило відрізнити підготовленого учня від непідготовленого.

Немає в «Аналітичних звітах» також аналізу методики і технології тестування. Немає порівняння з іншими методиками і технологіями. Бодай за літературними джерелами. Тим більше що Інтернет дозволяє досить просто відшукати і проаналізувати чужий досвід у цій галузі. Зрештою, можна відвідати інші країни з цією ж метою. У кожному разі потрібен порівняльний аналіз. Проте його теж немає.

Але є рекомендації — суто косметичні. Рішення ж організатори тестування пропонують однозначне — поширити на всю Україну. Воістину, ейфорія незнання.

Тест чи іспит?

Перш за все, слід уточнити, чим відрізняються звичайний письмовий іспит від тестування, а паперове тестування — від комп’ютерного (електронного).

Тести — це завдання, результати виконання яких допускають однозначну оцінку без участі людини. Про це організатори торішнього тестування, схоже, забули і включили в тестові завдання розділи, які відрізнялися від письмового іспиту тільки обсягом і перевірялися викладачами-предметниками. Колись такі іспити називали «міністерськими» і на звання тестів вони не претендували.

Під час комп’ютерного тестування тестове завдання формується комп’ютером безпосередньо у момент тестування. Для цього використовується бібліотека тестів, що охоплює всі необхідні розділи предмета. Питання з’являються на екрані, а відповіді вводяться з клавіатури або мишкою.

Найголовніша ознака комп’ютерного тестування полягає в тому, що оцінка за кожне запитання або задачу з’являється на екрані відразу ж після введення відповіді. Результуюча оцінка також виводиться на екран без затримки після закінчення тестування. Ніякого багатоденного очікування і ніякої можливості фальсифікувати результат. Те, що учні нинішнього року писатимуть тест з української мови 21 квітня, а про результат дізнаються лише 1 червня (!) — нонсенс і, хоч би що говорили організатори тестування, — живильне середовище для корупції.

Іноді наводять ще один аргумент: відповіді абітурієнта на папері є юридичним документом, що дозволяє врегулювати можливі конфлікти. Але і під час комп’ютерного тестування здобувач одержує роз­друківку протоколу тестування, і це теж є юридичним документом, і його можна використовувати для подачі апеляції. Крім того, усі протоколи тестування зберігаються на машинних носіях у зашифрованій формі, що не допускає жодних корекцій. Комп’ютер збереже відповіді абітурієнтів значно надійніше, ніж будь-який папір. Папір неважко підробити. А комп’ютерний документ набагато складніший. Банки давно здійснюють грошові операції на комп’ютерних мережах і не побоюються підробок. Звичайно, програмне забезпечення для тестування повинно бути розроблене професіонально (до речі, програмний комплекс є, але він не затребуваний, хоча необхідні для ухвалення рішення матеріали передані Л.Гриневич і в МОН ще у 2005 році).

Про зміст тестів

Далеко не кожен викладач може стати автором тестів, навіть якщо захоче і буде старатися. Авторами повинні бути досвідчені педагоги вищої кваліфікації, котрі розуміють особливості методики тестування, її можливості й обмеження. Нині ж справа часто доходить до абсурду.

Розгляньмо торішні тести. Вони містять від 38 до 56 завдань, перевірку яких довірено комп’ютеру після сканування бланків з відповідями. Щоб прочитати, обдумати, вирішити і записати відповідь на бланку відводилося в середньому менш ніж дві хвилини (подробиці див. на //www.ukrtest.org). Природно, такий жорсткий цейтнот змушує бездумно вгадувати відповіді. Втім, як ми вже говорили, це не веде до плачевного результату.

Чи можна назвати кваліфікованими тестологами людей, які пропонують вибрати чотири правильні відповіді з шести можливих? А таких прикладів багато.

Навіщо так багато запитань? Та коли потрібно багато, то чому виділено так мало часу на осмислення запитання і продумування відповіді? Але головне запитання, яке так і залишилося без відповіді, — яка мета цих тестів?

Один із авторів цієї статті під час вступу до МАІ складав один іспит — математику. У білеті було всього шість завдань і необмежений час для обдумування і розв’язання. І ніякої теорії. Це зрозуміло, оскільки без знання теорії і вміння її застосовувати розв’язати завдання просто неможливо. Екзаменаційні завдання були підібрані так, щоб зрозуміти, чи зможе абітурієнт вчитися на авіаційного інженера. Під час вступу до консерваторії слід перевірити наявність музичного слуху, до льотної школи — зору. Все це сьогодні можна перевірити і без участі людини, з допомогою тестів.

Той, хто хоче стати журналістом, повинен написати, наприклад, твір. Але як без людини його перевірити? Ніяк. Не одне десятиліття намагаються робити і роблять програми-перекладачі, проте досі якість їх роботи залишає бажати кращого. А про твір годі й говорити.

З історією ситуація не краща. З допомогою тестів можна перевірити знання дат, хронології, подій, імен тощо. Та це ще не історія. Звичайно, під час вступу на історичний факультет, можливо, це потрібно, наприклад, щоб перевірити бажання бути істориком (порівняйте, молоді любителі музики буквально напхані іменами виконавців, груп та іншою, абсолютно не цікавою для решти інформацією).

У всіх наведених вище прикладах є мета — визначити придатність до обраної професії. А що мали на меті укладачі минулих тестів? Загальний розвиток? Тоді запитання до читачів: що таке логарифм (це з математики) і хто режисер фільму «Дорога» (це з історії)? Чи багато це пам’ятають? А коли пам’ятають, то як це прислужилося в житті? І таких запитань тести 2006 року містять безліч.

Наведемо думку відомого педагога К.Ушинського: «Давно пора залишити в підручниках тільки те, що справді корисно, і викинути те, що вчиться тільки для того, аби бути згодом забутим». Тенденція розвитку шкільної освіти останніх років зворотна. Саме це і відображають тести 2006 року.

* * *

Якщо проводиться такий дорогий і відповідальний експеримент, який впливає на долі десятків тисяч учнів, то потрібно перед цим чітко сформулювати мету, а після закінчення кожного етапу проаналізувати відповідність набутих результатів поставленій меті. На жаль, цього не було зроблено.

Боротьба з корупцією не може бути метою експерименту. Метою може бути лише розробка й апробація технології надійного та об’єктивного оцінювання знань. Для оцінки надійності набутих результатів слід відкрити їх для незалежного аналізу (можливо, без прізвищ учнів). Об’єктивність же означає, що результат застосування виробленої технології оцінювання не залежить від суб’єкта, який її реалізує. Чи готовий центр доручити проведення тестування за своєю технологією іншій організації? А чому? Чи передбачено інші технології, нові чи апробовані протягом багатьох років у ВНЗ? А чому?

Якщо ми справді хочемо виробити технологію надійного та об’єктивного оцінювання, слід іти не шляхом монополізації права на оцінювання, а паралельно розвивати різні технології оцінювання та порівнювати їх результативність. Тестування (одно- чи багатоваріантне, комп’ютерне чи на папері), письмовий іспит з подальшою перевіркою незалежними екзаменаторами — всі напрями повинні мати право на існування.