Дуб на вході — липа на виході

Міністр освіти і науки України Іван Вакарчук цілком слушно зауважив, що «нам потрібна якісна освіта, а не фальшиві чи «натягнуті» оцінки знань студентів»; «Щодо закону великих чисел, тобто гаусівського розподілу оцінок, то він є нерукотворним, а рівень його деформації відбиває рівень нашої моралі (мова йде як про викладачів, так і про студентів)».

Розглянемо з цієї точки зору розподіл оцінок, отриманих торік під час незалежного тестування. «…Заяви про те, що наша школа працює незадовільно, не підтвердилися результатами тестування. Практично, з усіх предметів лише вісім-дев’ять відсотків випускників не подолали умовного прохідного бар’єру, а з математики — лише п’ять відсотків. Більше половини учнів показали результат вищий за середній. У відносно великого відсотка дітей — максимальні результати, що стало для нас певною несподіванкою», — такий висновок директора УЦОЯО професора Лікарчука міг би потішити, але він базується не на справжніх, а на «деформованих» результатах. Розглянемо величину деформації при перетворенні реально набраних абітурієнтами балів у шкалу 100—200 на прикладі математики, бо зі слів Лікарчука можна зрозуміти, що учні знають її найкраще. Для цього візьмемо оприлюднену УЦОЯО таблицю і додамо до неї ще одну колонку, в якій запишемо кількість реальних тестових балів (див. табл.).

Реальні результати учнів показують зовсім іншу картину. Бар’єр 124 бали розміщений так низько, що абсолютна більшість абітурієнтів подолала б його, навіть навмання проставивши хрестики. Половина учасників тестування (а це ті учні, які вважали, що знають математику) зуміла набрати лише 8 і менше балів із 55 можливих, і тільки 5,37% правильно вирішили більше половини завдань. Точність оцінювання — задовільна лише вище 12 балів, а такий результат отримала тільки третина учнів. Не дивно, що під час тестування з математики у Києво-Могилянській академії результат сертифікату підтвердили тільки 23,22% абітурієнтів. Навіщо ж було переводити результати в якусь надуману шкалу, «деформувавши» їх настільки, щоб «більше половини учнів показали результат вищий за середній»? Яка взагалі роль шкали від 100 до 200 балів?

Термометр не винен, що у хворого температура

Звернемося до опису процедури оцінювання і шкалювання, написаного для учнів і розміщеного на сторінці УЦОЯО. Перший аргумент застосування цієї шкали: максимальний бал із різних предметів є різним, тому результати не можна додавати чи порівнювати. Це надумана проблема, бо неважко скласти тести так, щоб з усіх предметів максимальний бал був однаковим. Другий аргумент: якщо один тест виявився надто складним, а інший — простим, то порівняння стає некоректним. Такий аргумент — це спосіб уникнення відповідальності за якість розроблених тестів. Для УЦОЯО виділені і час, і кошти для апробації тестів, тому вони мають бути рівносильні.

У цьому ж документі чітко записано: «За шкалою 100—200 балів найкращі результати будуть завжди дорівнювати 200 балам (навіть у тих випадках, коли тест був надто складним і не було можливості отримати всі бали за тест). Учасник тестування, який знаходиться в середині рейтингової послідовності учасників за тестовими балами, повинен отримати 150 балів, оскільки це число є серединою шкали 100—200 балів. УЦОЯО обрав теоретично ідеальний тест із розподілом балів учасників тестування за відомим Гаусовим законом, а потім перетворює розподіли результатів учасників тестування у цей ідеальний розподіл». Розподіл балів за шкалою 100—200 балів завжди однаковий (ідеальний, нормальний), незалежно ні від складності завдань, ні від реального рівня знань. Кількість учасників, які отримають менше 124 балів, кількість тих, хто отримає максимальний бал, наперед відомі. Публікувати результати у шкалі 100—200 балів, робити на їх основі висновки про якість освіти — некоректно, а розмови про несподіванки чи побоювання є лише свідченням того, що нас обманюють свідомо. У тому, що рівень знань виявився таким низьким, вини УЦОЯО немає. Термометр не винен, що у хворого гарячка. Але термометр, який завжди показує нормальну температуру, потрібно викинути.

Однак більшість людей повірили заявам УЦОЯО і підтримали незалежне тестування, бо більшість завжди підтримує реформи, які дають їй хоч примарні перспективи. Навіть тоді, коли розуміє, що так довго тривати не може і рано чи пізно доведеться розплачуватися. Більшість людей тішилися в кілька разів вищими, ніж у Європі, відсотками за банківськими депозитами й віддавали гроші. Тепер радіють, що практично всі українські діти здобувають вищу освіту, і платять за неї свої або державні (наші) гроші. Але яку освіту? Завдання з математики не були складними і цілком відповідали шкільній програмі. Без знання шкільної математики на такому рівні про вивчення вищої математики не може бути мови. За результатами оцінювання з математики у 12-бальній системі 19,47% випускників отримали 1—3 бали, тобто «незадовільно» у старій системі оцінювання, а тепер багато з них здобуває вищу освіту. Навчальних планів ніхто не змінював, а кількість викладачів пропорційна кількості студентів. Зробити в таких умовах зі шкільних двієчників інженерів сучасного європейського рівня можна лише за принципом «дуб на вході — липа на виході». Наслідки цього стануть очевидними лише через багато років, а тепер більшість чує тільки те, що хоче почути. Про «рівний доступ до якісної освіти», про «болонську декларацію», за якою наші дипломи визнаватиме вся Європа, про величезний освітній і науковий потенціал України. Пояснює разом із владою вимогливість професорів хабарництвом і підтримує розбудову величезної й дорогої системи для відбору своїх дітей на навчання у цих «жадібних» професорів.

Знання чи здатність навчатися?

Оскільки перевіряти знання через їх майже повну відсутність стає дедалі важче, то МОН і УЦОЯО почали готувати тестування здібностей, тобто здатності навчатися. Це коротко сформулював ідеолог цього напряму в Україні Марк Зельман: «Університетам важливо не те, скільки формул або дат запам’ятала людина, а те, наскільки вона здатна навчатися». Не зрозуміло, чому здатна вчитися людина не навчилася, щоб скласти вступний іспит. Якщо для цього були причини, то можна вступити на підготовче відділення, навчитися і вступати на загальних підставах. Незрозуміла і точність оцінки здатності навчатися. Але на те пан Зельман і фахівець. Ось як він сам себе представляє: «Якось я прийшов на співбесіду до комп’ютерної компанії (у той час я писав докторську з теоретичної математики). Роботодавці запитують: «Ти знаєш хоч одну мову програмування?» Я кажу: «Не знаю». Вони принесли грубий том якоюсь хитромудрою мовою, запитують: «Зможеш вивчити?» — «Зможу». — «Скільки тобі потрібно часу?» — «Тиждень». — «О’кей, ми беремо тебе на роботу». З мого CV вони зрозуміли, що я цього не знаю, але здатний швидко навчатися». Насправді таким претендентам вказують на двері вже після відповіді на перше запитання, а найкращим результатом такого діалогу є ввічлива фраза: «Ну то приходьте через тиждень», але Зельману повірили не лише роботодавці, а й наше міністерство, яке вже затвердило його членом групи з розробки концепції тестів на здатність вчитися.

Такого рангу фахівець знає собі ціну, тест на здібності він оцінює сумою 5 мільйонів доларів. Якщо в такому тесті буде 50 завдань, то написання одного завдання коштуватиме сто тисяч доларів, а результат ефективності тесту можна буде перевірити через кілька років. Але перевіряти нічого не треба, бо пан Зельман уже це зробив. «Ми розробили ability test у Киргизії. Діти могли обирати: складати старі тести на знання або нові — на здібності. Багато школярів із маленьких сіл віддали перевагу другому варіанту. Рік по тому ми провели validation study (дослідження валідності), і з’ясувалося: перші чотири місяці студенти, котрі складали старі тести, навчалися у ВНЗ краще, ніж діти, котрі вступили за новими тестами. А потім 98% здібних дітей випередили своїх товаришів по навчанні», — розповідає він. Можна б ще повірити, що успішність обох груп виявилася однаковою, але не може бути такого, що серед дітей зі знаннями виявилося лише два відсотки здібних. Можна передбачити і наслідок зарахування за результатом оцінки здатності навчатися: «Навіщо вчитися, якщо здібності або є, або їх немає?» Слова «учні повинні знати» та «учні повинні вміти» можна буде прибрати з освітніх стандартів.

Хто проти УЦОЯО — той за корупцію?

Розумію, що цю статтю можуть сприйняти як «чергову спробу дискредитації УЦОЯО», але я зовсім не хотів звинувачувати фахівців із тестування в непрофесійності. Тестування відбулося і, попри низку прорахунків, показало реальний рівень знань. Як використали результати — це вже питання політичне. Але й казати, що незалежне тестування — це «одна з найбільш вдалих в Україні реформ освіти, яка нам вдалася», немає підстав. Тест такої якості може підготувати і провести будь-який кваліфікований учитель. Перемогою УЦОЯО є хіба те, що йому вдалося поставити себе над освітою. Замість координації роботи педагогів зі створення єдиної бази тестових завдань і захищеної від суб’єктивних чинників процедури тестування центр оцінювання розгорнув небачену інформаційну кампанію дискредитації вчителів та викладачів вищої школи під гаслом «хто проти нас — той за корупцію». Корупцію не можна подолати, не усунувши чинників, які зумовлюють її процвітання. Таких чинників усього два.

Перший — завдання вступних іспитів були відомі невеликому колу їх розробників та керівництву ВНЗ. Люди, котрі знали точні варіанти вступних робіт, могли повідомити їх «потрібним» абітурієнтам наперед. Ті ж, хто мав лише доступ до загальної бази завдань, записувались у репетитори і проходили тільки той матеріал, запитання з якого є в базі, що було, по-суті, прихованою корупцією. УЦОЯО вирішив це питання геніально просто: є єдиний варіант тесту, ми його знаємо, але нікому не скажемо, бо ми не корупціонери.

Другий чинник — фальсифікації на етапі перевірки робіт. ВНЗ пояснювали, що роботи шифруються, екзаменаторам невідомі прізвища авторів цих робіт, намагалися скоротити час перевірки, робили копії екзаменаційних робіт перед перевіркою. Але люди не вірили, бо важко повірити, що хтось сам від себе може заховати потрібну інформацію. Представники УЦОЯО також неодноразово підкреслювали анонімність перевірки, шифрування бланків відповідей штрих-кодами, але це тільки бутафорія шифрування. Щоб переконатися в цьому, досить уважно прочитати книжечку «Зовнішнє незалежне оцінювання… Інформаційні матеріали». На сторінці 28 читаємо (виділення оригіналу): «Номер стола, за яким Ви працюєте, номер тестового зошита, номери на наліпках із штрих-кодами мають бути ОДНАКОВИМИ. Це дуже важливо!» Далі протокол тестування з прізвищами учнів та номерами і 15 «анонімних» бланків відповідей з такими ж номерами запаковують до одного конверта і відправляють на перевірку. Про яке шифрування йдеться? Адже працівники, що розпаковують цей конверт, знають і прізвища учнів, і правильні відповіді, які на той час уже опубліковані. Ніщо не заважає їм поставити чорною ручкою кілька хрестиків чи скористатися місцем для виправлень, яке є у бланку й на момент перевірки порожнє.

Торік усі оцінки вважали конфіденційною інформацією про учнів, пояснювали це турботою про права дитини і вживали спеціальних заходів, щоб шкільні «горе-педагоги» не довідалися про оцінки, хоч приховувати їх від учителя абсурдно. Нинішнього року уявлення про права дитини змінилися, але не стали менш абсурдними. За тест учень отримує дві оцінки. Оцінку у 12-бальній системі передають до школи й автоматично записують в атестат (хоч вона ні на що не впливає), а оцінку за той самий тест у шкалі 100—200 балів оголошують конфіденційною. При цьому намагаються пояснити, що це різні оцінки, порівнювати їх не можна, і навіть рейтинг учнів у різних системах оцінювання — різний. Зате правила прийому більшості ВНЗ дозволяють порівнювати оцінки абітурієнтів, одні з яких складали математику, інші — історію, ще інші — іноземну мову.

Монополію не підтримали. Що робити?

Правила проведення тестування, умови зарахування до вищих навчальних закладів розробляють і затверджують у міністерстві. Ми звикли до цього і навіть не припускаємо, що має бути інакше. Уявіть собі, що, наприклад, у законі про пенсійне забезпечення записано: розмір пенсій визначається справедливими правилами, встановленими Міністерством праці і соціальної політики, а виплату здійснює уповноважений орган (пенсійний фонд). А саме в такому руслі був написаний проект закону України «Про внесення змін та доповнень до деяких законів України (щодо зовнішнього незалежного оцінювання знань)», відхилений Верховною Радою.

Жаль, що обговорення основних положень зовнішнього оцінювання не відбулося, а проголосували (точніше — не проголосували) з політичних міркувань. У цьому проекті тестування оголошували зовнішнім, незалежним та об’єктивним вже у визначенні термінів, намагалися узаконити монополію на визначення рівня знань та здібностей, навіть не уточнюючи, чи йдеться про творчі здібності майбутніх журналістів, акторів, архітекторів, чи йдеться про згадану вище здатність до навчання. Згідно з цим проектом, порядок і Правила проведення зовнішнього незалежного оцінювання, а також умови прийому до вищих навчальних закладів розробляє й затверджує міністерство, воно ж контролює їх виконання. Жодних вказівок чи обмежень щодо формулювання і використання цих правил проект закону не містив.

Навіть дивно було читати, що «не можуть бути громадськими спостерігачами посадові особи органів державної влади та органів місцевого самоврядування, педагогічні працівники навчальних закладів системи загальної середньої освіти». Цікаво, чому? Невже такі корумповані? Читаємо далі. «Об’єктивність зовнішнього незалежного оцінювання забезпечується… підбором завдань сертифікаційних робіт зовнішнього незалежного оцінювання…, які дозволяють всебічно оцінити рівень знань особи та забезпечити кваліфікований конкурсний відбір осіб для здобуття вищої освіти». А якщо виявиться, що половини учнів не можна оцінити за цими завданнями? Як у 2008 році — з математики, 2007-го — з фізики, 2006-го — з історії. Чи передбачена відповідальність? На жаль, тільки для технічних працівників та самих учнів.

Не потрібно робити ні з МОН, ні з УЦОЯО «керівної і спрямовуючої сили» нашої освіти, бо монополія дає простір для волюнтаристських рішень, продиктованих їх авторам міркуваннями вищої справедливості. Не можна подолати корупцію в жодній галузі, передаючи ті чи інші функції контролю «уповноваженим установам», бо грошові потоки лише змінять напрямок. Не можна позбавляти освітян права оцінювати своїх учнів, потрібно разом із ними розробляти справді прозорі технології тестування. Критерій об’єктивності тестування тривіальний: його результат не залежить від того, хто це тестування проводить.

Люди повірять, що незалежне тестування справді є незалежним, коли право проводити його за розробленою базою завдань і процедурою проведення отримають і школи, і ВНЗ, і органи управління освітою. Тоді його й можна буде затвердити законом.

Відхилення парламентом законопроекту про внесення змін до деяких законів України щодо зовнішнього незалежного оцінювання знань не ставить його поза законом. Тестування повинно відбутися. Сподіваюся, без прикрих помилок минулих років. Однак заборону для ВНЗ проводити власні вступні випробування з цих самих предметів і за цими ж самими програмами треба скасувати. В нинішній конкурсній ситуації більшість ВНЗ не скористаються правом проводити власні вступні випробування, бо переймаються тим, як взагалі набрати необхідну кількість студентів. А ті, котрі проведуть вступні іспити, переконаються в об’єктивності результатів УЦОЯО. У поодиноких випадках розбіжностей істину треба буде шукати в науковій дискусії на основі аналізу результатів тестування в обох випадках, бо тільки такий підхід веде до вироблення достовірної системи оцінювання знань.

P.S. Прочитав стенограму розгляду законопроекту про зовнішнє оцінювання у ВР, зробив висновок, що треба провести тестування депутатів з мови, основ права, логіки та арифметики!