Не плутайте кавун із порічкою

Щойно завершилася вступна кампанія-2020, оприлюднено перші дані. Зокрема й результати ЗНО. І, як і кожного року, тільки-но Український центр ЗНО оприлюднює свою базу даних, різні видання починають публікувати рейтинги шкіл. Хтось радіє, бо знайома школа потрапила до найвищих місць рейтингу, а хтось обурюється, бо не знайшов свого закладу ані в топ-10, ані в топ-100. Український центр оцінювання якості освіти не підтримує створення рейтингів за результатами ЗНО, і ось декілька причин такої позиції.

По-перше, ЗНО — інструмент, призначений для визначення найкращих вступників, а не закладів освіти. Тобто цей інструмент розроблено не з метою рейтингування закладів освіти. І будь-хто знає, що кожен інструмент використовують лише для того, для чого він призначений. Тільки в такий спосіб ви можете гарантувати його ефективність. Так, тканина, яку виробник пропонує використовувати для літніх суконь, зовсім не придатна для виготовлення полотна парашутів. Результати ЗНО дають змогу краще спрогнозувати успішність студента в закладі вищої освіти, про що свідчить значення показників прогностичної валідності, але жодних досліджень «адекватності» тих чи тих рейтингів закладів освіти за результатами ЗНО немає.

По-друге, ЗНО не є обов’язковим, а перелік предметів ЗНО вступник визначає індивідуально залежно від власних кар’єрних планів і можливостей. Тобто в рейтинг, який хтось намагається побудувати, відразу закладаються системні вади. Наприклад, студенти професійно-технічних закладів освіти часто не планують вступати до закладів вищої освіти, коли складають державну підсумкову атестацію (ДПА) у формі ЗНО. Відповідно, вони можуть свідомо отримувати нижчі результати ЗНО, бо просто не мають намірів виконувати ті завдання, які не є складниками ДПА. Дивно також порівнювати успішність учасників ЗНО з хімії (близько 14 тис.) із успішністю учасників, які виконують тест з історії України (понад 100 тис.). Нагадаю, що для визначення результату ЗНО за шкалою 100–200 балів використовується рейтинговий підхід. Це означає, що, ранжуючи школи за результатами ЗНО, ми до одного рейтингу включаємо рейтинги учасників ЗНО з різних навчальних дисциплін. Це схоже на те, якби ми, наприклад, хотіли відсортувати ягоди за розміром і спочатку відсортували всю порічку, потім зробили те саме з кавунами, а потім об’єднали ці два ряди ягід в один, де найбільша ягода порічки мала б таку саму позицію, як найбільша ягода кавуна, і вважали б при цьому, що одна ягода порічки еквівалентна ягоді кавуна.

По-третє, різні автори рейтингів пропонують зовсім різні моделі для порівняння. Так, популярними є моделі із «середніх результатів», водночас кожна із цих моделей дасть різні результати рейтингу.

Обираючи різні критерії для рейтингування закладів освіти, ми матимемо зовсім інші рейтингові списки. Така неузгодженість підходів до створення рейтингів зумовлює те, що професійний математик може так задати правило рейтингування, що в результаті певний заклад освіти може опинитися в рейтингу як на першому місці, так і десь наприкінці списку.

Також незрозуміло, який результат уважати кращим — той, де всі випускники закладу подолали поріг, чи той, де половина учасників узагалі не подолала порогу, а решта — має високі результати.

Окрім правила, яке визначає рейтинговий список, важливо також домовитися про правила «врахування» чи «неврахування» певних закладів освіти у списку. Наприклад, вилучення з рейтингу закладів, де ЗНО складали менш як 10–15 осіб, може посутньо змінювати картину, адже вага кожного результату у великому й малому закладах освіти є різною. Наприклад, у великому закладі освіти ЗНО складали 300 учасників, а в іншому, зовсім малому, — десять. Чи можна їх порівнювати? Навряд. У другій ситуації важливими є результати кожного учасника: будь-який особливий результат істотно вплине на загальні показники (одного олімпіадника чи того, хто не сягнув порогу склав/не склав, достатньо, щоби загальний рейтинг закладу був добрим/поганим). У першій ситуації, тобто коли йдеться про заклад із великою кількістю учасників, важливою є загальна тенденція, а результати окремих учнів не матимуть визначальної ваги.

По-четверте, в Україні на сьогодні немає системи, яка б давала змогу детально вивчити й урахувати під час рейтингування передумови навчання в тому чи тому закладі освіти. Ми не можемо сказати, які саме дошкільнята прийшли до цього закладу 11 років тому (чи вміли вони читати, писати, рахувати, наскільки важливим є навчання для їхніх родин, які ресурси батьки вкладали в освіту своїх дітей тощо). Ми також не знаємо, які умови були у певному закладі освіти (рівень фахової підготовки вчителів, наявність технічного забезпечення тощо). Ми часто не враховуємо таких важливих чинників, як відбір дітей до закладів освіти (коли зарахування до певного закладу відбувається після тестування). Фактично ми не знаємо, що саме визначає той чи інший результат учнів, і в одному рейтингу порівнюємо «олімпійських чемпіонів» зі «спортсменами-аматорами».

По-п’яте, попри те, що багато країн світу створюють і демонструють рейтинги закладів освіти (наприклад, США, Велика Британія), науковці стверджують, що ця практика є шкідливою. Так, у дослідженні «Вимірювання успіху: рейтинги в державному секторі» Б.Фолі та Г.Голдстейн (Beth Foley, Harvey Goldstein. Measuring success: league tables in the public sector) переконливо демонструють можливі негативні наслідки від рейтингування закладів освіти на основі показників академічної успішності. Одним із аргументів, які вони наводять, є те, що потенційно невисокі місця в рейтингу завжди посідатимуть заклади, де навчаються представники малозабезпечених соціальних верств населення, а це фактично може призвести до загострення сегрегації між закладами освіти. Такий підхід може зумовити появу «замкненого кола»: певні заклади освіти завжди «пастимуть задніх», оскільки до них вступають потенційно слабші учні. Варто зазначити, що в PISA-2018 ми побачили невисокі відмінності у здобутках учнів у межах закладів освіти й водночас високі — між закладами освіти. Тобто проблема із сегрегацією у нас у країні вже є, і різноманітними рейтингами ми її лише посилюватимемо.

Очевидно, що рейтинги створювалися завжди, створюються нині й надалі з’являтимуться час від часу, адже величезні масиви даних Українського центру не можуть не стимулювати дослідників, а батьки, школярі та й самі освітяни потребують певних маркерів щодо якості освітніх послуг. У такій ситуації кожному, хто звертається до певних рейтингів, важливо зважати, наскільки адекватною, чіткою й прозорою є методика визначення рейтингового місця закладу освіти, чи можна її повторити й отримати той самий результат. Окрім того, звертаючись до рейтингів, завжди потрібно пам’ятати про їхню обмеженість і не намагатися використовувати їх для прийняття політичних рішень на місцях. У медицині є важливе правило: «Не зашкодь». В освіті на нього теж варто зважати й не змушувати керівників закладів освіти заміщувати освітній процес «боротьбою за високе рейтингове місце».