Завершилася основна сесія зовнішнього незалежного оцінювання, і це є добрим приводом поговорити про перші результати та плани на майбутнє з директором Українського центру оцінювання якості освіти (УЦОЯО) Вадимом Карандієм.
- Вадиме Анатолійовичу, на час нашої розмови предметні комісії вже встановили порогові бали з багатьох предметів. Багато людей не подолали порогу "склав-не склав", а отже для них вступна кампанія вже закінчилася? Кажуть, математику не склав кожен п'ятий?
- Так. Із математики не подолали поріг "склав-не склав" 19% учасників тестування, тобто 19 773 із 106 483 чоловік. Не склали тест з української мови 14% учасників, тобто 46 892 із 323 358 чоловік. Торік таких було 8%. Можливо, збільшення відсотка пов'язане з тим, що цього року ЗНО з української мови в обов'язковому порядку складали й випускники закладів професійно-технічної освіти. Учасників стало більше, і приріст відбувся не за рахунок сильніших.
Щодо іноземних мов. Як свідчить статистика, нинішнього року більше стали складати англійську мову, - вона є лідером із приросту учасників, порівняно з іншими роками. Очевидно, це пов'язано з тим, що англійська стала більш затребуваною при вступі.
Так само більш затребуваною стала математика, - нинішнього року її складали на 5% більше абітурієнтів, аніж торік. При цьому торік не подолали поріг 16% учасників тестування з математики, нинішнього року - 19%. Тобто приріст учасників тестування з математики відбувся за рахунок слабо підготовлених.
А ось поріг із біології торік не долали 13% абітурієнтів, нинішнього року - всього-на-всього 8%. Цей предмет стали менше обирати. Чому - без відповідних досліджень сказати важко, але мені здається, що тут зіграло роль рішення Міністерства охорони здоров'я про встановлення порогу у150 балів при вступі на медичні спеціальності. Тобто той, хто почувався "слабачком" у біології, але раніше сподівався на щось при вступі, цього року просто не ризикнув вступати на медичні спеціальності, а пішов шукати щастя за іншим фахом. Однак норма у 150 балів зіграє лихий жарт із тими, хто набирає майбутніх медиків. Якщо ми забираємо слабших або створюємо умови, щоб вони не пішли на тестування, тоді й рейтингова таблиця результатів буде інакшою. За відсутності "слабаків" слабкими вважатимуться добре підготовлені учасники (вони посядуть останні місця в рейтингу на тлі ще краще підготовлених). Або, наприклад, у тестуванні візьмуть участь слабо підготовлені учасники, і навіть 150 балів у такому разі не будуть гарантією добрих знань.
Основна проблема в тому, що 150 балів - це оцінка рейтингова, а не абсолютна, вона залежить від результатів усіх учасників. Треба було прив'язатися не до рейтингових балів, а до якоїсь величини, яку можна описати. Наприклад, можна було встановити норму "20% найкращих учасників зовнішнього оцінювання з предмета "біологія". Аби щороку медичні виші брали 20% найкращих. Одного року може бути так, що 20% - це 180 прохідних балів, іншого - 150 балів. Але ми точно брали б кращих.
- Хочу повернутися до тесту з математики. Чи правда, що він був легким, а поріг "склав-не склав" був близьким до порогу сліпого вгадування?
- Ні, поріг дуже відрізнявся від порогу сліпого вгадування. Щодо тесту - тут є кілька точок зору. Можна сказати, що тест виявився досить складним, бо з добрим результатом його виконала невелика кількість учасників. Хоча графік результатів тесту несиметричний, і це не дуже добре.
З іншого боку, вчителі (особливо математики) часто закидають нам, що наші тести прості, що в нас багато легких завдань, які нівелюють вивчення математики. Всі ці точки зору мають право бути, але якість тесту можна встановити за вимогами програми. Наші тести їй відповідають. Крім того, не можна макове зернятко виміряти лінійкою з сантиметровою поділкою, і тому, якщо ми бачимо, що в нас більшість випускників погано знає математику, ми наповнюємо тести простими завданнями, аби хоч якось розділити вступників і не просто показати, що вони погано чи добре знають предмет, а продемонструвати, наскільки погано чи добре. Це диференціююча здатність тесту.
- Основна сесія ЗНО пройшла спокійно, без скандалів, якщо не брати до уваги ситуацію з аудіюванням на тесті з англійської.
- Я б не ставив у категорію скандалів ситуацію з тестом з англійської мови. Тут є кілька аспектів, і про них треба чітко говорити, бо психологічна напруга все-таки була. Незважаючи на те, що ми готувалися, проводили пробне ЗНО з англійської, і там проблем не було.
Слід погодитися з тим, що аудіювання як форма навчальної діяльності у школах не дуже часто використовується. Хіба що зрідка як форма контролю. До того ж учителі, які проводять аудіювання на уроках, зазвичай стараються карбувати кожне слово. В багатьох випадках їхня розмовна мова відрізняється від повсякденної розмовної мови носіїв. Учнів потрібно тренувати сприймати звук з технічних пристроїв у реальних класних кімнатах, там, де вони надалі проходитимуть зовнішнє незалежне оцінювання. Тобто потрібно зробити все, щоб допомогти їм подолати під час тестування психологічний дискомфорт.
Після пробного оцінювання ми отримали багато зауважень щодо того, що в нас аудіофайли були записані англійською з українським акцентом. Справді, всі, хто брав участь у записі аудіодисків для пробного оцінювання, були українцями. А вже на основному тестуванні для озвучування текстів ми залучили частково й носіїв мови (50 на 50 з українцями). Під час начитки текстів вони говорили так, як спілкуються в повсякденному житті. Цих людей відбирали, у тому числі, за категорією професійної діяльності та освітою: то були журналісти-іноземці з філологічною або журналістською освітою.
-А як щодо якості техніки? Вам докоряють, що саме УЦОЯО мав би потурбуватися, аби в усіх пунктах тестування по всій країні були однакові якісні технічні умови для проведення аудіювання.
- Річ у тому, що техніка, яку використовували під час тестування з англійської мови, не належить УЦОЯО. Ми просто не можемо мати її на своєму балансі. З деяких причин. Перша - бо її дуже багато (уявіть, для всієї країни, для різних регіонів), і її елементарно неможливо буде контролювати як слід. І друга причина - якби УЦОЯО і мав таку техніку, він би її використовував лише раз на рік на півгодини. Краще зробити так, аби техніка для аудіювання була частиною навчального процесу в школах і використовувалася там регулярно. Тому Кабінет міністрів своїм розпорядженням від 17 грудня 2017 року передав 17,5 мільйона гривень (це кошти, які залишилися за освітніми субвенціями) на певні потреби, в тому числі на закупівлю аудіотехніки. Вони розподілені між усіма областями відповідно до очікуваної кількості аудиторій, у яких має проходити зовнішнє незалежне оцінювання з англійської мови.
Ми не можемо проконтролювати якість техніки в кожній аудиторії, як і не можемо проконтролювати там освітленість, температуру повітря та інші санітарні характеристики. Це не наша техніка, не наші приміщення. Однак є стандарти, і місцеві органи влади мають їх дотримуватися, надаючи аудиторії для тестування. І вони мають бути зацікавлені в цьому, бо хороші умови є запорукою успішних результатів.
Коли ми з'ясовували , чи є проблема в аудіюванні, то аналізували багато даних, зокрема й середній бал з аудіювання в кожній області.
Виявилося, що на першому місці Київ, на другому - Чернівецька область. При цьому ми отримали звернення постійної комісії Чернівецької обласної ради: нас просять анулювати результати аудіювання. Думаю, автори звернення просто піддалися загальній паніці. Ще один приклад. У соціальних мережах досить активною була одна мама, незадоволена якістю проведення аудіювання. Цікаво те, що вона виявилася одним із керівників міста, який мав би відповідати за підготовчі заходи до ЗНО. Чому ж місто спокійно поставилося до того, що не було забезпечено всіх необхідних умов для проведення аудіювання? Це питання про те, наскільки готова наша країна до децентралізації.
- Багато апеляцій надійшло на результати тестування з англійської?
- Після завершення тестування з англійської спочатку було тихо. Потім, десь за годину, почалися окремі дзвінки та обмін інформацією в мережах. Тестування відбулося у п'ятницю, але ми вирішили не тягнути час до наступного робочого дня, як це прописано в нормативних документах, а оголосили правильні відповіді того ж дня увечері. Ось після цього відбувся вибух скарг: багато хто подумав, що він не набирає достатньої кількості балів і варто спробувати скаржитися. Деякі учасники тестування подавали апеляції через кілька годин або днів після його завершення, але ці апеляції не могли бути розглянуті, бо, за правилами, розглядаються тільки заяви, складені до виходу з пункту тестування. Тільки в цьому випадку можна встановити перебіг подій.
Маю сказати, що офіційних апеляцій було небагато - 65 (при тому що англійську складали 84 тисячі осіб). Більшість їх була оціночного характеру (люди просто скаржилися на якість звуку). У бланку заяви є графа, в якій треба зазначити, чи хоче вступник ще раз перескласти тест. Таке бажання висловили тільки четверо скаржників. Після ретельного аналізу було задоволено три скарги.
Взагалі ж, наш аналіз показав, що учасники тестування, які були успішними в усьому тесті, так само були успішними і в аудіюванні. Тобто не було тих, хто "провалився" саме на аудіюванні.
Водночас ми розуміємо, що той варіант тесту з іноземної мови, який проведений сьогодні, не ідеальний. Є певні моменти, на яких нам доведеться ще загострювати увагу. Але цей тест порушив дуже великий пласт питань: аудіювання в навчальному процесі; відповідність приміщень акустичним вимогам; відповідальність не тільки за себе, а й за тих, хто навколо (це я про керівників, особливо керівників регіонів). Окремі наші керівники щороку шукають, як би зробити так, щоб їхні регіони піднялися в рейтингу за результатами ЗНО. Річ у тому, що є методика Кабінету міністрів щодо оцінювання регіону, де, зокрема, враховується й відсоток випускників шкіл, які склали ЗНО на 160- 200 балів. Не треба шукати способів змінити методику і перерахувати рейтинг. Треба просто створити належні умови для навчання і незалежного оцінювання, тоді буде результат.
- Як склали весь тест з англійської?
- Добре. Графік розподілу результатів близький до нормального з невеликою правосторонньою асиметрією (переважають кращі результати).
Тест складався з кількох частин: аудіювання, читання, письмо і застосування мови. Аудіювання виявилося найлегшим, результати з нього найкращі. Дехто скаржився, що сидів далеко від аудіопристрою, і це заважало. Ми зробили розподіл результатів тестування по місцях: усі 15 графіків (в аудиторіях було по 15 чоловік) ідуть, фактично, однією стрічкою, тобто відмінностей немає.
Добре впоралися із завданнями з читання. Треба було прочитати текст і дати відповідь на запитання. Непогано виконали завдання з розділу "використання мови". Це правила правопису, вживання мовних конструкцій тощо. А результати виконання частини "письмо" набагато гірші: понад 19 тисяч учасників (із 84 тисяч тих, хто складав тест) отримали нуль балів у цій частині тесту. Треба було написати висловлювання (лист) на задану тему.
- Ще одна відносно "гаряча" точка цьогорічного ЗНО - тест з історії. Було кілька спірних завдань.
- Так, щодо двох завдань точилися дискусії. В одному йдеться про події кінця ХІХ століття, але це завдання стоїть у частині "ХХ століття", що, на думку багатьох, збило з пантелику учасників тестування, бо всі шукали відповідь у XX столітті. На такі зауваження ми відповідаємо: діяльність особи, про котру йдеться в завданні, припадає як на ХІХ, так і на ХХ століття. Праці, написані цією людиною, вплинули на перебіг подій у ХХ столітті.
Друге завдання - про Будапештський меморандум. Був запропонований уривок із нього і низка запитань: що це за документ, хто його підписав, що він передбачає і таке інше. Нам закидають: у програмі ЗНО окремим рядком не прописано, що учні повинні знати Будапештський меморандум. Так, але в програмі зазначено, що учасники тестування мають орієнтуватися в подіях сучасності. Для України - це подія сучасності, більше того - це одна з причин подій, які відбуваються сьогодні. Хто вчить історію, той мусить це знати і вміти аналізувати документ, це одна з важливих компетенцій учнів. В уривку з тексту Будапештського меморандуму були всі основні елементи для того, аби зрозуміти, про що він і що це за документ.
- Чи плануються наступного року якісь нововведення у ЗНО?
- Я думаю, про це ще рано говорити. Треба проаналізувати нинішній рік, а вже потім готуватися до наступного. Взагалі, головне наше завдання не в тому, щоб рік у рік вносити зміни до ЗНО (воно має бути більш-менш стабільним). Потрібно думати над концепцією розвитку зовнішнього оцінювання. Є закон "Про освіту", в ньому чітко написано, що ЗНО має проводитися після кожного етапу здобуття освіти: початкова школа, основна і старша. Треба думати, що в нас зміниться у старшій профільній школі - чи ми повинні мати два різних тести з кожного предмета (для профільної школи і для того, хто вивчає його на рівні стандарту), чи один? На сьогодні державну підсумкову атестацію в тесті з іноземних мов ми визначаємо за двома рівнями: для шкіл із поглибленим вивченням та для шкіл, що вивчають іноземну на рівні стандарту. Але тоді треба думати, як зараховувати результати ЗНО при вступі до вищих навчальних закладів.
Є також проблема тестових завдань. Завдання закритого формату (коли просто треба поставити хрестик) мають потужний негативний вплив на організацію навчання в школі. Вчителі втрачають напрацювання, які спрямовані на те, щоб навчити учнів методу розв'язання. Бо спосіб і метод розв'язування на сьогодні в тесті не оцінюється, а оцінюється тільки кінцевий результат. Тому треба збільшувати в тестах ЗНО кількість відкритих завдань. А для цього потрібні гроші.
Крім того, треба підвищувати культуру педагогічних працівників, більше їм довіряти, а також перестати ранжувати їх за рейтингами ЗНО. Ці рейтинги заганяють багатьох учителів у мушлю, і вони починають просто відтворювати інформацію, тренуючи до тестів, не вносячи свого, бо з них спитають потім за результати ЗНО.
Ще один вияв впливу ЗНО на школу полягає в тому, що часто вчителі захоплюються тестом для перевірки знань. Особисто моя думка, не як директора центру, а як педагога: в навчальному процесі треба застосовувати різні форми контролю, не тільки тести, а й відкриті завдання. Ми ж часто все зводимо до механічної тестової моделі оцінювання, а вона відучує дітей виносити власні судження, розв'язувати,обґрунтовувати, натомість привчає просто старатися знайти правильну відповідь. Тест ефективно працює як інструмент вимірювання, це правда, але ним не має бути перенасичене шкільне життя.
- Вже кілька років УЦОЯО оприлюднює аналіз результатів ЗНО. Дані загальнодоступні, і на їх основі можна робити аналітику. Цього року теж так буде?
- Так, у серпні оприлюднимо звіти. Оприлюднюємо відкриті дані результатів тестування, тобто приховуємо ім'я учасника тестування, але даємо загальну характеристику: хлопчик-дівчинка, рік народження, регіон походження, в якій школі навчався, випускник якого року, на які предмети реєструвався, в якому пункті проходив тестування, які результати здобув, одне слово -даємо повну розгортку. Так ми робимо з 2016-го року. Торік ми створили нову можливість для аналізу результатів ЗНО для вчителів та керівників шкіл: завантажували дані по їхній школі, давали аналіз результатів виконання того чи іншого завдання випускниками конкретно цієї школи, але без персональних даних. Тобто вчителі не зможуть побачити, хто як виконував завдання, але бачитимуть загальну картину по школі, класу, і не лише (бо ми також завантажуємо дані, як це завдання виконали в країні та регіоні). Це корисна інформація для педагогічних працівників. Результати ЗНО можуть позитивно позначитися на освітньому процесі в школі, якщо їх своєчасно та правильно проаналізувати і зробити висновки.