Потрійний стрибок із переворотом. Між абітурієнтом і вузом — нові мости чи нові перешкоди?

Доки вступна кампанія набирає обертів, суспільство принишкло у схвильованому очікуванні, і навіть ЗМІ зберігають нетипове мовчання. Хоча поговорити є про що: з нинішнього року характер вступної кампанії змінюється. ЗНО перестає бути єдиним способом оцінювання знань випускників шкіл — враховується середній бал шкільного атестата. Надалі ж конкурсні показники абітурієнта формуватимуться із трьох рівноцінних складових: результатів ЗНО (до 600 балів), середнього бала атестата, перерахованого за 200-бальною шкалою, і результатів вступних іспитів ВНЗ (профільні конкурси, співбесіди, мотиваційні тести тощо). На думку міністра освіти і науки Дмитра Табачника, це поверне авторитет в оцінюванні школі й університету, а також перенесе акцент із протидії корупції на підвищення якості оцінювання. Передбачено й інші зміни.

Мабуть, ґрунтовно наслідки нововведень можна буде обговорювати вже після того, як новоспечені студенти складуть першу сесію. Наразі ж ми вирішили поговорити з експертами, котрі брали участь у розробці інструментів оцінювання для різних країн світу. Вашій увазі пропонується інтерв’ю з консультантами Програми сприяння зовнішньому тестуванню в Україні (USETI) Маркусом БРОЕРОМ і Марком ЗЕЛЬМАНОМ.

— Відомо, що в ряді країн практикують поєднання різних типів іспитів. Наскільки вдалим є нинішнє рішення для нашої країни? Як, на ваш погляд, нам варто було б організувати вступну кампанію?

Маркус БРОЕР. — Насамперед хотів би зазначити, що система прийому до університетів, яка склалася нині в Україні, заслуговує на схвалення. Величезну роботу провели за стислий період. Зазвичай потрібно багато років, щоб така система оцінювання почала ефективно функціонувати. А в нас уже є дані, які свідчать, що результати зовнішнього оцінювання у вашій країні корелюються з показниками академічної успішності першокурсників.

Дуже важливий момент: чим більше додається чинників, які впливають на вступ, тим важче стає абітурієнтові. Також важче пояснити громадськості роль і відносну вагу цих чинників. І ще один дуже важливий момент — валідність із погляду учасника іспиту та його батьків. Як на мене, нині в очах і випускників, і їхніх батьків складання стандартизованого тесту є досить об’єктивним способом показати, чого учень навчився в школі.

— Що ви можете сказати про такий чинник як середній бал атестата?

М.Б. — Справді, він враховується в багатьох системах прийому до вищих навчальних закладів. Проте важливо розуміти, як ці системи розвивалися і чому цей чинник набув значення. Я не проти того, щоб вивчалася можливість використання середнього бала атестата під час ухвалення рішення щодо зарахування до університету, але наразі не бачу в цьому нагальної потреби. Варто було б спершу прорахувати можливі наслідки.

— В ефірі «5 каналу» Дмитро Табачник говорив, що в майбутньому можуть бути запропоновані зміни до законодавства, які дозволять кращим університетам проводити власні мотиваційні випробування — «мотиваційне есе, досить популярне у США, тести на лідерство, на комунікативність». У чому специфіка мотиваційного есе, і як його оцінюють?

М.Б. — Есе, яке пишуть абітурієнти у США, не слугує для оцінювання їхніх здібностей, а дає можливість скласти враження про них як особистостей. Зазвичай в університетах великого значення надають тому, чим юнак чи дівчина займається в позаурочний час, у яких громадських проектах бере участь, чи набув досвіду волонтерської роботи за кордоном або в рідній країні. Якщо абітурієнт із бідної сім’ї, неблагополучного середовища, на його користь може свідчити розповідь про подолання життєвих труднощів, досягнення успіхів у чомусь. Це справді валідний чинник, що може вплинути на рішення стосовно зарахування, але тільки тоді, коли претендент недобрав кілька балів або набрав однакову з кимсь кількість. Звісно, цей чинник не спрацює, якщо рівень знань низький.

Чув, що у вас мотиваційне есе може відігравати вагому роль, коли прийматимуть рішення щодо зарахування в університет. Якщо це правда, є підстави для занепокоєння. Коли, крім основного тестування, впроваджуються інші чинники, які мають велику роль і вагу, і створюється комбінований бал, абітурієнт не знатиме, що саме завадило йому вступити до університету.

З технічного погляду, мотиваційне есе стандартизувати неможливо, судження про нього — суб’єктивне. Нормально лише, якщо рішення балансує на межі кількох балів.

Короткі есе ми використовуємо в тесті з іноземної мови як спосіб перевірки навичок письма. Проте всі одержують однакову тему, і багато уваги приділено розробці схеми оцінювання, аби процедура була максимально об’єктивною, а оцінка — стандартизованою.

Марк ЗЕЛЬМАН. — Загалом, у США від мотиваційного есе вже відмовляються. Причина проста: вступник пише його вдома й надсилає до університету. Ніхто не може проконтролювати, чи робить він це сам. Дедалі частіше есе береться з Інтернету або інших джерел. Саме з цієї причини університети наполягли, щоб есе було введене до тесту SAT. Таким чином, абітурієнт виконує це завдання на очах у перевіряльників. Есе перевіряється спочатку з допомогою спеціальної комп’ютерної програми (вона перевіряє те, що можна виміряти, — грамотність, структуру, словниковий запас тощо), а потім — спеціально натренованою людиною (у неї — власні категорії перевірки). Якщо бали людини й машини різняться більш як на одиницю, підключається головний перевіряльник, дуже досвідчений, і приймає остаточне рішення.

Есе показує, як людина письмово формулює свої думки. А для перевірки інших навичок є інші типи завдань. Ось, наприклад, завдання з тесту на критичне мислення. Дається текст і до нього два графіки. Учаснику тестування потрібно викласти основні ідеї тексту й пояснити, які дані графіка ці ідеї підтверджують, а які спростовують. Він має не просто написати щось, а проаналізувати інформацію, скласти звіт про одержані результати, переконати у своїх висновках, розставити акценти.

Можливо, проблема есе та співбесіди назріла тому, що існує необхідність оцінювати не лише когнітивні навички, а й комунікативні — одні з найважливіших у ХХІ столітті.

— Вони ж важливі не тільки для гуманітаріїв?

М.З. — На ринку праці в розвинених країнах сьогодні найбільш затребуваними є навички, які можна умовно назвати non-routine interactive — тобто пов’язані з ефективною взаємодією між людьми в нестандартних, мінливих ситуаціях. На другому місці — навички, пов’язані з умінням розв’язувати нетипові задачі, до яких не існує готового алгоритму (прикладом може слугувати діагностування невідомої хвороби).

Щоб у новому тисячолітті бути конкурентоспроможними, юнаки й дівчата мають розвивати в собі насамперед лідерські якості, організаторські здібності, уміння співпрацювати, комунікабельність, сприйнятливість і креативність. Знадобляться їм також гнучкість і адаптивність, уміння працювати з інформаційними технологіями та медіа, добувати, аналізувати й творити інформацію.

— Чи можна оцінити комунікативні здібності з допомогою тестів, не спілкуючись із кандидатом безпосередньо? Яким чином?

М.З. — Недавно ми створили тест нового типу для медичного факультету Університету Ага-хана в Карачі (Пакистан). Оскільки співбесіда для них була дорогою й суб’єктивною формою оцінювання абітурієнтів, нам замовили тест на комунікаційні здібності, або некогнітивне оцінювання. Тест вимірює навички, які я назвав раніше, і, загалом, потенційний успіх або неуспіх у соціальних та емоційних ситуаціях. Він актуальний не лише для медиків, а й для багатьох професій, тому було вирішено: якщо пілотний проект стартує успішно, оцінювання поширять на всю систему Ага-хана, що охоплює Центральну Азію та Східну Африку.

За формою тест скидається на рольову гру. Учасникові тестування даються короткі характеристики (здібності та риси характеру) віртуальних однокласників. А далі йдуть завдання. Наприклад, професор доручає учням дослідницький проект, що потребує злагодженої взаємодії, а також застосування певних навичок (зазначено, яких). Учасника тестування призначили керівником групи. Він має обрати трьох людей, які найкраще співпрацюватимуть під його керівництвом і з найбільшою ймовірністю доведуть проект до успішного завершення. Або ж двох людей, у яких, найімовірніше, виникнуть конфлікти.

Ми адміністрували пілотний варіант тесту й одержали статистичні дані, які чудово корелювалися з предметними тестами — із сестринської справи, мови, природничих наук.

— Як ви оцінюєте аргумент, що для випускників, які закінчили школу більш як три роки тому і хочуть навчатися без відриву від виробництва, тестування є стресом, і тому — перешкодою для вступу? Починаючи з нинішнього року, вони можуть обирати між ЗНО та традиційними іспитами...

М.З. — А хіба університетські іспити не є стресом? Справедливо те, що випускники минулих років неконкурентоспроможні, порівняно з випускниками нинішнього року, оскільки багато забули, а тест побудований на шкільній програмі (але ж іспити — теж!).

— Ми повертаємося до давньої дискусії щодо тесту, не побудованого на шкільній програмі, тобто тесту здібностей. Я чула про створення робочої групи, до якої мав увійти і пан Зельман. Та нині це питання практично не обговорюється. Якою є ситуація насправді?

М.З. — Наскільки мені відомо, продовження проекту по USAID не включає розвитку тесту здібностей. Продовження досліджень залежить від бажання Міністерства освіти і науки. Група не може працювати у відриві від нього. Напрацювання є, жаль було б їх полишати.

— Подейкують, що Український центр оцінювання якості освіти отримав завдання на наступний рік розробити тести різних рівнів. Для кого? А як же однакові умови вступу?

М.Б. — Яка мета багаторівневого тестування, і чому її не можна досягти вже існуючим тестуванням? Зрозуміло, що університети з технічним ухилом хочуть відібрати студентів, найбільше «підкованих» із фізики й математики, тоді як інші спеціальності вимагають лише базових знань із цих предметів. Проте, якщо не помиляюся, теперішні тести з математики вже засвідчили, що є досить складними навіть для сильних учнів. Отже, із завданням відібрати 10—15% найсильніших цей тест впорюється чудово. Якби він, навпаки, був таким легким, що практично всі могли б із ним упоратися, я б справді порадив або ускладнити існуючий тест, або розробити тест вищого рівня, щоб університети могли диференціювати абітурієнтів.

— Кажуть, зовнішнє оцінювання хочуть повністю комп’ютеризувати. У чому плюси й мінуси комп’ютерного тестування, чи доцільний такий перехід?

М.З. — Перш ніж приймати рішення стосовно впровадження будь-чого, варто оцінити переваги й недоліки. У принципі, CBT (computer-based testing) впроваджувати доцільно. По-перше, це підвищить безпечність і надійність тесту. Буде легше поставити всіх учасників в однакові умови. По-друге, дасть можливість впроваджувати нові інструменти для тестування, тестувати нові навички.

CBT дозволяє впроваджувати в тестування інтерактивні елементи. Наприклад, із допомогою комп’ютерної програми студент може провести експеримент і скласти звіт про отримані результати. Хоча люди, які вступають на факультети природничих наук, проводять експерименти і в школі (у нас — лабораторні роботи з фізики, хімії. — Прим. авт.), вчаться здобувати й аналізувати інформацію, але з допомогою паперових тестів це вміння ми перевірити не можемо.

Втім, перехід до CBT не дуже простий. Коли складаєш тест на комп’ютері, підключається навичка комп’ютерної грамотності. Вона впливатиме на бали. Той самий тест на комп’ютері й на папері людина може скласти по-різному через різне сприйняття. Постануть також питання щодо підрахунку балів, оскільки багато людей не звикли до такого типу тестування. Якщо переходити до CBT, то поступово. Спочатку допустити існування на вибір двох типів тесту — комп’ютерного і паперового...

— У цьогорічну вступну кампанію можна буде подавати сертифікати з результатами не лише нинішнього року, а й минулого, і позаминулого. Чи можна порівнювати бали в них? Чи практикується таке в інших країнах?

М.Б. — Загалом, це можливо, але тільки в системах, котрі щороку дають тестові бали, які технічно можна порівнювати. В Україні на сьогодні це неможливо.

Є різні способи забезпечити порівнянність результатів тестування. Перший — використання завдань, які б повторювалися з певною періодичністю рік у рік. Проте сьогодні після тесту абітурієнти у вас одержують завдання на руки. Другий спосіб — використовувати під час складання тесту готові калібровані завдання, щоб можна було скласти тест статистично такого ж рівня, як і попереднього року. Технічно цього наразі теж не вирішити. Хоча в такій ситуації, коли непорівнянні і завдання, і бали, і контингент учасників, принаймні з погляду процентильної шкали можна припустити, що ті, хто був торік у 80-й процентилі, більш-менш порівнянні з тими, хто опиниться там само нинішнього року. (Процентиль — місце розташування даних вибірки; наприклад, 80-та процентиль означає, що нижче від неї розміщуються 80% результатів. — Прим. авт.). Університети могли б приймати рішення на підставі цієї шкали. Можливий такий варіант: університети бачать, що рівень знань абітурієнтів нинішнього року трохи вищий, ніж торік. І можуть вирішити, що, наприклад, від тих, хто приносить сертифікати минулого року, буде потрібен трохи вищий бал. Але ідеальне рішення — мати шкалу, яка буде однаковою для всіх тестів у всі роки.

М.З. — В Америці зошити з тестами не видають на руки, і люди ставляться до цього спокійно — вони звикли до тестування й довіряють йому. Тому можна використовувати завдання неодноразово. Ви могли б, наприклад, спробувати не давати на руки 20% питань, пояснивши, що їх буде використано під час наступних тестувань. Побачите, як відреагує громадськість. Якщо зажадає пред’явлення, можна запропонувати показати психометричні характеристики питань, без самого тексту.

— А якщо абітурієнти з доброю пам’яттю запам’ятають ці питання?

М.З. — Малоймовірно. Зазвичай сильний абітурієнт не запам’ятовує легких питань. Слабкий не доходить до складних. Єдиний, хто може запам’ятати більш-менш добре, — це середній студент, але в нього обмаль часу, півтори хвилини на питання, тож йому не до цього. Завдання може запам’ятатися, якщо воно дуже дивне і разюче вирізняється
з-поміж решти, але таких у вибірці не буде.

— Над чим зараз найдоцільніше попрацювати нашим розробникам тестів, тим, хто їх адмініструє, і тим, хто створює законодавчу базу щодо тестування, аби вдосконалити систему оцінювання знань?

М.Б. — Мені здається, одним із найкращих рішень може стати створення великого банку тестових завдань. У ньому будуть не тільки апробовані завдання, які довели свою ефективність, а й нові, які ще потребують апробації. Ми отримаємо статистичну інформацію, як ці завдання поводяться в тесті. Але це потребує значних коштів і великої кількості фахівців.

Інше рішення — знов-таки, відмовитися від нинішньої практики віддавати тестові зошити на руки учасникам. Тоді ми могли б апробаційні завдання включати в операційні варіанти тестів (вони не враховувалися б під час підрахунку балів).

— Пане Броер, ви три роки поспіль переглядаєте українські тести й допомагаєте їх писати. Чи стали вони кращими?

М.Б. — Безумовно, прогрес великий.

— А чи потрібно щороку проводити дослідження валідності?

М.Б. — Так, я вважаю, що це необхідно. Необов’язково досліджувати прогностичну валідність, є й інші аспекти. Я не хотів би ще більше навантажити роботою українські центри оцінювання. Можливо, інші організації зайнялися б такими дослідженнями й використали б результати тестування, щоб, наприклад, змалювати об’єктивну картину стану середньої освіти. Сьогодні дуже великий відсоток випускників вступає до університетів, практично кожен випускник може стати студентом, тож, здійснивши таке дослідження, можна визначити аспекти, яким не приділяється належна увага.