Марк Зельман: «Університетам важливо не те, скільки формул або дат запам’ятала людина, а те, наскільки вона здатна навчатися»

До початку нового навчального року залишився тиждень. Із 1 вересня аудиторії українських ВНЗ заповнять першокурсники, за плечима яких цілий сезон тяжких і заплутаних баталій за право навчатися далі. Мабуть, не стільки клопоту завдало саме тестування (а в когось — і апеляції після нього), скільки подальша епопея із зарахуванням до ВНЗ. Далеко не всі університети захотіли приймати сертифікати Українського центру оцінювання якості освіти як єдиний критерій зарахування. Про найскандальніший випадок категоричної незгоди з рішеннями Міністерства освіти і науки «ДТ» вже писало (як здогадався уважний читач, ідеться про Києво-Могилянську академію). Чимало списів було поламано навколо умов вступу, «особливих» і «дуже-дуже особливих»... Періодично лунало: зовнішнє оцінювання себе дискредитувало, тепер його точно скасують... Проте настав час готувати вступну кампанію-2009. І знову хочеться, аби пролунав голос незалежного експерта, котрий має власний погляд на проблеми тестування. Пропонуємо вашій увазі інтерв’ю з Марком ЗЕЛЬМАНОМ.

— Як показала практика, не всі університети позитивно сприйняли зовнішнє оцінювання. Ректори часто наводять такий аргумент: «Ми хочемо формувати профіль нашого студента, тому ваше стандартизоване тестування нам не підходить». Наскільки принцип університетської автономії поширюється на вступну кампанію, відбір студентів на власний розсуд?

— Це залежить від соціальної системи, системи освіти. Як працює принцип assessment (оцінювання), поясню на прикладі. Є дві схеми. Перша — декларування соціального факту. Це як, наприклад, у рацсі вас оголошують чоловіком і дружиною або як суд присяжних оголошує людину винною. Так само Міністерство освіти встановлює єдиний для всіх card score (прохідний бал), і державний центр оцінювання повідомляє, склали ви чи не склали тести і, відповідно, вступаєте до ВНЗ чи ні.

Інша схема: центр оцінювання повідомляє, що ви набрали 10 балів, це означає, що ви знаєте й умієте таке й таке. А кожен університет самостійно визначає, достатньо йому стільки чи ні. Сильніший ВНЗ може встановити вищий прохідний бал, слабший — ниж­чий, бо знає: найяскравіші студенти до нього не підуть. Ви можете подати до суду на центр тестування і заявити, що похибка вимірювання є завеликою. І ті, хто вас тестував, мають довести, що їхнє вимірювання є точним і об’єктивним. У Європі (зокрема й в Україні) — перший підхід, у США — другий.

Оскільки у вас у Конституції задекларовано рівний доступ до вищої освіти, країні потрібен тест, що створить систему meritocracy: коли людину зараховують до ВНЗ на основі її здатності до подальшого навчання незалежно від соціальних чинників, життєвого досвіду чи матеріального становища. Перший крок до цього — створення стандартизованих тестів. У такий спосіб усі опиняться в рівних умовах.

— Чи існують у інших країнах особливі умови, які дають дітям перевагу при вступі? Як у нас для переможців олімпіад, чорнобильців, дітей-сиріт...

— В університеті мають навчатися здібні діти. Не треба ставити певну групу населення у вигідніші умови — потрібно забезпечити всім рівний шанс вступити. Наприклад, можуть бути різні версії вступних тестів: звичайна, для тих, хто погано бачить (шрифтом Брайля), і розмовні тести для тих, у кого атрофується чутливість кінчиків пальців. Але складність всіх версій однакова. У США є affirmative action (надання переважних прав) афроамериканцям, але вони складають такий самий SAT.

— В українського ВНО кілька функцій: з одного боку, вступ до університету, а з іншого — оцінювання того, як діти опанували шкільну програму. Очевидно, виникає плутанина, адже вступають не тільки школярі...

— Вступ до університету і закінчення школи — цілі дуже різні. Розробити валідний тест, що задовольняє обидві мети, дуже важко. Створення системи, що усіх ставить у рівні умови, — це добре, але не потрібно на цьому зупинятися. На наступному етапі я б рекомендував розділити ці іспити. Після закінчення школи — тест на знання, що оцінюється за критеріальною шкалою (criterion-based assessment): ми не рейтингуємо дітей, а дивимося, чи опанували вони стандарт, запропонований шкільною програмою. При вступі — тест на здібності за рейтинговою шкалою (reference-based assessment).

Якщо ж ми поєднуємо ці тести, зазвичай беремо критерії reference-based і адаптуємо під стандарти шкільної програми. У результаті успішних випускників отримуємо менше, ніж тих, хто стає студентами. Це лише одна з проблем такого змішування.

— Розкажіть детальніше про тестування здібностей.

— Колись кожен американський університет проводив власне вступне тестування, і всі були задоволені. Але потім з полів Першої світової війни прийшло багато солдатів, які хотіли вступити до університетів, але давно забули, чого навчалися в школі, якщо взагалі її закінчили. Як зарахувати цих людей у студенти, якщо вони є геть неконкурентоспроможними порівняно з тими, хто щойно закінчив школу?

І тоді було створено College Board, раду ректорів найбільших університетів США, яка поставила завдання: чи можна створити інструмент вимірювання, який прогнозував би, наскільки успішно людина навчатиметься в університеті, наскільки вона здатна до навчання, без того, щоб тестувати її знання? Вони заснували компанію ETS, яка 1926 року розробила SAT (Scholastic Assessment Test) — стандартизований тест загальних здібностей. Відтоді за його результатами зараховують до найпрестижніших університетів Америки — таких, як Прінстон, Гарвард, Йєль.

В Україні виникли схожі виклики. Звісно, війни немає, але багато людей, які працюють на виробництві, хочуть здобути вищу освіту. Вони давно забули шкільну програму і є неконкурентоспроможними порівняно з цьогорічними випускниками. А це великий відсоток населення, що платить за навчання і за рахунок якого існують університети. Також не секрет, що рівень шкіл є дуже різним, проте навіть у глухому селі можуть навчатися талановиті діти. Складаючи тест на знання, вони програють дітям з якої-небудь столичної гімназії, але це не означає, що вони не здатні навчатися і бути успішними. Університетам насправді важливо не те, скільки формул або дат запам’ятала людина, а те, наскільки вона здатна до навчання.

Ми розробили ability test у Киргизії. Діти могли обирати: складати старі тести на знання або нові — на здібності. Багато школярів із маленьких сіл віддали перевагу другому варіанту. Рік по тому ми провели validation study (дослідження валідності), і з’ясувалося: перші чотири місяці студенти, котрі складали старі тести, навчалися у ВНЗ краще, ніж діти, котрі вступили за новими тестами. А потім 98% здібних дітей випередили своїх товаришів по навчанню. Річ у тім, що перші чотири місяці в університеті повторювали шкільну програму, і перші діти виїжджали на завчених знаннях, проте їхні товариші швидко надолужили пропущене і завдяки своїм здібностям почали дуже швидко опановувати нову програму.

Ідея ability tests є ще досить новою для Європи. Велика Британія сьогодні переходить на таке тестування. Для України ідея є новою, і я не очікую, що най­ближчим часом щось революційно зміниться.

— Як складається тест на здібності, що і як він вимірює?

— Питання тесту дуже «дружні». Там немає страшних формул, завдання взято з життя, вони прості й зрозумілі. Однак для їх виконання потрібно не просто мати базові знання предмета, а й уміти застосувати їх на практиці, у нестандартній ситуації. Для цього потрібно не просто запам’ятати, а зрозуміти суть матеріалу. Ми можемо, наприклад, попросити дитину не розв’язати задачу, а визначити, чи достатньо умов для її розв’язання або яких саме умов достатньо.

Зазвичай тести на здібності складаються з двох основних груп: quantitative reasoning (тест на математичні здібності, але це не чиста математика) і verbal reasoning (мовне мислення). Це два різні тести, їх можна проходити в різні дні. Вони нетривалі, щонайбільше, півтори години кожен. У таких тестах переважають закриті запитання різних видів — їх легше автоматично обробляти, а отже, оцінка буде об’єктивнішою.

Якісний тест на здібності не так просто створити, зазвичай для цього потрібно три-чотири роки роботи фахівців із психометрії та близько 5 млн. дол.

— Один із найсильніших аргументів прихильників тестів на знання — те, що вони дуже мотивують учнів, бодай на рівні старшої школи. Діти розуміють, що їм доведеться складати тести, і старанно вчаться. Якщо ми запровадимо тест на здібності, це може позначитися на їхній мотивації до навчання.

— Ми орієнтуємося на те, щоб діти в школі опанували якнайбільше матеріалу. А навіщо це потрібно, якщо застосувати не можна? Їх повинні навчити навчатися протягом усього життя.

В Америці існують два види тестів: SAT (на здібності) й ACT (на знання). У різних штатах приймають різні тести. Найсильніші університети — Прінстон, Гарвард, Йєль — приймають SAT. Вони стверджують, що дадуть вам усі необхідні знання, аби тільки ви були здатні навчатися. У XXI столітті цінуватиметься не те, наскільки точно ми можемо дати відповідь на завдання, якого нас навчили у школі, а те, як ми можемо розв’язати задачу, якої ніколи не бачили.

Якось я прийшов на співбесіду до комп’ютерної компанії (у той час я писав докторську з теоретичної математики). Роботодавці запитують: «Ти знаєш хоч одну мову програмування?». Я кажу: «Не знаю». Вони принесли грубий том якоюсь хитромудрою мовою, запитують: «Зможеш вивчити?» — «Зможу» — «Скільки тобі потрібно часу?» — «Тиждень» — «О’кей, ми беремо тебе на роботу». З мого CV вони зрозуміли, що я цього не знаю, але здатний швидко навчатися.

— Ви дивитеся з позиції подальшої освіти. Але наскільки цінним є тестування для середньої школи?

— Звичайно, система тестування впливає на середню школу. Так званий backwash effect: навчають того, що перевіряють. Тестування кидає нові виклики вчителям. Наприклад, віднедавна в рамках SAT з’явився твір. Він ніяк не впливає на психометричне прогнозування здібностей. Його впровадили виключно для backwash effect. Виявилося, що мотиваційне есе, яке зазвичай додається до заяви про вступ, більшість дітей крадуть з Інтернету або за них пишуть батьки, бо школа цього не навчила. Але ж ця навичка в житті обов’язково знадобиться.

Проте якщо брати тест як спосіб шкільної атестації — насправді шкільні випускні іспити не такі вже й важливі. Принаймні на рівень підготовки дітей у школі вони не впливають.

— Невже?

— Виходить приблизно таке: уявіть, що я сідаю на літак до Борисполя. Пілот дивиться на прилади й летить приблизно на північ. За дві години бачить аеропорт, сідає, і, незалежно від того, Бориспіль це чи ні, вам доводиться виходити, бо на вас уже чекає інший літак. Так само побудована ваша система освіти: закінчив курс, і, незалежно від того, готовий ти чи не готовий, які в тебе успіхи, ти маєш переходити на наступний етап. Пізно говорити про щось на виході, коли діти вже закінчили школу. Чого навчили, того навчили.

За результатами підсумкового оцінювання можна сказати: шкільні стандарти опановано чи не опановано. Але з яких причин, тест не показує.

У Грузії, Пакистані будується національна система оцінювання прогресу в освіті. Вона оцінить успіхи школярів і дасть рекомендації чиновникам і директорам шкіл, що потрібно робити конкретно, аби поліпшити ситуацію. Моніторинг зазвичай здійснюється в перехідних класах — четвертому, восьмому, випускному. Створюється спеціальний інструмент, що відрізняється від шкільного іспиту: у ньому є і запитання на знання, і соціологічне опитування. Дані зіставляються, і ми можемо побачити, які соціальні чинники впливають на ті або інші показники. Такі системи є в багатьох країнах. В Україні і Росії їх іще немає. Тому атестаційний тест справді сприймається як індикатор стану освіти в країні.

Є така приказка у психометрії: if you want to measure the change, don’t change the measure — якщо хочете виміряти зміни, не змінюйте вимірювач. Оцінювання прогресу в освіті розроблено так, що інструмент не змінюється. А от ваш тест не призначений для моніторингу системи освіти. Порівнювати рівень школи за випускними тестами різних років не зовсім правильно.

Взагалі, гадаю, при вступі вам усе одно не уникнути subject tests — тестів на знання певних предметів. Адже в Україні систему освіти побудовано так, що людина, вступаючи до університету, відразу йде на певну спеціальність. Наприклад, при вступі до медичного університету абітурієнта напевне попросять скласти біологію або хімію. Тож разом із обов’язковим для всіх тестуванням загальних здібностей я б створював предметні тести на запит навчального закладу. У США такого робити не потрібно, тому що в нас можна не обирати спеціальність три роки, просто навчатися в університеті, і за цей час набути необхідних знань й навичок.

— В Україні на тестування винесено 11 предметів. В інших країнах цей перелік вужчий, ширший чи все залежить від університетів?

— Бажано, щоб він був вужчий. Я б радив провести опитування по різних університетах і спеціальностях: які предмети вони хотіли б бачити винесеними на вступні іспити. Потім скласти список і на його основі ухвалювати рішення.

— У нас є рейтингова шкала від 100 до 200 і прохідний бар’єр — 124 бали. Ця цифра має стосунок до психометрії чи це політичне рішення?

— Я намагався з’ясувати, звідки взялася така цифра, але чіткої відповіді не дістав. Насправді прохідний бал — поняття досить умовне. Наприклад, при зарахуванні до американської армії теж складають тест. Якось організація, що створювала цей тест, припустилася невеликої помилки в шкалюванні, і прохідний бал знизився. Це помітили надто пізно, коли вже зарахували рекрутів. Вирішили подивитися, як вони себе покажуть. Показали дуже добре.

— Чи потрібно здійснювати моніторинг в університетах, щоб оцінити, чи добре спрацювало наше тестування?

— Звісно, потрібно перевірити валідність тестів. Як навчається студент, котрий здобув високі бали, які в нього оцінки через рік. Можна вивести середній бал за перший рік навчання.

— У нас у різних університетах різні системи балів: десь п’ятибальна, десь стобальна...

— Говорімо не про абсолютні бали, а про співвідношення: як навчається людина, котра на тестуванні набрала 124 бали, порівняно з людиною, котра набрала 150? А якщо ні та, ні інша не показали успіхів — можливо, тести не працюють?

— Наскільки методологія тестування може бути предметом публічної дискусії?

— Доцільно випускати звіти для різних верств населення. Більш детальний — для фахівців, аби вони могли оцінити технологію й висловити критичні зауваження. Для громадськості, журналістів — звіт, де все пояснюється якомога доступніше. Не потрібно відкривати всі банки тестових завдань, достатньо пояснити логіку. І окремий звіт — для авторитетних людей, до позиції яких стосовно тестування прислухається громадськість.

— Чи має існувати державна монополія на проведення тесту? Чи цим можуть займатися кілька організацій, можливо міжнародних, щоб була змагальність? В Україні обрано такий варіант: один тест, одна державна монополія. Чи доцільно це змінювати, а чи варто залишити як є?

— Це залежить від вашого політичного рішення. У кожного варіанта є переваги й недоліки.

У Нью-Йорку існують внутрішні регіональні іспити. Державні центри, які їх проводять, залежать від бюджету штату, а він порівняно невеликий, відповідно, якість тестів залишає бажати кращого. Щоб поліпшувати тести, потрібні дослідження, нові розробки. Наскільки держава може їх фінансувати?

У вас освіта безплатна, тож і тести не можуть бути платними. Тому приватній тестовій компанії не буде на що існувати. З держбюджету її фінансувати не можна — це означатиме втручання держави. У світовій практиці приватна компанія отримує прибуток, створюючи й адмініструючи тест, укладаючи контракт з університетами й надаючи продукт, що забезпечить їм гарних студентів. Освіта починає працювати як бізнес, сфера послуг.

— Як виміряти успішність вступної кампанії-2008?

— Звісно, не кількістю незадоволених. Треба визнати, що в таких тяжких умовах за рік ви досягли багато чого, зокрема в плані адміністрування. І якщо розглядати ВНО як інструмент боротьби з корупцією, то так, успіх є. Проте боротьба з корупцією — лише побічний ефект тестування. Наступного року всі звикнуть до того, що витоку інформації не відбувається, і дивитимуться переважно на якість тестів. У цьому плані чимало можна поліпшити. Але на це потрібен час, якого у вас досі не було.

У тестах різних країн мені траплялися запитання, на які може відповісти тільки той, хто механічно зазубрив потрібний уривок із підручника. Та якщо дитина починає думати логічно, може дійти висновку, що завдання має кілька рішень або не має взагалі. Схожі питання я бачив і в українських тестах.

— Отже, те, що людина — педагог-професіонал, ще не означає, що вона може підготувати гарні тести?

— Кожен учитель робить дітям контрольні, але завдання для загальнонаціонального тестування — зовсім інше. Тут, як і в журналістиці, потрібне постійне тренування, шліфування певних навичок. Розробник тестів має не лише добре знати свій предмет, а й розуміти основи психометрії, бути чудово ерудованим, вміти викладати складні ідеї простою мовою, чітко й зрозуміло формулювати думки. Він не може повторюватися — треба постійно продукувати нові ідеї. Питання не мають викликати в дитини паніку заплутаністю й неоднозначністю формулювань.

На підготовку фахівця — розробника тестів потрібен рік. Протягом цього часу людина має бути зайнята повний робочий день і перебувати в постійному контакті з колегами-наставниками.

На розробку якісного тесту потрібно два-три роки. На одне гарне, коректне завдання фахівцеві потрібна мінімум година часу. Звісно, якщо написання тестів для вас — випадковий підробіток, а в університеті потрібно відпрацьовувати основну зарплату, ви витратите на тести рівно стільки часу, скільки вдасться викроїти між викладанням і науковою роботою. Якщо ж узяти тестологів на повну ставку, дати їм гідну зарплату, не потрібно буде просити пів-України вигадувати питання. Цілком вистачить шести-семи осіб на кожен предмет.

— Якщо з’явиться група людей, котрі професійно займаються тестами, їх набагато простіше буде вичислити, а оскільки в нас країна дуже корумпована, це знизить конфіденційність.

— Звісно, потрібні заходи безпеки. Наприклад, у списках компанії ETS імена розробників тестів не публікуються.

Досьє «ДТ»:

Марк Зельман, доктор математичних наук, має п’ятнадцятирічний досвід у сфері розробки тестів (SAT, GRE, GMAT) у Прінстоні. З 2004 року співпрацює з American Councils. Пан Зельман є одним із визнаних експертів з дизайну та розробки тестів у США, крім того, він працював у Грузії, Казахстані, Киргизії, Таїланді та Пакистані в програмах розвитку державних систем тестування. Він — талановитий тренер із розробки тестових завдань і професійний консультант у рамках програми USETI.