Ми досі нічого не робили в галузі розробки технологій об’єктивного оцінювання знань, кожен навчальний заклад оцінював тільки своїх учнів, студентів чи абітурієнтів і робив це, як умів і як хотів. Принципові педагоги не понижували планки вимог, через що результати в них були низькими. Менш принципові завищували оцінки, аби задобрити учнів і начальство. Дедалі більшало таких, які за свою доброту сподівалися або й вимагали винагороди. В оцінюванні якості знань освіта наблизилася до хаосу, заговорили про корупцію. Із цього погляду діяльність Українського центру оцінювання якості освіти (УЦОЯО) є першим, а тому найважливішим кроком, бо він задає напрям зміни всієї системи оцінювання знань. Саме тому актуальним є аналіз зробленого, а не декларацій про наміри чи моральності екзаменаторів.
Проблема об’єктивного оцінювання не нова, дослідження його методів давно стало окремою галуззю педагогічної науки. У більшості країн світу успішно функціонують державні й приватні установи, для яких оцінювання — основний вид діяльності. Навчальні заклади стали споживачами і контролерами якості цих специфічних послуг, але важко уявити, що американські чи європейські університети можна примусити зарахувати оцінки, якщо вони не впевнені у їх точності. Знадобилися десятиліття важкої, відповідальної роботи, щоб виробити методи оцінювання, щоб на практиці підтвердити освітянам і науковцям точність виставлених оцінок, завоювати їхню довіру. Установа, яка бажає вибороти право оцінювати знання на замовлення окремих навчальних закладів чи уряду, повинна за результатами проведених нею іспитів із цифрами в руках довести, що вміє робити це точніше, дешевше й швидше, ніж інші.
Нам знову бракує часу на науковий аналіз якості, бо треба боротися з корупцією, за рівний доступ і справедливість. Ми ніби забули, що будь-які спроби встановити цю справедливість з допомогою спеціальних органів із надзвичайними повноваженнями завжди призводять спочатку до диктатури цих органів, а потім до корупції всередині них. І знову пішли «своїм шляхом», ухваливши політичне рішення про створення єдиної екзаменуючої установи, доручивши їй одночасно виробляти методику оцінювання, проводити його та контролювати якість власної роботи. Оцінки УЦОЯО оголосили точними та об’єктивними ще до їх отримання.
Зважаючи на активність учителів і викладачів фізики в обговоренні проблем тестування, почнемо з аналізу результатів тестування з цього предмета, проведеного 2007 року.
Результати такі погані, що їх приховують
Хто вчив фізику, мав би пам’ятати, що перед початком будь-якого вимірювання перевіряють, чи показує прилад нуль, коли на його вхід нічого не надходить. Уявімо, що учень Х, абсолютно нічого не знаючи з фізики, прийшов на тестування. Він навіть не читає завдання, а навмання ставить хрестики у бланку відповідей — наприклад, у першій клітинці кожного питання. Тепер візьмімо правильні відповіді й порахуймо, чого насправді варті такі «нульові знання». Х угадав відповіді на шість питань, тобто набрав 6 тестових балів. Згідно з опублікованою шкалою переведення за такий результат йому видали б сертифікат з оцінкою 5 у 12-бальній системі та 136 за шкалою від 100 до 200 балів. Дивно, що такий рівень перевищує встановлений умовами прийому до вищих навчальних закладів мінімум.
Половина юних фізиків, які зголосилися складати цей предмет, отримали 10 і менше тестових балів із 60 можливих. Вгадані бали звалили в одну купу з результатами слабшої половини учнів і десь усередині цієї купи провели «червону риску», за якою залишилися ті, хто не пройшов за конкурсом. За теперішньої конкурсної ситуації на спеціальності, де потрібно складати фізику, Х із «нульовими знаннями» має шанси потрапити навіть на бюджетне навчання. Нероби захоплено сприймають таке тестування і звинувачують у здирництві вчителів, які вимагають на 5 балів бодай якихось знань. Що робитимуть викладачі вищої школи з відібраним у такий спосіб контингентом?
Учні не хочуть учити фізику, але не це є предметом нашого розгляду. Ми намагаємося проаналізувати, чи достовірно працює система оцінювання тих учнів, яких ми маємо, а не тих, про яких мріємо.
У кожному підручнику тестології наголошується, що для отримання достовірних результатів тестові завдання потрібно перевірити на репрезентативній вибірці майбутніх учасників тестування. Аналогічний варіант тесту треба було запропонувати учням з різних типів шкіл, різної успішності, різного соціального походження, різних областей. Для правильно складеного тесту переважна частина учасників тестування повинна набрати приблизно половину від максимальної кількості балів. УЦОЯО, звичайно, бачить низьку якість тестів, але, замість їх удосконалювати, іде шляхом приховування результатів різними способами.
Перший спосіб — оцінки виставляють лише за дивною шкалою від 100 до 200 балів. За тест із фізики максимально можна отримати 60 тестових балів. У сертифікаті виставляють за чистий бланк оцінку 100, за один правильний хрестик — уже 107, за чотири тестові бали — 125, за десять — 149. У перерахованому вигляді середній бал завжди рівний 150, незалежно ні від рівня знань учнів, ні від складності тесту. Працівники вищої школи без опублікованої аж 8 жовтня схеми переведення мали сліпо довіряти сертифікатам.
Вчителі також не знають реальних балів, зате можуть порівняти оцінки сертифікатів із річними, зіставити результати різних учнів. Аби уникнути цього, вигадали спосіб, який, за висловом директора УЦОЯО пана Лікарчука, можна назвати «педагогічним дикунством». Цим терміном пан професор називає спроби вчителів довідатися результати своїх учнів без їхньої згоди. Рівень знань учня відомий учителям та однокласникам краще, ніж будь-кому іншому. Засекречування оцінок веде лише до безвідповідальності учнів і екзаменаторів. «Адже невідомо, як горе-педагоги скористаються такою інформацією», — каже пан Лікарчук і має рацію, бо на основі такої інформації вчителі можуть засумніватися в достовірності тестування, а випускникові, який через тиждень піде в доросле життя, не хочуть і не зможуть зашкодити.
Порівняння технології тестування із вступними іспитами до ВНЗ
Майже такі самі висновки можна зробити про результати з математики, біології, хімії. Тестові завдання надто складні, а за нинішньої поінформованості про результати назвати тестування прозорим дуже важко. Недарма 21 січня цього року (через багатьох років експериментування!) на засіданні круглого столу в комітеті з питань науки і освіти Верховної Ради України зазначалося, що «серед інших проблем першочергового вирішення потребують: організація якісного наукового супроводу розробки тестових завдань, розроблення методології складання тестів, проведення моніторингу результатів оцінювання». Дуже слушно, але все це треба було зробити до законодавчого впровадження зовнішнього оцінювання.
Розробка якісних тестів і прозорої технології знову відкладається на майбутнє, а сьогодні основні зусилля спрямовують на боротьбу з корупцією. Чи справді технологія зовнішнього оцінювання захищена від суб’єктивних чинників? Спробуємо відповісти на це питання, проаналізувавши окремо кожен із чинників, які найчастіше згадують у розмовах про корупцію на вступних іспитах.
1. Завдання вступних іспитів для більшості школярів є надто складними. Без «допомоги» екзаменаторів з ними не впоратися.
На жаль, як ми мали змогу переконатися на прикладах, завдання зовнішнього оцінювання також мають цей недолік.
2. Тільки викладачі ВНЗ знають зміст завдань вступних іспитів. Тому вони не вчать всього матеріалу з предмета, а проводять «репетицію» іспиту за попередньо складеними завданнями. Чим ближчий викладач до розробників завдань — тим кращий він репетитор.
ВНЗ публікують збірники завдань, деякі навіть усю базу, розміщують їх у Інтернеті. До тестування залишилося три місяці, але жодного прикладу тестів з правознавства досі ніде не опубліковано. Але ж ці завдання в УЦОЯО також хтось готує. Очевидна різниця між можливістю отримати бодай несекретну частину бази тестових завдань за півроку до іспиту і можливістю ознайомитися з єдиним опублікованим варіантом, якого гарантовано не буде на іспиті, за місяць до тестування.
Окремо слід сказати про пробне тестування. Якщо провести його за аналогічними за складністю завданнями, то УЦОЯО зможе таким чином провести апробацію, а учні — перевірити свої знання. Але ж тоді учнів оцінюватимуть двічі, чого центр допустити не може, побоюючись отримати різні оцінки. Ось і пропонують проводити пробне тестування або за давно відомими торішніми варіантами, або за варіантами з іншою кількістю завдань.
3. Працівники екзаменаційних комісій ВНЗ повідомляють «своїм» абітурієнтам відповіді на конкретні варіанти завдань безпосередньо перед іспитом.
Щоб уникнути подібних звинувачень, ВНЗ друкують велику кількість варіантів безпосередньо перед іспитом, а абітурієнти вибирають собі один з них. На цьому етапі УЦОЯО сам себе загнав у глухий кут сумнівним твердженням про неможливість створити кілька рівноцінних варіантів тесту, а відтак розробляє єдиний для всіх варіант, який ціною неймовірних зусиль і коштів намагається втримати в секреті. За технологією УЦОЯО, завдання єдиного варіанта мають бути підготовлені, відредаговані, апробовані, відрецензовані експертами, перекладені мовами національних меншин, знову відредаговані, надруковані в сотнях тисяч примірників і доставлені у всі куточки України. Ця робота вимагає багато часу. До того ж є ціла група людей, яка має відповіді на запитання єдиного варіанта задовго до тестування. Якщо викладачі можуть «допомогти» вступити тільки до свого ВНЗ, то втаємничені працівники УЦОЯО — до будь-якого.
4. Екзаменатори підказують «своїм» абітурієнтам на іспиті або заповнюють за них бланки відповідей.
Насправді майже у всіх ВНЗ екзаменаторів для кожної аудиторії обирають жеребкуванням безпосередньо перед іспитом. УЦОЯО теж випадково обирає екзаменаторів, але робить це значно раніше.
5. Під час перевірки робіт екзаменаційні комісії спотворюють результати.
За останні роки зроблено величезний крок до прозорості оцінювання. Багато ВНЗ запровадили системи перевірки, які дають змогу повідомити результати вже за дві-три години. Окремі ВНЗ навіть здійснюють перевірку негайно в аудиторії, у присутності абітурієнтів. Залишається загадкою, чому технологія УЦОЯО, який витратив величезні кошти на обладнання для сканування бланків відповідей, вимагає аж 40 днів на опрацювання результатів.
6. Оцінки вступних іспитів відрізнялися від шкільних. Обурення викликають факти заниження оцінок. Найбільша проблема полягає в тому, що студентами часто ставали слабкі учні.
Дуже шкода, що УЦОЯО пішов тим же шляхом, дозволивши учням тримати в секреті оцінки сертифікатів. В одному з інтерв’ю директор УЦОЯО сказав: «Знаю, що багато учасників тестування своїх сертифікатів у школах так і не показали, хоч здали їх до вищих навчальних закладів і стали студентами». По-перше, якщо власники цих сертифікатів стали студентами, то оцінка була добра. Які обставини могли змусити учня погодитися скласти зайвий випускний іспит, а не зарахувати цю оцінку? По-друге, звідки така обізнаність? Вибачте, але цю фразу можна розуміти й так: ми вам ставимо те, що треба, але в школі не показуйте, бо від шкільних оцінок нічого не залежить.
Висновок, на жаль, невтішний: технологія УЦОЯО захищена від суб’єктивного впливу ще менше, ніж вступні іспити до ВНЗ. Довести конкретні факти порушень неможливо, але цього не можна зробити і в жодному конкретному ВНЗ. Єдина різниця — усе зосереджено в одних руках.
Можливі наслідки впровадження монопольного тестування
По-перше, непродумане впровадження тестування ще більше знизить повагу до вчителя. Адже еталоном оголошують оцінки, точність яких сумнівна, а розбіжності в оцінках безпідставно списують на недобросовісність учителів.
По-друге, на першій же сесії виявляться студенти з «нульовими знаннями». Ніхто не виділить ні часу, ні фінансування на вивчення прогаяного в школі. Відрахувати — зчиниться галас, що дитина успішно пройшла тестування, а вузівські корупціонери знову беруться за своє. Жодної технічної дисципліни без надійної підготовки з математики і фізики навчити неможливо. Є ризик, що така ситуація залишить викладачам єдиний вихід — заплющити очі й поставити за «нульові знання» трійки, а це призведе до імітації вже вищої освіти.
По-третє, учні рано чи пізно зрозуміють, що однакові результати мають відверті нероби і слабкі учні, які сумлінною працею намагалися опанувати бодай основи премудростей шкільної науки. Зрозуміють і перестануть учитися, розраховуючи вгадати щось під час тестування.
По-четверте, оцінки з абсолютної більшості шкільних предметів ніде не враховуються. А де немає контролю, там совість спить. Спробуйте навчити фізики, хімії, географії та інших «непотрібних» предметів, якщо учень бажає бути юристом. Учні вже зараз відверто ігнорують їх вивчення, що призводить до розбалансованості середньої освіти. Молоді люди повинні отримати в школі базові знання з усіх галузей науки, це потрібно не тільки декларувати, а й контролювати.
І останнє, але дуже важливе. Кажуть, що незалежне оцінювання припинить «ганебний вузівський бізнес» під виглядом репетиторства та підготовчих курсів. У репетиторів і на курсах учні за додаткову плату вчаться понад шкільну програму. Натомість сотні закладів нового типу збільшують кількість занять із профільних предметів за рахунок шкільної програми. Чи має шанси випускник сільської школи, якому вчителька історії переказала в дев’ятому класі зміст підручника з основ правознавства, конкурувати з учнем правничого ліцею, де цей предмет читали викладачі юридичного факультету сусіднього університету двічі на тиждень протягом кількох років? Фактично платні фізико-математичні, правничі, гуманітарні, економічні та інші націлені на вивчення конкретних предметів ліцеї і гімназії створюються масово, способів зарахування до них і відрахування ніхто не контролює. Методи, з якими так інтенсивно почали боротися, перекочують до школи і з новою силою постануть на етапі зарахування бакалаврів на подальше навчання.
Перевірка — запорука об’єктивності
Ми змушуємо дітей доводити теореми, проводити досліди з фізики, хімії, біології зовсім не тому, що цього ще ніхто не зробив. Ми вчимо їх, що в науковому світі істинним вважається лише результат, який можуть перевірити інші люди. Сотні красивих на перший погляд теорій не витримали такої перевірки і були відкинуті. Так само чинимо і в повсякденному житті. Навіть на базарі запорукою правильного зважування є наявність контрольної ваги. Саме право на повторну перевірку змушує чесно проводити будь-яке вимірювання, тому споживачі надзвичайно рідко користуються цим правом.
І школи, і вищі навчальні заклади розуміють необхідність створення установи, яка проводитиме оцінювання за єдиними для всіх вимогами та однаковою процедурою. Але, особливо на етапі становлення центру оцінювання, освітяни повинні не лише мати повну інформацію про результати, а й можливість провести власні іспити, аби порівняти результати. Такий підхід дозволив би приймати результати свідомо, а не з примусу. Замість того, щоб проводити на етапі експерименту оцінювання абітурієнтів і у ВНЗ, і в УЦОЯО та порівнювати результати, міністерство встановлює квоти на зарахування, що більше нагадує поділ сфер впливу, ніж створення рівного для всіх доступу до освіти.
Прикро, але ми йдемо шляхом засекречування результатів від шкільних «горе-педагогів» і заборони перевіряти результати оцінювання вузівськими «корупціонерами», навіть не усвідомлюючи, що такий підхід позбавляє сенсу організацію, яка «справедливо» допускає дітей від перших до других.