Дуб на входе — липа на выходе

Министр образования и науки Украины Иван Вакарчук вполне справедливо заметил: «Нам нужно качественное образование, а не фальшивые или «натянутые» оценки знаний студентов». «Относительно закона больших чисел, то есть гаусовского распределения оценок, то он является нерукотворным, а уровень его деформации отражает уровень нашей морали (речь идет как о преподавателях, так и о студентах)», — считает он.

Рассмотрим с этой точки зрения распределение оценок, полученных в прошлом году во время независимого тестирования. «…Заявления о том, что наша школа работает неудовлетворительно, не подтвердились результатами тестирования. Практически по всем предметам только восемь-девять процентов выпускников не преодолели условного проходного барьера, а по математике — только пять процентов. Больше половины учащихся показали результат выше среднего. У относительно большого процента детей — максимальные результаты, что стало для нас определенной неожиданностью», — такой вывод директора УЦОКО профессора Ликарчука мог бы порадовать, но он базируется не на настоящих, а на «деформированных» результатах. Рассмотрим величину деформации при преобразовании реально набранных абитуриентами баллов в шкалу 100—200 на примере математики, потому что по словам Ликарчука можно понять, что учащиеся знают этот предмет лучше всего. Для этого возьмем обнародованную УЦОКО таблицу и прибавим к ней еще одну колонку, в которой запишем количество реальных тестовых баллов (табл.).

Реальные результаты показывают совершенно иную картину. Барьер 124 балла размещен так низко, что абсолютное большинство абитуриентов преодолело бы его, даже наугад поставив крестики. Половина участ­ников тестирования (а это считающие, что знают математику) сумела набрать только восемь и менее баллов из 55 возможных, и только 5,37% правильно решили более половины задач. Точность оценки — удовлетворительная только выше 12 баллов, а такой результат получила лишь треть учащихся. Не удивительно, что во время тестирования по математике в Киево-Могилянской академии результат сертификата подтвердили только 23,22% абитуриентов. Зачем же надо было переводить результаты в какую-то надуманную шкалу, «деформировав» их настолько, чтобы «больше половины учащихся показали результат выше среднего»? Какова вообще роль шкалы от 100 до 200 баллов?

Термометр не виноват, что у больного температура

Обратимся к описанию процедуры оценки и шкалирования, написанного для учащихся и размещенного на странице УЦОКО. Первый аргумент применения этой шкалы: максимальный балл по разным предметам является различным, поэтому результаты нельзя прибавлять или сравнивать. Это надуманная проблема, поскольку нетрудно составить тесты так, чтобы для всех предметов максимальный балл был одинаковым. Второй аргумент: если один тест оказался слишком сложным, а другой — простым, то сравнение становится некорректным. Такой аргумент — это способ избежания ответственности за качество разработанных тестов. Для УЦОКО выделено и время, и средства для апробации тестов, поэтому они должны быть равноценными.

В этом же документе четко записано: «По шкале 100—200 баллов лучшие результаты будут всегда равняться 200 баллам (даже в тех случаях, когда тест был слишком сложным и не было возможности получить все баллы за тест). Участник тестирования, находящийся в середине рейтинговой последовательности участников по тестовым баллам, должен получить 150 баллов, поскольку это число является серединой шкалы 100—200 баллов. УЦОКО выбрал теоретически идеальный тест с распределением баллов участников тестирования по известному Гаусовскому закону, а потом превращает распределение результатов участников тестирования в это идеальное распределение». Распределение баллов по шкале 100—200 баллов всегда одинаково (идеальный, нормальный), независимо ни от сложности задач, ни от реального уровня знаний. Количество участников, получивших менее 124 баллов, количество тех, кто получит максимальный балл, известны заранее. Публиковать результаты в шкале 100—200 баллов, делать на их основании выводы о качестве образования — некорректно, а разговоры о неожиданностях или опасениях являются только свидетельством того, что нас обманывают сознательно. В том, что уровень знаний оказался таким низким, вины УЦОКО нет. Термометр не виноват, что у больного горячка. Но термометр, показывающий всегда нормальную температуру, надо выбросить.

Однако большинство людей поверили заявлениям УЦОКО и поддержали независимое тестирование, потому что большинство всегда поддерживает реформы, дающие ему хотя бы призрачные перспективы. Даже тогда, когда понимает, что так долго продолжаться не может и рано или поздно придется расплачиваться. Большинство людей радовались в несколько раз более высоким, чем в Европе, процентам по банковским депозитам и отдавали деньги. Теперь радуются, что практически все украинские дети получают высшее образование, и платят за него свои или государственные (наши) деньги. Но какое образование? Задачи по математики не были сложными и вполне соответствовали школьной программе. Без знания школьной математики на таком уровне об изучении выс­шей математики не может быть и речи. По результатам оценивания по математике в 12-балльной системе 19,47% выпускников получили 1—3 балла, то есть «неудовлетворительно» по старой системе оценивания, а теперь многие из них получают высшее образование. Учебных планов никто не менял, а количество преподавателей пропорционально количеству студентов. Сделать в таких условиях из школьных двоечников инженеров современного европейского уровня можно только по принципу «дуб на входе — липа на выходе». Последствия этого станут очевидными только через много лет, а сейчас большинство слышит только то, что хочет услышать. О «равном доступе к качественному образованию», о «болонской декларации», по которой наши дипломы будет признавать вся Европа, об огромном образовательном и научном потенциале Украины. Объясняет вместе с властью требовательность профессоров взяточничеством и поддерживает развитие огромной и дорогой системы для отбора своих детей на учебу у этих «жадных» профессоров.

Знание или способность учиться?

Поскольку проверять знания из-за их почти полного отсутствия становится все труднее, МОН и УЦОКО начали готовить тестирование способностей, то есть способности учиться. Это кратко сформулировал идеолог этого направления в Украине Марк Зельман: «Университетам важно не то, сколько формул или дат запомнил человек, а то, насколько он способен учиться». Непонятно, почему способный учиться человек не выучился, чтобы сдать вступительный экзамен. Если для этого были причины, то можно поступить на подготовительное отделение, выучиться и поступать на общих основаниях. Непонятна и точность оценки способности учиться. Но на то г-н Зельман и специалист. Вот как он сам себя представляет: «Как-то я пришел на собеседование в компьютерную компанию (в то время я писал докторскую по теоретической математике). Работодатели спрашивают: «Ты знаешь хотя бы один язык программирования?» Я говорю: «Не знаю». Они принесли толстый том на каком-то заковыристом языке, спрашивают: «Сможешь выучить?» — «Смогу». — «Сколько тебе нужно времени?» — «Неделя». — «О’кей, мы берем тебя на работу». Из моего CV они поняли, что я этого не знаю, но способен быстро учиться». На самом деле таким претендентам указывают на дверь уже после ответа на первый вопрос, а лучшим результатом такого диалога является вежливая фраза: «Ну так приходите через неделю», но Зельману поверили не только работодатели, но и наше министерство, которое уже утвердило его членом группы по разработке концепции тестов на способность учиться.

Такого ранга специалист знает себе цену, тест на способности он оценивает суммой в 5 млн. долл. Если в таком тесте будет 50 заданий, то написание одного задания будет стоить 100 тыс. долл., а результат эффективности теста можно будет проверить через несколько лет. Но проверять ничего не нужно, потому что г-н Зельман уже это сделал. «Мы разработали ability test в Киргизии. Дети могли выбирать: сдавать старые тесты на знание или новые — на способности. Многие школьники из маленьких сел предпочли второй вариант. Через год после этого мы провели validation study (исследование валидности), и выяснилось: первые четыре месяца студенты, сдававшие старые тесты, учились в вузах лучше, чем дети, поступившие по новым тестам. А потом 98% способных детей опередили своих товарищей по учебе», — рассказывает он. Можно бы еще поверить, что успешность обеих групп оказалась одинаковой, но не может быть такого, что среди детей со знаниями оказалось только два процента способных. Можно предусмотреть и последствия зачисления по результатам оценки способности учиться: «Зачем учиться, если способности или есть, или их нет?» Слова «учащиеся должны знать» и «учащиеся должны уметь» можно будет убрать с образовательных стандартов.

Кто против УЦОКО — тот за коррупцию?

Понимаю, что эту статью могут воспринять как «очередную попытку дискредитации УЦОКО», но я совершенно не хотел обвинять специалистов по тестированию в непрофессио­нальности. Тестирование состоялось и, несмотря на ряд просчетов, показало реальный уровень знаний. Как использовать результаты — это уже вопрос политический. Но и говорить, что независимое тестирование — это «одна из наиболее удачных в Украине реформ образования, которая нам удалась», нет оснований. Тест такого качества может подготовить и провести любой квалифицированный учитель. Победой УЦОКО является разве то, что ему удалось поставить себя над образованием. Вместо координации работы педагогов по созданию единой базы тестовых заданий и защищенной от субъективных факторов процедуры тестирования центр оценивания развернул невиданную информационную кампанию дискредитации учителей и преподавателей выс­шей школы под лозунгом «кто против нас — тот за коррупцию». Коррупцию нельзя преодолеть, не устранив факторов, обусловливающих ее процветание. Таких факторов всего два.

Первый — задания вступительных экзаменов были известны небольшому кругу их разработчиков и руководству вузов. Люди, знающие точные варианты вступительных работ, могли сообщить их «нужным» абитуриентам заранее. Те же, у кого был доступ к общей базе заданий, записывались в репетиторы и проходили только тот материал, вопросы по которому есть в базе, что было, в сущности, скрытой коррупцией. УЦОКО решил эти вопросы гениально просто: есть единый вариант теста, мы его знаем, но никому не скажем, потому что мы не коррупционеры.

Второй фактор — фальсификации на этапе проверки работ. Вузам объясняли, что работы шифруются, экзаменаторам не известны фамилии авторов этих работ, пытались сократить время проверки, делали копии экзаменационных работ перед проверкой. Но люди не верили, ибо трудно поверить, что кто-то сам от себя может спрятать нужную информацию. Представители УЦОКО также неоднократно подчеркивали анонимность проверки, шифрование бланков ответов штрих-кодами, но это только бутафория шифровки. Чтобы убедиться в этом, достаточно внимательно прочитать книжечку «Зовнішнє незалежне оцінювання… Інформаційні матеріали». На странице 28 читаем (выделение из оригинала): «Номер стола, за яким Ви працюєте, номер тестового зошита, номери на наліпках із штрих-кодами мають бути ОДНАКОВИМИ. Це дуже важливо!» Далее протокол тестирования с фамилиями учеников и номерами и 15 «анонимных» бланков ответов с такими же номерами запаковывают в один конверт и отправляют на проверку. О каком шифровании идет речь? Ведь работники, вскрывающие этот конверт, знают и фамилии учеников, и правильные ответы, которые к тому времени уже опубликованы. Ничто не мешает им поставить черной ручкой несколько крестиков или воспользоваться местом для исправлений, которое есть в бланке и на момент проверки пустое.

В прошлом году все оценки считали конфиденциальной информацией об учащихся, объясняли это заботами о правах ребенка и принимали специальные меры, чтобы школьные «горе-педагоги» не узнали об оценках, хотя скрывать их от учителя абсурдно. В нынешнем году представления о правах ребенка изменились, но не стали менее абсурдными. За тест ученик получает две оценки. Оценку в 12-балльной системе передают в школу и автоматически записывают в аттестат (хотя она ни на что не влияет), а оценку за тот же тест в шкале 100—200 баллов объявляют конфиденциальной. При этом пытаются объяснить, что это разные оценки, сравнивать их нельзя, и даже рейтинг учащихся в различных системах оценки разный. Зато правила приема большинства вузов позволяют сравнивать оценки абитуриентов, одни из которых сдавали математику, другие — историю, третьи — иностранный язык.

Монополию не поддержали. Что делать?

Правила проведения тестирования, условия зачисления в высшие учебные заведения разрабатывают и утверждают в министерстве. Мы привыкли к этому, и даже не предполагаем, что должно быть иначе. Представьте себе, что, например, в законе о пенсионном обеспечении записано: размер пенсий определяется справедливыми правилами, установленными Министерством труда и социальной политики, а выплату осуществляет уполномоченный орган (пенсионный фонд). А ведь именно в таком русле был написан проект закона Украины «О внесении изменений и дополнений к некоторым законам Украины (относительно внешней независимой оценки знаний)», отклоненный Верховной Радой.

К сожалению, обсуждение основных положений внешней оценки не состоялось, а проголосовали (точнее — не проголосовали) по политическим соображениям. В этом проекте тестирование объявляли внешним, независимым и объективным уже в определении терминов, пытались узаконить монополию на определение уровня знаний и способностей, даже не уточняя, идет речь о творческих способностях будущих журналистов, актеров, архитекторов или об упомянутой выше способности к обучению. В соответствии с этим проектом, порядок и Правила проведения внешнего независимого оценивания, а также условия приема в высшие учебные заведения разрабатывает и утверждает министерство, оно же контролирует их выполнение. Никаких указаний или ограничений относительно формулировки и использования этих правил проект закона не содержал.

Даже странно было читать, что «не могут быть общественными наблюдателями должностные лица органов государственной власти и органов местного самоуправления, педагогические работники учебных заведений системы общего среднего образования». Интересно, почему? Неужто настолько коррумпированы? Читаем дальше: «Объективность внешней независимой оценки обеспечивается… подбором заданий сертификационных работ внешней независимой оценки…, позволяющие всесторонне оценить уровень знаний лица и обеспечить квалифицированный конкурсный отбор лиц для получения высшего образования». А если окажется, что половину абитуриентов нельзя оценить по этим заданиям? Как в 2008 году — по математике, 2007-м — по физике, 2006-м — по истории. Предусмотрена ли ответственность? К сожалению, только для технических работников и самих учащихся.

Не надо делать ни из МОН, ни из УЦОКО «руководящей и направляющей силы» нашего образования, поскольку монополия предоставляет пространство для волюнтаристских решений, продиктованных их авторам рассуждениями высшей справедливости. Нельзя преодолеть коррупцию ни в одной отрасли, передавая те или иные функции контроля «уполномоченным учреждениям», поскольку денежные потоки только изменят направление. Нельзя лишать просвещенцев права оценивать своих учеников, нужно вместе с ними разрабатывать действительно прозрачные технологии тестирования. Критерий объективности тестирования тривиальный: его результат не зависит от того, кто это тестирование проводит.

Люди поверят, что независимое тестирование действительно является независимым, когда право проводить его по разработанной базе заданий и процедуре проведения получат и школы, и вузы, и органы управления образованием. Тогда его и можно будет утвердить законом.

Отклонение парламентом законопроекта о внесении изменений в некоторые законы Украины относительно внешней независимой оценки знаний не ставит его вне закона. Тестирование должно состояться. Надеюсь, без досадных ошибок минувших лет. Но запрет для вузов проводить собственные вступительные экзамены по этим же предметам и по этим же программам нужно отменить. В нынешней конкурсной ситуации большинство вузов не воспользуются правом проводить собственные вступительные экзамены, потому что озабочены тем, как вообще набрать необходимое количество студентов. А те, которые проведут вступительные экзамены, убедятся в объективности результатов УЦОКО. В одиночных случаях расхождений истину надо будет искать в научной дискуссии на основе анализа результатов тестирования в обоих случаях, потому что только такой подход ведет к выработке достоверной системы оценки знаний.

P. S. Прочитав стенограмму рассмотрения законопроекта о внешней оценке в ВР, пришел к выводу, что надо провести тестирование депутатов по языку, основам права, логике и арифметике!