Независимое тестирование: снова пошли «своим путем»?

Мы до сих пор ничего не делали в области разработки технологий объективного оценивания знаний, каждое учебное заведение оценивало только своих учеников, студентов или абитуриентов и делало это, как умело и как хотело. Принципиальные педагоги не снижали планку требований, поэтому результаты у них были низкими. Менее принципиальные завышали оценки, чтобы задобрить учеников и начальство. Все больше становилось таких, которые за свою доброту надеялись получить вознаграждение или требовали его. В оценке качества знаний образование приблизилось к хаосу, заговорили о коррупции. С этой точки зрения, деятельность Украинского центра оценивания качества образования (УЦОКО) — первый, а потому самый важный шаг, поскольку он задает направление изменению всей системы оценивания знаний. Именно поэтому актуален анализ проделанного, а не деклараций о намерениях или нравственности экзаменаторов.

Проблема объективной оценки не нова, исследование ее методов давно стало отдельной областью педагогической науки. В большинстве стран мира успешно функционируют государственные и частные учреждения, для которых оценка знаний — основной вид деятельности. Учебные заведения стали потребителями и контролерами качества этих специфических услуг, но трудно представить, что американские или европейские университеты можно принудить засчитать оценки, если они не уверены в их точности. Понадобились десятилетия трудной, ответственной работы, чтобы выработать методы оценки, чтобы на практике подтвердить просвещенцам и ученым точность выставленных оценок, завоевать их доверие. Учреждение, желающее завоевать право оценивать знания по заказу отдельных учебных заведений или правительства, должно по результатам проведенных им экзаменов с цифрами в руках доказать, что умеет делать это точнее, дешевле и быстрее других.

Нам снова не хватает времени на научный анализ качества, поскольку нужно бороться с коррупцией, за равный доступ и справедливость. Мы как будто забыли, что любые попытки установить эту справедливость с помощью специальных органов с чрезвычайными полномочиями всегда приводят поначалу к диктатуре этих органов, а потом к коррупции внутри них. И снова пошли «своим путем», утвердив политическое решение о создании единого экзаменующего учреждения, поручив ему одновременно разрабатывать методику оценивания, проводить его и контролировать качество своей же работы. Оценки УЦОКО объявили точными и объективными еще до их получения.

Учитывая активность учителей и преподавателей физики в обсуждении проблем тестирования, начнем с анализа результатов тестирования по этому предмету, проведенного в 2007 году.

Результаты такие плохие, что их скрывают

Кто учил физику, должен помнить, что перед началом любого измерения проверяют, показывает ли прибор нуль, когда на его вход ничего не поступает. Представьте, что ученик Х, абсолютно ничего не зная по физике, пришел на тестирование. Он даже не читает задачу, а наугад ставит крестики в бланке ответов — например, в первой клеточке каждого вопроса. Теперь возьмем правильные ответы и посчитаем, чего на самом деле стоят такие «нулевые знания». Х угадал ответы на шесть вопросов, то есть набрал шесть тестовых баллов. Согласно опубликованной шкале перевода, за такой результат ему выдали бы сертификат с оценкой 5 по 12-балльной системе и 136 по шкале от 100 до 200 баллов. Странно, что такой уровень превышает установленный условиями приема в высшие учебные заведения минимум.

Половина юных физиков, пришедших сдавать этот предмет, получили 10 и меньше тестовых баллов из 60 возможных. Угаданные баллы свалили в одну кучу с результатами более слабой части учеников и где-то внутри этой кучи провели «красную черту», за которой остались те, кто не прошел по конкурсу. При нынешней конкурсной ситуации на специальности, где нужно сдавать физику, Х с «нулевыми знаниями» имеет шансы попасть даже на бюджетное обучение. Бездельники с восторгом воспринимают такое тестирование и обвиняют в вымогательстве учителей, требующих на 5 баллов хотя бы каких-то знаний. Что будут делать преподаватели высшей школы с отобранным таким образом контингентом?

Ученики не хотят учить физику, но не это является предметом нашего рассмотрения. Мы стараемся проанализировать, достоверно ли работает система оценки учеников, которых мы имеем, а не тех, о которых мечтаем.

В каждом учебнике тестологии подчеркивается, что для получения достоверных результатов теста задачи нужно проверить на репрезентативной выборке будущих участников тестирования. Аналогичный вариант теста нужно было предложить ученикам из разных типов школ, разной успеваемости, разного социального происхождения, разных областей. При правильно составленном тесте преобладающая часть участников тестирования должна набрать примерно половину от максимального количества баллов. УЦОКО, конечно, видит низкое качество тестов, но вместо того, чтобы их совершенствовать, скрывает результаты любыми способами.

Первый способ — оценки выставляют только по странной шкале от 100 до 200 баллов. За тест по физике максимально можно получить 60 тестовых баллов. В сертификате выставляют за чистый бланк оценку 100, за один правильный крестик — уже 107, за четыре тестовых балла — 125, за десять — 149. В пересчитанном виде средний балл всегда равен 150, независимо от уровня знаний учеников и сложности теста. Работники высшей школы без опубликованной аж 8 октября схемы перевода должны были слепо доверять сертификатам.

Учителя также не знают реальных баллов, зато могут сравнить оценки сертификатов с годовыми, сопоставить результаты разных учеников. Чтобы избежать этого, придумали способ, который, по высказыванию директора УЦОКО г-на Ликарчука, можно назвать педагогическим дикарством. Этим термином г-н профессор называет попытки учителей узнать результаты своих учеников без их согласия. Уровень знаний ученика известен учителям и одноклассникам лучше, чем кому-либо другому. Засекречивание оценок ведет лишь к безответственности учеников и экзаменаторов. «Ведь неизвестно, как горе-педагоги воспользуются такой информацией», — говорит
г-н Ликарчук, и он прав, поскольку на основе такой информации учителя могут усомниться в достоверности тестирования, а выпускнику, который через неделю пойдет во взрослую жизнь, не хотят и не смогут навредить.

Сравнение технологии тестирования со вступительными экзаменами в вуз

Почти такие же выводы можно сделать о результатах по математике, биологии, химии. Тестовые задания слишком сложные, а при нынешней осведомленности о результатах назвать тестирование прозрачным весьма трудно. Недаром 21 января этого года (через много лет экспериментирования!) на заседании круглого стола в Комитете по вопросам науки и образования Верховной Рады Украины отмечалось, что «среди других проблем первоочередного решения требуют: организация качественного научного сопровождения разработки тестовых заданий, разработка методологии составления тестов, проведение мониторинга результатов оценки». Очень справедливо, но все это нужно было сделать до законодательного внедрения внешнего оценивания.

Разработку качественных тестов и прозрачной технологии снова откладывают на будущее, а сегодня основные усилия направляют на борьбу с коррупцией. Действительно ли технология внешнего оценивания защищена от субъективных факторов? Попробуем ответить на этот вопрос, проанализировав в отдельности каждый из факторов, которые чаще всего вспоминают в разговорах о коррупции на вступительных экзаменах.

1. Задания вступительных экзаменов для большинства школьников слишком сложны. Без «помощи» экзаменаторов с ними не справиться.

К сожалению, как мы имели возможность убедиться на примерах, задания внешнего оценивания также имеют этот недостаток.

2. Только преподаватели вуза знают содержание заданий вступительных экзаменов. Поэтому они не учат всего материала по предмету, а проводят «репетицию» экзамена по предварительно составленными заданиями. Чем ближе преподаватель к разработчикам заданий, тем лучший он репетитор.

Вузы публикуют сборники заданий, некоторые даже всю базу, размещают их в Интернете. До тестирования осталось три месяца, но ни одного примера тестов по правоведению до сих пор нигде не опубликовано. Но ведь эти задания в УЦОКО также кто-то готовит. Очевидно различие между возможностью получить хотя бы несекретную часть базы тестовых заданий за полгода до экзамена и возможностью ознакомиться с единственным опубликованным вариантом, которого гарантированно не будет на экзамене, за месяц до тестирования.

Отдельно следует сказать о пробном тестировании. Если провести его по аналогичным по сложности заданиям, то УЦОКО сможет таким образом провести апробацию, а ученики — проверить свои знания. Но ведь тогда их будут оценивать дважды, чего центр допустить не может, побаиваясь получить разные оценки. Вот и предлагают проводить пробное тестирование или по давно известным прошлогодним вариантам, или по вариантам с другим количеством заданий.

3. Работники экзаменационных комиссий вузов сообщают «своим» абитуриентам ответы на конкретные варианты заданий непосредственно перед экзаменом.

Во избежание таких обвинений, вузы печатают много вариантов непосредственно перед экзаменом, а абитуриенты выбирают себе один из них. На этом этапе УЦОКО сам себя загнал в тупик сомнительным утверждением о невозможности создать несколько равноценных вариантов теста, а потому разрабатывает единый для всех вариант, который ценой невероятных усилий и средств старается удержать в секрете. По технологии УЦОКО, задания единственного варианта должны быть подготовлены, отредактированы, апробированы, отрецензированы экспертами, переведены на языки национальных меньшинств, снова отредактированы, напечатаны в сотнях тысяч экземпляров и доставлены во все уголки Украины. Это требует много времени. К тому же есть группа людей, имеющих ответы на вопросы единственного варианта задолго до тестирования. Если преподаватели могут помочь поступить только в свой вуз, то посвященные работники УЦОКО — в любой.

4. Экзаменаторы подсказывают «своим» абитуриентам на экзамене или заполняют за них бланки ответов.

На самом деле почти во всех вузах экзаменаторов для каждой аудитории выбирают жеребьевкой непосредственно перед экзаменом. УЦОКО тоже случайно выбирает экзаменаторов, но делает это значительно раньше.

5. Во время проверки работ экзаменационные комиссии искажают результаты.

За последние годы сделан огромный шаг к прозрачности оценивания. Много вузов ввели системы проверки, позволяющие сообщить результаты уже за два-три часа. Отдельные вузы даже проверяют немедленно в аудитории, в присутствии абитуриентов. Остается загадкой, почему технология УЦОКО, который израсходовал огромные средства на оборудование для сканирования бланков ответов, требует аж 40 дней на обработку результатов.

6. Оценки вступительных экзаменов отличались от школьных. Возмущают факты занижения оценок. Наибольшая проблема заключается в том, что студентами часто становились слабые ученики.

Очень жаль, что УЦОКО пошел тем же путем, позволив ученикам держать в секрете оценки сертификатов. В одном из интервью директор УЦОКО сказал: «Я знаю, что многие участники тестирования своих сертификатов в школах так и не показали, хотя сдали их в высшие учебные заведения и стали студентами». Во-первых, если владельцы этих сертификатов стали студентами, то оценка была хорошая. Какие обстоятельства могли заставить ученика согласиться сдавать лишний выпускной экзамен, а не засчитать эту оценку? Во-вторых, откуда такая информированность? Простите, но эту фразу можно понимать и так: мы вам ставим то, что нужно, но в школе не показывайте, поскольку от школьных оценок ничего не зависит.

Вывод, к сожалению, неутешительный: технология УЦОКО защищена от субъективного влияния еще меньше, чем вступительные экзамены в вуз. Доказать конкретные факты нарушения невозможно, но этого нельзя сделать и ни в одном конкретном вузе. Единственная разница — все сосредоточено в одних руках.

Возможные последствия внедрения монопольного тестирования

Во-первых, непродуманное внедрение тестирования еще больше снизит уважение к учителю. Ведь эталоном объявляют оценки, точность которых сомнительна, а расхождения в оценках безосновательно списывают на недобросовестность учителей.

Во-вторых, на первой же сессии обнаружатся студенты с «нулевыми знаниями». Никто не выделит ни времени, ни финансирования на изучение упущенного в школе. Отчислить — поднимется шум, что ребенок успешно прошел тестирование, а вузовские коррупционеры снова берутся за свое. Ни одной технической дисциплины без достаточной подготовки по математике и физике научить невозможно. Есть риск, что такая ситуация оставит преподавателям единственный выход — закрыть глаза и поставить за «нулевые знания» тройки, а это уже приведет к имитации высшего образования.

В-третьих, ученики рано или поздно поймут, что одинаковые результаты имеют откровенные бездельники и слабые ученики, которые добросовестным трудом старались овладеть хотя бы основами премудростей школьной науки. Поймут и перестанут учиться, рассчитывая угадать что-то во время тестирования.

В-четвертых, оценки по абсолютному большинству школьных предметов нигде не учитываются. А где нет контроля, там совесть спит. Попробуйте научить физике, химии, географии и другим «ненужным» предметам, если ученик хочет быть юристом. Ученики уже сейчас откровенно игнорируют их изучение, что приводит к разбалансированности среднего образования. Молодые люди должны получить в школе базовые знания по всем областям науки, это нужно не только декларировать, но и контролировать.

И последнее, но очень важное. Говорят, что независимая оценка пресечет «позорный вузовский бизнес» под видом репетиторства и подготовительных курсов. У репетиторов и на курсах ученики за дополнительную плату учатся сверх школьной программы. Зато сотни учреждений нового типа увеличивают количество занятий по профильным предметам за счет школьной программы. Имеет ли шансы выпускник сельской школы, которому учительница истории пересказала в девятом классе содержание учебника по основам правоведения, конкурировать с учеником юридического лицея, где этот предмет читали преподаватели юридического факультета соседнего университета дважды в неделю на протяжении нескольких лет? Фактически платные физико-математические, юридические, гуманитарные, экономические и прочие нацеленные на изучение конкретных предметов лицеи и гимназии создаются массово, способов зачисления в них и отчисления никто не контролирует. Методы, с которыми так интенсивно начали бороться, перекочуют в школу и с новой силой появятся на этапе зачисления бакалавров на дальнейшее обучение.

Проверка — залог объективности

Мы заставляем детей доказывать теоремы, проводить опыты по физике, химии, биологии совсем не потому, что этого еще никто не сделал. Мы учим их, что в научном мире истинным считается лишь результат, который могут проверить другие люди. Сотни красивых, на первый взгляд, теорий не выдержали такой проверки и были отброшены. Так же мы поступаем и в повседневной жизни. Даже на базаре залогом правильного взвешивания является наличие контрольных весов. Именно право на повторную проверку заставляет честно проводить любое измерение, поэтому потребители чрезвычайно редко пользуются этим правом.

И учителя, и преподаватели вузов понимают, что необходимость создать учреждения, которые будет проводить оценивание по единым для всех требованиям и одинаковой процедуре. Но, особенно на этапе становления центра оценивания, просвещенцы должны не только иметь полную информацию о результатах, но и возможность провести свои экзамены, чтобы сравнить результаты. Такой подход позволил бы принимать результаты сознательно, а не по принуждению. Вместо того чтобы проводить на этапе эксперимента оценки абитуриентов и в вузах, и в УЦОКО и сравнивать результаты, министерство устанавливает квоты на зачисление, что больше напоминает раздел сфер влияния, чем создание равного для всех доступа к образованию.

Досадно, но мы идем по пути засекречивания результатов от школьных «горе-педагогов» и запрета проверять результаты оценивания вузовскими «коррупционерами», даже не сознавая, что такой подход лишает смысла организацию, которая «справедливо» допускает детей от первых ко вторым.