Вадим Карандий: "Нельзя маковое зернышко измерить линейкой с сантиметровым делением"

Завершилась основная сессия внешнего независимого оценивания, и это хороший повод поговорить о первых результатах и планах на будущее с директором Украинского центра оценивания качества образования (УЦОКО) Вадимом Карандием.

- Вадим Анатольевич, ко времени нашего разговора предметные комиссии уже установили пороговые баллы по многим предметам. Многие ли абитуриенты не преодолели порог "сдал-не сдал", следовательно, для них вступительная кампания уже закончилась? Говорят, математику не сдал каждый пятый?

- Да. По математике не преодолели порог "сдал-не сдал" 19% участников тестирования, то есть 19 тысяч 773 человека из 106 тысяч 483 человек. Не прошли тест по украинскому языку 14% участников, то есть 46 тысяч 892 человека из 323 тысяч 358 человек. В прошлом году таких было 8%. Возможно, увеличение процента связано с тем, что в этом году ВНО по украинскому языку в обязательном порядке сдавали и выпускники учреждений профессионально-технического образования. Участников стало больше, и прирост произошел не за счет более сильных.

Что касается иностранных языков. Как свидетельствует статистика, в нынешнем году больше стали сдавать английский язык, - он является лидером по приросту участников, по сравнению с другими годами. Очевидно, это связано с тем, что английский стал более затребованным при поступлении.

Более затребованной стала и математика, - в нынешнем году ее сдавали на 5% больше абитуриентов, чем в прошлом году. При этом в прошлом году не преодолели порог 16% участников тестирования по математике, в нынешнем - 19%. То есть прирост участников тестирования по математике произошел за счет слабо подготовленных.

А вот порог по биологии в прошлом году не преодолевали 13% абитуриентов, в нынешнем - всего-навсего 8%. Этот предмет стали меньше выбирать. Почему - без соответствующих исследований сказать трудно, но мне кажется, что здесь сыграло роль решение Министерства здравоохранения об установлении порога в 150 баллов при поступлении на медицинские специальности. То есть тот, кто чувствовал себя "слабаком" в биологии, но раньше надеялся на что-то при поступлении, в этом году просто не рискнул поступать на медицинские специальности, а пошел искать счастье в другой профессии. Однако норма в 150 баллов сыграет злую шутку с теми, кто набирает будущих медиков. Если мы забираем более слабых или создаем условия, чтобы они не пошли на тестирование, тогда и рейтинговая таблица результатов будет иной. В отсутствие "слабаков" слабыми будут считаться хорошо подготовленные участники (они займут последние места в рейтинге на фоне еще лучше подготовленных).

Или, например, в тестировании примут участие слабо подготовленные участники, и даже 150 баллов в таком случае не будут гарантией хороших знаний.

Основная проблема в том, что 150 баллов - это оценка рейтинговая, а не абсолютная, она зависит от результатов всех участников. Надо было привязываться не к рейтинговым баллам, а к какой-нибудь величине, которую можно описать. Например, можно было установить норму "20% самых лучших участников внешнего оценивания по предмету "биология". Чтобы ежегодно медицинские вузы брали 20% лучших. В какой-то год может быть так, что 20% - это 180 проходных баллов, в другой - 150 баллов. Но мы точно отобрали бы лучших.

- Хочу вернуться к тесту по математике. Правда ли, что он был легким, а порог "сдал-не сдал" был близок к порогу слепого угадывания?

- Нет, порог очень отличался от порога слепого угадывания. Что касается теста, то здесь есть несколько точек зрения. Можно сказать, что, с одной стороны, тест оказался довольно сложным, поскольку с хорошим результатом его выполнило небольшое количество участников. Хотя график результатов теста несимметричный, и это не очень хорошо.

С другой стороны, учителя (особенно математики) часто упрекают нас в том, что наши тесты простые, что у нас много легких заданий, нивелирующих изучение математики. Все эти точки зрения имеют право быть, но качество теста можно установить по требованиям программы. Наши тесты ей соответствуют. Кроме того, нельзя маковое зернышко измерить линейкой с сантиметровым делением, и поэтому, если мы видим, что у нас большинство выпускников плохо знают математику, мы наполняем тесты простыми заданиями, чтобы хоть как-то разделить поступающих и не просто показать, что они плохо или хорошо знают предмет, а продемонстрировать, насколько плохо или хорошо. Это дифференцирующая способность теста.

- Основная сессия ВНО прошла спокойно, без скандалов, если не принимать во внимание ситуацию с аудированием на тесте по английскому.

-Я не относил бы в категорию скандалов ситуацию с тестом по английскому языку. Здесь есть несколько аспектов, и о них надо четко говорить, поскольку психологическое напряжение все же было. Несмотря на то, что мы готовились, проводили пробное ВНО по английскому, где проблем не было.

Следует согласиться с тем, что аудирование как форма учебной деятельности в школах не очень часто используется. Разве что изредка как форма контроля. И к тому же учителя, проводящие аудирование на уроках, обычно стараются чеканить каждое слово. Во многих случаях их разговорный язык отличается от повседневного разговорного языка носителей. Учащихся надо тренировать воспринимать звук из технических устройств в реальных классных комнатах, там, где они в дальнейшем будут проходить внешнее независимое оценивание. То есть нужно сделать все, чтобы помочь им преодолеть во время тестирования психологический дискомфорт.

После пробного оценивания мы получили много замечаний относительно того, что у нас аудиофайлы были записаны на английском с украинским акцентом. Действительно, все, кто участвовал в записи аудиодисков для пробного оценивания, были украинцами. А уже на основном тестировании для озвучивания текстов мы привлекли частично и носителей языка (50 на 50 с украинцами). Во время начитывания текстов они говорили так, как общаются в повседневной жизни. Этих людей отбирали, в том числе, по категории профессиональной деятельности и образованию: это были журналисты-иностранцы с филологическим или журналистским образованием.

- А как насчет качества техники? Вас упрекают в том, что именно УЦОКО должен был бы побеспокоиться, чтобы во всех пунктах тестирования по всей стране были одинаково качественные технические условия для проведения аудирования.

- Дело в том, что техника, которую использовали во время тестирования по английскому языку, не принадлежит УЦОКО. Мы просто не можем иметь ее на своем балансе. По некоторым причинам. Первая - поскольку ее очень много (представьте, для всей страны, для разных регионов), и ее элементарно невозможно будет контролировать как следует. И вторая причина - если бы УЦОКО и имел такую технику, он бы ее использовал только раз в год на полчаса. Лучше сделать так, чтобы техника для аудирования была частью учебного процесса в школах и использовалась там регулярно. Поэтому Кабинет министров своим распоряжением от 17 декабря 2017 года передал 17,5 миллиона гривен (это средства, оставшиеся по образовательным субвенциям) на определенные потребности, в том числе на закупку аудиотехники. Они распределены между всеми областями в соответствии с ожидаемым количеством аудиторий, в которых должно проходить внешнее независимое оценивание по английскому языку.

Мы не можем проконтролировать качество техники в каждой аудитории, как и не можем проконтролировать там освещенность, температуру воздуха и другие санитарные характеристики. Это не наша техника, не наши помещения. Но есть стандарты, и местные органы власти должны их придерживаться, предоставляя аудитории для тестирования. И они должны быть заинтересованы в этом, поскольку хорошие условия являются залогом успешных результатов.

Когда мы выясняли, есть ли проблемы в аудировании, то анализировали множество данных, в частности и средний балл по аудированию в каждой области.

Оказалось, что на первом месте - Киев, на втором - Черновицкая область. При этом мы получили обращение постоянной комиссии Черновицкой областной рады: нас просят аннулировать результаты аудирования. Думаю, авторы обращения просто поддались общей панике. Еще один пример. В социальных сетях довольно активной была одна мама, недовольная качеством проведения аудирования. Интересно то, что она оказалась одним из руководителей города, который должен был бы отвечать за подготовительные мероприятия к ВНО. Почему же город спокойно отнесся к тому, что не были обеспечены все необходимые условия для проведения аудирования? Это вопрос о том, насколько готова наша страна к децентрализации.

- Много апелляций поступило на результаты тестирования по английскому языку?

- После завершения тестирования по английскому сначала было тихо. Потом, где-то через час, начались отдельные звонки и обмен информацией в сетях. Тестирование состоялось в пятницу, но мы решили не тянуть время до следующего рабочего дня, как это прописано в нормативных документах, а объявили правильные ответы в тот же день вечером. Вот после этого произошел взрыв жалоб: многие подумали, что они не набирают достаточного количества баллов и следует попробовать жаловаться. Некоторые участники тестирования подавали апелляции через несколько часов или дней после его завершения, но эти апелляции не могли быть рассмотрены, поскольку, по правилам, рассматриваются только заявления, составленные до выхода из пункта тестирования. Только в этом случае можно установить ход событий.

Должен сказать, что официальных апелляций было немного - 65 (при том, что английский язык сдавали 84 тысячи человек). Большинство из них были оценочного характера (люди просто жаловались на качество звука). В бланке заявления есть графа, в которой надо указать, хочет ли поступающий еще раз пересдать тест. Такое желание высказали только четверо жалобщиков. После тщательного анализа были удовлетворены три жалобы.

В целом же наш анализ показал, что участники тестирования, которые были успешными во всем тесте, так же были успешными и в аудировании. То есть не было тех, кто "провалился" именно на аудировании.

Вместе с тем мы понимаем, что тот вариант теста по иностранному языку, который проведен сегодня, не идеальный. Есть определенные моменты, на которых нам придется еще заострять внимание. Но этот тест поднял большой пласт вопросов: аудирование в учебном процессе; соответствие помещений акустическим требованиям; ответственность не только за себя, но и за тех, кто вокруг тебя (я говорю о руководителях, особенно руководителях регионов). Отдельные наши руководители ежегодно ищут, как бы сделать так, чтобы их регионы поднялись в рейтинге по результатам ВНО. Дело в том, что есть методика Кабинета министров по оцениванию региона, где в частности учитывается и процент выпускников школ, сдавших ВНО на 160–200 баллов. Не нужно искать способы изменить методику и пересчитать рейтинг. Надо просто создать надлежащие условия для обучения и независимого оценивания, тогда будет результат.

- Как сдали весь тест по английскому языку?

- Хорошо. График распределения результатов близок к нормальному с небольшой правосторонней асимметрией (преобладают лучшие результаты).

Тест состоял из нескольких частей: аудирования, чтения, письма и применения языка. Аудирование оказалось самым легким, результаты по нему самые лучшие. Некоторые жаловались, что сидели далеко от аудиоустройства, и это мешало. Мы сделали распределение результатов тестирования по местам: все 15 графиков (в аудиториях было по 15 человек) идут фактически одной лентой, то есть отличий нет.

Хорошо справились с задачами по чтению. Надо было прочитать текст и дать ответ на вопрос. Неплохо выполнили задачи из раздела "использование языка". Это правила правописания, употребление языковых конструкций и тому подобное. А результаты выполнения части "письмо" намного хуже: свыше 19 тысяч участников (из 84 тысяч тех, кто сдавал тест) получили ноль баллов в этой части теста. Надо было написать высказывание (письмо) на заданную тему.

- Еще одна относительно "горячая" точка нынешнего ВНО - тест по истории. Было несколько спорных заданий.

- Да, по поводу двух заданий шли дискуссии. В одном речь идет о событиях конца ХІХ века, но это задание стоит в части "ХХ век", что, по мнению многих, сбило с толку участников тестирования, поскольку все искали ответ в XX веке. На такие замечания мы отвечаем: деятельность лица, о котором идет речь в задании, приходится как на ХІХ, так и на ХХ век. Работы, написанные этим человеком, повлияли на ход событий в ХХ веке.

Второе задание - о Будапештском меморандуме. Был предложен отрывок из него и ряд вопросов: что это за документ, кто его подписал, что он предусматривает и тому подобное. Нас упрекают: в программе ВНО отдельной строкой не прописано, что учащиеся должны знать Будапештский меморандум. Да, но в программе указано, что участники тестирования должны ориентироваться в событиях современности. Для Украины - это событие современности, более того, - это одна из причин событий, происходящих сегодня. Кто учит историю, тот должен это знать и уметь анализировать документ, это одна из важных компетентностей учащихся. В отрывке из текста Будапештского меморандума были все основные элементы для того, чтобы понять, о чем он, и что это за документ.

- Планируются ли в следующем году какие-то нововведения во ВНО?

- Думаю, об этом еще рано говорить. Надо проанализировать нынешний год, а уже потом готовиться к следующему. В целом главная наша задача не в том, чтобы из года в год вносить изменения во ВНО (оно должно быть более или менее стабильным). Нужно думать над концепцией развития внешнего оценивания. Есть закон "Об образовании", в нем четко написано, что ВНО должно проводиться после каждого этапа получения образования: начальная школа, основная и старшая. Надо думать, что у нас изменится в старшей профильной школе - должны ли мы иметь два разных теста по каждому предмету (для профильной школы и для того, кто изучает его на уровне стандарта) или один? На сегодняшний день государственную итоговую аттестацию в тесте по иностранным языкам мы определяем по двум уровням: для школ с углубленным изучением и для школ, изучающих иностранный на уровне стандарта. Но тогда надо думать, как зачислять результаты ВНО при поступлении в высшие учебные заведения.

Существует также проблема тестовых заданий. Задания закрытого формата (когда просто надо поставить крестик) оказывают мощное негативное влияние на организацию обучения в школе. Учителя теряют наработки, направленные на то, чтобы научить учеников методу решения. Поскольку способ и метод решения на сегодняшний день в тесте не оценивается, а оценивается только конечный результат. Поэтому надо увеличивать в тестах ВНО количество открытых заданий. А для этого нужны деньги.

Кроме того, необходимо повышать культуру педагогических работников, больше им доверять, а также перестать ранжировать их по рейтингам ВНО. Эти рейтинги загоняют многих учителей в ракушку, и они начинают просто воссоздавать информацию, тренируя к тестам, не внося своего, поскольку с них спросят потом за результаты ВНО.

Еще одно проявление влияния ВНО на школу заключается в том, что часто учителя увлекаются тестом для проверки знаний. Лично мое мнение, не как директора центра, а как педагога: в учебном процессе надо применять различные формы контроля, не только тесты, но и открытые задания. Мы же часто все сводим к механической тестовой модели оценивания, а она отучает детей выносить собственные суждения, решать, обосновывать, зато приучает просто стараться найти правильный ответ. Тест эффективно работает как инструмент измерения, это правда, но им не должна быть перенасыщена школьная жизнь.

- Уже несколько лет УЦОКО обнародывает анализ результатов ВНО. Данные общедоступны, и на их основе можно делать аналитику. В этом году тоже так будет?

-Да, в августе обнародуем отчеты. Обнародываем открытые данные результатов тестирования, то есть скрываем имя участника тестирования, но даем общую характеристику: мальчик-девочка, год рождения, регион происхождения, в какой школе учился, выпускник какого года, на какие предметы регистрировался, в каком пункте проходил тестирование, какие результаты получил, в общем, даем полную разверстку. Так мы делаем с 2016-го года. В прошлом году мы создали новую возможность для анализа результатов ВНО для учителей и руководителей школ: загружали данные по их школе, давали анализ результатов выполнения того или иного задания выпускниками конкретно этой школы, но без персональных данных. То есть учителя не смогут увидеть, кто как выполнял задание, но будут видеть общую картину по школе, классу, и не только (поскольку мы также загружаем данные, как это задание выполнили в стране и регионе). Это полезная информация для педагогических работников. Результаты ВНО могут положительно сказаться на образовательном процессе в школе, если их своевременно и правильно проанализировать и сделать выводы.