Не путайте арбуз со смородиной

Только что завершилась вступительная кампания-2020, обнародованы первые данные. В частности и результаты ВНО. И, как и каждый год, едва Украинский центр ВНО делает достоянием гласности свою базу данных, разные издания начинают публиковать рейтинги школ. Кто-то радуется, потому что знакомая школа попала на высшие места рейтинга, а кто-то возмущается, потому что не нашел свое заведение ни в топ-10, ни в топ-100. Украинский центр оценивания качества образования не поддерживает создание рейтингов по результатам ВНО, и вот несколько причин такой позиции.

Во-первых, ВНО — инструмент, предназначенный для определения лучших абитуриентов, а не учебных заведений. То есть разработан не для рейтингования учебных заведений. И все знают, что каждый инструмент используют лишь для того, для чего он предназначен. Только таким способом вы можете гарантировать его эффективность. Так, ткань, которую производитель предлагает использовать для шитья летних платьев, совсем не годится при изготовлении парашютов. Результаты ВНО позволяют лучше прогнозировать успешность студента в заведении высшего образования, о чем свидетельствует значение показателей прогностической валидности, но никаких исследований «адекватности» тех или иных рейтингов учебных заведений по результатам ВНО нет.

Во-вторых, ВНО не является обязательным, а перечень предметов ВНО поступающий определяет индивидуально в зависимости от личных карьерных планов и возможностей. То есть в рейтинг, который кто-то пытается построить, сразу закладываются системные недостатки. Например, студенты профессионально-технических учебных заведений часто не планируют поступать в заведения высшего образования, когда сдают государственную итоговую аттестацию (ГИА) в форме ВНО. Соответственно, они могут сознательно получать более низкие результаты ВНО, потому что просто не намерены выполнять те задачи, которые не являются составляющими ГИА. Странно также сравнивать успешность участников ВНО по химии (около 14 тыс.) с успешностью участников, выполняющих тест по истории Украины (свыше 100 тыс.). Напомню, что для определения результата ВНО по шкале 100‒200 баллов используется рейтинговый подход. Это означает, что, ранжируя школы по результатам ВНО, мы в один рейтинг включаем рейтинги участников ВНО по разным учебным дисциплинам. Это похоже на то, как если бы мы, например, хотели рассортировать ягоды по размеру и сначала отсортировали бы всю смородину, потом сделали то же с арбузами, а потом объединили эти два вида ягод в один, где самая большая ягода смородины имела бы такую же позицию, как и самая большая ягода арбуза, и считали бы при этом, что одна ягода смородины эквивалентна ягоде арбуза.

В-третьих, разные авторы рейтингов предлагают совсем разные модели для сравнения. Так, популярными являются модели по «средним результатам», вместе с тем каждая из этих моделей даст разные результаты рейтинга.

Выбирая разные критерии для рейтингования учебных заведений, мы будем иметь совсем другие рейтинговые списки. Такое несогласование подходов к созданию рейтингов предопределяет то, что профессиональный математик может задать правило рейтингования так, что в результате какое-то учебное заведение может оказаться в рейтинге как на первом месте, так и где-то в конце списка.

Также непонятно, какой результат считать лучшим — тот, где все выпускники заведения преодолели порог, или тот, где половина участников вообще не преодолела порог, а остальные — имеют высокие результаты.

Кроме правила, определяющего рейтинговый список, важно также договориться о том, учитывать или не учитывать некоторые учебные заведения в списке. Например, если изъять из рейтинга заведения, где ВНО сдавали менее 10‒15 человек, это может существенно менять картину, ведь вес каждого результата в крупном и малом учебных заведениях разный. Например, в крупном учебном заведении ВНО сдавали 300 участников, а в совсем маленьком — десять. Можно ли их сравнивать? Вряд ли. Во второй ситуации важны результаты каждого участника: любой особый результат существенно повлияет на общие показатели (одного «олимпиадника» или того, кто не достиг порога сдал/не сдал, достаточно, чтобы общий рейтинг заведения был хорошим или плохим). В первой ситуации, то есть когда речь идет о заведении с большим количеством участников, важна общая тенденция, а результаты отдельных учеников не будут иметь определяющего веса.

В-четвертых, в Украине на сегодняшний день нет системы, позволяющей подробно изучить и учесть во время рейтингования предпосылки обучения в том или ином учебном заведении. Мы не можем сказать, какие именно дошкольники пришли в это заведение 11 лет назад (умели ли они читать, писать, считать, насколько важно обучение для их семей, какие ресурсы родители вкладывали в образование своих детей и т.п.). Мы также не знаем, какие условия были в учебном заведении (уровень профессиональной подготовки учителей, наличие технического обеспечения и т.п.). Мы часто не учитываем таких важных факторов как отбор детей в учебные заведения (когда зачисление в определенное заведение происходит после тестирования). Фактически мы не знаем, что именно определяет тот или иной результат учеников, и в одном рейтинге сравниваем «олимпийских чемпионов» со «спортсменами-любителями».

В-пятых, несмотря на то, что многие страны мира создают и демонстрируют рейтинги учебных заведений (например, США, Великобритания), ученые утверждают, что эта практика вредна. Так, в исследовании «Измерение успеха: рейтинги в государственном секторе» Б. Фоли и Х. Голдстейн (Beth Foley, Harvey Goldstein. Measuring success: league tables in the public sector) убедительно демонстрируют возможные негативные последствия от рейтингования учебных заведений на основе показателей академической успешности. Одним из аргументов, которые они приводят, является то, что потенциально невысокие места в рейтинге всегда будут занимать заведения, где обучаются представители малообеспеченных социальных слоев населения, а это фактически может привести к обострению сегрегации между учебными заведениями. Такой подход может обусловить появление «замкнутого круга»: некоторые учебные заведения всегда будут плестись в конце, поскольку туда поступают потенциально более слабые ученики. Следует указать, что в PISA-2018 мы увидели небольшие различия в достижениях учеников в пределах учебных заведений и вместе с тем высокие — между учебными заведениями. То есть проблема с сегрегацией у нас в стране уже есть, и разными рейтингами мы ее будем лишь усиливать.

Очевидно, что рейтинги создавались всегда, создаются сейчас, и иногда будут появляться в дальнейшем, ведь огромные массивы данных Украинского центра не могут не стимулировать исследователей, а родители, школьники, да и сами педагоги нуждаются в каких-то маркерах качества образовательных услуг. В такой ситуации каждому, кто обращается к рейтингам, важно учитывать, насколько адекватна, четка и прозрачна методика определения рейтингового места учебного заведения, можно ли ее повторить и получить такой же результат. Кроме того, обращаясь к рейтингам, всегда нужно помнить об их ограниченности и не стараться использовать их в принятии политических решений на местах. В медицине есть важное правило: «Не навреди». В образовании его тоже следует учитывать и не заставлять руководителей учебных заведений замещать образовательный процесс борьбой за высокое рейтинговое место.