Что стоит за международными рейтингами университетов, и кому в Украине «проиграли» флагманы нашего высшего образования

Результаты престижного международного рейтинга от ведущей британской газеты Times — Тimes Higher Education (далее — THE) подняли шум в украинской академической среде. И не только потому, что наши вузы вновь не попали в топ-200. Сюрпризом стало самое высокое место Сумского государственного университета, который обогнал и КНУ им. Шевченко, и Львовскую политехнику, и ХНУРЭ, Харьковский и Киевский политехи, ХНУ им. Каразина, ЧНУ им. Юрия Федьковича.

Тайным оружием, которое помогло сумчанам вырваться вперед, стали баллы, полученные за цитирования. Похожая ситуация, когда рейтинги подпрыгивают вверх благодаря цитированию, наблюдается не только в Украине. Так, университеты из Ганы, Вьетнама, Палестины, Египта обогнали по этому показателю в международном рейтинге Оксфорд. 

Среди российских вузов Донской государственный технологический университет обскакал МГУ, РЭУ им. Плеханова, и МФТИ, чьи научные сотрудники работают в международных коллаборациях и имеют авторитет. 

Эти феномены еще ждут тщательного изучения и исследования, но сторонники конспирологических теорий подозревают, что поднять показатели цитирования помогает «самоцитирование» (когда работники одного вуза цитируют друг друга, особенно в научных сборниках к конференциям), размещение публикаций в нетребовательных, но индексированных сборниках к конференциям и аналогичных журналах.

Доподлинно сказать, что повлияло на рейтингирование украинских вузов, сейчас невозможно, поскольку, к сожалению, сайт THE не дает достаточной информации относительно происхождения высоких цитирований. Но это повод поразмышлять о том, зачем нужны рейтинги, и насколько они отражают реальную картину.

Должна честно признать, что я как математик очень не люблю разные рейтинги — в том числе рейтинги университетов. Рейтинги не могут быть объективными, поскольку они зависят от пожеланий составителей. Отбором параметров и коэффициентов можно сделать хорошие места в рейтинге кому угодно. Конечно, чтобы обеспечить доверие людей, никогда не изучавших линейную алгебру, на первых местах должны быть те, кто и без рейтинга считается лидером. Кто же поверит мировому рейтингу университетов, в котором на первых позициях будет значиться неизвестное учреждение без научных достижений?

Сделать такой рейтинг нетрудно (берем в качестве параметров, например, количество победителей местных конкурсов молодых ученых или академиков разных академий, — всегда можно найти достижения и использовать их с высокими коэффициентами как приоритетные для нашего мирового рейтинга). Я здесь специально привожу абсурдные примеры, но с определенным опытом можно создать и почти легитимную картину. Немного сложнее сделать рейтинг, в котором на первых местах будут известные лидеры, а где-то на десятом или на тридцать пятом — никому не известный участник. Здесь уже надо отбирать какие-то аналогичные параметры к существующим у ведущих университетов или сумму параметров (например, сумму количеств нобелевских лауреатов и победителей областного конкурса молодых ученых).

Известные мировые рейтинги университетов хотят доверия серьезных экспертов к своим результатам и поэтому берут в разных комбинациях параметры, которые считаются определяющими для репутации: количество публикаций в индексированных журналах, процент иностранных студентов (потому что иностранные студенты хотят получать образование в вузах с высокой репутацией), оценки экспертов и ведущих мировых компаний-работодателей.

unsplash/wonderlane

Рейтинг учитывает несколько показателей деятельности университетов. По преподаванию и исследованиям ожидаемо лидируют известные Оксфорд—Кембридж—Гарвард—Калтех—Стэнфорд. А вот по другим показателям рейтинг содержит много сюрпризов. Попытаемся разобраться в сути этих показателей. Методика в рейтинге приведена, и есть примечание, что показатели детально откалиброваны (то есть в первых рядах все же должны быть топ-университеты).

Попытаемся проанализировать, за счет чего выиграл СумГУ.

Он намного превышает другие украинские университеты по показателю цитирований — целых 79,9 балла, в то время как в следующей после него по этому показателю Львовской политехнике 69,9, и почти вдесятеро ниже показатель — 8,3 — в КНУТШ.

С цитированиями получается странная история: первые номера в рейтинге по этому показателю вы никогда не угадаете — это Университет Кейп Кост из Ганы, Университет Дюй Тан из Вьетнама и еще девять не очень ведущих университетов с относительно слабыми результатами по преподаванию и исследованиям, за которыми идет Стэнфорд с 99,9.

Самый простой способ достичь таких показателей — проводить много конференций с публикацией работ в индексированных сборниках по малоцитированным отраслям, где более быстрая и лояльная процедура рецензирования, чем в ведущих журналах, и дешевле, чем в журналах со слабыми требованиями, и хорошо цитировать себя и коллег. Я не исследовала конкретные подходы украинских университетов, знаю только о популярности индексированных сборников работ конференций.

Из рейтинга автоматически исключаются университеты с небольшим количеством публикаций в индексированных журналах, те, которые не учат бакалавров, и те, в которых свыше 80% объема исследований проводится только в одной из 11 отраслей, рассматриваемых в рейтинге.

А вот по показателю «преподавание», который тоже входит в общий рейтинг и прибавляет 30% рейтингового балла, на первом месте среди украинских университетов КНУ им. Шевченко — 23,4. В других наших университетах эти показатели приблизительно равные — от 20,0 до 21,7 у Львовской политехники (21,0 в СумГУ). Для сравнения: у первых в этом году Гарварда с Калтехом уровень преподавания — 94,5 и 93,6, цитирование — 99,2 и 97,8 (будто бы и ненамного больше, чем в СумГУ), доход от сотрудничества с индустрией — 48,9 и 90,4, международные связи — 79,8 и 83.8.

Показатель «преподавания» подсчитывается так: 15% балла определяется экспертным опросом относительно репутации; соотношение количества аспирантов и бакалавров дает 2,25% балла, отношение присужденных докторских степеней к общему количеству академического персонала университета — 6%, институционный доход — 2,25%. Составители методики считают, что высокая доля студентов, которые учатся после получения степени бакалавра (магистратура и аспирантура), должна означать высокий уровень преподавания, — что делает университет привлекательным для таких студентов. Этот показатель нормализуется с учетом отраслей, в которых университет готовит студентов. Доход университета корректируется по количеству академического персонала (преподавателей и исследователей) и паритетом покупательной способности страны. Считается, что это хорошо репрезентирует инфраструктуру, доступную для преподавателей и студентов. Высокие результаты по этим показателям не очень достижимы для украинских университетов, даже с нормированием по покупательной способности, и даже в условиях, когда никак не учитывается почти полное отсутствие в наших вузах современного оборудования и новой мировой литературы.

Еще 30% рейтингового балла определяются показателями исследований: 18% — по результатам опроса, 6% — по доходу от исследований, 6% — производительность исследований, то есть количество публикаций в изданиях, проиндексированных базой данных SCOPUS на одного академического работника с учетом отраслей исследований.

unsplash/scienceinhd

Кстати, показатель цитирования так же нормализуется по отраслям исследований и по странам. То есть если ученых определенной страны в целом цитируют очень мало, существующее количество цитирований соответственно увеличивается. Показатели для традиционно высокоцитированных отраслей (например для генетики) уменьшаются, для низкоцитированных (например математики) увеличиваются, — но в опубликованной методике есть только описание общего принципа, без подробных расчетов. Таким образом, высокий показатель цитирований может быть обеспечен большим количеством цитирований в малоцитированных отраслях и в малоцитированной стране. Качество цитирований и журналов не учитывается, самоцитирование и перекрестные цитирования не исключаются.

Международные связи дают 7,5% рейтингового балла.

В этом показателе 2,5% весит доля иностранных студентов. Немного, но в условиях, когда наши университеты приблизительно равны по исследованиям и преподаванию, показатель иностранных студентов помогает вырваться вперед. Следовательно, среди украинских университетов здесь неоспоримо выигрывают те, где есть очень популярные среди иностранцев медицинские факультеты.

Но стандартные параметры, положительно характеризующие ведущие университеты мира, могут иметь совершенно другое трактование в контексте менее ведущих. Высокий процент иностранных студентов в украинских университетах означает не совсем то же, что в условном Стэнфорде. Это же не секрет, что большинство иностранцев приехали к нам изучать медицину потому, что не смогли сдать соответствующие экзамены в своих странах. И потому, что их привлекли низкая цена образования и проживания в стране, возможность получить диплом не очень обучаясь и отсутствие каких-либо требований к поступлению.

Международные связи в СумГУ — 53,1, у следующего по этому показателю ХНУ — 46,0 и 31,3 — в КНУТШ. Доход от сотрудничества с промышленностью у СумГУ — 40,7, у следующего за ним по этому показателю НТУ ХПИ — 36,1, ненамного меньше.

Еще 2,5% дает международный персонал (практически нет во всех наших вузах) и 2,5% — международное сотрудничество (это доля публикаций университета, хотя бы один соавтор которых — иностранец; здесь тоже полезны связи и медицинский факультет, где соавторство часто является результатом предоставления первичных данных).

Доход от сотрудничества с индустрией дает небольшой взнос — всего 2,5% — и также нормируется согласно количеству академического персонала и паритету покупательной способности.

Таким образом, рецепт относительно хороших результатов для украинских университетов — наличие медицинского факультета с иностранными студентами, практически равные с другими показатели преподавания и исследований и относительно высокие показатели цитирований.

Следует ли украинским университетам беспокоиться о рейтингах? На мой взгляд, нет. Показатели, благодаря которым реально продвинуться в рейтинге, не имеют значения для качества обучения и исследований. Требовать от преподавателей какую-либо статью, лишь бы в индексированном издании, — путь к профанации, вред от которой невозможно перекрыть рейтингами, и эти игры рано или поздно будут учитывать составители.

Необходимо развивать качественные исследования, повышать требования к абитуриентам и студентам, качество обучения и доступ к новейшей научной информации. Не следует придавать рейтингам университетов слишком большое значение. Пока что я не вижу для них возможностей попасть хотя бы в топ-300, а места после 500, и тем более после 1000, какие они занимают сейчас, не являются основанием для оценки ведущих университетов.

Многие мероприятия, направленные на усовершенствование учебного процесса и исследований, приведут к значительному ухудшению рейтинговых показателей — например, полная отмена требований к преподавателям публиковать хотя бы слабые статьи, лишь бы в индексированном издании, требований искусственно накручивать цитирования или внедрение надлежащих требований к стартовому уровню иностранных студентов. Но я бы считала приоритетом обеспечивать именно качество — даже в ущерб и так мало релевантным рейтингам. Все эти места в них для украинских вузов не стоят вообще ничего, а стремиться надо к настоящему развитию и изменениям, насколько это возможно.

Больше статей Ирины Егорченко читайте по ссылке.