Що ховається за міжнародними рейтингами університетів, і кому в Україні «програли» флагмани нашої вищої освіти

Результати престижного міжнародного рейтингу від провідної британської газети Times – Тimes Higher Education (далі – THE) зчинили галас в українському академічному середовищі. І не лише тому, що наші виші знову не потрапили до топ-200. Сюрпризом стало найвище місце Сумського державного університету, який обігнав і КНУ ім. Шевченка, і Львівську політехніку, і ХНУРЕ, Харківський і Київський політехи, ХНУ ім. Каразіна, ЧНУ ім. Юрія Федьковича.

Таємною зброєю, що допомогла сумчанам вирватися вперед, стали бали, отримані за цитування. Схожа ситуація, коли рейтинги підстрибують угору завдяки цитуванню, спостерігається не лише в Україні. Так, університети з Гани, В'єтнаму, Палестини, Єгипту обігнали за цим показником у міжнародному рейтингу Оксфорд. 

Серед російських вишів Донський державний технологічний університет обскакав МДУ, РЕУ ім. Плеханова, і МФТІ, чиї науковці працюють у міжнародних колабораціях і мають авторитет. 

Ці феномени ще чекають ретельного вивчення та дослідження, але прибічники конспірологічних теорій підозрюють, що підняти показники цитування допомагає «самоцитування» (коли працівники одного вишу цитують один одного, особливо в наукових збірниках до конференцій), розміщення публікацій у невимогливих, але індексованих збірниках до конференцій та аналогічних журналах.

Достеменно сказати, що вплинуло на рейтингування українських вишів, зараз неможливо, оскільки, на жаль, сайт THE не дає достатньої інформації щодо походження  високих цитувань. Але це привід поміркувати над тим, навіщо потрібні рейтинги і наскільки вони відбивають реальну картину.

Мушу чесно визнати, що я як математик дуже не люблю різних рейтингів — у тому числі рейтингів університетів. Рейтинги не можуть бути об'єктивними,  бо вони залежать від побажань упорядників. Добором параметрів і коефіцієнтів можна зробити хороші місця в рейтингу кому-завгодно. Звісно, щоб забезпечити довіру людей, котрі ніколи не вивчали лінійної алгебри, на перших місцях мають бути ті, хто і без рейтингу вважається лідером. Хто ж повірить світовому рейтингу університетів, у якому на перших позиціях значитиметься невідомий заклад без наукових здобутків?

Зробити такий рейтинг неважко (беремо за параметри, наприклад, кількість переможців місцевих конкурсів молодих вчених чи академіків різних академій, — завжди можна знайти здобутки й використати їх із високими коефіцієнтами як пріоритетні для нашого світового рейтингу). Я тут спеціально наводжу абсурдні приклади,  але з певним досвідом можна створити і майже легітимну картину. Трішки складніше зробити рейтинг, у якому на перших місцях будуть відомі лідери,  а десь на десятому чи на тридцять п′ятому — нікому не відомий учасник. Тут уже треба добирати якісь аналогічні параметри до наявних у провідних університетів або суму параметрів (наприклад, суму кількостей нобелівських лауреатів і переможців обласного конкурсу молодих науковців).

Відомі світові рейтинги університетів хочуть довіри серйозних експертів до своїх результатів і тому беруть у різних комбінаціях параметри, які вважаються визначальними для репутації: кількість публікацій в індексованих журналах, відсоток іноземних студентів (бо іноземні студенти хочуть здобувати освіту в закладах із високою репутацією), оцінки експертів та провідних світових компаній-роботодавців.

unsplash/wonderlane

Рейтинг враховує кілька показників діяльності університетів. За викладанням і дослідженнями очікувано лідирують відомі Оксфорд—Кембридж—Гарвард—Калтех—Стенфорд. А ось за іншими показниками рейтинг містить багато сюрпризів. Спробуємо розібратись у суті цих показників. Методика в рейтингу наведена, і є примітка, що показники детально відкалібровані (тобто в перших рядах таки мають бути топ-університети).

Спробуємо проаналізувати, за рахунок чого виграв СумДУ.

Він дуже переважає інші українські університети за показником цитувань — аж 79,9 бала, тоді як у наступної після нього за цим показником Львівської політехніки 69,9 і майже вдесятеро нижчий показник — 8,3 — у КНУТШ.

З цитуваннями виходить дивна історія:  перших номерів у рейтингу за цим показником ви ніколи не вгадаєте — це Університет Кейп Кост з Гани, Університет Дюй Тан з В'єтнаму і ще 9 не дуже провідних університетів із відносно слабкими результатами щодо викладання та досліджень, за якими йде Стенфорд із 99,9.

Найпростіший спосіб досягти таких показників — проводити багато конференцій із публікацією праць в індексованих збірниках із малоцитованих галузей, де швидша й лояльніша процедура рецензування, ніж у провідних журналах, і дешевше, ніж у журналах зі слабкими вимогами, та добре цитувати себе й колег. Я не досліджувала конкретних підходів українських університетів, знаю тільки про популярність індексованих збірників праць конференцій.

З рейтингу автоматично виключаються університети з малою кількістю публікацій в індексованих журналах, ті, які не навчають бакалаврів, та ті, в яких понад 80% обсягу досліджень проводиться тільки в одній із 11 галузей, що розглядаються в рейтингу.

А ось за показником «викладання», який теж входить до загального рейтингу і додає 30% рейтингового бала, на першому місці серед українських університетів КНУ ім. Шевченка — 23,4. В інших наших університетів ці показники приблизно рівні — від 21,7 до 20,0 у Львівської політехніки (21,0 у СДУ). Для порівняння: у перших цього року Гарварду з Калтехом рівень викладання — 94,5 та 93,6, цитування — 99,2 та 97,8 (наче й не набагато більше, ніж у СДУ), дохід від співпраці з індустрією — 48,9 та 90,4, міжнародні зв'язки — 79,8 та 83.8.

Показник «викладання» підраховується так: 15% бала визначається експертним опитуванням щодо репутації; співвідношення кількості аспірантів і бакалаврів дає 2,25% бала, відношення присуджених докторських ступенів до загальної кількості академічного персоналу університету — 6%, інституційний дохід — 2,25%. Упорядники методики вважають, що висока частка студентів, які навчаються після отримання ступеня бакалавра (магістратура й аспірантура), має означати високий рівень викладання — що робить університет привабливим для таких студентів. Цей показник нормалізується з урахуванням галузей, у яких університет готує студентів. Дохід університету коригується за кількістю академічного персоналу (викладачів та дослідників) і паритетом купівельної спроможності країни. Вважається, що це добре репрезентує інфраструктуру, яка доступна для викладачів і студентів. Високі результати за цими показниками не дуже досяжні для українських університетів, навіть із нормуванням за купівельною спроможністю, і навіть в умовах, коли ніяк не враховується майже повна відсутність у наших ЗВО сучасного обладнання та нової світової літератури.

Ще 30% рейтингового бала визначаються показниками досліджень: 18% — за результатами опитування, 6% — за доходом від досліджень, 6% — продуктивність досліджень, тобто кількість публікацій у виданнях, які індексуються базою даних SCOPUS, на одного академічного працівника, з урахуванням галузей досліджень.

unsplash/scienceinhd

До речі, показник цитування так само нормалізується за галузями досліджень і за країнами. Тобто якщо науковців певної країни загалом цитують дуже мало, наявна кількість цитувань, відповідно, збільшується. Показники для традиційно високоцитованих галузей (наприклад, для генетики) зменшуються, для низькоцитованих (наприклад, математики) збільшуються — але в опублікованій методиці є лише опис загального принципу, без докладних розрахунків. Таким чином, високий показник цитувань може бути забезпечений великою кількістю цитувань у малоцитованих галузях та в малоцитованій країні. Якість цитувань і журналів не враховується, самоцитування та перехресні цитування не виключаються.

Міжнародні зв'язки дають 7,5% рейтингового бала.

У цьому показнику 2,5% важить частка іноземних студентів. Небагато, але в умовах, коли наші університети приблизно рівні за дослідженнями та викладанням, показник іноземних студентів допомагає вирватися вперед. Отже, серед українських університетів тут незаперечно виграють ті, котрі мають найпопулярніші серед іноземців медичні факультети.

Проте стандартні параметри, які позитивно характеризують провідні університети світу, можуть мати зовсім інакше трактування в контексті менш провідних. Високий відсоток іноземних студентів в українських університетах означає не зовсім те саме, що в умовному Стенфорді. Це ж не секрет, що більшість іноземців приїхали до нас вивчати медицину тому, що не змогли скласти відповідних іспитів у своїх країнах. І тому, що їх привабили низька ціна освіти й мешкання у країні, можливість отримати диплом не дуже навчаючись та відсутність будь-яких вимог до вступу.

Міжнародні зв'язки у СДУ — 53,1, в наступного за цим показником ХНУ — 46,0 і 31,3 — у КНУТШ. Дохід від співпраці з промисловістю у СДУ — 40,7, у наступного за ним за цим показником НТУ ХПІ — 36,1, не набагато менше.

Ще 2,5% дає міжнародний персонал (практично немає в усіх наших вишах) та 2,5% — міжнародне співробітництво (це частка публікацій університету, бодай один співавтор яких — іноземець; тут теж корисні зв'язки та медичний факультет, де співавторство часто є результатом надання первинних даних).

Дохід від співпраці з індустрією дає невеликий внесок — усього 2,5%, і також нормується  відповідно до кількості академічного персоналу та паритету купівельної спроможності.

Таким чином, рецепт відносно добрих результатів для українських університетів — мати медичний факультет із іноземними студентами, практично рівні з іншими показники викладання та досліджень і відносно високі показники цитувань.

Чи варто українським університетам турбуватися про рейтинги? На мій погляд, ні. Показники, завдяки яким реально просунутись у рейтингу, не мають значення для якості навчання та досліджень. Вимагати від викладачів будь-яку статтю, аби в індексованому виданні, — шлях до профанації, шкоду від якої неможливо перекрити рейтингами, і ці ігри рано чи пізно будуть враховувати упорядники.

Варто розвивати якісні дослідження, підвищувати вимоги до абітурієнтів і студентів, якість навчання та доступ до найновішої наукової інформації. Не варто надавати рейтингам університетів завеликого значення. Поки що я не бачу для них можливостей потрапити бодай у топ-300, а місця після 500, і тим більше після 1000, які вони посідають зараз, не є підставою для оцінки провідних університетів.

Чимало заходів, спрямованих на вдосконалення навчального процесу та досліджень, призведуть до значного погіршення рейтингових показників — наприклад, повне скасування вимог до викладачів публікувати хай слабкі статті,  аби в індексованому виданні,  вимог штучно накручувати цитування чи запровадження належних вимог до стартового рівня іноземних студентів. Але я б вважала пріоритетом забезпечувати саме якість — навіть на шкоду й так мало релевантним рейтингам. Усі ці місця в них для українських ЗВО не варті взагалі нічого, а прагнути треба до справжнього розвитку та змін, наскільки це можливо.

Більше статей Ірини Єгорченко читайте за посиланням.