Як оцінювати українську науку: чотири важливі речі

Як визначити якість наукового дослідження: перед нами імітація, порожній папірець із красивими фразами, а чи реальна наука? Науковці, звісно, бачать, але питання в тому, як це об′єктивно показати. Та ще й так, щоб результат, бажано, можна було «помацати руками», щоб під ним були якісь конкретні речі.

Питання дуже важливе, бо від оцінки значущості дослідження залежать: а) його фінансування (потрібно це країні чи грантодавцеві чи ні) і б) репутація окремих науковців і цілих інститутів та команд, що працюють над проєктами.

В Україні вже давно точиться дискусія про те, якою лінійкою мають вимірюватися і оцінюватися наукові дослідження.

Є кілька точок зору. Перша: орієнтуватися потрібно переважно на формальні, в тому числі кількісні наукометричні показники, та на вимоги до публікацій для захисту дисертацій чи надання фінансування. Протилежна думка — все мають вирішувати експерти, а вимоги до публікацій треба взагалі відкинути. Але ми розуміємо, що «експертна оцінка», де є людський фактор, залежить не лише від професіоналізму експертів, а й від дуже суб′єктивних речей, починаючи від особистих стосунків і до стійкості до корупції. Тому без спеціальних заходів забезпечення незалежності та неупередженості адекватне оцінювання неможливе.

А як це вирішується у світі?

Нещодавно міжнародна Асамблея стейкхолдерів, до якої увійшло понад 350 університетів та організацій з більш ніж 40 країн, підготувала й ухвалила Угоду про реформування оцінювання наукових досліджень (далі — Угода). Україну в цьому зібранні представляли Луцький національний технічний університет, Рада молодих вчених МОН та громадська організація «Інноваційний університет», співзасновником якої є Рада ректорів, і «Полюс росту».

ВАС ЗАЦІКАВИТЬ

Мовчати про плагіат?

Що хочуть змінити в оцінюванні наукових досліджень?

Викладу основні ідеї Угоди.

Перша й головна ідея — оцінювання наукових досліджень має концентруватися на якості, а не на формальних показниках.

Угода пропонує відмовитися від неадекватного використання для оцінювання досліджень імпакт-факторів журналів та індексів Гірша, а також інших показників, які не відбивають якості конкретного дослідження. На перший погляд, ці ідеї суголосні вимогам противників «Скопуса», що хочуть повернення в часи, коли науковцеві досить було мати: а) статті в місцевих журналах без незалежного рецензування та б) добрі стосунки з начальством. Але це лише на перший погляд.

Угода пропонує орієнтуватися насамперед на peer review. Цей термін не зовсім відповідає перекладові «експертна оцінка», бо передбачає не просто оцінку дослідження людьми, котрі вважаються експертами в певній сфері, а ще й певні процедури відбору незалежних експертів. Важливо, що оцінювати наукові дослідження мають не чиновники, а самі науковці. Міжнародним документом передбачається, що для реформування процедур оцінки наукових досліджень мають бути виділені належні фінансові ресурси.

Друга ідея, без якої неможлива перша, — нетерпимість до плагіату.

Якщо ми в Україні справді хочемо впроваджувати світові стандарти оцінювання наукових результатів, маємо на ділі продемонструвати абсолютну нетерпимість до плагіату та інших видів недоброчесності. Потрібно негайно усунути з посад усіх плагіаторів і позбавити їх звань. Серед українських підписантів є ГО «Інноваційний університет», яка має стосунок до Ради ректорів, — їй і карти в руки.

І нагадаю, що достатнім доказом академічної недоброчесності є порівняльні таблиці, які демонструють некоректні текстові запозичення. Вимога судового рішення для встановлення факту плагіату має трактуватись як маніпуляція та підтримка недоброчесності.

Без дієвої боротьби з недоброчесністю конкретних осіб усі документи й декларації не матимуть сенсу.

Третя ідея. Оцінка наукових досліджень має застосовуватися для всіх цілей, включно з наданням фінансування для досліджень, звітністю за використання державних коштів, зарахуванням на роботу, підвищенням на посадах та винагородами науковців, прийняттям рішень щодо визначення пріоритетів досліджень та впровадженням стратегій розвитку наукових досліджень, для всіх, хто приймає відповідні рішення, — в тому числі грантодавців і організацій, які присуджують премії та нагороди за наукову діяльність.

Угода не стосується оцінки наукової діяльності на рівні країн та оцінювання наукових установ і університетів за діяльність за межами наукових досліджень і встановлює загальний напрям реформування оцінювання досліджень із повагою до автономії окремих організацій.

Четверта ідея. Потрібно забезпечити свободу наукових досліджень та автономію дослідницьких організацій.

Мається на увазі кілька аспектів. Свобода у виборі тематики та методів досліджень. Можливість визнавати результати досліджень, які збагачують знання та потенційно матимуть вплив на розвиток знань, науки, людства (не обов'язково негайно). Свобода різноманітності дослідницької діяльності.

Міжнародний документ пропонує уникати ранжування дослідницьких організацій у процесі оцінювання наукових досліджень.

ВАС ЗАЦІКАВИТЬ

Нові виклики для світової і української науки

Що гальмуватиме реальну імплементацію Угоди в Україні?

Тут є три важливі обставини.

Перша — війна. А це означає, що фінансуються та підтримуються переважно дослідження для оборони. Лунають навіть вимоги звільнити науковців, яких неможливо швидко перетворити на інженерів-розробників оборонних технологій. І це впливає на оцінювання наукової діяльності.

Певна річ, підтримка обороноздатності надзвичайно важлива для країни. Але є кілька «але». Якщо ми думаємо про майбутнє і про відбудову, потрібно зберегти наукові дослідження, наукові кадри, наукові школи. Крім того, хто відрізнить розробника технологій від імітатора, який наобіцяє диво-зброю прямо завтра чи просто допише до тематики порожніх статей кілька красивих абзаців про їхнє оборонне значення? Науковці, які можуть це оцінити, самі знецінені та перебувають під загрозою звільнення як непотрібні.

Друга обставина — в нас процвітає імітація науки.

Дискусія про способи оцінювання наукових досліджень у нас завжди була не просто гострою, а, я б сказала, запеклою. Бо в ній стирчать вуха інтересів, часто не пов′язаних зі справжньою наукою.

Поясню на прикладі. Багато років тому один з авторів ZN.UA запропонував поділити людей, які в Україні вважаються науковцями, на дві категорії — «співаків» та «глобалістів». При цьому належність людини до певної категорії жодним чином не залежить від наявності публікацій в індексованих виданнях, показників індексу Гірша чи галузі.

«Співаки» — це люди, які чесно вважають, що написати якийсь, навіть псевдонауковий та маніпулятивний, текст і опублікувати його в збірнику, що називає себе науковим, — і є наука.

«Глобалісти» — це люди, так чи інакше інтегровані у світову науку, які вважають науковими публікаціями виключно викладення результатів власних наукових досліджень.

На мою думку, є ще третя категорія — «покупці», які навіть не імітують ніякої науки, а просто купують чи отримують у подарунок ступені — часто навіть не знаючи, які там насправді вимоги до публікацій.

Очевидно, що потрібно змінювати систему оцінки наукових досліджень так, щоб у вище згаданих видів «науковців» не було жодного шансу називатися вченими. І це сподобається не всім, буде опір.

Третя обставина — ігри з формальними вимогами, які імітують реальні зміни. Ось свіжий приклад. Недавно МОН внесло невелику новацію у правила публікації наукових результатів для захисту дисертацій. «Міносвіти скасувало вимогу про публікації в Скопусі!» — відреагували на це соцмережі.

Насправді жодної істотної зміни не відбулося, є лише послаблення правил: вимога мати для захисту докторської дисертації п'ять публікацій у журналі, індексованому в Скопусі, відстрочена на певний період, — але залишається попередня вимога мати три такі публікації.

Мотивація МОН цікава: війна, проводити дослідження складно чи неможливо, тому давайте послабимо вимоги. Але кому й навіщо потрібні імітаційні статті та дисертації без досліджень? Ті, хто керує наукою в нашій країні, хотіли сказати, що докторські дисертації без досліджень їх цілком влаштовують?

Що робити?

У всьому світі зростало розуміння, що потрібно змінювати принципи оцінювання. І наші установи та організації, підписавши Угоду, теж узяли на себе таке зобов′язання. Підписанти домовилися обмінюватися досвідом реформування. Однак це не означає, що ми маємо сліпо копіювати чужий досвід. Хоча б тому, що в умовах масової толерантності до недоброчесності та некомпетентності чиновників, від яких повністю залежить наука, таке копіювання може призвести до руйнівних наслідків.

Експертна оцінка наукових досліджень можлива за кількох умов. Насамперед потрібне реальне забезпечення академічної доброчесності. Потрібно також розробити процедури незалежної експертної оцінки з уникненням конфлікту інтересів, різні процедури оцінювання для «швидких» та «повільних» галузей («швидкі» — це галузі, в яких нові знання досить швидко змінюються, нові результати з'являються часто і є актуальними впродовж відносно невеликого періоду), навчання аналізу наукометричних показників —щоб це було не просто порівняння кількісних даних.

Для впровадження нових принципів доведеться думати і вчитись — не тільки українцям.

Інші статті Ірини Єгорченко читайте за посиланням.