Как оценивать украинскую науку: четыре важные вещи

Как определить качество научного исследования: перед нами имитация, пустая бумажка с красивыми фразами или реальная наука? Научные работники, конечно, видят, но вопрос в том, как это объективно показать. Да еще и так, чтобы результат, желательно, можно было «потрогать руками», чтобы под ним были какие-то конкретные вещи.

Вопрос очень важный, потому что от оценки значимости исследования зависят: а) его финансирование (нужно это стране или грантодавателю или нет) и б) репутация отдельных научных работников и целых институтов и команд, работающих над проектами.

В Украине уже давно идет дискуссия о том, какой линейкой должны измеряться и оцениваться научные исследования.

Есть несколько точек зрения. Первая: ориентироваться нужно преимущественно на формальные, в том числе количественные наукометрические показатели, и на требования к публикациям для защиты диссертаций или предоставления финансирования. Противоположное мнение, — все должны решать эксперты, а требования к публикациям надо вообще отставить. Но мы понимаем, что «экспертная оценка», где есть человеческий фактор, зависит не только от профессионализма экспертов, но и от очень субъективных вещей, начиная с личных отношений и до устойчивости к коррупции. Поэтому без специальных мер обеспечения независимости и беспристрастности адекватное оценивание невозможно.

А как это решается в мире?

Недавно международная Ассамблея стейкхолдеров, куда вошли больше 350 университетов и организаций из более 40 стран, подготовила и приняла Договор о реформировании оценивания научных исследований (далее — Договор). Украину в этом собрании представляли Луцкий национальный технический университет, Совет молодых ученых МОН и общественная организация «Инновационный университет», соучредителем которой является Совет ректоров, и «Полюс роста».

ВАС ЗАИНТЕРЕСУЕТ

Молчать о плагиате?

Что хотят изменить в оценивании научных исследований?

Изложу основные идеи Договора.

Первая и главная идея — оценивания научных исследований должны концентрироваться на качестве, а не на формальных показателях.

Договор предлагает отказаться от неадекватного использования для оценивания исследований импакт-факторов журналов и индексов Гирша, а также других показателей, не отражающих качества конкретного исследования. На первый взгляд, эти идеи созвучны требованиям противников Скопуса, которые хотят возврата во времена, когда ученому достаточно было иметь: а) статьи в местных журналах без независимого рецензирования и б) хорошие отношения с начальством. Но это только на первый взгляд.

Договор предлагает ориентироваться прежде всего на peer review. Этот термин не совсем соответствует переводу «экспертная оценка», потому что предусматривает не просто оценку исследования людьми, которые считаются экспертами в определенной сфере, но и определенные процедуры отбора независимых экспертов. Важно, что оценивать научные исследования должны не чиновники, а сами научные работники. Международным документом предполагается, что для реформирования процедур оценки научных исследований должны быть выделены надлежащие финансовые ресурсы.

Вторая идея, без которой невозможная первая, — нетерпимость к плагиату.

Если мы в Украине действительно хотим внедрять мировые стандарты оценивания научных результатов, то должны на деле продемонстрировать абсолютную нетерпимость к плагиату и другим видам недобропорядочности. Нужно немедленно отстранить от должностей всех плагиаторов и лишить их званий. Среди украинских подписантов есть ОО «Инновационный университет», имеющая отношение к Совету ректоров, — ей и карты в руки.

И напомню, что достаточным доказательством академической недобропорядочности являются сравнительные таблицы, демонстрирующие некорректные текстовые заимствования. Требование судебного решения для установления факта плагиата должно трактоваться как манипуляция и поддержка недобропорядочности.

Без действенной борьбы с недобропорядочностью конкретных лиц все документы и декларации будут бессмысленны.

Третья идея. Оценивание научных исследований должно применяться для всех целей, включая предоставление финансирования для исследований, отчетность за использование государственных средств, зачислениена работу, повышение на должностях и вознаграждение научных работников, принятие решений по определению приоритетов исследований и внедрение стратегий развития научных исследований для всех, кто принимает соответствующие решения, — в том числе грантодателей и организаций, присуждающих премии и награды за научную деятельность.

Договор не касается оценки научной деятельности на уровне стран и оценивания деятельности научных учреждений и университетов за рамками научных исследований и устанавливает общее направление реформирования оценивания исследований с уважением к автономии отдельных организаций. 

Четвертая идея. Нужно обеспечить свободу научных исследований и автономию исследовательских организаций.

Имеется в виду несколько аспектов. Свобода в выборе тематики и методов исследований. Возможность признавать результаты исследований, которые обогащают знание и потенциально будут оказывать влияние на развитие знаний, науки, человечества (не обязательно немедленно). Свобода разнообразия исследовательской деятельности.

Международный документ предлагает избегать ранжирования исследовательских организаций в процессе оценивания научных исследований.

ВАС ЗАИНТЕРЕСУЕТ

Новые вызовы для мировой и украинской науки

 Что будет тормозить реальную имплементацию Договора в Украине?

Здесь есть три важных обстоятельства.

Первое — война. А это значит, что финансируются и поддерживаются преимущественно исследования для обороны. Звучат даже требования уволить научных работников, которых невозможно быстро превратить в инженеров-разработчиков оборонных технологий. И это влияет на оценивание научной деятельности.

Конечно, поддержка обороноспособности чрезвычайно важна для страны. Но есть несколько «но». Если мы думаем о будущем и о восстановлении, нужно сохранить научные исследования, научные кадры, научные школы. Кроме того, кто отличит разработчика технологий от имитатора, который наобещает чудо-оружие прямо завтра или просто допишет к тематике пустых статей несколько красивых абзацев об их оборонном значении? Ученые, которые могут это оценить, сами обесценены и находятся под угрозой увольнения как ненужные.

Второе обстоятельство — у нас процветает имитация науки.

Дискуссия о способах оценивания научных исследований у нас всегда была не просто острой, а, я бы сказала, горячей. Потому что в ней торчат уши интересов, часто не связанных с настоящей наукой.

Объясню на примере. Много лет назад один из авторов ZN.UA предложил разделить людей, считающихся в Украине научными работниками, на две категории — «певцов» и «глобалистов». При этом принадлежность человека к определенной категории никоим образом не зависит от наличия публикаций в индексированных изданиях, показателей индекса Гирша или отрасли.

«Певцы» — это люди, честно считающие, что написать какой угодно, даже псевдонаучный и манипулятивный текст и опубликовать его в сборнике, который называет себя научным, — и есть наука.

«Глобалисты» — это люди, так или иначе интегрированные в мировую науку, которые считают научными публикациями исключительно изложения результатов собственных научных исследований.

По моему мнению, есть еще третья категория — «покупатели», которые даже не имитируют никакой науки, а просто покупают или получают в подарок степени — часто даже не зная, какие там действительно требования к публикациям.

Очевидно, что нужно менять систему оценки научных исследований так, чтобы у выше упомянутых видов «научных работников» не было ни единого шанса называться учеными. И это понравится не всем, будет сопротивление.

Третье обстоятельство — игры с формальными требованиями, имитирующие реальные изменения. Вот свежий пример. Недавно МОН внесло небольшое новшество в правила публикации научных результатов для защиты диссертаций. «Минобразования отменило требование о публикациях в Скопусе!» — отреагировали на это соцсети.

На самом деле никакого существенного изменения не произошло, есть только ослабление правил: требование иметь для защиты докторской диссертации пять публикаций в журнале, индексированном в Скопусе, отсрочено на определенный период, — но остается прежнее требование иметь три такие публикации.

Мотивация МОН интересна: война, проводить исследования сложно или невозможно, поэтому давайте ослабим требования. Но кому и зачем нужны имитационные статьи и диссертации без исследований? Те, кто руководит наукой в нашей стране, хотели сказать, что докторские диссертации без исследований их вполне устраивают?

Что делать?

Во всем мире росло понимание, что нужно менять принципы оценивания. И наши учреждения и организации, подписав Договор, тоже взяли на себя такое обязательство. Подписанты договорились обмениваться опытом реформирования. Но это не означает, что мы должны слепо копировать чужой опыт. Хотя бы потому, что в условиях массовой толерантности к недобропорядочности и некомпетентности чиновников, от которых полностью зависит наука, такое копирование может привести к разрушительным последствиям.

Экспертное оценивание научных исследований возможно при нескольких условиях. Прежде всего необходимо реальное обеспечение академической добропорядочности. Нужно также разработать процедуры независимого экспертного оценивания во избежание конфликта интересов, разные процедуры оценивания для «быстрых» и «медленных» отраслей («быстрые» — это отрасли, где новые знания довольно быстро сменяются, новые результаты появляются часто и являются актуальными в течение относительно небольшого периода), обучение анализу наукометрических показателей, чтобы это было не просто сравнение количественных данных.

Для внедрения новых принципов придется думать и учиться — не только украинцам.

Другие статьи Ирины Егорченко читайте по ссылке.