Борис Малицкий: "Проблема объективного оценивания качества работы исследователя..."

Как оценивать труд ученого? Споры о методах оценки научных результатов вспыхивают вновь и вновь. То в связи со скандалом в научном мире о разоблаченных фактах накрутки индекса цитирования, то при попытках наших чиновников от науки изобрести собственную методику оценивания научно-исследовательской деятельности. Разговоры о том, что финансирование научных исследований будет прочно привязано к наукометрическим индексам (импакт-фактор и индекс Хирша), оживили интерес к этой теме.

Беседа с директором Института исследований научно-технического потенциала и истории науки им. Г. Доброва НАН Украины, доктором экономических наук Борисом МАЛИЦКИМ не ограничилась лишь рамками проблемы объективного оценивания научной деятельности.

- Борис Антонович, в научной среде не утихают дискуссии об использовании индексов цитирования, в частности, индекса Хирша, для оценки научных результатов. Индекс Хирша очень зависит от научного направления и, по мнению некоторых исследователей, не может считаться универсальным критерием.

- На мой взгляд, в последнее время в Украине наблюдается абсурдная ситуация с методологическими и административными подходами к оцениванию результатов труда ученого. Видимо, не желая отставать от российской государственной бюрократии, жестко навязавшей своему научному сообществу единственно правильный, с ее точки зрения, способ оценивания работы исследователя с помощью таких наукометрических показателей, как публикационная активность в зарубежных журналах с импакт-фактором и индекс Хирша, отечественная бюрократия прилагает настойчивые усилия по внедрению такой системы оценивания в украинской науке.

Импакт-фактор, как принято считать, представляет собой численный показатель важности научного журнала, в основу расчета которого положено число цитирований опубликованных в нем статей за определенный период времени. Что касается индекса Хирша, то это тоже своего рода импакт-фактор, но учитывающий цитируемость уже конкретного ученого по ссылкам на его статьи в ведущих научных журналах.

В показателях цитируемости, включая индекс Хирша, есть определенный смысл, когда эти оценки используются внутри научного сообщества. К сожалению, число цитирований на самом деле не всегда отражает стопроцентное качество исследования, как и число публикаций в престижных научных журналах.

- Изобретено немало способов влиять на эти показатели. Известны также случаи накрутки индекса цитирования.

- Еще недавно в Китае, Иране, Турции и других странах практиковалась существенная доплата авторам статей за публикации в престижных зарубежных научных журналах, что вызвало всплеск публикаций ученых этих стран. В Японии пошли еще дальше: была введена административная рекомендация японским ученым ссылаться в своих зарубежных статьях на работы как минимум трех отечественных ученых.

В той же Японии недавно разразился скандал по поводу обвинения выдающегося японского биолога - исследователя в области клеточного деления Ёсинора Ватанабе, работающего в Токийском университете, в фальсификации результатов исследований, приведенных, в частности, в четырех статьях, опубликованных с 2008 по 2015 г. в журналах Nature и Science. И подобные случаи не единичны. Например, в журнале Nature в 2010 году была опубликована статья с результатами проведенного в Китае исследования, которые показали, что каждый третий китайский ученый грешит фальсификаторством.

Эти и другие факты показывают уязвимость данного способа однозначного оценивания качества результата исследования с помощью цитирования в научных журналах с импакт-фактором и индекса Хирша.

- Но ведь лучшего способа пока не придумали.

- Этот способ привлекает чиновников простотой использования в практике управления наукой, особенно в бюрократических целях "взвешивания" ученых для публичной демонстрации "величия" или, наоборот, "никчемности" конкретного ученого и, соответственно, принятия решения о его финансировании.

- О несовершенстве таких "весов" говорят как зарубежные, так и отечественные исследователи.

- На недопустимость упрощенного подхода к оценке результатов деятельности ученого в последнее время стали обращать внимание все больше специалистов. В частности, британские исследователи науки Эндрю Хиггинсон и Маркус Мунафо доказывают, что ажиотаж вокруг работ, имеющих высокий индекс цитирования, погоня за высокими индексами приводят к потере глубины исследований у британских ученых.

В России ряд видных ученых ведут активную борьбу против навязанной ФАНО системы рейтингования отдельных ученых и научных коллективов с помощью метода оценивания, построенного только на учете цитирования и исключающего другие не менее важные научные критерии социального, экономического, технологического, организационного и психологического плана. Особенно обращает на себя внимание позиция в этом вопросе известного российского историка науки и науковеда Юрия Батурина. В интервью, данному в прошлом году журналу "Наука и науковедение", он аргументированно показал абсурдность и абсолютную неэффективность введенной в стране системы оценивания научных результатов.

Известный украинский исследователь В. Московкин отмечает, что всплеск публикационной гонки на постсоветском и азиатском научных пространствах привел к возникновению множества изданий, индексированных в базах данных, а также компаний-посредников, которые стали продавать свои страницы и целые номера отдельным ученым и университетам под любые, серьезно не рецензируемые статьи. Коммерческая феодализация знаний научными издателями привела к возникновению международного движения, объединяющего ученых, а в некоторых странах - и представителей власти общей идеей открытости доступа к научным знаниям. В США, например, законодательно установлено требование открытого доступа к научным результатам, полученным в ходе выполнения работ, финансируемых государством. Это движение отражает усиление понимания в мире порочности публикационной гонки, основанной на ущербных наукометрических инструментах, с которыми управленческой бюрократии легко манипулировать, а издательскому бизнесу - зарабатывать незаслуженно огромные барыши.

- Некоторые исследователи отмечают, что цитирование является достаточно субъективным процессом, и поэтому не может быть главным критерием оценивания результатов работы ученого.

- К сожалению, есть такие "псевдонауковеды", оценивающие украинскую науку и украинских ученых лишь с помощью упрощенных наукометрических методов. Игорь Зозуленко, проживающий последние 20 лет в Швеции и работающий ныне профессором в одном из ее университетов, на одном из украинских сайтов безапелляционно заявил, что Украина исчезла с карты мира как научная страна. Особенно он клеймит позором украинских академиков, большинство из которых отсутствуют в списке с высоким индексом Хирша, и даже считает это очевидным доказательством того, "что короли-то, оказывается, голые". Опираясь на такую грубую и далеко не бесспорную оценку научного труда, И. Зозуленко приходит к очень крутому выводу, что академия "фактически мертва" и должна "уйти в небытие", как академии во всем мире.

Всем, кто берется оценивать качество работы ученого, очень рекомендую ознакомиться хотя бы в общих чертах с основными понятиями, применяемыми в теории и практике организации исследований, в частности при определении научного результата. Во-первых, завершением выполнения НИОКР являются те или иные результаты. В понятие "результат" входит новое знание, продукты применения знаний в социальной практике, а также не менее важный вид результата − приращение научного потенциала. Все эти виды научных результатов находятся в системной связи и, в конечном счете, определяют эффективность НИОКР.

Кстати, по показателю количества публикаций, соотнесенного с затратами на НИОКР, украинская наука находится на среднеевропейском уровне и хотя бы по этой причине не может быть "стерта с научной карты мира".

Так, в 2013 г. в журналах, индексированных в базе данных SCOPUS, количество публикаций украинских авторов, приходящихся на 1 млн долл. затрат на НИОКР, составляло 4,51, а в целом по ЕС - 3,73. Причем украинский показатель даже выше, чем в некоторых наиболее развитых европейских странах. Как правило, значение данного показателя результативности тесно коррелирует с объемом финансирования НИОКР и, конечно, численностью исследователей. В Испании, например, за четверть века (после 1980 года) рост объемов финансирования науки увеличился в 3 раза, а число исследователей - в 6 раз. При этом количество публикаций увеличилось за этот же период в 4 раза. За последние четверть века в Украине, как известно, и объемы финансирования, и численность исследователей, наоборот, сократились более, чем в 4 раза. И, конечно, это никак не способствовало достижению высокой публикационной активности ученых, в частности в престижных научных журналах.

- А какая ситуация сейчас?

- В Украине наблюдается рост, правда, незначительный, количества публикаций в изданиях, индексированных в Scopus, в сравнении с общеевропейским показателем. И это притом, что у нас в последние годы резко сократилось количество исследователей.

Важно учесть, что значение любого научного знания определяется степенью его использования не только в дальнейшем развитии теории, но и в социальной практике - в виде нововведений, оказывающих многообразное влияние на систему "наука - экономика - общество". В этой сфере научные результаты формируют различные виды эффектов: экономические, социальные, экологические и научно-технологические.

По мере превращения науки в ведущий источник экономического роста и социального благополучия стран, а также в ключевой фактор национальной безопасности становится невозможным отделить конкретные виды научных результатов, представляемых в виде некоторых наукометрических показателей, типа индекса Хирша, от комплексных оценок результативности научной деятельности. Игнорирование этого факта не только снижает уровень достоверности оценки результата, но может даже полностью исказить его.

Для подтверждения этого вывода сравним "научную ценность" самого И. Зозуленко, очевидно имеющего индекс Хирша не ниже 16, с научными достижениями украинского ученого академика Владимира Моргуна, широко известного в мире как создателя более 130 высокопродуктивных сортов зерновых культур, используемых не только в Украине, но и в ряде других стран мира. У В. Моргуна индекс Хирша (по Google Scholar) меньше, чем у И. Зозуленко, и с точки зрения последнего это следует расценивать как "уже свершившуюся документированную катастрофу". И таких сравнений, убедительно опровергающих "комплекс неполноценности", навязываемый украинской науке извне и внутри страны, можно привести немало.

Таким образом, проблема объективного оценивания качества работы исследователя выходит далеко за рамки упрощенных наукометрических индексов. При всей привлекательности и, на первый взгляд, возможности оперирования небольшим количеством наукометрических индексов, построенных лишь на учете цитирования работ исследователя в журналах с импакт-фактором, данный метод не позволяет с высокой объективностью оценить такой сложный феномен, как научный результат. Понимание этого факта во многих развитых в научном отношении странах проявляется в том, что в большинстве из них наметилась тенденция к сокращению количества индексированных публикаций, в частности в системе Scopus. Кроме того, правительства и университеты сокращают поддержку таких публикаций своих ученых.

- У нас иная тенденция: от исследователей требуют больше печататься в зарубежных журналах.

- Важно подчеркнуть, что исторически наука Украины интегрировалась в мировое научное пространство не только с помощью публикаций в зарубежных научных журналах, но и своими достижениями в области высоких технологий. Особенно в этом плане выделяется Национальная академия наук Украины, сформировавшаяся как сравнительно полноценная научно-информационная система, но при этом сильно ориентированная на интеграцию в общемировое коммуникационное пространство в научно-технологическом плане. Академия имеет разветвленную сеть научных журналов, деятельность которых отвечает концепции международного движения "Открытый доступ". Ряд журналов Академии переводится на английский язык и издается за рубежом. Кстати, в наиболее известную базу Thomson Reuters Institute for Scientific Information (ISI) включаются только те журналы, которые издаются на английском языке или переводятся на него. В этой и других базах данных НАН Украины представлена некоторыми своими журналами, в частности, в таких областях, как материаловедение, физика, химия, математика, информатика, биология и др.

Но в нынешних украинских условиях есть несколько важных причин для отмены бюрократического нажима на ученых с целью заставить их публиковаться исключительно в так называемых престижных журналах ради карьерного роста и научного престижа. Тем более, недопустимо увязывать это с мерами по финансовому обеспечению их деятельности.

- Почему вы так считаете? Многие могут с вами не согласиться.

- Во-первых, в стране резко ухудшились условия работы исследователей, что априори ставит нашу науку в положение периферийной, заставляет ученых искать зарубежные научные центры, в которых можно было бы продолжить свои исследования на высоком научном уровне. Закономерно, что значительная часть публикаций украинских ученых в ведущих зарубежных журналах с импакт-фактором выполнена совместно с зарубежными коллегами. При этом нередки случаи, когда Украина от такого рода совместных исследований теряет свой приоритет на полученный результат.

Во-вторых, преимущественная концентрация усилий украинских ученых на публикации результатов в зарубежных изданиях негативно сказывается на качестве отечественных научных изданий. Поэтому сейчас нужна целенаправленная государственная поддержка наших научных изданий, чтобы можно было повысить их качество и сделать их привлекательными, в том числе для зарубежных авторов. Опыт активного привлечения зарубежных авторов в отечественные журналы у нас есть: например, в одном из академических журналов математического профиля существует даже очередь из зарубежных потенциальных авторов статей. Но это пока, к сожалению, лишь единичные случаи. В основном научные журналы ныне выживают за счет средств, которые издающие их институты пытаются сэкономить на всех других статьях своих расходов. Это, конечно, сильно отличается от уровня государственной поддержки научных изданий в других странах. Например, Китай финансово "приватизировал" сотни престижных зарубежных и международных журналов и тем самым получил возможность распоряжаться огромным массивом новых научных знаний в национальных интересах.

В-третьих, несмотря на продолжающееся использование в мире импакт-фактора в качестве оценки журналов, эта оценка не является самодостаточной и не в состоянии полностью исключить элементы субъективизма при отборе журналов. За пределами этой системы сегодня остается, вероятно, наивысшая форма изложения научных результатов - монографическая работа. Но для такого рода изданий в настоящее время нет международной базы данных, которая существует для журналов.

- В то время как бюрократия от науки одержима идеями "взвешивания" ученых и "оптимизацией" институтов, некоторые эксперты-самозванцы предлагают рецепты реформирования украинской науки. Мол, достаточно просто перестроить украинскую науку по западной модели, при этом НАН разогнать, а науку отдать университетам.

-- На самом деле, они либо лукавят, либо слабо ориентируются в нынешних мировых реалиях. Академическая форма организации науки в мире имеет позитивную тенденцию развития. За истекшие 75 лет число академических организаций в мире удвоилось, а после 2000 года - возросло еще на 19.

На самом деле термин "западная модель" заключается в другом - он отражает приоритет науки в государстве и обществе в целом.

Как у нас выражается этот приоритет? Структуры, занимающиеся этими проблемами, в министерствах ликвидированы. В МОН наука превращена в подотрасль. А ведь управление научно-технологическим развитием является не отраслью, а даже надотраслью, поскольку относится ко всем сферам деятельности. А что такое подотрасль в нашем министерстве? Финансирование в сфере научно-технологической деятельности составляет 3% от всего объема денежных средств, которыми распоряжается МОН. Вот какими финансовыми ресурсами располагает ведомство, которое отвечает за науку в стране.

На самом деле у нас основной резерв заключается не в том, чтобы передать академические институты в университеты. Это не решает проблему. Основной резерв состоит в том, чтобы профессуру, работающую в университетах, повернуть в сторону науки. Но для этого нужно создать условия. 80% тех, кто защищает диссертации в университетах, после защиты перестают заниматься наукой. Конечно, пишут какие-то статьи, но это все компиляция, на самом деле научных исследований нет.

Теперь посмотрим, как работает западная модель. Возьмем, например, США. 30% времени профессор занимался научными исследованиями и 70% - преподавательской деятельностью. Сейчас - наоборот. В настоящее время доля университетов в научных разработках США составляет 13,2% (данные 2015 г.) В целом по всем развитым странам доля университетской науки сокращается. В тех же США в 2015 году создана Национальная академия медицины, финансируеемая из госбюджета.

- Мы часто слышим о "плохой" украинской науке, о том, что ученые только даром хлеб едят, и поэтому их нужно "взвешивать". (Чтобы не переедали?) Но есть также объективные показатели, с помощью которых можно определить качество и эффективность государственного управления наукой. Об этом предпочитают умалчивать.

- Ключевой из них − это наукоемкость ВВП, т. е. общие затраты на науку, отнесенные к объему ВВП. Среднемировое значение данного показателя составляет около 2 %. Как правило, чем более развита страна, тем выше значение этого показателя. Наукоемкость определяет степень нацеленности государственной политики на максимальное использование возможностей научно-технологического фактора как наиболее эффективного источника экономического роста. То есть этот показатель свидетельствует о качестве государственного управления и, в определенном смысле, об управленческих способностях (своеобразном IQ) государственных чиновников и руководителей принимать и реализовывать эффективные решения в области научно-технологического развития страны.

За годы независимости Украины значение наукоемкости уменьшилось более чем в 10 раз и ныне не превышает 0,25%. То есть по данному показателю наша страна, бывшая в начале своего нового пути на уровне самых развитых стран Европы, опустилась до уровня безнаучных африканских стран (в Африке есть страны с наукоемкостью, в разы превышающей Украину). Не хочется даже верить, что во столько же раз упал показатель управленческих способностей (IQ) наших государственных чиновников и руководителей страны.

Рассчитано канд.экон.наук А.Корецким по данным Мирового банка.

Данные в Интернете на этого "выдающегося" бывшего украинского ученого не обнаружены, а взяты из его статьи.