Наукометрия против инсинуаций

"... а вы знаете, что, на сегодняшний день, университетская наука почти втрое более эффективна, чем, к сожалению, наука академическая, оторванная. Простой факт: 104 учреждения Национальной академии наук за 2012 год по Хиршу и по Скопусу имеют такой же индекс цитирования, как преподаватели и профессора Киевского университета Шевченко..."

Д. Табачник

По роду своей деятельности не можем недооценивать важность наукометрии для определения эффективности работы ученого. Несмотря на определенные критические замечания относительно объективности результатов такого подхода, индексы цитирования все же характеризуют уровень эффективности работы ученого, являются популярными среди научного сообщества и вызывают определенное доверие.

Наукометрия становится популярной и в Украине. В последнее время в средствах массовой информации методы наукометрии начали использовать для сравнения эффективности научной работы исследовательских институтов, университетов и даже Национальной академии наук Украины (НАН Украины) и высших учебных заведений (вузов) в целом. Но прежде чем обратиться к такому сравнению, было бы весьма полезно обсудить возможные критерии определения эффективности научной работы этих научных структур.

Оставляя детальное исследование этого вопроса специалистам по наукометрии, имеющим в своем арсенале апробированные статистические методы, попытаемся предложить качественные оценки упомянутой эффективности, использовав при этом информацию из СМИ и Интернета.

Для анализа воспользуемся данными (по состоянию на август 2013 г.) сайта https://www.jsi.net.ua/scopus/index.html. Именно здесь содержится систематизированная информация с SCOPUS (международная база данных научных публикаций) как по количеству публикаций и цитирований отдельных ученых, так и по количеству публикаций академических институтов и университетов в целом. Этот сайт дает возможность получить довольно много полезной информации, хотя и имеет некоторые недостатки.

В частности один из них - неоднозначность трактовки данных, приведенных в первой строке, - "НАН Украины (без уточнения учреждения)" в таблице "Рейтинг учреждений НАН Украины". Ведь они могут восприниматься как итоговые для всех учреждений НАН Украины.

Вероятно, это и стало основанием для необдуманных выводов относительно одинаковой эффективности работы ученых Киевского национального университета имени Тараса Шевченко (КНУ) и ученых 104 институтов НАН Украины (сравнение по индексу цитирований Хирша), сделанных министром образования и науки Украины Д.Табачником в ходе ток-шоу С.Шустера (канал "Интер", 13 сентября 2013 г.).

Научный подход, в том числе в наукометрии, требует ясных и четко сформулированных определений, особенно относительно статистических данных. Ведущий специалист сайта Денис Соловьяненко объяснил нам, что в упомянутой строке таблицы "Рейтинг учреждений НАН Украины" говорится не о публикациях от всех учреждений НАН Украины, а о количестве публикаций сотрудников НАН Украины, попавших в "неузнанные" публикации. Происходит это из-за того, что названия институтов иногда не совпадают с названиями, по которым зафиксированы присваиваемые SCOPUSом идентификационные коды, или из-за низкого рейтинга института в SCOPUSе (из-за чего его не выделяют отдельной строкой в таблице).

Следовательно, грубую оценку количества публикаций и цитирований, не учитывающую наличия общих работ ученых из разных институтов НАН Украины, можно получить простым добавлением чисел, взятых из соответствующих колонок.

Кажется, что самым простым способом оценки эффективности деятельности институтов и университетов является подсчет количества публикаций и цитирований, приходящихся на одного научного сотрудника этих учреждений. Однако в таком подходе есть несколько "тонких" моментов, усложняющих дело и требующих более детального обсуждения. Для того, чтобы определить количество публикаций и цитирований, приходящихся на одного научного сотрудника, нужно разделить общее количество публикаций на количество сотрудников. Количество публикаций легко взять с упомянутого сайта. А вот как определить число людей, занимающихся наукой?

Учитывая значительное количество занятых по совместительству научных должностей, можно предложить две возможности оценки числа ученых. Первая - подсчитать количество сотрудников высшей квалификации, то есть кандидатов (К) и докторов (Д) наук. Вторая - определять количество ученых в том или ином учреждении или структуре по числу заполненных штатных единиц научных работников.

Мы используем обе возможности, приняв для конкретных оценок данные за 2011 г. из статистического сборника "Наукова та інноваційна діяльність в Україні" (Киев, ГП "Информационно-издательский центр Госстата Украины", 2012, с. 37, 41, 62).

Для НАН Украины подсчеты довольно просты: по данным сборника количество работающих в системе НАНУ кандидатов и докторов наук - 8652 (К) и 3074 (Д). Что касается количества штатных единиц научных работников, то с учетом того, что совместители, как правило, работают на полставки, получаем 26394 штатные единицы (табл. 2).

Расчеты количества научных работников в университетах Украины тоже требует учета совместителей, занятых научной деятельностью. С одной стороны, в университетах существует научно-исследовательский сектор (НИС), сотрудники которого занимаются только научными исследованиями, их количество - 6516 (данные статсборника). Однако среди них - лишь 1524 кандидата наук и 304 доктора наук. Такое количество научных работников вряд ли могло бы обеспечить все количество статей, опубликованных сотрудниками вузов (табл. 1).

С другой стороны, очевидно, что научные статьи пишут не только сотрудники научно-исследовательского сектора. Чтобы занять должность доцента или профессора, необходимо иметь научную степень кандидата или доктора наук, а для их получения нужны научные публикации. В дальнейшем, пребывая в роли научных руководителей аспирантов, эти ученые также участвуют в научных исследованиях и становятся соавторами публикаций. Кроме того, согласно Закону о высшем образовании, весь профессорско-преподавательский состав обязан заниматься научными исследованиями. Если руководствоваться этой позицией, тогда всех сотрудников вузов с научными степенями следует считать занимающимися наукой. И тогда это: 69300 (К) и 13900 (Д) - согласно данным выступления первого заместителя министра образования и науки Украины Евгения Сулимы в НАПН Украины (ИА "Наголос", 14.05.2013).

Понятно, что эти цифры могут не соответствовать реальному числу докторов и кандидатов наук, занятых исследованиями, поскольку известно, что из-за чрезмерных преподавательских нагрузок (750 ч. - для доцента и 600 ч. - для профессора) далеко не у всех преподавателей есть возможность активно заниматься наукой. Кроме того, сюда могут входить совместители с других учреждений. Учитывая это, мы решили: к сотрудникам вузов, занимающимся наукой, отнести тех, кто работает в НИС на полную ставку, а также по совместительству (как правило, на полставки). Что касается докторов и кандидатов наук, причастных к научной деятельности в вузах, целесообразно взять количество сотрудников НИС с научной степенью как на полной ставке, так и работающих там по совместительству (табл. 2).

Очевидно, что результаты расчетов будут отличаться от цифр, приведенных в статье А.Якименко, директора департамента научной деятельности и лицензирования МОН ("Наука прежде всего должна работать на результат", ZN.UA, №26, 2013 г.), взявшего в расчет лишь сотрудников НИС на полной ставке (6516), но не принявшего во внимание возможности публикаций научных статей преподавателями - доцентами и профессорами.

Следовательно, фиксируем такие цифры для дальнейших расчетов: в вузах работают 24026 (К) и 4986 (Д) (данные за 2011 г., статсборник) и есть 29931 штатная должность для проведения научных исследований (здесь мы, как уже отмечалось выше, учли, что совместители, как правило, работают на полставки).

Простые расчеты дают возможность получить следующие данные:

1) количество научных публикаций и цитирований на одного сотрудника с научной степенью (занимающихся научными исследованиями) составляет в НАН Украины 8,33 и 34,8, а в вузах - 1,95 и 5,4 соответственно;

2) количество научных публикаций и цитирований на одну штатную научную должность (должность для проведения научных исследований) составляет в НАН Украины 3,7 и 15,5, а в вузах - 1,9 и 5,2 соответственно.

Дополнить наши расчеты мог бы учет определенного количества совместных работ сотрудников НАН Украины и вузов. Но из опыта знаем, что их общее количество незначительно. Это, кстати, связано с отсутствием государственной политики поддержки совместных научных исследований ученых из университетов и академических институтов, по крайней мере, в сфере физики и математики, в которой мы работаем.

В завершение прокомментируем некоторые показатели, которые могли бы лучше охарактеризовать качество научных работ.

В настоящее время одним из самых распространенных показателей является индекс Хирша, равный для автора числу N, если у автора есть N публикаций, имеющих не менее N цитирований. Хотя он и характеризует стабильную работу ученого в течение длительного времени, однако не оценивает наличия "прорывных" публикаций автора, процитированных много раз. А ведь именно они больше всего влияют на развитие мировой науки. Поэтому хотелось бы видеть среди показателей эффективности институтов и университетов научные работы с высоким (>100, >200, >500) количеством цитирований. Другим показателем для оценки качества публикаций является среднее количество цитирований на одну публикацию.

По итогам, наши подсчеты дают такие отношения показателей НАН Украины к показателям всех вузов: по количеству публикаций - это в 1,73 раза больше, по количеству цитирований - в 2,6, по индексу Хирша - в 1,68 и по количеству цитирований на одну публикацию - в 1,5 раза больше (табл. 1).

Среди первой сотни авторов, имеющих самый высокий индекс Хирша, 72 ученых работают в институтах НАН Украины, 16 - в вузах, четверо - в Национальной академии медицинских наук Украины (НАМНУ), семеро - и в НАН, и в вузах, один - в вузе и НАМНУ.

Теперь сравним среднее количество публикаций и цитирований на одного ученого с научной степенью. В высших учебных заведениях Украины среднее количество работ на одного ученого в 4,27 раза меньше, а среднее количество цитирований в 6,45 раза ниже аналогичных показателей на одного научного сотрудника НАН Украины (табл. 3).

Как видим, все просчитанные выше показатели демонстрируют большую эффективность научных исследований в институтах НАНУ по сравнению с высшими учебными заведениями Украины. В действительности, это полностью согласовывается как с нашим пониманием фактического соотношения научных сил НАН и вузов Украины, так и с пониманием коллег из вузов и НАН Украины, которых мы ознакомили с результатами, представленными в этой статье. Мы очень уважаем наших коллег из университетов, с которыми у нас давние творческие связи, и убеждены, что при условии уменьшения педнагрузки до принятых в мире стандартов эффективность работы
научных сотрудников НАНУ и университетов существенным образом отличаться не будет.