Все не могут стать победителями

От редакции: Недавно в Украине состоялись первые конкурсы научных проектов, организованные Национальным фондом исследований Украины. Они вызвали много жалоб ученых, — об этом можно прочитать здесь и здесь. В Национальном фонде ответили на критику и рассказали, какие изменения планируются в будущем.

Первые конкурсы Национального фонда исследований Украины: предварительные итоги и перспективы

Завершено подписание договоров с победителями первых двух конкурсов Национального фонда исследований Украины (далее — Фонд), объявленных в мае 2020 г., и есть возможность подвести итоги и проанализировать результаты. Прежде всего фонд справился с задачей — провел отбор и предоставил на текущий год грантовую поддержку в суммарном размере 255,3 млн грн из госбюджета 216 проектам. Всего на оба конкурса была представлена 931 заявка.

Конкурсы были открыты для всех научных организаций Украины, независимо от ведомственной принадлежности и без ограничений на количество заявок от одной организации. Разрешалось устанавливать исполнителям достойные уровни заработной платы, не привязанные к тарифной сетке. В отличие от первого конкурса, условием участия в котором требовалось соответствие проекта безопасностной тематике, второй конкурс был объявлен как «инициативный» (bottom-up), чтобы побеждали лучшие, независимо от тематики.

Условия конкурсов и порядок их проведения определял научный совет Фонда (НС), который состоит из отобранных на конкурсной основе 30 ведущих ученых, работающих на общественных началах. Создавая систему конкурсного отбора, НС пытался минимизировать возможность «ручного» влияния на результаты конкурсов. Для проведения каждого конкурса была создана независимая комиссия, в состав которой НС рекомендовал ученых, имеющих высокую профессиональную репутацию и доверие научного сообщества. Члены НС, наблюдательного совета и работники дирекции Фонда не могли входить в состав комиссий и вмешиваться в их работу. Члены комиссий выполнили оперативную работу по отклонению проектов по формальным признакам, отбору экспертов, проверке отсутствия у экспертов конфликта интересов, составлению финальных рейтингов. Лишь несколько членов НС, избранных для мониторинга процесса проведения конкурсов, имели доступ к электронной системе данных конкурсов. При этом они не контактировали с комиссиями, а только регулярно докладывали научному совету о состоянии дел.

Ключевым моментом конкурсного отбора проектов является экспертная оценка. Разработанный НС порядок проведения экспертизы предусматривал, что каждый проект должен был быть оценен по меньшей мере тремя экспертами, а для проектов с финансированием от 2 млн грн в год среди них должен был быть по крайней мере один зарубежный эксперт.

Принимая во внимание большое количество заявок, потребность в экспертах была очень высокой. Хотя регистрацию экспертов открыли заранее, выбор оказался довольно ограниченным по нескольким причинам. Во-первых, дал о себе знать существенный дисбаланс количества зарегистрированных экспертов по разным отраслям. Во-вторых, многие ученые, зарегистрировавшиеся в системе как потенциальные эксперты, не могли быть привлечены к рецензированию из-за наличия конфликта интересов с заявителями. Все это заставило массово искать и привлекать новых экспертов «на ходу», что требовало много времени и вызвало отсрочку объявления результатов конкурсов.

Много дискуссий среди членов НС на этапе разработки порядка экспертизы проектов и среди широкой массы ученых после обнародования результатов конкурса вызвали расхождения в оценках отдельных экспертов. Очевидно, что увеличение количества экспертов до пяти и больше на одну заявку и использование соответствующих алгоритмов расчета сводной оценки (например, отбрасывать самую низкую и самую высокую оценки, а остальные — усреднять) дало бы возможность ослабить влияние явно заниженного или завышенного балла. Но для такого подхода надо было существенно увеличить количество экспертов, на что критически не хватало времени. Поэтому пришлось удовлетворяться простым усреднением баллов, что, как теперь понятно, в определенной степени увеличило элемент случайности и послужило причиной потери несколькими проектами шансов на победу из-за очень низкой оценки от одного из экспертов. В целом зарубежные эксперты часто оценивали проекты значительно ниже, чем их украинские коллеги, а жесткие правила невмешательства в работу экспертов в отдельных случаях сыграли злую шутку с проектами довольно сильных научных групп, которым зарубежный эксперт поставил низкую оценку.

Выборочный анализ оценивания проектов, проведенный НС уже после завершения конкурсов, выявил еще одну проблему: хотя по правилам рецензирования эксперты должны были обосновывать оценку по каждому из критериев, некоторые из них (не только отечественные, но и зарубежные) отнеслись к этому невнимательно, подготовив формальное «обоснование» всего из нескольких слов, то есть фактически сводили рецензирование к выставлению оценки.

Апелляция на результаты научной экспертизы условиями конкурсного отбора не предусматривалась, что, по мнению авторов проектов, не победивших в конкурсе, несправедливо. Если же оценивать ситуацию объективно, то, во-первых, это жесткое положение в действительности защищает Фонд и победителей конкурсов от промедления с подведением итогов. Во-вторых, вероятность победы в конкурсах Фонда в 2020 году составляла около 30%, что является высоким показателем (в зарубежных фондах он существенно ниже и может быть на уровне 10–15%). Всем не суждено стать победителями. Если же позволить апелляции, это приведет к их массовой подаче — хотя бы потому, что такая стратегия заведомо выигрышная, ведь тот руководитель, чей проект не победил, ухудшить результат уже не сможет, а шанс выиграть апелляцию всегда есть. В-третьих, если во время рассмотрения апелляции возникнут сомнения по поводу качества экспертной оценки, придется назначать контрольную экспертизу, на что понадобится время, соразмерное с временем проведения основного конкурса. До завершения рассмотрения всех апелляций объявление победителей конкурса невозможно. Поскольку действующее законодательство позволяет выделять средства только в пределах одного бюджетного года, такая задержка легко может стать катастрофической. Поэтому недаром в подавляющем большинстве аналогичных зарубежных фондов действует такое правило, и результаты конкурсов обжалованию не подлежат. Когда авторы подают заявки на конкурс, они соглашаются с его условиями — в том числе и с условием об отсутствии апелляции.

Во время составления договоров о грантовой поддержке победителей конкурсов дирекция Фонда провела большую работу по приведению смет и технических заданий в соответствие с требованиями действующего законодательства. К сожалению, многие проекты смет содержали грубые ошибки или попытки изменить условия (параметры команды, перечень оборудования и т.п.), приведенные в заявке, которая оценивалась экспертами во время конкурса. Следует надлежащим образом оценить тот колоссальный объем работы, которую выполнили сотрудники дирекции, причем в условиях эпидемии, когда в определенные отрезки времени больше половины работников серьезно болели. Жалобы руководителей проектов-победителей на проблемы коммуникации с Фондом в процессе подготовки договоров во многом справедливы, потому что на это действительно иногда не хватало ресурсов. В то же время следует учесть, что большинство работников дирекции пришли работать в Фонд совсем недавно и недостаток опыта в работе с договорной документацией им пришлось компенсировать интенсивностью работы.

Подводя итог результатов первых конкурсов, можем говорить о выводах, сделанных Фондом для дальнейшего улучшения работы.

Во-первых, в ближайшее время научный и наблюдательный советы Фонда пересмотрят порядок проведения экспертизы проектов, а также внесут предложения по изменениям в порядок конкурсного отбора, утвержденный постановлением правительства. По нашему мнению, время на экспертизу проектов должно быть увеличено. В порядок проведения экспертизы надо ввести четко определенные процедуры взаимодействия экспертов с конкурсной комиссией и научным советом, а также обязательный контроль качества каждого экспертного вывода по меньшей мере двумя членами комиссии. Необходимо определить процедуры решения разногласий в результатах оценивания для случаев, когда оценки разных экспертов существенно отличаются; возможно, надо взять в качестве образца схему составления консенсусной экспертной оценки, которая сейчас применяется во многих программах Горизонт-2020.

Во-вторых, научный и наблюдательный советы рассмотрят все случаи возможных нарушений со стороны экспертов или членов конкурсных комиссий. В случае подтверждения нарушений будут приняты решения о недопущении участия соответствующих лиц в процессах конкурсного отбора в дальнейшем.

В-третьих, Фонд будет принимать меры для значительного увеличения количества экспертов высокого уровня. Для этого существующая база экспертов пройдет процедуру валидации. Уже сейчас ведутся переговоры с зарубежными организациями, например с Европейским исследовательским советом (ERC), о взаимном использовании баз экспертов. Здесь не следует ожидать одномоментных «прорывов»: согласно опыту иностранных фондов, экспертные базы формируются годами. В 2020 году допущенные к конкурсам 737 заявок рецензировались с участием 1152 экспертов, из которых лишь около 15% составляли иностранцы. Нашей целью является постепенное увеличение доли иностранных экспертов в рецензировании проектов Фонда до более 50%.

В-четвертых, по итогам проблем, проявившихся во время составления договоров с победителями, Фонд будет инициировать перед правительством изменения в законодательство, которые упростили бы научным работникам планирование и выполнение проектов. Надо разработать новые принципы финансирования, которые позволили бы отойти от старой логики договоров на выполнение научно-исследовательских работ, что предусматривает подробное планирование каждого шага (например, определение на два года вперед всех материалов, которые понадобятся в процессе работы) и просто не соответствует реальным потребностям научных исследований, где ход работы часто непредсказуем, а гибкость является залогом эффективности. Нынешний трехмесячный цикл авансирования работ и отчет по ним заставляет тратить много ресурсов на промежуточный ежеквартальный отчет, что часто не имеет смысла и превращается в формальность.

Для нас очевиден тот факт, что без современной науки у нашей страны нет будущего, — это не просто фраза, это жесткий и неотвратимый диагноз. Если мы хотим модернизировать научную сферу, то развитие системы независимой экспертизы, развитие Фонда и других инструментов конкурсного финансирования должны стать основным приоритетом в сфере реформирования отечественной науки.

Опыт первых конкурсов свидетельствует, что выполнена большая работа, а в будущем нас ждет еще бОльшая. Впереди — новые долгожданные конкурсы: развитие научной инфраструктуры, поддержка стажировок научной молодежи и создание условий для ее возвращения в Украину, организация научных конференций и многое другое. Научный совет признателен всем, от кого поступили и поступают критические замечания о работе Фонда, которые тщательно изучаются, анализируются и непременно будут учтены в дальнейшей работе.