На протяжении последних 10—15 лет в разных странах мира начали разрабатывать и широко применять разнообразные методологии и подходы к определению рейтингов университетов, или, как их называют в Великобритании, «таблиц лиг» (league tables). Такая работа постепенно начала выходить за национальные рамки и приобретать региональный и международный характер. Определение интегрального показателя качества деятельности высших учебных заведений, которым является их рейтинг, в первую очередь обусловлено необходимостью взаимного признания учебных программ и университетов в Болонском пространстве. Оно также вызвано потребностями как рынка труда (для его ориентации на выпускников тех или иных университетов), так и абитуриентов и их родителей во время выбора места будущего обучения. Постоянное определение и опубликование рейтингов университетов порождает и здоровую конкуренцию между ними, что способствует повышению качества их работы.
Роль мировых координаторов по наработке и применению этих методологий и подходов взяли на себя Институт стратегии высшего образования (Institute for Higher Education Policy, Вашингтон, США) и Европейский центр ЮНЕСКО в сфере высшего образования (ЮНЕСКО — СЕПЕС, Бухарест, Румыния). Они начали изучать и обобщать разнообразные наработки в этой отрасли для разных стран и регионов мира и проводить международные конференции, круглые столы и встречи по этим вопросам. Силами названных организаций уже проведены три важных международных форума.
Первый форум состоялся в Варшаве (Польша) в июне 2002 г. В нем участвовали более 40 делегатов из 12 стран, представляющих просветительские круги, органы государственного управления, ответственные за разработку политики обучения и обеспечения качества высшего образования, а также работники международных правительственных и неправительственных организаций, издатели. Участники встречи пришли к единодушному выводу о необходимости дальнейшего развития концептуальных основ, методик и стандартов определения рейтингов университетов. Результаты работы форума были изданы под названием «Высшее образование в Европе — 2002 г.»
Общими усилиями Института стратегии высшего образования и центра ЮНЕСКО — СЕПЕС в декабре 2004 г. в Вашингтоне (США) была организована и проведена вторая встреча экспертов по определению рейтингов университетов. В ней приняли участие 25 экспертов, среди которых были представители авторитетных печатных изданий, регулярно публикующих рейтинги университетов, таких как журнал US News and World Report, газета «Таймс», ученые и исследователи из Австралии, Канады, Китая, Германии, Японии, Новой Зеландии, Польши, Румынии, России и Испании.
В период между встречами в Варшаве и Вашингтоне начался процесс определения всемирных рейтингов университетов. Первый такой рейтинг в 2003 г. был составлен Институтом высшего образования шанхайского университета «Джиао Тонг» (Jiao Tong) в рамках проекта «Академический рейтинг университетов мира» (ARWU). К этой деятельности присоединилась также газета «Таймс». Вместе с тем появились разнообразные международные, региональные и национальные рейтинги разных типов университетов и учебных программ, в частности по бизнесу и менеджменту. Многие периодические издания разных стран опубликовали институциональные и программные рейтинги. Они вызвали большой интерес и активные споры о том, какие показатели учитывать, а какие нет, какие критерии использовать для отнесения университетов к мировому классу, как совершенствовать методики оценки и тому подобное. Неоспоримым стал рост интереса и внимания к рейтингам университетов со стороны академических кругов и политических деятелей.
Таким образом, на фоне повышения внимания, дискуссий и споров вокруг рейтингов университетов и учебных программ они продолжали появляться. Определение рейтингов университетов и учебных программ не сразу восприняли академические круги, но оно, бесспорно, соответствовало потребностям общества, в частности работодателей, с одной стороны, и абитуриентов и их родителей — с другой.
Исключительно важным стали проблема экспертной оценки этого явления и отдельных систем рейтингов и обеспечение составителей и пользователей рейтингов возможностью обмениваться информацией о подходах и методах, применяемых при их определении. Поэтому во время вашингтонской встречи была создана международная группа экспертов по определению рейтингов университетов (International Ranking Experts Group — IREG). Деятельность IREG сосредоточена на проведении постоянных консультаций и постановке задач для ЮНЕСКО — СЕПЕС и Института стратегии высшего образования с целью наиболее точной оценки качества высшего образования с помощью системы рейтинговой оценки. В частности первоочередными задачами IREG стали:
— тщательное исследование процесса рейтинговой оценки деятельности университетов как глобального явления, которому прежде не уделяли надлежащего внимания;
— наработка процедур и подходов к оценке существующих систем рейтингов и таблиц лиг;
— международный сравнительный анализ систем рейтингов (таблиц лиг), а также методик, положенных в их основу;
— усовершенствование существующих систем рейтингов (таблиц лиг).
Третья встреча международной экспертной группы IREG по определению рейтингов университетов состоялась 19—20 мая 2006 г. в Берлине (Германия). В ней участвовали 47 экспертов из 20 стран мира, в том числе и из Украины. Среди участников были эксперты высшей школы, представители крупных компаний и издатели. Главной целью встречи было упорядочить использование рейтингов университетов и учебных программ.
За два дня работы были заслушаны доклады представителей известных международных организаций, неправительственных экспертных групп и ведущих ученых о практике определения рейтингов высших учебных заведений и учебных программ в разных регионах мира, отдельных странах и секторах промышленности. Был проведен глубокий сравнительный анализ различных методик и подходов и принят итоговый документ под названием «Берлинские принципы определения рейтингов высших учебных заведений».
В заявлении, сопровождающем этот документ, указано, что принципы должны стать главенствующими для национальных и международных групп и институтов, занимающихся определением рейтингов. Их цель — обеспечить такое положения вещей, чтобы «те, кто определяет рейтинги, были подотчетны общественности относительно качества сбора данных, методологии и распространения результатов».
Президент Института стратегии высшего образования Джеми П.Мерисотис назвал принципы «началом саморегулирующего процесса». Он сказал: «Нужна какая-то структура диалога по улучшению качества определения рейтингов, особенно потому, что звучит много критики относительно методологии».
Ян Садлак, директор центра ЮНЕСКО — СЕПЕС в Бухаресте, добавил: «Принципы должны улучшать то, что многие академические лидеры отмечают как поверхностный и капризный характер рейтингов. Если мы должны смириться с этим, то нужно сделать это наименее деструктивным способом».
Роберт Дж. Морз, возглавляющий группу по опубликованию рейтингов в газете U.S. News & World Report, заметил: «Издание в течение двух десятилетий постоянно улучшает свою систему определения рейтингов. Например, критерии трансформировались в направлении концентрации большего внимания на анализе полученных результатов, чем на текущих измерениях».
Была подробно проанализирована единая система «Академического рейтинга университетов мира (ARWU)», разработанная и впервые примененная в 2004 г. Институтом высшего образования при шанхайском университете «Джиао Тонг», обратившая на себя значительное внимание академических кругов и международного рынка труда после опубликования результатов оценки 500 университетов мирового класса. Она была признана одной из наиболее влиятельных международных систем. Но эту систему критиковали за то, что в ней особое внимание уделяется количеству Нобелевских премий, полученных научными сотрудниками университетов даже несколько десятилетий назад. Эксперты проанализировали и то обстоятельство, что рейтинги часто ориентируют руководство университетов принимать решение в пользу не академических потребностей, а формального повышения показателей деятельности учебного заведения. Учитывая все это, было признано, что системы рейтинговой оценки требуют постоянного усовершенствования, но уже сейчас они «стали третьей ножкой стула обеспечения качества, наряду с аккредитацией, лицензированием и государственным регулированием качества высшего образования».
На берлинской встрече рассмотрели и положение дел в организации рейтинговой оценки университетов в Украине. Положительно оценивая первые шаги Украины, эксперты указали и на слабые места в применяемых методиках и подходах. Они заключаются в недостаточном использовании научно обоснованных методов экспертной оценки вместе с технологиями социологического опроса, необоснованном сравнении разных, трудно сравнимых групп учебных заведений, системных ошибках в формировании независимых негосударственных профессиональных групп экспертов для проведения такого типа рейтинговой оценки и т. п. Эксперты отмечали, что для Украины крайне важно присоединиться к международной деятельности в этой сфере для наработки и практического использования взвешенных, научно обоснованных методик и подходов как к внутренней, так и к внешней оценке рейтингов отечественных университетов.
Для предоставления Украине помощи в этих вопросах на берлинской встрече создан международный наблюдательный совет по рейтинговой оценке университетов и учебных программ в Украине. От стран Евросоюза в него вошли: Ян Садлак (ЮНЕСКО — председатель наблюдательного совета), Дженс Петер Гаул (директор стратегического планирования немецкого исследовательского фонда, Германия), Вальдемар Сивински (президент образовательного фонда «Перспективы», Польша), Фердинанд Девинский (председатель комитета Народного совета Словацкой Республики по вопросам молодежи, культуры, спорта и информации, Словакия). Между центром ЮНЕСКО — СЕПЕС и кафедрой ЮНЕСКО «Высшее техническое образование, прикладной системный анализ и информатика» (Украина) подписан меморандум, согласно которому кафедре поручается осуществить комплекс мер по внедрению в Украине наработанных международной экспертной группой IREG методик и процедур рейтинговой оценки деятельности университетов и учебных программ.
Четвертую встречу международной экспертной группы IREG планируется провести осенью 2007 г. в Шанхае (КНР). Она будет посвящена разработке и применению систем сертификации рейтингов, соответственно «Берлинским принципам», полный текст которых приводим ниже.
Берлинские принципы определения рейтингов высших учебных заведений
Преамбула
Определение рейтингов высших учебных заведений (вузов) и учебных программ сегодня стало глобальным явлением. Оно служит нескольким целям: удовлетворяет потребности потребителей в получении ясной и объективной информации об уровне подготовки специалистов в тех или иных высших учебных заведениях; содействует возникновению здоровой конкуренции между ними; является определенным обоснованием для выделения государственных и негосударственных средств на их содержание и развитие; помогает дифференцировать различные типы вузов и учебные программы и дисциплины. Кроме того, хорошо понятные и интерпретируемые системы определения рейтингов вузов способствуют определению качества высшего образования в конкретной стране, дополняя тщательную работу по оценке качества, которую проводят общественные и независимые агентства, занимающиеся аккредитацией в разных странах мира.
Именно поэтому рейтинги вузов стали частью системы национальной отчетности и оценки качества, и все больше стран, вероятно, будут приобщаться к развитию своих систем определения рейтингов в будущем. Поэтому важно, чтобы те, кто занимается определением рейтингов, отвечали за качество собранных данных, методологию и распространение.
В связи со сказанным выше, в 2004 г. Европейский центр ЮНЕСКО по высшему образованию (ЮНЕСКО — СЕПЕС) в Бухаресте и Институт стратегии высшего образования в Вашингтоне создали Международную экспертную группу по определению рейтингов (IREG). Именно с этой инициативой была связана встреча экспертной группы IREG в Берлине 18—20 мая 2006 г., которая рассматривает ряд принципов и подходов к определению рейтингов вузов. Принятый итоговый документ получил название «Берлинские принципы определения рейтингов высших учебных заведений».
Можно ожидать, что эта инициатива позволит сформировать базу для разработки и распространения систем определения рейтингов высших учебных заведений — в национальном, региональном или глобальном масштабе, что должно привести к постоянному совершенствованию качества высшего образования и его гармонизации с рынком труда и потребностями общества в разных регионах мира.
Цели и задачи системы определения рейтингов высших учебных заведений состоят в следующем
1. Она должна объединять разнообразные подходы к оценке вклада вузов в высшее образование, учебный процесс и полученные результаты. Система определения рейтингов может предоставлять сравнительную информацию и улучшать понимание высшего образования, но она не должна быть основным методом оценки того, чем является высшее образование и что оно делает. Определение рейтингов дает рыночную перспективу и может дополнить работу правительства, органов аккредитации и независимых экспертных агентств.
2. Она должна быть понятной относительно цели определения рейтингов и оценки деятельности целевых групп. Определение рейтингов должно строиться по отношению к определенной цели. Показатели, предназначающиеся для достижения конкретной цели и информирования одной целевой группы, могут не соответствовать иной цели или целям других целевых групп.
3. Система должна признавать многообразие высших учебных заведений и учитывать их разные миссии и цели. Например, подходы к оценке деятельности учреждений, ориентированных на исследование, отличаются от подходов к оценке учреждений, предоставляющих широкий доступ к образованию широким слоям населения. Учреждения и эксперты, участвующие в определении рейтинга, должны проводить систематические консультации.
4. Система должна использовать объективные информационные источники и данные, поступающие из каждого источника с обязательной ссылкой на него. Результаты определения рейтингов зависят от аудитории, предоставляющей информацию, — студентов, профессоров, служащих, работодателей, и источников, из которых поступает эта информация (баз данных, экспертных групп, статистических справочников). Целесообразно делать сравнительный анализ и объединять информации из разных источников для получения более полной картины деятельности каждого высшего учебного заведения, участвующего в определении рейтинга.
5. Система должна учитывать лингвистический, культурный, экономический и исторический контекст высшего образования той или иной страны при определении рейтингов высших учебных заведений. При определении международных рейтингов следует учитывать возможные отклонения или значительные расхождения отдельных индикаторов и показателей для разных стран. В таких случаях нужно корректно формулировать задачу и четко определять цель этой процедуры. Не все страны или системы образования одинаково понимают качество подготовки в высших учебных заведениях. Поэтому, определяя рейтинги вузов, нецелесообразно настаивать на таком сравнении.
Разработка и сравнение показателей
6. Методология определения рейтингов вузов должна быть прозрачной. Выбор методов, используемых для определения рейтингов, должен быть понятным и однозначным. Она должна включать обоснованный подсчет показателей и четкую интерпретацию данных и их происхождение.
7. Показатели и индикаторы следует выбирать в соответствии с их значимостью и достоверностью. Выбор должен базироваться не только на наличии и доступности данных, а главным образом на возможности каждого индикатора или набора данных адекватно представлять качество подготовки, важные академические и организационные характеристики вузов. В каждом случае необходимо четко определить, почему эти данные используются и что они должны представлять.
8. Если есть возможность, нужно оценивать не только результаты деятельности вузов, но и меры, которые к этим результатам привели. Оценка мер важна, поскольку она отражает общую политику конкретного вуза относительно усовершенствования его деятельности и зачастую доступна для оценки. Оценка же результатов дает более точную картину качества подготовки специалистов в этом учреждении или позволяет подробнее охарактеризовать учебные программы. Поэтому во время разработки систем определения рейтингов вузов должен обеспечиваться необходимый баланс между оценками результатов их деятельности и мероприятиями, которые к этим результатам приводят.
9. Необходимо четко определить вес различных показателей, использующихся для оценки рейтингов университетов, и установить диапазон их изменения. То есть сравнение деятельности различных вузов должно проводиться при условии, что все показатели, используемые для этого, приведены к единой платформе, с точки зрения их интерпретации (размерности), единиц измерения и диапазонов их изменения.
Сбор и обработка данных
10. Необходимо уделять надлежащее внимание этическим нормам во время определения рейтингов вузов. Для обеспечения достоверности и широкого общественного признания каждого рейтинга ответственные за эту работу должны быть максимально объективными и непредубежденными, а методика оценки — прозрачной и понятной обществу.
11. При возможности нужно использовать проверенные данные или данные, которые можно проверить. Эти данные должны восприниматься учебными заведениями, они должны быть сравнимыми и совместимыми для различных вузов, то есть уровень доверия к ним должен быть максимально высоким.
12. Проводя рейтинговое оценивание вузов, следует использовать данные, собранные на основе научно обоснованных методов и подходов. Данные, полученные от нерепрезентативной или смещенной группы респондентов (студентов, преподавателей или других лиц), могут неточно отражать деятельность учебного заведения или качественные характеристики учебной программы, и должны быть исключены из рассмотрения.
13. В процессе определения рейтингов вузов кроме анализа количественных характеристик их деятельности необходим анализ качественных характеристик на основе процедур и методов экспертного оценивания. В этих процессах нужно учитывать результаты экспертизы учебных заведений и использовать эти данные для определения именно рейтингов. Определение рейтингов должно быть системой, постоянно использующей опыт экспертизы для развития методологии оценки.
14. Значительное внимание должно уделяться организационным мероприятиям, способствующим повышению достоверности определения рейтингов вузов. Эти мероприятия должны включать организацию консультативных или даже надзорных органов, желательно с участием международных экспертов.
Представление результатов определения рейтингов
15. При разработке и применении системы определения рейтингов вузов необходимо дать общественности ясное представление обо всех использованных факторах и предложить выбор, как презентовать рейтинги. Таким образом те, кто будет пользоваться этими результатами, смогут лучше понять показатели, применяемые при определении рейтингов учебных заведений или учебных программ. Кроме того, они смогут принимать свое собственное решение, учитывать те или иные показатели в анализе деятельности вузов.
16. Результаты должны быть скомпонованы и представлены таким образом, чтобы исключить или уменьшить влияние ошибок, допущенных при определении исходных данных, на конечные значения рейтингов. Кроме того, они должны быть организованы так, чтобы ошибки и погрешности можно было скорректировать. Высшие учебные заведения, работодатели и общественность должны быть информированы о допущенных ошибках.