Тройной прыжок с переворотом. Между абитуриентом и вузом — новые мосты или новые преграды?

Поделиться
Пока вступительная кампания набирает обороты, общество притихло во взволнованном ожидании, и даже СМИ как-то нетипично молчаливы...

Пока вступительная кампания набирает обороты, общество притихло во взволнованном ожидании, и даже СМИ как-то нетипично молчаливы. Хотя поговорить есть о чем: с этого года характер вступительной кампании меняется. ВНО перестает быть единственным способом оценивания знаний выпускников школ — учитывается средний балл школьного аттестата. В дальнейшем же конкурсные показатели абитуриента будут формироваться из трех равноценных составляющих: результатов ВНО (до 600 баллов), среднего балла аттестата, пересчитанного по 200-балльной шкале, и результатов вступительных экзаменов вузов (профильные конкурсы, собеседования, мотивационные тесты и т.д.). По мнению министра образования и науки Дмитрия Табачника, это вернет авторитет в оценивании школе и университету, а также перенесет акцент с противодействия коррупции на повышение качества оценивания. Предусмотрены и другие изменения.

Пожалуй, основательно о последствиях нововведений можно будет говорить уже после того, как новоиспеченные студенты сдадут первую сессию. Пока же мы решили побеседовать с экспертами, участвовавшими в разработке инструментов оценивания для разных стран мира. Вашему вниманию предлагается интервью с консультантами Программы содействия внешнему тестированию в Украине (USETI) Маркусом БРОЭРОМ и Марком ЗЕЛЬМАНОМ.

— Известно, что в ряде стран практикуется сочетание разных типов экзаменов. Насколько удачно нынешнее решение для нашей страны? Как, на ваш взгляд, нам стоило бы организовать вступительную кампанию?

Маркус БРОЭР. — Прежде всего, хотел бы отметить, что сложившаяся сегодня в Украине система приема в университеты заслуживает похвал. Огромная работа была проведена за короткий период. Обычно на то, чтобы такая система оценивания начала эффективно функционировать, уходят годы. А у нас уже есть данные, которые показывают, что результаты внешнего оценивания в вашей стране кореллируются с показателями академической успешности первокурсников.

Очень важный момент: чем больше факторов, влияющих на поступление, добавляется, тем труднее становится абитуриенту. Также труднее объяснить общественности роль и относительный вес этих факторов. И еще один очень важный момент — валидность с точки зрения тестируемого и его родителей. Мне кажется, сейчас в глазах и выпускников, и их родителей сдача стандартизованного теста — достаточно объективный способ показать, чему ученик научился в школе.

— Что вы можете сказать о таком факторе, как средний балл аттестата?

М.Б. — Действительно, он учитывается во многих системах приема в высшие учебные заведения. Но важно понимать, как эти системы развивались, и почему данный фактор возымел значение. Я не против того, чтобы изучалась возможность использования среднего балла аттестата при принятии решения о зачислении в университет, но пока не вижу в этом насущной необходимости. Стоило бы сперва просчитать возможные последствия.

— В эфире «5 канала» Дмитрий Табачник говорил, что в будущем могут быть предложены изменения в законодательстве, которые позволят лучшим университетам проводить собственные мотивационные экзамены — «мотивационное эссе, весьма популярное в США, тесты на лидерство, на коммуникативность». В чем специфика мотивационного эссе и как его оценивают?

М.Б. — Эссе, которое пишут абитуриенты в США, служит не для оценивания их способностей, а дает возможность судить об их личностных качествах. Как правило, в университетах большое значение придают тому, чем молодой человек занимается во внеурочное время, в каких общественных проектах принимает участие, получил ли опыт волонтерской работы за рубежом или в родной стране. Если абитуриент из бедной семьи, неблагополучной среды, в его пользу может свидетельствовать рассказ о преодолении жизненных трудностей, достижении успехов в чем-либо. Это действительно валидный фактор, который может повлиять на решение о зачислении, но только тогда, когда претендент недобрал несколько баллов или набрал их одинаковое с кем-то количество. Естественно, этот фактор не сработает при низком уровне знаний.

Слышал, что у вас мотивационное эссе может играть серьезную роль при принятии решения о зачислении в университет. Если это правда, то есть повод для беспокойства. Если помимо основного тестирования вводятся другие факторы, имеющие большую роль и вес, и создается комбинированный балл, тогда абитуриент не будет знать, что помешало ему поступить в университет.

С технической точки зрения мотивационное эссе стандартизировать невозможно, суждение о нем — субъективно. Нормально только, если решение балансирует на грани нескольких баллов.

Короткие эссе мы используем в тесте по иностранному языку как способ проверки навыков письма. Но все получают одинаковую тему, и много внимания уделено разработке схемы оценивания, чтобы процедура была максимально объективной, а оценка — стандартизованной.

Марк ЗЕЛЬМАН. — Вообще-то, в США от мотивационного эссе уже отказываются. Причина проста: поступающий пишет его дома и присылает в университет. Никто не может проконтролировать, делает ли он это сам. Все чаще эссе берется из Интернета или других источников. Именно по этой причине университеты настояли, чтобы эссе было введено в тест SAT. Таким образом, абитуриент выполняет это задание на глазах у проверяющих. Эссе проверяется вначале при помощи специальной компьютерной программы (она проверяет то, что можно измерить, — грамотность, структуру, словарный запас и т.д.), а затем — специально натренированным человеком (у него — свои категории проверки). Если баллы человека и машины расходятся более чем на единицу, подключается главный проверяющий, очень опытный, и выносит окончательное решение.

Эссе показывает, как человек письменно формулирует свои мысли. Но для проверки других навыков есть другие типы заданий. Вот, например, задание из теста на критическое мышление. Дается текст и к нему два графика. Тестируемому нужно выразить основные идеи текста и объяснить, какие данные графика эти идеи подтверждают, а какие опровергают. Он должен не просто написать нечто, а проанализировать информацию, написать отчет о полученных результатах, убедить в своих выводах, расставить акценты.

Возможно, вопрос об эссе и собеседованиях назрел потому, что существует необходимость оценивать не только когнитивные навыки, но и коммуникативные — одни из самых важных в ХХІ веке.

— Они ведь важны не только для гуманитариев?

М.З. — На рынке труда в развитых странах сегодня наиболее востребованы навыки, которые можно условно назвать non-routine interactive — связанные с эффективным взаимодействием между людьми в нестандартных, меняющихся ситуациях. На втором месте — навыки, связанные с умением решать нетипичные задачи, к которым нет готового алгоритма (примером может служить, например, диагностика неизвестной болезни).

Чтобы в новом тысячелетии быть конкурентоспособными, юноши и девушки должны развивать в себе, прежде всего, лидерские навыки, организаторские способности, умение сотрудничать, коммуникабельность, восприимчивость и креативность. Понадобятся им также гибкость и адаптивность, умение работать с информационными технологиями и медиа, добывать, анализировать и творить информацию.

— Можно ли оценить коммуникативные навыки с помощью тестов, не общаясь с кандидатом непосредственно? Каким образом?

М.З. — Недавно мы создали тест нового типа для медицинского факультета Университета Ага-хана в Карачи (Пакистан). Поскольку собеседование для них было дорогой и субъективной формой оценивания абитуриентов, нам заказали тест на коммуникационные способности, или некогнитивное оценивание. Тест измеряет навыки, которые я перечислил ранее, и, в целом, потенциальный успех или неуспех в социальных и эмоциональных ситуациях. Он актуален не только для медиков, но и для многих профессий, поэтому было решено, что если пилотный проект будет запущен успешно, оценивание распространится на всю систему Ага-хана, охватывающую Центральную Азию и Восточную Африку.

По форме тест напоминает ролевую игру. Экзаменуемому даются краткие характеристики (способности и черты характера) виртуальных одноклассников. А дальше следуют задания. Например, профессор поручает ученикам исследовательский проект, который требует слаженного взаимодействия, а также применения определенных навыков (указано, каких). Экзаменуемого назначили руководителем группы. Ему нужно выбрать трех человек, которые лучше всего сработаются под его началом и с наибольшей вероятностью доведут проект до успешного завершения. Или же двух человек, у которых наиболее вероятно возникнут конфликты.

Мы администрировали пилотный вариант теста и получили статистические данные, которые великолепно кореллировались с предметными тестами — по сестринскому делу, языку, естественным наукам.

— Как вы оцениваете мотивировку, что для выпускников, которые окончили школу больше трех лет назад и хотят учиться без отрыва от производства, тестирование — стресс, и потому препятствие для поступления? Начиная с этого года, они могут выбирать: либо ВНО, либо традиционные экзамены…

М.З. — А разве университетские экзамены — не стресс? Верно то, что выпускники прежних лет неконкурентоспособны по сравнению с выпускниками этого года, поскольку много забыли, а тест основан на школьной программе (но экзамены ведь тоже!).

— Мы возвращаемся к давней дискуссии о тесте, не основанном на школьной программе, то есть тесте способностей. Я слышала о создании рабочей группы, в которую должен был войти и
г-н Зельман. Но сейчас этот вопрос практически не обсуждается. Какая же ситуация на самом деле?

М.З. — Насколько я знаю, продолжение проекта по USAID не включает развития теста способностей. Продолжение исследований зависит от желания Министерства образования и науки. Группа не может работать в отрыве от него. Наработки есть, жалко было бы их бросать.

— Ходят слухи, что Украинский центр оценивания качества образования получил задание на следующий год разработать разноуровневые тесты. Для кого? А как же равные условия поступления?

М.Б. — Какова цель многоуровневого тестирования и почему она не достигается уже существующим тестированием? Понятно, что университеты с техническим уклоном хотят отобрать студентов, наиболее «подкованных» по физике и математике. В то время как другие специальности требуют только базовых знаний по этим предметам. Но, если не ошибаюсь, существующие сегодня тесты по математике уже показали, что они достаточно сложны даже для сильных учеников. Следовательно, с задачей отобрать 10—15% самых сильных данный тест справляется прекрасно. Если бы он, наоборот, был настолько легким, что практически все могли с ним справиться, я бы действительно посоветовал либо усложнить существующий тест, либо разработать более продвинутый, чтобы университеты могли дифференцировать абитуриентов.

— Говорят, что внешнее оценивание хотят полностью коммпьютеризировать. В чем плюсы и минусы компьютерного тестирования, целесообразен ли такой переход?

М.З. — Прежде чем принимать решение о внедрении чего-либо, нужно оценить преимущества и недостатки. В принципе, CBT (computer-based testing) внедрять целесообразно. Во-первых, это повысит безопасность и надежность теста. Будет легче поставить всех тестируемых в одинаковые условия. Во-вторых, даст возможность вводить новые инструменты для тестирования, тестировать новые навыки.

CBT позволяет вводить в тестирование интерактивные элементы. Например, с помощью компьютерной программы студент может провести эксперимент и составить отчет о полученных результатах. Хотя люди, которые поступают на факультеты естественных наук, проводят эксперименты и в школе (у нас — лабораторные работы по физике, химии. — Прим. авт.), учатся получать и анализировать информацию, но с помощью бумажных тестов этот навык мы проверить не можем.

Но переход к CBT не очень прост. Когда проходишь тест на компьютере, подключается навык компьютерной грамотности. Он будет влиять на баллы. Один и тот же тест на компьютере и на бумаге человек может сдать по-разному из-за разного восприятия. Возникнут также вопросы с подсчетом баллов, так как многие люди не привыкли к такому типу тестирования. Если переходить к CBT, то постепенно. Вначале допустить существование на выбор двух типов теста — компьютерного и бумажного…

— При нынешней вступительной кампании можно будет подавать сертификаты с результатами не только этого года, но также прошлого и позапрошлого. Сопоставимы ли в них баллы? Практикуется ли подобное в других странах?

М.Б. — В целом это возможно, но только в системах, ежегодно дающих тестовые баллы, которые технически можно сравнивать. В Украине в данный момент это невозможно.

Есть разные способы обеспечить сопоставимость результатов тестирования. Первый — использование одних и тех же заданий, которые повторялись бы с определенной периодичностью из года в год. Но сегодня после теста абитуриенты у вас получают задания на руки. Второй способ — использовать при составлении теста готовые калиброванные задания, чтобы можно было составить тест статистически такого же уровня, как и в предыдущем году. Технически это сейчас тоже нерешаемо. Хотя в такой ситуации, когда несопоставимы и задания, и баллы, и контингент участников, по крайней мере, с точки зрения процентильной шкалы можно допустить, что те, кто находился в 80-й процентили в прошлом году, более-менее сопоставимы с теми, кто находится там же в нынешнем году. (Процентиль — место расположения данных выборки; например, 80-я процентиль означает, что ниже нее расположено 80% результатов. — Прим. авт.). На ее основании университеты могли бы принимать решения. Возможен такой вариант: университеты видят, что уровень знаний абитуриентов в этом году немного выше, чем в прошлом. И могут решить, что, например, от тех, кто приносит сертификаты прошлого года, потребуется чуть более высокий балл. Но идеальное решение — иметь шкалу, которая будет одинаковой для всех тестов во все годы.

М.З. — В Америке тетради с тестами не выдают на руки, и люди относятся к этому спокойно — они привыкли к тестированию и доверяют ему. Поэтому можно использовать задания повторно. Вы могли бы, например, попробовать не давать на руки 20% вопросов, объяснив, что они будут использованы при последующих тестированиях. Посмотреть, как отреагирует общественность. Если потребует предъявления, можно предложить показать психометрические характеристики вопросов, без самого текста.

— А если абитуриенты с хорошей памятью запомнят эти вопросы?

М.З. — Маловероятно. Обычно сильный абитуриент не запоминает легких вопросов. Слабый не доходит до сложных. Единственный, кто может запомнить более-менее хорошо, это средний студент, но у него очень мало времени, полторы минуты на вопрос, так что ему не до этого. Вопрос может запомниться, если он очень странный и сильно выделяется, но таких в выборке не будет.

— Над чем сейчас было бы наиболее важно поработать нашим разработчикам тестов, тем, кто их администрирует, и тем, кто создает законодательную базу о тестировании, чтобы усовершенствовать систему оценивания знаний?

М.Б. — Мне кажется, одним из лучших решений может стать создание большого банка тестовых заданий. В нем будут не только уже использованные и доказавшие свою эффективность задания, но и новые, требующие апробации. Мы получим статистическую информацию, как эти задания ведут себя в тесте. Но это достаточно дорого и требует большого количества специалистов.

Другое решение — опять-таки отказаться от существующей практики отдавать тестовые тетради на руки участникам. Тогда мы могли бы апробационные задания включать в операционные варианты тестов (они не учитывались бы при подсчете баллов).

— Г-н Броэр, вы три года просматриваете украинские тесты и помогаете их писать. Стали ли они лучше?

М.Б. — Безусловно, прогресс большой.

— А нужно ли каждый год проводить исследование валидности?

М.Б. — Да, я считаю, что это необходимо. Необязательно исследовать прогностическую валидность, есть и другие аспекты. Я не хотел бы еще больше нагрузить работой украинские центры оценивания. Возможно, другие организации занялись бы такими исследованиями и использовали результаты тестирования, чтобы, например, нарисовать объективную картину состояния среднего образования. Сегодня очень большой процент выпускников поступает в университеты, практически каждый выпускник может стать студентом, так что, проведя такое исследование, можно определить аспекты, которым не уделяется достаточно внимания.

Поделиться
Заметили ошибку?

Пожалуйста, выделите ее мышкой и нажмите Ctrl+Enter или Отправить ошибку

Добавить комментарий
Всего комментариев: 0
Текст содержит недопустимые символы
Осталось символов: 2000
Пожалуйста выберите один или несколько пунктов (до 3 шт.) которые по Вашему мнению определяет этот комментарий.
Пожалуйста выберите один или больше пунктов
Нецензурная лексика, ругань Флуд Нарушение действующего законодательства Украины Оскорбление участников дискуссии Реклама Разжигание розни Признаки троллинга и провокации Другая причина Отмена Отправить жалобу ОК
Оставайтесь в курсе последних событий!
Подписывайтесь на наш канал в Telegram
Следить в Телеграмме