Банк тестовых заданий — панацея или плацебо?

Педагогическая общественность многих стран (и не только она) каждый год оказывается перед вызовом - выпускные и вступительные экзамены. И хотя в разных странах они проходят по-разному, основные проблемы весьма похожи. Среди них одна постоянная - качество экзаменационных заданий. Вроде все должно быть просто: специальной институции (назовем ее Национальным центром экзаменов - НЦЭ) следует профессионально выполнить свою работу - создать безупречное задание. Но общий ажиотаж вокруг экзаменов чаще всего "зашкаливает". Поэтому вопросы секретности и конфиденциальности, цена результата экзамена для каждого, его сдающего, заинтересованность родителей и учителей, армии частных репетиторов не позволяют НЦЭ нормально работать в "мирных условиях". К этому еще добавляются и объективные проблемы: в задании экзамена должны гармонично сочетаться две стороны - предметная и измерительная. Если о первой любят говорить многие (вспоминая свой школьный опыт), то анализировать задание как инструмент измерения знаний, понять ее статистические характеристики - желающих гораздо меньше. Но если от результата экзамена будет зависеть дальнейший жизненный путь сдающего (поступит ли он в желаемый университет), то эта сторона становится крайне важной.

Как показывает почти десятилетняя история, в Украине хватает проблем с централизованными экзаменами ЗНО, и потому желающих помочь украинскому НЦЭ - Украинскому центру оценивания качества образования (УЦОКО) своими советами - хватает. Часть этих советов касается и создания заданий экзаменов. В этой статье постараемся сфокусироваться на довольно привлекательном направлении в создании задания экзамена - применении Банка заданий (БЗ). За этим стоит весьма простая мысль: если создать большой набор хороших вопросов и задач по каждому предмету, то дальнейшее создание задания для экзамена превратится в простой отбор нужного количества вопросов. А качество такого экзаменационного задания уже гарантировано - ведь в том банке плохих вопросов нет! Да и само слово "Банк" как-то придает уверенности…

Идея Банка заданий имеет обычно несколько вариаций и довольно много групп поддержки (некоторые из них - с явно выраженными признаками своей заинтересованности).

Во-первых, кто и как будет в конце "генерировать" экзаменационное задание? Подход к этому вопросу четко делит страны на две группы - в зависимости от степени доверия к специалистам, работающим в НЦЭ. Например, в большинстве западноевропейских стран такой БЗ понимается как архив возможных вопросов и задач, который помогает специалистам НЦЭ легче создать качественное задание. Вопрос всегда можно взять с банка, но можно также "одолжить" с экзамена прошлых лет или из экзаменов другой страны, придумать что-то похожее на задачку из учебника. Ведь за качество задания, его внутреннюю гармоничность, измерительные свойства (как и за конфиденциальность) отвечают специалисты НЦЭ, потому им и решать, как поступать. В других странах, где в функции централизованных экзаменов красным вписана борьба с коррупцией, ожидания и надежды, возлагаемые на БЗ, немного другие. Главное - может ли БЗ существенно уменьшить количество глаз, видящих задание экзамена до дня экзамена? В идеале в НЦЭ существует компьютерная (конфиденциальная!) система, которая одним нажатием соответствующей "кнопки" выдает нужное количество качественных экзаменационных заданий. А специалист-предметник такого НЦЭ эти задания впервые увидит уже после экзамена! Довольно разные подходы и, как следствие, трудно иногда даже понять, какую функцию БЗ акцентируют предлагающие их.

Во-вторых, измерительная сторона вопросов и задач, попадающих в БЗ. Вроде всем понятно: без такой информации БЗ превратится в простой сборник всевозможных вопросов и задач, которых сотни в книжных магазинах. Специалисты теории тестов имеют довольно большой список параметров каждого вопроса - степень его трудности, дискриминация, разные корреляции... К сожалению, эти параметры статистические, зависящие и от самого вопроса, и от группы учащихся, для которых вопрос задавался, от их знания и мотивации отвечать. А это значит, что вопрос должен пройти "полевые испытания", как можно более близкие по условиям к тем, в которых он будет использован в будущем. Вроде тут все понятно: НЦЭ постоянно создает различные тесты, их дают учащимся в разных школах страны (не будем сейчас думать о том, насколько такое полупринудительное тестирование нарушает нормальную жизнь в школе - чего не сделаешь ради красивой идеи?). Статистическая информация собирается и обрабатывается, вопросы с хорошими параметрами направляются в БЗ. Объем работы для НЦЭ огромный, но… на то он и был создан. "Маленькая" проблема - вопросы кому-то будут видны до дня экзамена. Но если на таком "конвейере" находится много вопросов, то вероятность того, что у кого-то в день настоящего экзамена в задании будет много уже известных вопросов, чрезвычайно мала. Хотя отдельные случаи, конечно, будут, и возможны разные истории "счастливой случайности" публикации вопросов в прессе (а особенно, в социальных сетях Интернета). "Большая" проблема другая - в надежности собранной статистики про вопрос. Ведь она зависит не только от уровня знаний, но и от настроения ученика, отвечающего на вопрос. Во время настоящего вступительного экзамена дополнительная мотивация сдающему не нужна, он и так будет стараться до последней минуты. А во время какого-то пробного теста? Особенно если данный предмет на экзаменах не обязательный для всех, а по выбору ученика, например, физика или химия. Как определить группу учащихся, более или менее похожую на тех, кто будет сдавать тот экзамен? Но если статистика вопроса вычисляется на другой группе учащихся, то она уже не будет гарантировать качество вопроса на экзамене. С большой долей уверенности можно ожидать, что большинство "трудных" на пробах вопросов уже будут средней трудности или даже легкими. Мотивация ученика выполнять тест довольно сильно зависит от формата вопроса в тесте: ученик чаще всего отвечает на вопросы, в которых нужно выбрать правильный вариант ответа из перечня ответов на выбор, но склонен пропускать вопросы, требующие написать развернутые длинные ответы. Статистические характеристики вопросов в БЗ становятся ненадежными, и потому гарантий качества экзаменационного задания без применения каких-то дополнительных мер уже нет. А в этих требуемых дополнительных мерах обеспечения качества уже существенно появляется "человеческий фактор".

В мире можно найти много примеров того, как НЦЭ пытается бороться с этими проблемами. Например, в Израиле Национальный институт тестирования и оценивания (NITE), отвечающий за вступительный централизованный экзамен, каждый год в настоящее задание включает группу вопросов для "будущего экзамена". За ответы на эти вопросы сдающие экзамен в этом году баллов не получат (ведь качество этих вопросов не гарантируется!), но они никак не выделены в задании отдельно. Так что надо одинаково стараться отвечать все, и статистика вопросов будет надежная. Но как тогда показывать задание после экзамена, как провести апелляцию, как самому ученику (или его учителю) посчитать возможный результат на экзамене? Как объяснить ученику, который ошибся пару раз (но на вопросах "этого года"), что его окончательный результат на экзамене значительно хуже того ученика, который, может быть, ошибался гораздо больше (но на вопросах "будущего" экзамена)? Не хочется это обсуждать, как не хочется также думать, что произойдет, если НЦЭ скажет: вот эта группа вопросов задания была только для испытания самих вопросов и не влияет на окончательный результат ученика. Про какую-то конфиденциальность этих вопросов для экзамена будущего года тоже как-то не хочется говорить… Может, такое и "работает" в Израиле, но не думаю, что это можно предлагать для Украины. Так что хорошей методики испытаний вопросов нет.

В третьих, а может создать такой банк заданий очень большим и открыть его для всех желающих? Например, почему Центру экзаменов не сказать: "Вот вам, дорогие ученики и учителя, полный доступ ко всем нашим вопросам и задачам, учитесь, сколько желаете! И помогайте нам находить плохие вопросы". Задание для экзамена будет собрано из уже известных всем вопросов, но так как их в банке было необычайно много, запомнить все вопросы и ответы на них вроде бы нет возможности (хотя в этом я не уверен). Вроде все здесь хорошо - НЦЭ ничего не скрывает, помогает школе. А если какой-то плохой вопрос проскользнет в настоящее задание, то виноваты уже сами ученики и их учителя - ведь этот вопрос все видели, про ошибку надо было предупреждать раньше! Тут еще следует сказать про большую армию поддержки такого открытого банка заданий - это разные репетиторы, готовящие учащихся к экзамену. Для них такое предложение НЦЭ - как эльдорадо! Готовый методический материал, который надо шаг за шагом пройти. Так что сторонников такого метода создания задания всегда будет много (включая, может быть, и самого НЦЭ, которому меньше ответственности за качество настоящего задания).

Так в чем же основные отрицательные моменты такого открытого банка заданий? Они больше педагогические. Первый вопрос: что будет происходить в школе весной? Сколько учащихся будут посещать уроки, если на них не будут "штудировать" вопросы банка заданий? Но учитель работает по учебной программе, по учебнику - значит ли это, что открытый банк просто заменит весной все учебники? Второй вопрос: сколько в учебных программах по разным предметам написано о развитии творчества, критического мышления? Но если все вопросы опубликованы, то никаких неожиданностей, никакой потребности поиска решения уже нет. Надо только запомнить ответ. Автору этой статьи пришлось столкнуться с таким подходом в одной стране: статистический анализ национального экзамена давал странные результаты - ученики лучше решали задачи, которые должны вроде быть трудными, но хуже отвечали на легкие вопросы. Оказалось, что репетиторы больше внимание уделяли трудным вопросам, думая что с легкими ученики справятся сами… Думать-то думали, а ученики лучше отвечали то, чему их больше обучали…

Так что с этим открытым банком заданий следует обращаться весьма осторожно. Было бы хорошо в образовании (особенно в области экзаменов и тестов) подумать о своей "клятве Гиппократа": "Воздерживаться от причинения какого-либо вреда или несправедливости". Ведь экзамены - это только короткий мостик между средней школой и обучением в вузе. Мостик, конечно, важный и для большинства решающий многое в будущей жизни. Но средняя школа, как национальная институция, имеет гораздо больше образовательных, социальных, воспитательных целей, нежели только подготовить выпускника к экзаменам. Поэтому национальная система экзаменов должна не только придерживаться принципа Гиппократа "не навреди", но и помогать школе в достижении ее целей. И вузам тоже надо не только требовать от НЦЭ "отбирать" лучших, но и иногда поинтересоваться, как национальная система экзаменов помогает образовательному процессу в средней школе. Если и нельзя обойтись без трудных экзаменов на мостике "школа-вуз", то к ним ученика готовить должна школа, а не армия платных репетиторов.

Учитывая все вышеизложенное, становится более ясным не только вопрос, сформулированный в названии статьи, но и ответ на него. Банк тестовых заданий - это ни панацея, ни плацебо. Он, может, и решит часть проблем с качеством задания экзамена, но создаст довольно много других. Трудно сказать сейчас, будут ли те новые проблемы видимыми и болезненными сразу или только по истечении некоторого времени? Может быть, надо больше доверять специалистам НЦЭ, видеть в банке заданий обыкновенный архив вопросов в помощь авторскому созданию задания, а не для ее механической "конфиденциальной" генерации. Может, так возможно достичь требуемого качества с меньшими педагогическими потерями для национальной системы образования? Готового рецепта тут нет. Однако для принятия решения о том, как реформировать систему централизованных экзаменов ЗНО, необходимо думать не только о желании повысить качество задания будущего экзамена. Нужно мыслить гораздо глубже.

Справка ZN.UA

Альгирдас Забулионис (Algirdas Zabulionis) - бывший директор Национального центра экзаменов Литвы. Последние 15 лет является независимым консультантом по тестированию и экзаменам. Работал в более чем 20 странах мира (Монголии, Индии, Таджикистане, Грузии, Украине, Македонии, Сербии, Черногории, Сент-Винсенте и Гренадинах и др.), создавая и совершенствуя национальные системы экзаменов. С украинской системой экзаменов ЗНО знаком с самого начала ее создания, последние годы - как консультант проекта USETI.