Внешнее оценивание по истории: стандарт серости в образовании?

Рассмотрение проблемы хотелось бы начать с цитаты бывшего директора Украинского центра оценивания качества образования (УЦОКО) Министерства образования и науки Украины Лилии Гриневич: «Независимое тестирование — это не недоверие к школе, это предоставление равных возможностей доступа к высшему образованию тем, кто сегодня их не имеет, независимо от места жительства, социального происхождения и доходов». В сущности, автор этого высказывания хочет сказать, что сейчас высшее образование доступно только тем, у кого есть доходы, определенное социальное происхождение и соответствующее место жительства.

Идея внешнего тестирования позволяет, во-первых, обеспечить определенный стандарт образования; во-вторых, устранить из процесса оценивания субъективизм; в-третьих, значительно снизить коррупцию и, в конце концов, унифицировать процесс оценки. Суть внешнего оценивания, проведенного в июне 2006 года, как раз заключается в том, чтобы установить ранговое место каждого ученика относительно других. То есть всем нам сообщили, кто из протестированных учеников «самый умный», кто — «умный в меру», а кто — «недостоин высшего образования». Но возникают логические и закономерные вопросы: а судьи кто? И по каким критериям они разработали такую иерархию? Насколько эти критерии отвечают задачам государственной политики и официальным требованиям к оцениванию результатов обучения?

«Всякий раз, — как призывают мировые авторитеты по тестологии А.Анастази и С.Урбина, — используя тест, надлежит прибегать к анализу целей теста и всестороннему осмыслению того поведения, для которого этот тест предусмотрен».

Просим заинтересовавшихся посетить сайт Центра тестовых технологий и мониторинга качества образования и обратить внимание на характер заданий, предлагаемых для оценивания учеников (http://ukrtest. org/test/index. php). Все задания тестовой тетради представляют собой вопрос с выбором одного или нескольких правильных ответов; расположение указанных событий в хронологическом порядке; установление соответствия между датами и событиями или именами и событиями. Самые сложные — задания открытой формы с коротким ответом: это означает, что ученику необходимо вписать соответствующие дату, фамилию, понятие или событие по приведенной характеристике. Так было в 2006 г. и почти то же самое осталось в 2007 г., за исключением открытого вопроса по воспроизведению исторического фактажа.

Задания неплохие, но возникает вполне логичный вопрос: что они измеряют? Напомним: главная цель исторического образования — развитие исторического мышления, что зафиксировано в объяснительной записке к учебным программам. Именно за умение исторически мыслить выставляются самые высокие баллы (10—12). С учетом того, что мы стремимся интегрироваться в европейское образовательное пространство, стоит прежде всего заботиться о развитии исторического мышления. Основная цель исторического образования в Европе сформулирована в кратком лозунге: «Обучение истории — это не путь накопления знаний, а путь развития мышления».

Измеряют ли задания нашего внешнего тестирования состояние развития исторического мышления? Сложно дать на этот вопрос утвердительный ответ. Все задания внешнего тестирования направлены на то, чтобы проверить, сколько дат, имен, событий и документов запомнил ученик. Причем иногда тяжело понять, почему ученики должны знать именно эти даты, события и имена.

Под мышлением подразумевают умение решать задачи, но ни одно из заданий не требует от ученика умственной работы, а предусматривает только напряжение памяти. Следовательно, задания Центра тестовых технологий проводят «селекцию» на «умников» и «недотеп» на основе того, кто больше запомнит всяких подробностей. Ничего себе критерий для распределения на «элиту» и «неудачников»! То есть доступ к высшему образованию не получат дети, наиболее для этого пригодные — умеющие думать.

Такие тесты утверждают в образовании стандарт серости. Именно неспособных зачисляют в «элиту». Наш десятилетний опыт работы на олимпиадах по истории позволяет сделать вывод, что одаренные дети плохо выполняют тесты (часто бессмысленные) на воспроизведение второстепенного исторического фактажа. В большинстве своем именно тесты на воспроизведение фактажа предлагает УЦОКО в общенациональном масштабе. Например, мне как историку и методисту непонятно, зачем ученику надо знать, в каком году в Киеве открыт дворец культуры «Украина». Стоит отдать должное Центру тестовых технологий: в последней редакции тестов таких вопросов относительно немного.

Между прочим, опыт учителей, готовящих учеников на международные олимпиады, например, по биологии (по данным личного общения), также свидетельствует, что тесты на выбор одного правильного ответа хорошо решают, как правило, те, кто не умеет думать. В большинстве своем победители почти никогда не становятся выдающимися специалистами и учеными, поскольку главный критерий олимпиады — проверка не мышления, а объема данных, которые запомнил ученик.

Всемирно известный психолог Роберт Штернберг по этому поводу заметил, что соревнование, в котором побеждает тот, кто больше вспомнил всякой чепухи, достойно сожаления и осуждения. «Такие конкурсы, — уверяет Штернберг, — плодят «умников», не способных ни на что большее, кроме как играть в аналогичные игры».

Аналогично обеспокоены внедрением тестов не только в Украине, но и в России. Например, А.Кабанов, имея восьмилетний опыт тестирования, пришел к выводу, что во время тестовых испытаний слабые студенты показывали высокие результаты, а сильные — низкие. По его убеждению, традиционная форма проверки в виде устного экзамена оказалась ближе к реальности.

Качество тестов с выбором правильного ответа подвергается критике также в США, в частности, специалисты отмечают их возможные вредные последствия для учеников. Еще в 60-х годах ХХ в. Б.Гоффман и его приверженцы утверждали, что такие задачи ставят оригинально мыслящих учеников в крайне невыгодное положение. Б.Гоффман доказал, что более смышленые студенты могут видеть в этих задачах скрытый смысл, ставя тем самым под сомнение правильность ключевых ответов.

Следовательно, задания от Центра тестовых технологий гарантируют отбор в вузы людей, умеющих воспроизводить заученное, и не дают никаких гарантий, что в университеты попадут именно мыслящие и творческие люди. Обеспечит ли такая «селекция» процветание Украине?

Наша ситуация сегодня аналогична ситуации в США в 80-х гг. ХХ в., когда увлечение «объективными» тестами и пренебрежение развивающим обучением привели к быстрому снижению талантливости нации. Хотелось бы напомнить слова нобелевского лауреата
Т.Дж.Сиборг, члена экспертной комиссии, созданной Рейганом с целью проверки состояния образования. Сиборг писала: «Этот доклад посвящен только одной проблеме, но такой, которая погубит американские благополучие, безопасность и цивилизацию, если не будет решена... Образование в нашем обществе разъедает все более мощный поток посредственности, губящий будущее нации и народа».

Далее в докладе говорится: «Если бы вражеское иностранное государство навязало Америке этот посредственный уровень образования, то это стоило бы рассматривать как агрессию. Но, похоже, мы сами в ответе за то, что с нами происходит». В унисон мыслям г-жи Сиборг невозможно не признать, что тесты от Центра тестовых технологий — угроза национальной безопасности Украины. Такое внешнее тестирование можно было бы признать самой удачной диверсией заграничных спецслужб против Украины. В соответствии со ст. VII.14 Национальной доктрины развития образования, качество образования является национальным приоритетом и предпосылкой национальной безопасности государства. УЦОКО навязывает системе образования схоластический характер обучения, отбрасывая ее на сотни лет назад, когда в почете были муштра, начетничество, зубрежка и ненависть к школе.

Такая деятельность УЦОКО противоречит задачам, поставленным президентом Украины и правительством. Валидность теста — понятие, характеризирующее, что именно измеряет тест и насколько хорошо он это делает. Валидность любого теста говорит нам о том, какие выводы можно сделать из полученных по нему показателей.

О какой валидности теста может идти речь, если он оценивает абсолютно другие качества ребенка, нежели предусмотренные государством как результаты обучения. Таким образом, можем сделать вывод, что авторы тестирования или не понимают, что означает понятие «валидность», или имеют неадекватное понимание этого термина.

Отчеты, публикуемые Центром тестовых технологий и мониторинга качества образования, составлены, наверное, квалифицированными математиками, но явно не тестологами. Некоторые утверждения в этих отчетах кажутся вершиной тестологического невежества.

Сложилась абсурдная ситуация: два основных параметра внешнего тестирования (валидность и надежность) не выдерживают никакой критики. Работники УЦОКО обнаружили, что коэффициент корреляции результатов, полученных участниками тестирования на задания, ответы на которые подлежали сканированию и компьютерной обработке (многовыборные, логические пары, последовательности, открытые с коротким ответом), и результатов, полученных за открытые задания с развернутым ответом, достаточно значителен — 0,71. Поэтому они решили, что открытые задачи с развернутым ответом в предложенной форме важной дополнительной информации об учебных достижениях учеников не дают. Как раз поэтому в тестировании 2006 г. этих заданий не было, в тестировании 2007 г. появились открытые вопросы на воспроизведение исторического фактажа (что, по сути, не решает проблемы).

Истина заключается в том, что в любом случае на основании этих подсчетов нельзя сделать вывод о ненужности открытых вопросов. Можно только утверждать, что открытые вопросы, проверяющие фактологическую осведомленность учеников, не добавляют дополнительной информации к той, которую дают закрытые вопросы. Следовательно, нужно разработать такие открытые вопросы, которые бы позволяли оценить компетентность учеников, а не просто их фактологическую осведомленность. Тем не менее центр возобновил в тестировании 2007 г. свою практику открытых вопросов репродуктивного характера.

Руководство к тесту должно предоставлять пользователям возможность оценить его, прежде чем воспользоваться им для своих потребностей. Стоит признать, что объяснительная записка к тестам УЦОКО не оправдала этих ожиданий. Нам необходимо на этом не совсем удачном эксперименте хорошо уяснить, что неправильное использование тестов может нанести вред человеку и снизить его вклад в развитие общества.

Из такой непрозрачности в подсчетах следует, что работники УЦОКО, сознательно или бессознательно, приукрашивают реальное состояние вещей и выдают желаемое за действительное. Не хотелось бы думать, что это делается сознательно с целью интеллектуального мошенничества. И самое главное — утверждение экспертов УЦОКО о ненужности открытых творческих заданий с развернутым ответом является абсолютно безосновательным. Дискуссию стоит вести в другой плоскости: о функциональном назначении открытых вопросов. Кстати, в западноевропейских странах, в странах Балтии и даже в России открытые вопросы творческого характера есть в государственной аттестации, так как именно они дают возможность проверить способность ученика мыслить исторически.

Вновь сложилась парадоксальная ситуация: задания, позволяющие хоть как-то измерить компетентность учеников соответственно государственным требованиям, были отвергнуты. И это сделали под ширмой новомодных и мало понятных широкому обществу слов типа: «корреляция», «коэффициент», «валидность», «надежность» и пр. Разве это не абсурд?

Какие отдаленные последствия ожидают общество, если мы будем пользоваться услугами «внешнего тестирования» от Центра тестовых технологий и мониторинга образования? Вопрос насколько непрост, настолько и важен. Если сомнительной квалификации судьи на основании сомнительного качества тестов с неопределенной целью записывают в умники почти однозначно не тех, то на какие положительные последствия можем рассчитывать?

Рассмотрение этого вопроса следует начать с небольшого экскурса в философию, социологию и диагностику. Без этого невозможно будет рассмотреть вопрос всесторонне. В западных учебных заведениях существует добрая традиция: прежде чем начинать образовательную деятельность, следует определиться с философией образования, то есть определить миссию, ценности, основы, принципы и методы образовательной деятельности. Нам, например, было бы любопытно узнать о философии составителей тестов: какой системой координат они руководствовались, разрабатывая диагностические материалы?

Ситуация с тестированием УЦОКО похожа на ситуацию, если бы кому-то по бешеной цене предложили купить товар в непрозрачной упаковке без какой-либо этикетки, то есть «кота в мешке».

Следует помнить, что институты образования и воспитания во все времена были и остаются способами вертикальной социальной циркуляции. В обществах, где школы доступны всем гражданам, школьная система — это «социальный лифт», двигающийся с самого низа общества к самым верхам. Традиционно школу рассматривают как образовательное учреждение, основная социальная функция которого состоит в формировании у учеников определенных знаний и умений. Тестирующая, селекционирующая и дистрибутивная функции почти полностью игнорируются, хотя эти функции не менее значимы, чем образование. Школа является частью социального механизма, апробирующего способности индивидов, просеивающего и селекционирующего, а также определяющего их будущие социальные позиции.

Следовательно, фундаментальная социальная функция школы состоит в том, чтобы с помощью экзаменов и наблюдений определить, у кого какие способности, в какой мере они проявляются и какие из них социально и морально значимы. Оборотной стороной этой функции является отстранение тех, у кого нет ожидаемых качеств, и закрытие для них путей последующего продвижения, по крайней мере, в определенные социальные области. По точному высказыванию П.Сорокина, школьная система с ее преградами, барьерами, испытаниями и другими мероприятиями представляет собой сложное «сито», отделяющее «хороших» граждан от «плохих», «способных» от «неспособных», «пригодных к высокому социальному положению» от «неугодных».

Школа определяет, какой характер будут иметь «аристократия» и общество в целом. Функции монарха в прошлом и президента республики теперь, функции средневекового духовенства и современных ученых, схоластов и интеллигенции, функции бывших аграриев и торговцев и современных капитанов индустрии и коммерции похожи. Они идентичны как по сути, так и по высокому положению, занимаемому этими профессиональными группами. Не приходится сомневаться, что для выполнения этих работ необходим высокий уровень умственных способностей, поскольку они имеют сугубо интеллектуальный характер. Бесспорно, успешное исполнение этих функций самое важное для общества в целом.

То есть следует отдавать себе отчет, что через 10—20 лет после внедрения такого внешнего тестирования в Украине сформируется новая элита, обеспечивающая организацию, управление и контроль общества. Какой будет эта элита? Насколько успешно она будет выполнять свои функции? Словом, будут ли ее способности отвечать запросам времени? Например, если в раннем средневековье главным условием выживания человеческого сообщества было умение вести войну — соответственно, элита формировалась в зависимости от военных способностей. В индустриальную эпоху элита формировалась в зависимости от хозяйственных способностей.

Какие способности понадобятся элите в информационном обществе? Основной способностью, необходимой для выживания в будущем, станет умение мыслить. Специалисты различных областей в этом поразительно единогласны. ХХІ в. станет временем, когда именно умственные способности отдельных людей, а не природные ресурсы, капитал и технологии проложат решающую грань между успехом и неудачей, между лидерами и ведомыми. Именно умственные способности плюс высокие моральные качества — залог прогресса Украины в ХХІ в.

А наше внешнее тестирование формирует элиту по принципу «кто лучше запоминает» и «кто менее творческий». Более творческие и лучше думающие останутся на обочине. Именно мыслящим индивидам закрывают шлюз к сферам деятельности, которые будут определять прогресс страны впредь. Что ожидает Украину в ХХІ веке с таким нашим внешним тестированием?

Оценивание учеников, ориентированное на воспроизведение фактологической информации, окончательно похоронит еле тлеющий развивающий эффект в обучении. Не секрет, что школа всегда приспосабливается к критериям оценки. Если реальные критерии оценки (не декларированные) ориентированы на воспроизведение, то учителя это быстро поймут и внесут соответствующие коррективы в обучение. Чего ради напрягаться, развивая мышление, чего ради повышать свою квалификацию, если это никоим образом не поощряется процедурой оценки? Разрушительная сила такого внешнего тестирования окончательно похоронит незначительные сдвиги, сделанные в направлении внедрения развивающего обучения в последнее десятилетие. Между прочим такое внешнее тестирование — прямая угроза демократическим перспективам Украины.

Подводя итоги, вынуждены констатировать, что с внедрением внешнего тестирования по истории мы явно поторопились. Безусловно, для того чтобы определить достойных университетского образования, фактологические знания — это лучший критерий, чем блат. Но насколько лучший? Что получим взамен? Честно сформированную элиту недотеп? Сама по себе идея независимого контроля — плодотворна и полезна. Но хорошие идеи — как радиация: могут лечить, а могут калечить (зависимо от личности пользователя). Задачи, поставленные президентом Украины и правительством, реализованы УЦОКО с абсолютно противоположным эффектом. Возможно, как раз поэтому «элитные вузы» устраивают разнообразные преграды (иногда смешные) «равному доступу» от УЦОКО, стремясь сохранить высокие стандарты (а не просто припрятать коррупцию). Наверное, администрации вузов интуитивно почувствовали, что такой равный доступ стоит немногого, поскольку это доступ низкопробного продукта. Нам сложно судить, насколько этот вывод касается внешней оценки по математике и украинскому языку.

Внедряя инновации, нам следовало бы усердно и придирчиво посмотреть дареному коню от УЦОКО в зубы, проведя широкомасштабную экспертизу. Вообще, реформирование образования — сложный и противоречивый процесс, требующий взвешенных решений и изучения опыта других стран. «Урок, который современные реформаторы должны сделать из прошлого, — как справедливо отмечали Б.Тимар и Д.Кирп, — состоит в том, что нельзя пренебрегать организационной культурой. Качественные образовательные программы не могут существовать в нездоровых институциях».