Марк Зельман: «Университетам важно не то, сколько формул или дат запомнил человек, а то, насколько он обучаем»

До начала нового учебного года осталась неделя. С 1 сентября аудитории украинских вузов заполнят первокурсники, за плечами которых целый сезон трудных и запутанных баталий за право учиться дальше. Пожалуй, не столько нервов отняло само тестирование (а у кого-то — и последовавшие за ним апелляции), сколько дальнейшая эпопея с зачислением в вузы. Далеко не все университеты пожелали принимать сертификаты Украинского центра оценивания качества образования за единственный критерий зачисления. О самом нашумевшем случае резкого несогласия с решениями Министерства образования и науки «ЗН» уже писало (как догадался внимательный читатель, речь идет о Киево-Могилянской академии). Немало копий было сломано вокруг условий поступления, «особых» и «ну очень особых»… Периодически раздавались крики: внешнее оценивание себя дискредитировало, теперь-то его точно отменят… Тем временем пришла пора готовить вступительную кампанию-2009. И снова хочется, чтобы прозвучал голос независимого эксперта, имеющего собственный взгляд на проблемы тестирования. Предлагаем вашему вниманию интервью с Марком ЗЕЛЬМАНОМ.

— Как показала практика, не все университеты положительно восприняли внешнее оценивание. Ректоры часто приводят такой аргумент: «Мы хотим формировать профиль нашего студента, поэтому ваше стандартизированное тестирование нам не подходит». Насколько принцип университетской автономии распространяется на вступительную кампанию, отбор студентов по своему усмотрению?

— Это зависит от социальной системы, системы образования. Как работает принцип assessment (оценивания), объясню на примере. Существуют две схемы. Первая — декларирование социального факта. Это как, например, в загсе вас объявляют мужем и женой или как суд присяжных объявляет человека виновным. Точно так же Министерство образования устанавливает единый для всех card score (проходной балл), и государственный центр тестирования объявляет, сдали вы или не сдали тесты и, соответственно, поступаете в вуз или нет.

Другая схема: центр тестирования объявляет, что вы набрали 10 баллов, это означает, что вы знаете и умеете то-то и то-то. А каждый университет самостоятельно определяет, достаточно ему столько или нет. Вуз посильнее может установить более высокий проходной балл, послабее — более низкий, потому что знает: самые яркие студенты в него не пойдут. Вы можете подать в суд на центр тестирования и заявить, что ошибка измерения слишком велика. И те, кто вас тестировал, должны доказать, что их измерение точное и объективное. В Европе (в том числе и в Украине) — первый подход, в США — второй.

Так как у вас в Конституции задекларирован равный доступ к высшему образованию, стране нужен тест, который создаст систему meritocracy: когда человека принимают в вуз на основе его способностей к дальнейшему обучению независимо от социальных факторов, жизненного опыта или материального положения. Первый шаг к этому — создание стандартизированных тестов. Таким образом все окажутся в равных условиях.

— Существуют ли в других странах особые условия, которые дают детям преимущество при поступлении? Как у нас для победителей олимпиад, чернобыльцев, детей-сирот…

— В университете должны учиться способные дети. Не нужно ставить определенную группу населения в более выгодные условия — нужно обеспечить всем равный шанс для поступления. Например, могут быть разные версии вступительных тестов: обычная, для слабовидящих (шрифтом Брайля) и разговорные тесты для тех, у кого атрофируется чувствительность кончиков пальцев. Но сложность у всех версий одинаковая. В США есть affirmative action (предоставление преимущественных прав) афроамериканцам, но они сдают точно такой же SAT.

— У украинского ВНО несколько функций: с одной стороны, поступление в университет, а с другой — оценивание того, как дети усвоили школьную программу. Очевидно, это вносит путаницу, так как поступают не только школьники…

— Поступление в университет и окончание школы — цели очень разные. Сделать валидный тест, решающий обе задачи, крайне сложно. Создание системы, которая всех ставит в равные условия, — это хорошо, но не нужно на этом останавливаться. На следующем этапе я бы рекомендовал разделить эти экзамены. По окончании школы — тест на знания, оцениваемый по критериальной шкале (criterion-based assessment): мы не выстраиваем детей в рейтинг, а смотрим, усвоили ли они стандарт, предписанный школьной программой. При поступлении — тест на способности с рейтинговой шкалой (reference-based assessment).

Если же мы соединяем эти тесты, обычно берутся критерии reference-based и адаптируются под стандарты школьной программы. В результате успешных выпускников получается меньше, чем поступивших в вуз. Это только одна из проблем подобного смешения.

— Расскажите поподробнее о тестировании способностей.

— Когда-то каждый американский университет проводил собственное вступительное тестирование, и все были довольны. Но потом с полей Первой мировой войны пришло множество солдат, которые хотели поступить в университет, но давно забыли, чему обучались в школе, если вообще ее окончили. Как зачислить этих людей в студенты, если они совершенно неконкурентоспособны по сравнению с теми, кто только что закончил школу?

И вот был создан College Board, совет ректоров крупнейших университетов США, который поставил задачу: можно ли создать такой инструмент измерения, который предсказывал бы, насколько успешно человек будет учиться в университете, насколько он обучаем, без того, чтобы тестировать его знания? Они основали компанию ETS, которая в 1926 году разработала SAT (Scholastic Assessment Test) — стандартизированный тест общих способностей. С тех пор по его результатам зачисляют в наиболее престижные университеты Америки такие, как Принстон, Гарвард, Йель.

В Украине возникли похожие вызовы. Конечно, войны нет, но многие люди, работающие на производстве, хотят получить высшее образование. Они давно забыли школьную программу, неконкурентоспособны по сравнению с выпускниками этого года. А это большой процент населения, который платит за обучение и за счет которого существуют университеты. Также не секрет, что уровень школ очень разный, тем не менее в самом глухом селе могут учиться талантливые дети. Сдавая тест на знания, они проиграют детям из какой-нибудь столичной гимназии, но это не значит, что они не способны заниматься и быть успешными. Университетам на самом деле важно не то, сколько формул или дат запомнил человек, а то, насколько он обучаем.

Мы сделали ability test в Киргизии. Дети могли выбирать: сдавать старые тесты на знания, либо новые — на способности. Многие школьники из маленьких сел предпочли второй вариант. Через год мы провели validation study (исследование валидности) и выяснилось: первые четыре месяца студенты, сдавшие старые тесты, занимались в вузах лучше, чем дети, поступившие по новым тестам. А потом 98% способных детей обогнали своих товарищей по учебе. Дело в том, что первые четыре месяца университет повторял школьную программу, и первые дети выезжали на заученных знаниях, однако их товарищи быстро наверстали упущенное, и так как они хорошо обучаемы, стали очень быстро осваивать новую программу.

Идея ability tests еще достаточно нова в Европе. Англия сейчас переходит на такое тестирование. Для Украины идея новая, и я не ожидаю, что в ближайшее время что-то революционно изменится.

— Как составляется тест на способности, что и как он измеряет?

— Вопросы теста очень «дружелюбные». Там нет страшных формул, задачи взяты из жизни, просты и понятны. Однако для их решения, нужно не просто иметь базовые знания предмета, но и уметь применить их на практике, в нестандартной ситуации. Для этого нужно не просто запомнить, а понять суть материала. Мы можем, например, попросить ребенка не решить задачу, а определить, достаточно ли условий для ее решения, или каких именно условий достаточно.

Обычно тесты на способности состоят из двух основных групп: quantitative reasoning (тест на математические способности, но это не чистая математика) и verbal reasoning (языковое мышление). Это два разных теста, их можно проходить в разные дни. Они не длинные, максимум полтора часа каждый. В таких тестах преобладают закрытые вопросы разных видов — их легче автоматически обрабатывать, а значит, оценка будет более объективной.

Качественный тест на способности не так просто создать, обычно для этого требуется три-четыре года работы специалистов по психометрии и около 5 млн. долл.

— Один из самых сильных аргументов сторонников тестов на знания — то, что они очень мотивируют учащихся, хотя бы на уровне старшей школы. Дети понимают, что им придется проходить тестирование, и старательно учатся. Если мы введем тест на способности, это может сказаться на их мотивации к учебе.

— Мы ориентируемся на то, чтобы дети в школе освоили как можно больше материала. А для чего это нужно, если применить нельзя? Они должны научиться учиться в течение всей жизни.

В Америке существуют два вида тестов: SAT (на способности) и ACT (на знания). В разных штатах принимают разные тесты. Наиболее сильные университеты — Принстон, Гарвард, Йель — принимают SAT. Они утверждают, что обучат вас всем необходимым знаниям — лишь бы вы были обучаемы. В XXI веке будет цениться не то, насколько точно мы можем дать ответ на задачу, которой нас учили в школе, но то, как мы можем решить задачу, которой никогда не видели.

Однажды я пришел на собеседование в компьютерную компанию (в то время я писал докторскую по теоретической математике). Работодатели спрашивают: «Ты знаешь хоть один язык программирования?» Я говорю: «Не знаю». Они принесли толстую книгу с каким-то заковыристым языком, спрашивают: «Сможешь выучить?» «Смогу». «Сколько тебе нужно?» «Неделю». «О’кей, ты принят на работу». По моему CV они поняли, что я этого не знаю, но я хорошо обучаем.

— Вы смотрите с позиции последующего образования. Но насколько ценно тестирование для средней школы?

— Конечно, система тестирования влияет на среднюю школу. Так называемый backwash effect: учат тому, что проверяют. Тестирование предъявляет новые запросы учителям. Например, с недавних пор в рамках SAT появилось сочинение. Оно никак не влияет на психометрическое предсказание способностей. Его ввели исключительно для backwash effect. Оказалось, что мотивационное эссе, которое обычно прилагается к заявлению на поступление, большинство детей воруют из Интернета или за них пишут родители, потому что школа этому не научила. А ведь этот навык в жизни обязательно пригодится.

Но если брать тест как способ школьной аттестации — на самом деле школьные выпускные экзамены не так уж важны. По крайней мере, на уровень подготовки детей в школе они не влияют.

— Неужели?

— Получается примерно следующее: представьте, что я сажусь на самолет до Борисполя. Пилот смотрит на приборы и летит примерно на север. Через два часа видит аэропорт, садится, и независимо от того, Борисполь это или нет, вам приходится выходить, потому что вас уже ждет другой самолет. Так же построена ваша система образования: окончил курс, и независимо от того, готов ты или не готов, какие у тебя успехи, ты должен идти к следующему этапу. Поздно говорить о чем-то на выходе, когда дети уже окончили школу. Чему научили, тому научили.

По результатам итогового оценивания можно сказать: школьные стандарты достигнуты или не достигнуты. Но по каким причинам, тест не показывает.

В Грузии, Пакистане строится национальная система оценивания прогресса в образовании. Она оценит успехи школьников и даст рекомендации чиновникам и директорам школ, что нужно делать конкретно, чтобы улучшить ситуацию. Мониторинг, как правило, проводится в переходных классах — четвертом, восьмом, выпускном. Создается специальный инструмент, отличающийся от школьного экзамена: в нем есть и вопросы на знания, и социологический опросник. Данные сопоставляются, и мы можем увидеть, какие социальные факторы влияют на те или иные показатели. Такие системы есть во многих странах. В Украине и России их еще нет. Поэтому аттестационный тест действительно воспринимается как индикатор состояния образования в стране.

Есть такая поговорка в психометрии: if you want to measure the change, don’t change the measure — если вы хотите измерить изменения, не изменяйте измеритель. Оценивание прогресса в образовании разработано так, что инструмент не меняется. А вот ваш тест не предназначен для мониторинга системы образования. Сравнивать уровень школы по выпускным тестам разных лет не совсем правильно.

Вообще, думаю, при поступлении вам все равно не избежать subject tests — тестов на знание определенных предметов. Ведь в Украине система образования построена так, что человек, поступая в университет, сразу поступает на специальность. Например, при поступлении в медицинский университет абитуриента наверняка попросят сдать биологию или химию. Так что наряду с обязательным для всех тестом общих способностей я бы создавал предметные тесты по запросу учебного заведения. В США такого делать не нужно, потому что у нас можно не выбирать специальность три года, просто учиться в университете, и за это время приобрести необходимые знания и навыки.

— В Украине на тестирование вынесено 11 предметов. В других странах этот перечень уже, шире или все зависит от университетов?

— Желательно, чтобы он был уже. Я бы советовал провести опрос по разным университетам и специальностям: какие предметы они хотели бы видеть вынесенными на вступительные экзамены. Потом составить список и на его основе принимать решение.

— У нас есть рейтинговая шкала от 100 до 200 и проходной барьер — 124 балла. Эта цифра имеет отношение к психометрии или это политическое решение?

— Я пытался выяснить, откуда взялась такая цифра, но внятного ответа не получил. На самом деле проходной балл — понятие весьма условное. Например, при зачислении в американскую армию тоже сдают тест. Однажды организация, которая создавала этот тест, допустила небольшую ошибку в шкалировании, и проходной балл понизился. Это заметили слишком поздно, когда уже приняли рекрутов. Решили посмотреть, как они себя покажут. Показали очень хорошо.

— Нужно ли осуществлять мониторинг в университетах, чтобы оценить, хорошо ли сработало наше тестирование?

— Конечно, нужно проверить валидность тестов. Как занимается студент, который получил высокие баллы, какие у него оценки через год. Можно вывести средний балл за первый год обучения.

— У нас в разных университетах разные системы баллов: где-то пятибалльная, где-то стобалльная…

— Будем говорить не об абсолютных баллах, а о соотношении: как учится человек, который на тестировании набрал 124 балла, по сравнению с человеком, который набрал 150 баллов? А если ни тот, ни другой не показали успехов, может, тесты не работают?

— Насколько методология тестирования может быть предметом публичной дискуссии?

— Целесообразно выпускать отчеты для разных слоев населения. Более углубленный — для специалистов, чтобы они могли оценить технологию и высказать критические замечания. Для общественности, журналистов — отчет, где все объясняется более доступно. Не нужно открывать все банки тестовых заданий, достаточно объяснить логику. И отдельный отчет — для авторитетных людей, к точке зрения которых по поводу тестирования прислушается общественность.

— Должна ли быть государственная монополия на проведение теста? Или этим могут заниматься несколько организаций, возможно, международных, чтобы была соревновательность? В Украине избран такой вариант: один тест, одна государственная монополия. Целесообразно ли это менять или стоит оставить как есть?

— Это зависит от вашего политического решения. У каждого варианта есть преимущества и недостатки.

В Нью-Йорке существуют внутренние региональные экзамены. Государственные центры, которые их проводят, зависят от бюджета штата, а он относительно небольшой, соответственно, качество тестов оставляет желать лучшего. Чтобы улучшать тесты, нужны исследования, новые разработки. Насколько государство может их финансировать?

У вас образование бесплатное, тесты не могут быть платными. Поэтому частной тестовой компании будет не на что существовать. Из госбюджета ее финансировать нельзя — это будет означать вмешательство государства. В мировой практике частная компания получает прибыль, создавая и администрируя тест, заключая контракт с университетами и предоставляя продукт, который даст им хороших студентов. Образование начинает работать как бизнес, сфера услуг.

— Как измерить успешность вступительной кампании-2008?

— Явно не количеством недовольных. Надо признать, что в таких сложных условиях за год вы достигли очень многого, в частности, в плане администрирования. И если рассматривать ВНО как инструмент борьбы с коррупцией, то да, успех налицо. Но борьба с коррупцией — лишь побочный эффект тестирования. В следующем году все привыкнут к тому, что утечки информации не происходит, и будут смотреть в основном на качество тестов. В этом плане многое можно улучшить. Но это занимает время, которого у вас до сих пор не было.

В тестах разных стран мне попадались вопросы, на которые может ответить только тот, кто механически зазубрил нужный отрывок из учебника. Но если ребенок начинает думать логически, то может прийти к выводу, что задание имеет несколько решений или не имеет вообще. Подобные вопросы я видел и в украинских тестах.

— Значит, то, что человек — педагог-профессионал, еще не означает, что он может подготовить хорошие тесты?

— Каждый учитель придумывает детям контрольные, но задания для общенационального тестирования — совсем другое. Здесь, как и в журналистике, нужна тренировка, оттачивание определенных навыков. Разработчик тестов должен не только хорошо знать свой предмет, но и понимать основы психометрии, быть великолепно эрудированным, уметь излагать сложные идеи простым языком, четко и ясно формулировать мысли. Он не может все время повторяться — нужно постоянно продуцировать новые идеи. Вопросы не должны вызывать у ребенка панику запутанностью и неоднозначностью формулировок.

На подготовку специалиста-разработчика тестов нужен год. На протяжении этого времени человек должен быть занят полный рабочий день и находиться в постоянном контакте с коллегами-наставниками.

На разработку качественного теста уходит два-три года. Чтобы придумать хороший, корректный вопрос, специалист тратит минимум час времени. Конечно, если написание тестов для тебя — случайная подработка, а в университете нужно отрабатывать основную зарплату, ты потратишь на тесты ровно столько времени, сколько удастся выкроить между преподаванием и научной работой. Если же нанять тестологов на полную ставку, дать им достойную зарплату, не надо будет просить пол-Украины сочинять вопросы. Вполне хватит шести-семи человек на каждый предмет.

— Если появится группа людей, профессионально занимающихся тестами, их гораздо проще вычислить, а поскольку у нас страна очень коррумпированная, это снизит конфиденциальность.

— Естественно, нужны меры безопасности. Например, в списках компании ETS имена разработчиков тестов не публикуются.

Досье «ЗН»

Марк Зельман, доктор математических наук, имеет пятнадцатилетний опыт в сфере разработки тестов (SAT, GRE, GMAT) в Принстоне. С 2004 года сотрудничает с American Councils. Г-н Зельман является одним из признанных экспертов в области дизайна и разработки тестов в США, кроме того, он работал в Грузии, Казахстане, Киргизии, Таиланде и Пакистане в программах по развитию государственных систем тестирования. Он — талантливый тренер по разработке тестовых заданий и профессиональный консультант в рамках программы USETI.