Во втором туре экзит-поллы могут разойтись…

Этой статьей я хотел бы исправить многочисленные ошибки и неточности, хотя вера в то, что коммуникация через СМИ позволяет объяснить хоть что-нибудь более сложное, чем бином Ньютона, у меня очень ослабла. Итак, всё сначала.

По контракту с фондом «Демократические инициативы» я осуществляю научное руководство проектом «Национальный экзит-полл’2010»(НЭП). Сам опрос в первом туре был проведен КМИС и Центром Разумкова.

Экзит-поллы в первом туре выборов. В этом году проводилось шесть экзит-поллов, участвовало девять компаний. В день выборов в 20.01 на разных каналах были объявлены такие результаты (привожу вместе с данными ЦИК для кандидатов, набравших больше 2%)(см. табл.)

Обнародование данных экзит-поллов вызвало бурную реакцию в штабах кандидатов и в прессе. Одни политики объявили продажными наших коллег, другие — нас. О чем, собственно, идёт речь? Прежде всего, хочется отделить реальность от заблуждений, которые кочуют из издания в издание.

Заблуждение 1. Все экзит-поллы похожи, а Национальный экзит-полл отличается от всех (см.таблицу). Это не совсем так. Экзит-полл «Аргументов и фактов», например, отличается от R&B больше, чем Национальный от экзит-полла студии Шустера. Сумма отличий Национального экзит-полла от экзит-полла студии Шустера меньше 7%, а «АиФ» от R&B — 10%. Отличие по Януковичу для НЭП составляет 3,4%, а для Шустера от R&B — 3%. Отличие «АиФ» от R&B по Яценюку вообще почти 4% !

Заблуждение 2. Национальный экзит-полл «даже близко не совпал с данными ЦИК».

Максимальное отличие НЭП составило 3,8%, среднее отличие для основных кандидатов — 1,2% (см. последнюю строчку табл.). История экзит-поллов, проведенных в Украине и считающихся успешными, имеет и большие отклонения (например, парламентские 1998 — 4%, второй тур президентских 1999 — 3,5%).

В чем же проблема? Главным образом в том, что оцениваются не отклонения от данных ЦИК по каждому политику, а их разность. Причем именно лидеров (то, что Тигипко опережает Яценюка, по данным разных экзит-поллов, от 2,6% у «АиФ» до почти 7% у «Интера», никого не беспокоит). Наша разность в 4,4% была намного меньше средних 10% у остальных. А разность быает коварной, она может удваивать ошибки. Случайная ошибка, скажем, в 2% означает плюс-минус 2; если брать Януковича и Тимошенко, то может быть четыре случайных варианта раскладки ошибки (+2 у первого, -2 у второго; +2 у обоих; -2 и +2, наконец -2,-2). Т.е. при ошибке в 2% мы могли с равной вероятностью получить 33,5 для Януковича и 25,1 для Тимошенко, что дало бы разность в 8,4% и не вызвало бы никаких вопросов. Оказалось, что наши отклонения по ним были в разные стороны и уменьшили разность. Именно такая ситуация грозит всем экзит-поллам во втором туре.

Второй тур президентских выборов. Главная проблема экзит-поллов второго тура состоит в том, что рейтинги претендентов практически представляют собой сообщающиеся сосуды (третью позицию — «не поддерживаю никого» — больше 3% не выбирают). Всё, что убудет у одного претендента, прибавится к другому. В отличие от первого тура уже не будет ситуации, когда ошибки направлены в одну сторону, все попадут в ситуацию, в которую мы попали в первом туре — любая ошибка при рассмотрении разности удваивается. Ошибка, скажем, в 2,5% приведёт к случайной разнице в 5% во втором туре! И если реально, например, Янукович победит с ощутимым преимуществом в 4%, то экзит-полл может показать небольшое преимущество Тимошенко в 1% и это будет в пределах ошибки выборки! И наоборот — если победит Тимошенко с разрывом в несколько процентов, то экзит-полл может этого не заметить!

Это не значит, что экзит-поллы наших коллег имеют большую ошибку. Наоборот, по-моему, экзит-поллы, несмотря на самые сложные погодные условия за их историю (это ведь уличный опрос, зависящий от погоды), проведены замечательно. Максимальное отклонение экзит-поллов ICTV и студии С.Шустера — 0,6% — вообще из области фантастики, 1,3% «Интера» или 1,9% «АиФ» и 2,4% R & B — тоже очень хорошо даже по американским меркам. Более того, я думаю, что нападки на наш экзит-полл за отклонение в 3,8% связаны с хорошей работой социологов во время двух последних выборов, приучивших общественность к высокой точности экзит-поллов. Но выборочное исследование — это всё же стохастический процесс, колебания в рамках 0,5—1% зависят от везения. В парламентских выборах нет эффекта удвоения ошибки, он есть только во втором туре президентских выборов, и его трудно точно измерить.

Итак, с чем связаны отклонения результатов Национального экзит-полла от результатов ЦИК и от данных других экзит-поллов? Это вопрос, на который мне и другим членам нашей команды приходилось отвечать журналистам каждые два часа в течение последних десяти дней. Удивительно то, что одно и то же утверждение в разных средствах массовой информации просто нельзя узнать, это вам не расхождение экзит-поллов!

Анализ еще не закончен, что-то мы установили точно, а что-то является гипотезами, которые мы продолжаем проверять. Главные причины, которые привели к отличиям результатов нашего экзит-полла от результатов ЦИК, состоят в следующем.

1. Из-за недостатка денег мы перешли к проведению опроса на 240 избирательных участках вместо планировавшихся 300 (расчеты показали, что случайная ошибка возрастает только на 0,7%, но, как оказалось, возрос риск систематических смещений). Это первый экзит-полл в Украине, проведенный на таком количестве участков (экзит-поллы проводятся с 1998 года, раньше участков было от 300 до 1500, а в этих выборах другие экзит-поллы проводились на числе участков от 350 до 500).

2. Мы использовали методологию «единого шага», которая предполагает задачу осуществить контроль выборов, не полагаясь на данные ЦИК о явке. Собственно, это стандартная для американских социологов методология, которую мы адаптировали после того, как в 2004-м оказалось, что данные ЦИК о явке — ненадежный показатель и может сильно отличаться от реальности. Все остальные экзит-поллы, насколько нам известно, так или иначе использовали взвешивание на явку или с самого начала распределяли выборку по явке прошлых выборов или по числу зарегистрированных избирателей (в том числе и экзит-полл студии Шустера, который сначала использовал похожую методологию, но вернулся к схеме корректировки уже в ходе опроса). Использование явки и данных о зарегистрированных избирателях улучшает соответствие данных экзит-полла данным ЦИК, но не даёт возможности контролировать некоторые виды фальсификаций.

Любой экзит-полл в какой-то степени контролирует результаты ЦИК, применяемая нами методология направлена на более широкий спектр отклонений и при их наличии данные опроса больше отличаются от данных ЦИК, чем данные других экзит-поллов.

Факты и гипотезы

Факт 1. Предположение об изначальной территориальной смещенности нашей выборки как основной причине отличий (это было высказано и Н.Гасаненко в статье И.Ведерниковой) не подтвердилось. Точнее, выяснилось, что выборка на 1% занижает данные В.Януковича и на 0,8% завышает данные Ю.Тимошенко, что при таком небольшом количестве участков очень неплохо. С учетом этой ошибки рейтинг В.Януковича по уточненным данным экзит-полла (по анкетам, полученным в Киеве через несколько дней после выборов) становится равным 32,8%, Тимошенко — 26,4%, т.е. максимальное отклонение от результатов ЦИК становится 2,5% для В.Януковича, 1,3% для Ю.Тимошенко, а вожделенная разница равна 6,4%. Осталось объяснить отклонение в эти 2,5%.

Факт 2. Как было рассчитано еще перед объявлением нами окончательных результатов, взвешивание предварительных данных нашего экзит-полла на явку на 15.00 даёт 34,6% Януковичу и 25,4% Ю.Тимошенко, максимальное отличие от данных ЦИК — 0,7%. Мы не знали результатов ЦИК, но знали, что это совпадёт с другими экзит-поллами и при ошибке — ошибутся все (что, согласитесь, приятнее, чем быть белой вороной). Мы не стали взвешивать, так как, во-первых, при этом терялась часть функций контроля выборов, во-вторых, это не было предусмотрено заранее описанной и розданной международным экспертам процедурой. Заметим, что взвешивание наших данных на структуру зарегистрированных избирателей приводит к совпадению с данными ЦИК с отличием в 1,4%.

Факт 3. В уточнённых данных максимальное различие рейтингов кандидатов для двух компаний, работающих каждая по своей выборке (у КМИС и Центра Разумкова), составило 1%.

Гипотеза 1. Невыполнение шага отбора.

Чем же объясняются оставшиеся отклонения данных НЭП от результатов ЦИК в 2,5%? Выяснилось, что расхождением численности избирателей разных областей в наших данных и в результатах ЦИК. Но с чем это может быть связано? Ведь невероятно, чтобы интервьюеры и КМИС, и Центра Разумкова синхронно не соблюдали шаг именно в каких-то отдельных областях? У нас было выделено три типа поселений — областные центры, другие города и села. Хотя мы ориентировались на единый шаг 6, но в областных центрах, где участки больше, сделали «технологический» шаг в 12,
чтобы интервьюеры успевали всех опросить (а потом умножили все, что они получили, на два). Выяснилось, что пропорционально меньше интервьюеры опросили в городах — не областных центрах. Может быть, им было труднее успевать при установленном шаге 6, причем труднее было интервьюерам и КМИС, и Центра Разумкова? Если это так, то тогда понятны диспропорции (города неравномерно распределены по областям) и занижение рейтинга В.Януковича (в этом типе города у него большое преимущество).

Гипотеза 2. (Альтернативная гипотезе 1). Интервьюеры шаг выполняли, но по данным ЦИК на этих участках проголосовало больше людей, чем пришло на участок. Дело в том, что мы определяли, правильно или неправильно работали интервьюеры, в основном по численности проголосовавших, которая, к счастью, оперативно появилась на сайте ЦИК. Если они опрашивают каждого шестого, то число проголосовавших должно быть в шесть раз больше числа ими опрошенных. Если меньше чем в шесть раз — мы думаем, что он «недобрал». В действительности же этот показатель выше из-за других факторов. Это вовсе не обязательно «вбрасывание» после закрытия участков бюллетеней тех, кто не пришел (хотя теоретически и это возможно), это может быть и голосование на дому, и мобилизация сторонников в последние часы работы (в этих городах мы работали только до 18.00). Если голосование на дому (в среднем 3,2%) составило в одном регионе 2%, а в другом 4% — это уже диспропорция, которая частично может объяснить наши данные. (К сожалению, в этих выборах почему-то нет информации по участкам о проценте проголосовавших на дому.)

Какая из гипотез верна — мы не можем определить, но в любом случае это отклонение настолько невелико, что позволяет
с уверенностью сказать: больших отклонений в ходе выборов быть не могло.

Н.Панина и Е.Головаха давно предупреждали — ученым лучше держаться подальше от политики, а экзит-поллы, с их точки зрения — это политика. Проблема в том, что тогда экзит-поллы будут проводить не ученые, а те, кто пока не решается этим заниматься, ограничиваясь обычными опросами. Позиция Е.Головахи совпадает с американской точкой зрения:
экзит-полл — это шоу и источник информации для социологов, западные социологи не признают за экзит-поллами функцию контроля. Конечно, хотелось бы, чтобы экзит-поллы в Украине утратили функцию контроля, и пока что сами выборы внушают большие надежды. Но вот что касается реакции зрителей этого шоу, прежде всего политиков и журналистов, то тут далеко до американской реакции. При высоком уровне коррупции, лживости и демагогии как норме политической жизни происходит инфляция ценности порядочности, поэтому так легко поверить в продажность социологов.

Заканчивая статью, хочу сказать, что данные Национального экзит-полла переданы в Открытый банк социологических данных и желающие могут присоединиться к анализу. Наш анализ мы планируем завершить и разместить на сайте на следующей неделе. Будет жаль, если Национальный экзит-полл потеряет доверие. Он действительно делается аккуратно, с подготовкой необходимой документации, с соблюдением всех международных требований. Экзит-полл широко освещается в прессе, его контролируют международные эксперты, его методология публикуется на сайте до проведения экзит-полла (пусть читатель попробует найти методологию других экзит-поллов), а массивы передаются в открытый банк данных. Проблемы, с которыми столкнулся Национальный экзит-полл, не канут в Лету, а станут материалом для совершенствования методологии экзит-поллов.