Крушение экзит-полла

Данные шести экзит-поллов, проведенных в день голосования, разошлись. Прошедшие во второй тур кандидаты в президенты получили очередной повод обвинить одних социологов в исключительном профессионализме, других — в исключительной продажности. Очень похоже на 2004-й. Однако на этот раз основные камни полетели в огород «Национального экзит-полла», который тогда стал победным аргументом Ющенко в Верховном суде, а сейчас провел опрос по отличной от большинства методике и зафиксировал минимальный разрыв между Януковичем и Тимошенко. Причин тотального недоверия к этому результату несколько.

Во-первых, на парламентских выборах 2006 и 2007 гг. КМИС и Центр Разумкова, сотрудничающие в этом проекте под эгидой Фонда «Демократические инициативы», работали по той же эксклюзивной методике и их данные выглядели абсолютно корректными по отношению к результатам остальных компаний и ЦИК.

Во-вторых, на этот раз данные «Национального экзит-полла», презентовавшего четырехпроцентный разрыв, разошлись с данными сразу пяти (!) социологических компаний и ЦИК, зафиксировавших разрыв между кандидатами, прошедшими во второй тур, в 9—11%.

В-третьих, расхождения обнаружились исключительно в цифрах, касающихся Тимошенко и Януковича, в то время как в отношении Тигипко, Яценюка, Ющенко и др. «Национальный экзит-полл» продемонстрировал абсолютно идентичные цифры в рамках допустимой погрешности.

В-четвертых, «Национальный экзит-полл» этим результатом опроверг свой же декабрьский диагноз общественного мнения, когда и КМИС, и Центр Разумкова так же как и все остальные социологические компании, зафиксировали более чем 10-процентный разрыв между основными кандидатами.

В-пятых, на фоне громких заявлений премьера о «массовых фальсификациях и оплаченных Партией регионов пяти экзит-поллах», международная миссия ОБСЕ признала выборы в Украине состоявшимися и демократичными, тем самым исключив сомнения относительно официальных результатов ЦИК. Тогда как медиасообщество зафиксировало красноречивое совпадение (процент в процент) данных «Национального экзит-полла» с заявленными БЮТ результатами параллельного подсчета голосов.

Что же произошло на самом деле? Почему этот профессиональный лайнер (а в порядочности руководителей КМИС и Центра Разумкова, в отличие от политиков, сегодня не сомневаются даже те, с кем Паниотто, Хмелько и Быченко оказались по разные стороны баррикад в 2004-м) потерпел столь неожиданное и масштабное крушение? Устоит ли в этой ситуации сама идея проведения экзит-полла в Украине? Сумеют ли социологи на этот раз достойно уйти с избирательного поля боя, где наравне с политологами и журналистами оказались в числе наиболее уязвимых и скомпрометированных профессий?

В то время как «честные» кандидаты Тимошенко и Янукович, вооружившись удобными процентами, панически подтягивают под себя освободившийся электорат Тигипко и Яценюка, «продажные» социологи подтягивают аргументы для защиты. Понятно, что наиболее активно в этом направлении пришлось трудиться участникам «Национального экзит-полла». Надо сказать, изначально их выбор был невелик, либо промолчать, а значит согласиться с обвинениями. Либо внятно и четко пояснить причины происшедшего. И если это позиция — аргументированно ее отстаивать, если же профессиональная ошибка, — публично признать. Что, конечно, может быть не слишком красиво и не совсем приятно для столь маститых ученых, как Паниотто и Хмелько, на учебниках которых выросли современные украинские социологи, однако честно по отношению к профессии. Особенно если рассматривать экзит-полл не как традиционный для Украины инструмент политического ангажемента, а как банальную научную возможность опытным путем проверить используемые методики. Чем, собственно, и должна заниматься социология.

Сразу признаем, что первая попытка объясниться, заявленная в СМИ в понедельник в форме письма руководителей компаний — участников проекта, выглядит блекло. Назвав различия в данных «не драматическим, а результат — качественно одинаковым» (Янукович-то все равно впереди), социологи подтвердили собственную методологию, как «более правильную». Списав некоторые нестыковки «на сложные погодные условия», в которых пришлось работать интервьюерам. При этом довольно деликатно выразив протест и отметив, что «политические оценки мешают нормальной работе социологического сообщества».

Таким образом, ни СМИ, ни находящееся под постоянным давлением политических рейтингов общество не получили внятных ответов на вопросы, которые мы озвучили выше. В то же время, зная, как непросто разворачивается ситуация и в недрах самого социологического сообщества, мы предприняли попытку самостоятельно поискать ответы. Благо никто из героев развернувшейся драмы в общении (либо публичном, либо анонимном) не отказал. Обнаруженные же в ходе расследования детали (как и результаты «Национального экзит-полла») оказались довольно неожиданными.

Итак, по сводным гипотезам наших собеседников, камнем преткновения стала именно эксклюзивная «пошаговая» методика и системная ошибка мэтров в формировании выборки. Уточним, что в 2004 году, когда в ходу были вбросы бюллетеней и, как результат, искусственно раздутая ЦИК явка (а именно на ее коэффициенты тогда традиционно взвешивали свои результаты позднее расколовшиеся компании), КМИС отказался от традиционного подхода и отдал предпочтение другому, давно и широко распространенному за рубежом методу опроса. Суть которого в четко определенном шаге. Когда опрашивается, к примеру, каждый шестой, десятый, двенадцатый… из пришедших голосовать. Таким образом, зная точную цифру избирателей на конкретном участке, можно не только соблюсти пропорции по полу, возрасту и пр., а также определить процент проголосовавших там за того или иного кандидата, но и автоматом получить точную цифру явки. (Пример: если на участке 600 человек, может быть опрошен «каждый шестой». И если явка составит 100%, то на участке, естественно, будет опрошено 60 человек. Если же анкет окажется меньше — 30, к примеру, — то легко вычислить явку, которая в этом случае составит 50%).

Понятно, если на участке будет вброс, то официальная явка автоматически увеличится на процент вброса. И это, согласитесь, большой плюс в условиях нашей на все готовой «демократии». По-видимому, именно это эксклюзивное обстоятельство стало одним из аргументов, который перманентно подталкивал руководителя Фонда «Демократические инициативы» Илька Кучерива, не первый год продвигающего брэнд «Национального экзит-полла», настойчиво заявлять о контролирующей миссии своего проекта, позиционируя его в качестве некоего барометра объективности подсчета голосов ЦИК. На чем, собственно, автор и сделала акцент в прошлом номере «ЗН» («Экзит-полл-2010: гол чужим или пас своим?»).

Однако 17 января у объединивших свои усилия КМИС и Центра Разумкова, проводивших раздельные исследования, но по одной выборке, произошел сбой. Первым его признаком стали в корне отличающиеся результаты, повторимся, пяти (!) компаний, синхронно объявивших о результатах сразу по закрытии участков. Причины, как это ни странно, «ЗН» пояснила социолог, руководитель социологической службы компании «Савик Шустер Студия» Наталья Гасаненко. Ее результат в итоге оказался самым точным в соотношении с данными ЦИК. Фишка в том, что социолог работала по той же методике, что и «Национальный экзит-полл».

«У меня был опыт проведения экзит-полла в части поля (несколько областей). Экзит-полл для «Савик Шустер Студия» для меня первый полный проект, где формировалась выборка участков, проводилось поле и обработка, — уточнила Наталья Гасаненко. — У меня есть своя гипотеза относительно различий результатов экзит-поллов. Это неудачная выборка избирательных участков. Выборка формируется на базе списка избирательных участков, которые предоставляет ЦИК на своем сайте. В этом году впервые за все годы выборов в списке не было информации о размерах избирательных участков, а сейчас пропали и адреса. Все это усложняет или делает невозможной качественную случайную выборку, то есть затрудняет работу социологов. Невозможность типизировать избирательные участки по размеру (количеству потенциальных избирателей) приводит к учету количества участков только по областям и по типу поселения (город, село). Все социологические компании оказались в этом году в такой ситуации. Кто-то использовал статистику по прошлым выборам, кто-то пытался воспользоваться тем, что есть. Очень жаль, что все мы не обратились за объяснениями в ЦИК и не потребовали открыть эту информацию, например, через Социологическую ассоциацию Украины.

Реальные размеры 350 избирательных участков мы получили утром от наших интервьюеров на местах. Результат впечатлил: очень много небольших участков в селах по 60—100 избирателей, и есть участки с большим числом избирателей, например 3000. А мы вели расчет шага, предполагая, что все участки примерно равны. Пришлось перейти на ручное управление, менять шаг опроса на небольших участках, просить сделать копии анкет на больших участках. Основная задача — попасть в региональные пропорции. Если честно — на результаты и не смотрели. Лишь бы правильно были представлены регионы. При больших размерах выборки именно региональные перекосы и могут повлиять на результат. У нас получилось.

Возможно, КМИС и Центр Разумкова использовали базу участков этого года, но не отследили региональные перекосы. В этом, похоже, и заключается их системная ошибка. Тем более что в 20 часов, когда появилась информация от ЦИК о посещаемости избирательных участков по областям, появилась и естественная возможность «отремонтировать» выборку. Почему они, в итоге, не опубликовали перевзвешенные результаты — вопрос не ко мне».

Сегодня уже точно известно, что КМИС и Центр Разумкова после 20.00, когда пришли результаты охвата проголосовавших по каждой области, и их данные кардинально разошлись с данными других компаний, подстраховались и таки произвели традиционное взвешивание на коэффициент официальной явки. Результат оказался идентичный остальным: разрыв 8%. Однако оперативного решения, заявить о наличии возможной системной ошибки, принято не было. Зато кандидат Тимошенко, проявив традиционную оперативность, выгодно воспользовалась данными «самого честного экзит-полла», а ее оппоненты, имея на руках не слабый набор аргументов, на всю страну обвинили «Национальный экзит-полл» в заангажированности. Тем самым не только подорвав репутацию одних из самых авторитетных компаний в Украине, но и поставив под сомнение экзит-полл как таковой.

Более того, в своих эксклюзивных комментариях «ЗН» и Владимир Паниотто, и Валерий Хмелько полностью подтвердили версию Наталии Гасаненко. «С одной стороны, мы вынуждены были перестроить выборку с 300 точек на 240. Из-за нехватки средств. И это оказалось непросто, — говорит Хмелько. — При расчете выборки мы поняли, что эта ошибка стоила нам 1% разрыва между основными кандидатами. Но обнаружили мы это только сейчас. С другой, нас подвело переформатирование участков. Случайный набор участков по областям хорошо работает, когда участки не очень отличаются друг от друга. У нас были старые данные о количестве избирателей. Сотрудники, которые готовили выборку, использовали именно их. И были уверены, что данные совпадут. Не совпали.

Наверное, нас подвела некоторая самоуверенность и отсутствие контроля, который никогда не надо считать лишним. Таким образом, доля избирателей, к примеру, Западного региона от всех проголосовавших в нашей выборке оказалась на 1,7% больше. Там электорат Тимошенко. Особенно пострадал Южный регион, где доля выборки от всех проголосовавших должна быть 26, 6%, а у нас только 21%. А там, как известно, вотчина Януковича.

Почему перекос задел только основных кандидатов? Чем больше процент, тем больше вклад системной ошибки. Сыграло роль и строгое разделение электорального поля «Восток — за Януковича», «Запад — за Тимошенко». Тигипко же, к примеру, более равномерно распределен по регионам, поэтому все и попали, что называется, в яблочко, назвав 13%.

На самом деле нам действительно необходимо признать ошибку. Для нас это не политическая борьба, а возможность проверить свою методику. Мы это сделали. И ошиблись. Это неприятно, но в таких случаях производители автомобилей отзывают свою продукцию и переделывают», — заключил Хмелько.

В то же время, по словам ученых, до последнего момента они оставляли за собой функцию контролера, не исключали возможность фальсификаций на участках. Результаты с Центром Разумкова совпали. Были известны факты массовых подвозов людей на Востоке после 18.00, когда опрос уже был окончен. А гипотеза же с перекосами из-за некорректной выборки окончательно подтвердилась лишь к среде. Потому якобы и не было оперативно заявлено о перевзвешивании на явку и совпадении результатов. Интересно, что по словам того же Хмелько, ограниченное количество точек опроса и наличие системной ошибки исключают возможность для «Национального экзит-полла» в этом случае выступать в качестве контролера объективности результатов ЦИК и твердо заявлять о наличии фальсификаций на участках. «Мы не можем никого ни в чем обвинять. Ни ЦИК, ни своих коллег», — сказал Валерий Хмелько.

Буквально до вечера среды профессор Паниотто и профессор Хмелько были настроены решительно. Однако после расширенного заседания в формате компаний—участников «Национального экзит-полла», а также звонка автора менеджеру проекта г-ну Кучериву в четверг вечером стало ясно, что решительность сошла на нет. Оценивая происшедшее, «отец украинского экзит-полла», настаивал на функции контроля за данными ЦИК и во втором туре, а также на исключительности методики, «примененной в соответствии с высокими международными стандартами, вполне адекватных результатах и погрешности в рамках допустимой нормы». По-видимому, отдав предпочтение защите интересов раскрученного бренда «Деминициатив» и «Национального экзит-полла», а никак не позиции маститых, но, похоже, на этот раз ошибшихся социологов, которые нуждаются не в завуалированном, а открытом публичном диалоге с обществом, и которых Кучерив как «генеральный заказчик, нанял в подрядчики».

В момент верстки номера «Национальный экзит-полл» дал окончательные разъяснения своей позиции и подтвердил ранее оглашенные результаты. Процент допустимой погрешности для основных кандидатов был действительно увеличен на 2—3%. Однако среди причин названы всего лишь сокращение участков и «ухудшение в связи с этим дизайна выборки, а также неожиданно массовое голосование на дому, которое не фиксируется методологией». (Но почему-то, напомним, было зафиксировано такой же методологией г-жи Гасаненко). В медиасообщениях участников проекта также появился акцент на фальсификации. Что, мягко говоря, удивляет в контексте предварительного комментария Хмелько. «Национальный экзит-полл» также обратился к политикам с очередной деликатной просьбой не политизировать результаты его опроса и выразил готовность к аудиту коллегами. Правда, при встречной открытости последних. При этом открытого диалога не получилось, никаких конкретных объяснений на зависшие в воздухе, обозначенные нами в самом начале повествования «во-первых… в-пятых» в пресс-релизе не прозвучало. Может быть, прозвучит на заявленной пресс-конференции?

Что ж, ошибки действительно можно признавать по-разному. Что, в итоге, заставило Паниотто и Хмелько занять столь сдержанную позицию: субординация в рамках проекта или что-то другое — вопрос открытый. На который рано или поздно придется ответить. Ведь социологическое сообщество бурлит. Речь даже не о реванше тех, кто, на первый взгляд, получил некую сатисфакцию за 2004-й. Если даже в душе кто-то и испытывает восторг от того, что «Акела промахнулся», то публично сохраняет полный нейтралитет, по-видимому, понимая, что любое слово будет бить по социологии в целом. В то же время этот корпоративный инстинкт самосохранения не исключает жесткой внутренней дискуссии.

Так, на субботу назначен круглый стол, на котором социологи планируют подвести итоги и разобраться, кто в чем ошибся. Ведь впереди второй тур, на предмет которого уже высказались многие компании. Не одинаково высказались. Разве что сохранив тенденцию — победу Януковича. Но если КМИС, датировавший исследование 16 января, говорит о 15% разрыва, то УИСИ (Ольги Балакиревой) — о 5%. Так что любые результаты (не дай бог они снова разойдутся) могут быть использованы для политических манипуляций и дальнейшей дискредитации социологии. В судах, в сознании, в объективности выбора. В этой ситуации довольно резким, но актуальным выглядит комментарий, данный «ЗН» заместителем директора Института социологии НАН Украины Евгением Головахой.

«Любой самолет может упасть, — заявил Головаха. — Накладывается несколько случайных незначительных ошибок, и — катастрофа. Вот и их самолет упал. Однако надо это жало вырвать из рук политиков. Нужно честно написать, что экзит-полл не застрахован от любых ошибок. Даже бренд или репутация фирмы не может автоматически подтверждать качество работы. Потому что всегда остается вероятность ошибки. Для ученых это всего лишь элемент научной практики.

Экзит-полл — это телешоу. В странах демократии его заказывают не политики, а медиа. Тем самым привлекая внимание к каналу. Но они предупреждают, что это не приговор. Это не орудие политического давления. Он не должен брать на себя функции, которые ему не принадлежат. Это никакой не эталон и не барометр. И это не мое мнение — это мнение целого ряда в том числе и американских экспертов, мониторивших экзит-поллы в десятках стран. Контроль за выборами осуществляют международные наблюдатели. Точка. Нельзя из какого-то очень рискового инструмента делать революционное оружие. Нельзя превращать социологию в залп «Авроры». И как бы сейчас ни проводили параллели с 2004 годом, тогда заявила о массовых фальсификациях Европа и не признала выборы. Сегодня — наблюдатели зафиксировали полную демократичность.

Кстати, и здесь есть большой подвох, который мы упорно не хотим замечать. А значит, позволяем нами манипулировать. Скажите, зачем нам наблюдатели от страны, рейтинг демократии в которой на порядок ниже, чем у нас? Ну, не могут представители менее демократичной Грузии контролировать ситуацию в более развитой украинской демократии! О каком доверии и объективности здесь идет речь? Точно так же мнение российских экспертов и наблюдателей ничего не стоит у нас. Иначе — давайте пригласим ребят из Сомали».

…«Как только социология становится публичной (особенно в момент выборов), заканчивается наука и начинается политика, политика и только политика», — писала известный социолог Наталья Панина в 2004 году. (Ее не стало в 2006-м). Тогда в среде разбитых революцией социологов состоялась острейшая дискуссия на этот счет. Похоже, сегодня вряд ли Владимир Паниотто будет спорить с тем, что и его высокая и признанная в мире наука пала жертвой чужого пиара.

На самом деле мы все — работники публичных профессий — оказались втянутыми в политическое поле нечистоплотности, где отделить зерна от плевел уже невозможно. Где каждое слово, каждый результат или опубликованный рейтинг может быть использован против вас и в чью-то пользу.

Потому, прежде чем призывать общество к гражданской активности, мы должны хотя бы прекратить его дружно дезинформировать. Заказным результатом политического рейтинга, оплаченной журналистской статьей или доводом получившего хороший бонус политолога. И стать активными в своих собственных ассоциациях. Коль уж профессия сделала нас, по словам той же Паниной, агентами электорального влияния. Надо расставлять некие маяки страховки, писать этические кодексы, соблюдать их, не бояться внутренней люстрации. И уничтожить, наконец, это липовое понятие корпоративной солидарности. Которая сегодня не по сути — а по форме. Впрочем, как и все украинское государство.

Наверное, эти выборы без выбора, а также крушение не только украинского экзит-полла как инструмента демократии, но и целого ряда профессий даны нам для того, чтобы понять это. И переживая пороки политиков, успеть изжить свои собственные.