Прокололись социологи? Или интерпретаторы их данных?

1 апреля самая авторитетная для меня газета Украины, «Зеркало недели», опубликовала в целом интересную и во многом полезную статью, но под озадачивающим заголовком: «Почему прокололись социологи?». Будто факт «прокола» социологов установлен, и вопрос лишь в том, из-за чего это произошло. В чем же «прокол»?

Подводя итог обсуждению предвыборных рейтингов от разных социологических служб, автор, Инна Ведерникова, признает, «что рейтинг БЮТ действительно упал после отставки Еханурова; что имел место финишный рывок Тимошенко». Но тут же добавляет, что «это все-таки не оправдывает той огромной разницы между показателями ведущих социологических служб и реальными результатами выборов». То есть журналистка сознает, что рейтинги партий и блоков в ходе предвыборной борьбы изменялись, но недоверие у нее вызывает величина изменения, зафиксированная ведущими социологическими службами. И «прокол» социологов Ведерникова фактически усматривает в том, что разница между данными опросов ведущих социологических служб в начале марта и результатами голосования слишком большая («огромная»).

Мотивируется такая оценка мнением журналистки о том, что «рейтинги политических сил, опубликованные ведущими социологическими компаниями Украины перед двухнедельным мораторием, дали обществу четкий сигнал о стабильном лидерстве «Нашей Украины» (из контекста ясно, что речь идет о «лидерстве» по отношению к БЮТ.) Для обоснования такой оценки в статье, однако, не приводится ни одного показателя какой-либо из ведущих социологических служб, опубликованного перед двухнедельным мораторием, и ни одного собственного сопоставления таких показателей с реальными результатами выборов. Об «огромной разнице» в статье есть только два высказывания с конкретными числами. Одно авторское — что «основной интригой парламентской кампании стали 23 процента БЮТ». И второе — от доцента Полохало, который, как пишет журналистка, не может себе представить, «каким образом профессор Паниотто зайдет в аудиторию к студентам Киево-Могилянской академии и объяснит им разницу в 11(!) процентов между последними данными, опубликованными КМИС, и результатами выборов».

Ни о каких других различиях между показателями социологических служб и результатами выборов в статье не говорится. Обвинение с конкретной числовой оценкой разницы с результатами выборов приведено только против одной социологической службы — КМИС. И в этом нам, социологам КМИС, конечно повезло. Когда в обвинении приводят цифры, тогда со ссылкой на публикации нетрудно проверить правомерно ли обвинение. Поэтому хочу напомнить, какие данные о рейтингах политических сил публиковал КМИС, и какими были колебания этих рейтингов за время предвыборной кампании.

В публикациях КМИС рейтинги партий и блоков обычно характеризуются двумя показателями: (1) процентом избирателей, готовых голосовать за данную политическую силу, от числа всех избирателей Украины и (2) процентом готовых голосовать за данную политическую силу от числа избирателей, готовых принять участие в голосовании на момент опроса.

Первый из них (в отличие от второго) позволяет оценивать численность сторонников политических сил в обществе в целом и, что особенно важно, корректно сопоставлять данные разных социологических опросов. Дело в том, что неточность в определении процента сторонников партии или блока от всех избирателей зависит от погрешности только самого этого показателя. Неточность же показателей второго типа зависит одновременно от погрешностей двух показателей: доли сторонников партии или блока среди всех избирателей и доли избирателей, готовых участвовать в голосовании. При этом пока нет общепринятой методики распознавания избирателей, готовых участвовать в голосовании. Многолетний опыт предвыборных опросов, который мы накапливаем с первых президентских выборов и референдума 1991 года, позволил выработать методику, которая дает неплохие результаты. По этой методике за неделю до выборов участие избирателей в голосовании мы оценили на уровне 69 (±5) процентов (с 24 марта эта информация на сайте КМИС по адресу: http://www.kiis.com.ua/txt/doc/24032006/press24032006.doc), после выборов ЦИК объявил, что в голосовании приняло участие 67,7 процента избирателей.

Политиков, политологов и политических обозревателей среди журналистов, как правило, чаще всего интересует второй из названных показателей — доля голосов, которую политическая сила могла бы получить, если бы выборы состоялись во время опроса. (Причем менее искушенные пользователи этими рейтингами нередко истолковывают их как прогнозные оценки будущих результатов голосования, каковыми они не являются.) Численные значения таких рейтингов для партий и блоков, занявших по предварительным результатам голосования первые пять мест, приведены в таблице 1, а общая картина изменений этих рейтингов в предвыборной кампании представлена на графике. Значения рейтингов до 26 марта приведены по данным КМИС, а показатели 26 марта — по данным экзит-полла (проведенного КМИС совместно с Центром Разумкова и фондом «Демократические инициативы») и по данным ЦИК о предварительных результатах голосования. (На графике предварительные результаты голосования показаны справа от линии 26 марта отдельно стоящими точками.)

Из данных в таблице 1 видно, что среди потенциальных участников голосования в конце декабря БЮТ имел на 2,6 процента больше сторонников, чем «Наша Украина». К концу января БЮТ потерял почти 8 процентов потенциальных участников голосования, а у НСНУ их стало больше почти на 5 процентов. Именно тогда НСНУ опередил БЮТ. Это преимущество, при некоторых колебаниях, сохранялось почти до середины марта. За три недели до выборов доля БЮТ среди потенциальных избирателей была на 6,6 процента меньше, чем у НСНУ и чем в начале избирательной кампании.

Впервые значительное сокращение разрыва между БЮТ и НСНУ мы зафиксировали за две недели до выборов (разница стала меньше процента), но данные этого опроса принадлежали заказчику, и тогда уже наступило время запрета на публикацию рейтингов в СМИ. Следующий опрос мы провели за неделю до выборов за собственные средства. Тенденция роста рейтинга БЮТ и сокращения рейтинга НСНУ подтвердилась. Рейтинг БЮТ за неделю до выборов оказался выше, чем за две недели до этого, на 4,8 процента, а рейтинг НСНУ — на 2,4 процента ниже. На графике хорошо видно, что зафиксированная тенденция практически прямо ведет к тем результатам, которые БЮТ и НСНУ как раз и получили на выборах.

Результаты последнего опроса мы опубликовали за два дня до выборов на сайте КМИС по адресу, приведенному выше. Данные этого сообщения, которое мы еще разослали и по электронной почте десяткам коллег и журналистов (в том числе и «Зеркалу недели»), Инна Ведерникова почему-то называет «закрытыми данными». Я, конечно, согласен с ней, что до широкой общественности эти данные не дошли, но разве это дает основание называть их «закрытыми»? А разница в 3,2 процента между рейтингом БЮТ, полученным КМИС за неделю до выборов, и результатом голосования разве достаточна для того, чтобы называть ее «огромной»? И чтобы утверждать, что социологи «прокололись»?

Такие оценочные суждения выглядят еще более неубедительно, если посмотреть, как изменялись те показатели рейтингов, которые определяются без предположений о возможной явке избирателей на выборы — процент избирателей, готовых голосовать и проголосовавших за данную политическую силу, от числа всех избирателей (см. таблицу 2; данные экзит-полла и ЦИК приведены по отношению к численности всех зарегистрированных избирателей).

Эти данные показывают, что за три предвыборные недели численность сторонников БЮТ среди всех избирателей увеличилась лишь на 3,2 процента — с 11,9 до 15,1. В том числе за вторую и третью недели марта — на 2 процента, а за последнюю неделю — на 1,2 процента.

Надеюсь, читатель уже увидел, что ни по одному из показателей рейтингов, которые публиковал КМИС, разница между последними данными и результатами голосования не похожа на «огромную». Поэтому ни у профессора Паниотто, генерального директора КМИС, ни у автора этой статьи не возникло бы никаких трудностей в том, чтобы объяснить своим студентам в Киево-Могилянской академии реальные различия между данными опросов КМИС и результатами выборов. Правда, работая с этими студентами 14 лет и зная их подготовку и привычку пользоваться Интернетом, я уверен, что их вопросы не будут столь далекими от реальности, как вопрос доцента Полохало.

Так что «прокололись» на этих выборах не социологи, а их интерпретаторы. Но это, конечно же, не умаляет справедливости заключительного пожелания Инны Ведерниковой, которое всегда уместно после выполнения крупного проекта: провести детальную работу над ошибками. Пусть хотя бы и небольшие, но они всегда есть.