У другому турі екзит-поли можуть розійтися...

Цією статтею я хотів би виправити численні помилки й неточності, хоча віра в те, що комунікація через ЗМІ дає змогу пояснити хоч щось більш складне, ніж біном Ньютона, в мене дуже ослабла. Отже, все спочатку.

За контрактом із фондом «Демократичні ініціативи» я здійснюю наукове керівництво проектом «Національний екзит-пол’2010» (НЕП). Саме опитування в першому турі було проведене КМІС і Центром Разумкова.

Екзит-поли в першому турі виборів. Цього року проводилося шість екзит-полів, брало участь дев’ять компаній. У день виборів о 20.01 на різних каналах було оголошено такі результати (наводжу разом із даними ЦВК для кандидатів, які набрали понад 2%)(див. табл.)

Оприлюднення даних екзит-полів викликало бурхливу реакцію в штабах кандидатів і в пресі. Одні політики оголосили продажними наших колег, інші — нас. Про що, власне, йдеться? Передусім хочеться відокремити реальність від помилок, які кочують з видання у видання.

Помилка 1. Всі екзит-поли схожі, а Національний екзит-пол відрізняється від усіх (див. таблицю). Це не зовсім так. Екзит-пол «Аргументов и фактов», наприклад, відрізняється від R&B більше, ніж «Національний» від екзит-полу студії Шустера. Сума відмінностей Національного екзит-полу від екзит-полу студії Шустера менша ніж 7%, а «АиФ» від R&B — ніж 10%. Відмінність щодо Януковича для НЕП становить 3,4%, а для Шустера від R&B — 3%. Відмінність «АиФ» від R&B щодо Яценюка взагалі майже 4%!

Помилка 2. Національний екзит-пол «навіть близько не зійшовся з даними ЦВК».

Максимальна відмінність НЕП становила 3,8%, середня відмінність для основних кандидатів — 1,2% (див. останній рядок табл.). Історія екзит-полів, які були проведені в Україні і вважалися успішними, має й великі відхилення (наприклад, парламентські 1998 р. — 4%, другий тур президентських 1999 р. — 3,5%).

У чому ж проблема? Головним чином у тому, що оцінюються не відхилення від даних ЦВК по кожному політику, а їхня відмінність. Причому саме лідерів (те, що Тігіпко випереджає Яценюка, за даними різних екзит-полів, від 2,6% в «АиФ» до майже 7% в «Інтера», нікого не турбує). Наша різниця в 4,4% була набагато менша від середніх 10% в інших. А різниця буває підступною, вона може подвоювати помилки. Випадкова помилка, скажімо, у 2% означає плюс-мінус 2; якщо брати Януковича і Тимошенко, то може бути чотири випадкові варіанти розкладки помилки (+2 у першого, -2 у другого; +2 в обох; -2 і +2, нарешті -2,-2). Тобто при помилці в 2% ми могли з рівною можливістю отримати 33,5 для Януковича і 25,1 для Тимошенко, що дало би різницю у 8,4% і не викликало б ніяких запитань. Виявилося, що наші відхилення по них були в різні боки і зменшили різницю. Саме така ситуація загрожує всім екзит-полам у другому турі.

Другий тур президентських виборів. Головна проблема екзит-полів другого туру полягає в тому, що рейтинги претендентів практично являють собою сполучені посудини (третю позицію — «не підтримую нікого» — більше ніж 3% не вибирають). Все, що відніметься в одного претендента, додасться іншому. На відміну від першого туру вже не буде ситуації, коли помилки спрямовані в один бік. Усі потраплять у ситуацію, у яку ми потрапили в першому турі, — будь-яка помилка при розгляді різниці подвоюється. Помилка, скажімо, у 2,5% призведе до випадкової різниці в 5% у другому турі! І якщо реально, наприклад, Янукович переможе з істотною перевагою в 4%, то екзит-пол може показати невеличку перевагу Тимошенко в 1% і це буде в межах помилки вибірки! І навпаки — якщо переможе Тимошенко з розривом у кілька відсотків, то екзит-пол може цього не помітити!

Це не означає, що екзит-поли наших колег мають велику помилку. Навпаки, по-моєму, екзит-поли, попри найскладніші погодні умови за їхню історію (адже це вуличне опитування, яке залежить від погоди), проведено чудово. Максимальне відхилення екзит-полів ICTV і студії С.Шустера — 0,6% — узагалі зі сфери фантастики, 1,3% «Інтера» або 1,9% «АиФ» і 2,4% R & B — теж дуже добре навіть за американськими мірками. Мало того, я думаю, що нападки на наш екзит-пол за відхилення в 3,8% пов’язані з хорошою роботою соціологів під час двох останніх виборів, які привчили громадськість до високої точності екзит-полів. Проте вибіркове дослідження — це все-таки стохастичний процес, коливання в рамках 0,5—1% залежать від везіння. У парламентських виборах немає ефекту подвоєння помилки, він є тільки в другому турі президентських виборів, і його важко точно виміряти.

Отже, із чим пов’язані відхилення результатів Національного екзит-полу від результатів ЦВК і від даних інших екзит-полів? Це запитання, на яке мені та іншим членам нашої команди доводилося відповідати журналістам кожні дві години впродовж останніх десяти днів. Дивно те, що одне й те саме твердження в різних засобах масової інформації просто не можна впізнати, це вам не розбіжність екзит-полів!

Аналіз іще не закінчено, щось ми встановили точно, а щось є гіпотезами, які ми продовжуємо перевіряти. Головні причини, що призвели до розбіжностей результатів нашого екзит-полу і результатів ЦВК, полягають ось у чому.

1. Через брак грошей ми провели опитування на 240 виборчих дільницях замість запланованих 300 (розрахунки показали, що випадкова помилка зростає тільки на 0,7%, але, як виявилося, зріс ризик систематичних зміщень). Це перший екзит-пол в Україні, проведений на такій кількості дільниць (екзит-поли проводяться з 1998 року, раніше дільниць було від 300 до 1500, а в цих виборах інші екзит-поли проводилися на кількості дільниць від 350 до 500).

2. Ми використовували методологію «єдиного кроку», яка передбачає завдання здійснити контроль виборів, не покладаючись на дані ЦВК про явку. Власне, це стандартна для американських соціологів методологія, яку ми адаптували після того, як у 2004-му виявилося, що дані ЦВК про явку — ненадійний показник і може сильно відрізнятися від реальності. Всі інші екзит-поли, наскільки нам відомо, так чи інакше використовували зважування на явку або від самого початку розподіляли вибірку за явкою минулих виборів або за кількістю зареєстрованих виборців (у тому числі й екзит-пол студії Шустера, який спочатку використав схожу методологію, але повернувся до схеми коригування вже в ході опитування). Використання явки і даних про зареєстрованих виборців поліпшує відповідність даних екзит-полу даним ЦВК, але не дає можливості контролювати деякі види фальсифікацій.

Будь-який екзит-пол якоюсь мірою контролює результати ЦВК, застосовувана нами методологія спрямована на більш широкий спектр відхилень і за їх наявності дані опитування більше відрізняються від даних ЦВК, ніж дані інших екзит-полів.

Факти і гіпотези

Факт 1. Припущення про початкове територіальне зміщення нашої вибірки як основної причини відмінностей (це було висловлено і Н.Гасаненко у статті І.Ведернікової) не підтвердилося. Точніше, з’ясувалося, що вибірка на 1% занижує дані В.Януковича і на 0,8% завищує дані Ю.Тимошенко, що при такій невеличкій кількості дільниць дуже непогано. З урахуванням цієї помилки рейтинг В.Януковича, за уточненими даними екзит-полу (за анкетами, отриманими в Києві за кілька днів після виборів), дорівнює 32,8%, Тимошенко — 26,4%, тобто максимальне відхилення від результатів ЦВК стає 2,5% для В.Януковича, 1,3% для Ю.Тимошенко, а жадана різниця дорівнює 6,4%. Залишилося пояснити відхилення в ці 2,5%.

Факт 2. Як було розраховано ще перед оголошенням нами остаточних результатів, зважування попередніх даних нашого екзит-полу на явку на 15.00 дає 34,6% Януковичу і 25,4% Ю.Тимошенко, максимальна відмінність від даних ЦВК — 0,7%. Ми не знали результатів ЦВК, але знали, що це зійдеться з іншими екзит-полами й при помилці — помиляться всі (що, погодьтеся, приємніше, ніж бути білою вороною). Ми не стали зважувати, тому що, по-перше, при цьому втрачалася частина функцій контролю виборів, по-друге, це не було передбачене заздалегідь описаною і розданою міжнародним експертам процедурою. Зауважимо, що зважування наших даних на структуру зареєстрованих виборців дає збіг із даними ЦВК з різницею в 1,4%.

Факт 3. В уточнених даних максимальна відмінність рейтингів кандидатів для двох компаній, які працюють кожна за своєю вибіркою (у КМІС і Центру Разумкова), становила 1%.

Гіпотеза 1. Невиконання кроку відбору.

Чим же пояснюється решта відхилень даних НЕП від результатів ЦВК у 2,5%? З’ясувалося — розбіжністю кількості виборців різних областей у наших даних і в результатах ЦВК. Але з чим це може бути пов’язане? Адже неймовірно, щоб інтерв’юери і КМІС, і Центру Разумкова одночасно не дотримувалися кроку саме в якихось окремих областях? У нас було виділено три типи поселень — обласні центри, інші міста і села. Хоча ми орієнтувалися на єдиний крок — 6, але в обласних центрах, де дільниці більші, зробили «технологічний» крок у 12, щоб інтерв’юери встигали всіх опитати (а потім помножили все, що вони отримали, на два). З’ясувалося, що пропорційно менше інтерв’юери опитали в містах — не обласних центрах. Можливо, їм було важче встигати при встановленому кроці 6, причому важче було інтерв’юерам і КМІС, і Центру Разумкова? Якщо це так, то тоді зрозумілі диспропорції (міста нерівномірно розподілені по областях) і заниження рейтингу В.Януковича (у цьому типі міста в нього велика перевага).

Гіпотеза 2. (Альтернативна гіпотезі 1). Інтерв’юери крок виконували, але, за даними ЦВК, на цих дільницях проголосувало більше людей, ніж прийшло на дільницю. Річ у тім, що ми визначали, правильно чи неправильно працювали інтерв’юери, в основному за чисельністю тих, хто проголосував, яка, на щастя, оперативно з’явилася на сайті ЦВК. Якщо вони опитують кожного шостого, то кількість тих, хто проголосував, має бути в шість разів більша за кількість ними опитаних. Якщо менше ніж у шість разів — ми думаємо, що він «недобрав». Насправді ж цей показник вищий через інші чинники. Це зовсім не обов’язково «вкидання» після закриття дільниць бюлетенів тих, хто не прийшов (хоча теоретично й це можливо), це може бути й голосування вдома, і мобілізація прибічників в останні години роботи (у цих містах ми працювали тільки до 18.00). Якщо голосування вдома (у середньому 3,2%) становило в одному регіоні 2%, а в іншому 4% — це вже диспропорція, яку частково можуть пояснити наші дані. (На жаль, у цих виборах чомусь немає інформації з дільниць про відсоток тих, хто проголосував удома.)

Яка з гіпотез правильна — ми не можемо визначити, але в будь-якому випадку це відхилення настільки мале, що дозволяє з упевненістю сказати: великих відхилень у ході виборів бути не могло.

Н.Паніна і Є.Головаха давно попереджали — ученим краще триматися подалі від політики, а екзит-поли, із їхньої точки зору, — це політика. Проблема в тому, що тоді екзит-поли проводитимуть не вчені, а ті, хто поки що не наважується цим займатися, обмежуючись звичайними опитуваннями. Позиція Є.Головахи збігається з американською: екзит-пол — це шоу і джерело інформації для соціологів, західні соціологи не визнають за екзит-полами функції контролю. Звичайно, хотілося б, щоб екзит-поли в Україні втратили функцію контролю, і поки що самі вибори вселяють великі надії. Але щодо реакції глядачів цього шоу, насамперед політиків і журналістів, то тут далеко до американської реакції. При високому рівні корупції, брехливості та демагогії як норми політичного життя відбувається інфляція цінності порядності, тому так легко повірити в продажність соціологів.

Закінчуючи статтю, хочу сказати, що дані Національного екзит-полу передано у Відкритий банк соціологічних даних, і бажаючі можуть приєднатися до аналізу. Наш аналіз ми плануємо завершити й розмістити на сайті наступного тижня. Буде шкода, якщо Національний екзит-пол втратить довіру. Він справді робиться ретельно, з підготовкою необхідної документації, із дотриманням усіх міжнародних вимог. Екзит-пол широко висвітлюється в пресі, його контролюють міжнародні експерти, його методологія публікується на сайті до проведення екзит-полу (нехай читач спробує знайти методологію інших екзит-полів), а масиви передаються у відкритий банк даних. Проблеми, які спіткали Національний екзит-пол, не кануть у Лету, а стануть матеріалом для вдосконалення методології екзит-полів.