Ризики соціології воєнного часу

Журналістам довелося терміново вивчати правила безпечної поведінки в гарячих точках і визначатися, хто вони - все ще журналісти чи вже політичні активісти. Політтехнологи й рекламісти були змушені запускати виборчі кампанії з коліс і в украй стислий термін (не завжди вдало). Умови роботи соціологів також змінилися не в ліпший бік. Політичний конфлікт, що триває з 30 листопада минулого року, дуже вплинув на середовище роботи дослідників громадської думки. Хотілося б помилятися, але поки що ризики для якості досліджень і репутації соціологів, пов'язані з нестабільністю в країні, недооцінюються. Принаймні жодних заяв професійних об'єднань соціологів або самих дослідників про умови роботи, що змінилися, немає. Прес-релізи з даними написано так, наче в країні не було революції, анексії Криму й, по суті, громадянської війни на Сході. Але політтехнологи вже використовують ситуацію, що склалася, для дискредитації незручних для них результатів опитувань. Сповна скористався такою можливістю, наприклад, Ігор Жданов, який входить до виборчого штабу Юлії Тимошенко, у своїй колонці під назвою "Лукаві цифри президентських "рейтингів". Приводом для тексту політтехнолога стало його невдоволення дослідженням GFK Ukraine, де кандидати йдуть "у неправильному порядку". Забігаючи наперед, зазначу, що ця колонка - наочний приклад використання слабких місць соціологів для вирішення завдань свого кандидата, причому всі можливості для таких нападок дослідники громадської думки забезпечили політтехнологам самі.

Не можна сказати, що ситуація критична, і соціологи, наприклад, провалять прогнозування результатів виборів. Імовірно, не провалять, особливо з огляду на значний відрив одного з кандидатів, однак ризики для надійної оцінки стану громадської думки є. Спосіб мінімізації кожного з ризиків - це або використовувати адекватні методи, щоб не припуститися помилок, або своєчасно інформувати громадськість про те, що є об'єктивні проблеми, або ж виробити спільну позицію дослідницької індустрії й донести її до публіки, а оптимально - все перелічене разом.

Отже, якими є ризики, що можна зробити для їх мінімізації, про що треба попереджати споживачів результатів опитувань і чому соціологам корисно домовлятися між собою й відкривати дані й методологію?

1. Проблема досяжності респондентів (response rate). Добре відомо, що рівень досяжності у face-to-face опитуваннях в Україні вже тривалий час знижується - а саме цей метод, як і раніше, домінує в політичних дослідженнях. Узимку 2014 р. деякі соціологи казали про те, що опитати респондентів за місцем проживання стало ще важче. Причини очевидні. Однак у більшості прес-релізів за результатами опитувань інформації про рівень досяжності немає. Все, як і раніше, добре, нам нема про що хвилюватися? А що з досяжністю на Сході країни, де тривають бойові дії? В усі населені пункти вдається доїхати, всі жителі Донбасу готові спілкуватися з соціологами? Такої інформації не розголошують, але ж нічого поганого в публікації й обговоренні цього показника немає, це об'єктивна реальність - у країні складна ситуація, вона впливає на якість роботи соціологів. Оприлюднення ж значень response rate розкриває проблему відсутності стандартизації в роботі дослідницької індустрії. Навесні 2014 р. мені траплялися два прес-релізи із вказівкою response rate загальнонаціональних face-to-face опитувань на рівні 20 й 61%. Чому розходження так великі, і як було підраховано ці показники - невідомо. Але ж є стандартні визначення й способи розрахувати досяжність AAPOR (Американська асоціація дослідників громадської думки), якими користується весь світ. Є професійні асоціації, які могли б рекомендувати своїм учасникам стандартизувати й публікувати дані про рівень досяжності, особливо в такий кризовий період. Однак, наприклад, Соціологічна асоціація України з початку Євромайдану опублікувала два політичні звернення до влади (старої й нової), але не робила заяв і не дала рекомендацій щодо того, як зробити роботу соціологів в умовах, що склалися, якіснішою. Наступні аргументи згаданого вище політтехнолога про "неправильні" опитування добре ілюструють той факт, що відсутність добровільної стандартизації в публікаціях соціологів робить їх уразливими для критики: "І ще одна небезпечна тенденція в соціології. До цієї президентської кампанії соціологи, як правило, оприлюднювали дві цифри показників рейтингів: показник від усіх опитаних та показник від тих, хто прийде на вибори. Останнім часом стало "модним" публікувати і третю цифру - від тих, хто визначився і візьме участь у виборах. А що, це дуже психологічно комфортно: так рейтинг 30%, а дав так звану третю цифру - ось уже він "скакнув" до 47%. Все, можна переможно говорити, що ти перемагаєш у 1 турі. "Мода" тут дуже проста - соціологи у приватних розмовах розповідають, що на публікації третьої цифри наполягає замовник. І мета тут теж дуже проста - створити ілюзію завчасної перемоги одного із кандидатів".

Безперечно, ця критика - чиста технологія, однак чому б не виробити стандартів публікації електоральних опитувань, що, по-перше, спростить роботу журналістів, які часто порівнюють непорівнянні показники у своїх текстах, називаючи все "рейтингом"; а по-друге, захистить дослідників від таких нападок. Стандартизація оприлюднення даних електоральних опитувань (аж до масивів анкет) і колективна робота над помилками - це не фантастика, як може здатися на перший погляд. Російський проект "Открытое мнение", що об'єднав як незалежних дослідників, так і співробітників провідних полстерських організацій Росії, продемонстрував це. Учасники ініціативи розробили "Стандарт розкриття даних електоральних опитувань" і провели колективний аналіз причин хибного прогнозування результатів виборів мера Москви. Масиви й методичні матеріали передвиборних опитувань передали для спільного аналізу такі відомі організації, як ФОМ, Левада-центр, ВЦВГМ, Синовейт-Комкон, а за результатами проведеної методичної роботи було опубліковано експертний звіт про можливі причини помилки. Зауважу, що така відкритість і спільна аналітична робота відразу ж знімають примітивні, але поширені стереотипи про те, що "ніхто нічого не досліджує, а цифри пишуть в адміністрації президента/Кабміні/партійному офісі" - адже свої дані й методики передали і умовно "провладні", і "опозиційні" соціологи. Очевидно, що жодне законодавче регулювання соціологам не потрібне, питання - у довірі одне до одного й бажанні кооперуватися. Крім того, таке розкриття даних і методів позбавляє несумлінних критиків інструментів для дискредитації результатів - дивіться, аналізуйте, робіть експертизу. Знову звернімося до тексту про "неправильні опитування", в якому, зокрема, критикується метод збирання даних, використаний ГФК: "Провідні соціологи, з якими я консультувався, переконані, що застосування методу автоматизованого телефонного опитування за випадковою вибіркою із дзвінками на мобільні телефони призводить до суттєвої деформації вибірки, вона перестає бути репрезентативною і не може слугувати в якості якихось орієнтирів визначення, у тому числі президентських рейтингів".

По-перше, я гадаю, що автор цього фрагмента чудово знає, що телефонні опитування успішно використовуються для електоральних опитувань. Ба більше, низка робіт учених зі США й Росії показує, що опитування саме по мобільних мають деякі організаційні й методичні переваги перед так званим dual-frame, коли використовуються і мобільні, і стаціонарні номери. Наприклад, це такі публікації, як 1) RDD Telephone Surveys Toward a Single-Frame Cell-Phone Design. Andy Peytchev and Benjamin Neely, Public Opinion Quarterly, 2013 Volume 77, Issue 1; 2) Методичне представлення загальноросійського опитування по мобільних телефонах або процедури оцінки якості вибіркового дослідження на прикладі опитування працездатного населення Росії. Т.Э.Османов, Д.М.Рогозин. "Мониторинг общественного мнения: экономические и социальные перемены". 2013. №2. Але важливіше в цьому фрагменті інше: хтось зміг дати свою експертну оцінку, ґрунтуючись на мінімумі інформації - що це було опитування по мобільних телефонах. Крапка. Ми, як і "анонімні рецензенти", не знаємо, як будувалася вибірка, як проходив польовий етап, який response rate дослідження, - словом, не знаємо нічого, але це не заважає співрозмовникам Жданова зробити висновок, що опитування "деформовано". Воно може бути "деформованим" - при проведенні опитування по мобільних справді потрібно вирішити низку непростих методичних проблем, а може бути "не деформованим", але ставити діагноз по фото навряд чи можливо. Очевидно, що без розкриття повної методичної інформації обговорення, правильне таке опитування чи ні, перетворюється на відомий із класики діалог:

"Вишь ты, - сказал один другому. - Вон какое колесо! Что ты думаешь, доедет то колесо, если б случилось, в Москву, или не доедет?" - "Доедет", - отвечал другой. - "А в Казань-то, я думаю, не доедет?" - "В Казань не доедет", - отвечал другой. Этим разговор и кончился".

Навряд чи можна вважати задовільним вирішенням проблеми заяву Соціологічної асоціації, що з'явилася за 11 днів до голосування, про те, що журналістам і виборцям варто довіряти тільки даним десяти "професійних" дослідницьких організацій" (список додається). Взагалі ж, це рух у правильному напрямку: будь-яка комунікація й інформування громадськості з боку соціологів - це, безумовно, корисно. Однак це, як мінімум, фрагментарне, часткове рішення, що не відповідає на запитання, наприклад, а що робити журналістові, якщо відрізняються дані організацій із "правильного" списку (а таке було не далі як у березні 2014 р. і дуже часто бувало в минулому)? Також досить дивно те, що список вичерпний, а в заяві немає чітких критеріїв включення або невключення тієї чи іншої організації до цього переліку. Природним критерієм того, що організація не "шахрай" (термін з заяви асоціації), видається готовність відкривати свої первинні дані й методологію для експертного аналізу: в того, хто результати "намалював", ані даних, ані методичних матеріалів просто немає.

2. Проблема щирості респондентів.

Дослідження зими-весни 2014 року проводяться так, начебто українське суспільство не розколоте, люди не гинуть, репресій з боку влади (як колишньої, так і нинішньої) немає, а ЗМІ не створюють образу ворога (помінявши тональність після лютого на протилежну). Є розумні підстави вважати, що респонденти тепер можуть бути не такими щирими у своїх відповідях, як зазвичай. Так, у значно спокійнішій кампанії 2004 року фіксувалися розходження в рейтингах Ющенка, отриманих у прямому опитуванні і при "таємному голосуванні", коли інтерв'юер не знає відповідей респондента (secret ballot). Погіршує ситуацію те, що часто людям треба відповідати не тільки про президентські вибори, а й висловлювати свою думку з запитань, які стали жупелом і підпадають під реальне кримінальне переслідування. Наприклад, запитання про те, чи хочуть респонденти, щоб їхня область приєдналася до Росії, - це чистий сепаратизм, який таврують з усіх телевізійних екранів. Чи є ризик зсувів, пов'язаний з побоюваннями опитуваних і небажанням повідомляти свою справжню думку? Напевно, є. Чи застосовуються якісь методи для підвищення щирості відповідей? Про це, на жаль, нічого невідомо. У жодному з відомих нам прес-релізів не згадується використання методів непрямої постановки запитань на кшталт ICT (item count technique) або ж конфіденційних відповідей за допомогою, наприклад, secret ballot, або будь-яких інших способів підвищення щирості респондентів.

Загалом, соціологам було б корисно:

1) публічно озвучити ризики для досліджень, що виникли через форс-мажорну політичну ситуацію;

2) там, де це можливо, змінити звичну методологію для розв'язання потенційних проблем;

3) виробити індустріальні стандарти публікації даних;

4) розпочати рух до відкритості даних і методології всередині професійного співтовариства.