Революционно-военные события последних шести месяцев в Украине заставили работать по-новому представителей многих профессий, связанных с политикой. Журналистам пришлось в срочном порядке изучать правила безопасного поведения в "горячих точках" и определяться, кто они - все еще журналисты или уже политические активисты. Политтехнологи и рекламисты были вынуждены запускать избирательные кампании "с колес" и в крайне сжатые сроки (не всегда удачно).
Условия работы социологов также изменились не в лучшую сторону. Политический конфликт, продолжающийся с 30 ноября прошлого года, сильно повлиял на среду работы исследователей общественного мнения. Хотелось бы ошибаться, но пока что риски для качества исследований и репутации социологов, связанные с нестабильностью в стране, недооцениваются. По крайней мере, никаких заявлений профессиональных объединений социологов или самих исследователей об изменившихся условиях работы нет. Пресс-релизы с данными пишутся так, как будто в стране не было революции, аннексии Крыма и, по сути, гражданской войны на Востоке. Но политтехнологи уже используют сложившуюся ситуацию для дискредитации неудобных им результатов опросов. Сполна воспользовался такой возможностью, например, Игорь Жданов, входящий в избирательный штаб Юлии Тимошенко, в своей колонке под названием "Лукавые цифры президентских "рейтингов". Поводом для текста политтехнолога стало его недовольство исследованием GFK Ukraine, в котором кандидаты идут "в неправильном порядке". Забегая наперед, отмечу, что эта колонка - отличный пример использования слабых мест социологов для решения задач своего кандидата, причем все возможности для подобных нападок исследователи общественного мнения обеспечили политтехнологам сами.
Нельзя сказать, что ситуация критична, и социологи, например, провалят прогнозирование результатов выборов. Вероятно, не провалят, особенно учитывая значительный отрыв одного из кандидатов, однако риски для надежной оценки состояния общественного мнения существуют. Способ минимизации каждого из возникших рисков - это либо использование адекватных методов для недопущения ошибок, либо своевременное информирование общественности о том, что существуют объективные проблемы, либо же выработка совместной позиции исследовательской индустрии и донесение ее до публики, а оптимально - все вышеперечисленное вместе.
Итак, каковы риски, что можно сделать для их минимизации, о чем стоит предупреждать потребителей результатов опросов, и почему социологам полезно договариваться между собой и открывать данные и методологию?
1. Проблема достижимости респондентов (response rate). Хорошо известно, что уровень достижимости в face-to-face опросах в Украине уже долгое время снижается - а именно этот метод по-прежнему доминирует в политических исследованиях. Зимой 2014 г. некоторые социологи говорили о том, что опросить респондентов по месту проживания стало еще труднее. Причины этого очевидны. Однако в большинстве пресс-релизов по результатам опросов информации об уровне достижимости нет. Все по-прежнему хорошо, нам не о чем волноваться? А что с достижимостью на Востоке страны, где идут боевые действия? Во все населенные пункты удается доехать, все жители Донбасса готовы общаться с социологами? Такую информацию не предают огласке, а ведь ничего зазорного в публикации и обсуждении этого показателя нет, это объективная реальность - в стране сложная ситуация, она влияет на качество работы социологов. Обнародование же значений response rate вскрывает проблему отсутствия стандартизации в работе исследовательской индустрии. Весной 2014 г. я встречал два пресс-релиза с указанием response rate общенациональных face-to-face опросов на уровне 20% и 61%. Почему различия так велики, и как были подсчитаны эти показатели - неизвестно. А ведь существуют стандартные определения и способы расчетов достижимости AAPOR (Американская ассоциация исследователей общественного мнения), которыми пользуется весь мир. Существуют профессиональные ассоциации, которые могли бы рекомендовать своим участникам стандартизировать и публиковать данные об уровне достижимости, особенно в такой кризисный период. Однако, например, Социологическая ассоциация Украины с начала Евромайдана опубликовала два политических обращения к властям (старым и новым), но не делала заявлений или рекомендаций о том, как сделать работу социологов в сложившихся условиях более качественной. Следующие аргументы упоминавшегося выше политтехнолога о "неправильных" опросах отлично иллюстрируют тот факт, что отсутствие добровольной стандартизации в публикациях социологов делает их уязвимыми для критики:
"І ще одна небезпечна тенденція в соціології. До цієї президентської кампанії соціологи, як правило, оприлюднювали дві цифри показників рейтингів: показник від усіх опитаних та показник від тих, хто прийде на вибори. Останнім часом стало "модним" публікувати і третю цифру - від тих, хто визначився і візьме участь у виборах. А що, це дуже психологічно комфортно: так рейтинг 30%, а дав так звану третю цифру - ось вже він "скакнув" до 47%. Все, можна переможно говорити, що ти перемагаєш у 1 турі. "Мода" тут дуже проста - соціологи у приватних розмовах розповідають, що на публікації третьої цифри наполягає замовник. І мета тут теж дуже проста - створити ілюзію завчасної перемоги одного із кандидатів".
Безусловно, эта критика - чистая технология, однако почему бы не выработать стандарты публикации электоральных опросов, что, во-первых, упростит работу журналистов, которые зачастую сравнивают несравнимые показатели в своих текстах, называя все "рейтингом"; а во-вторых, защитит исследователей от подобных нападок. Стандартизация обнародования данных электоральных опросов (вплоть до массивов анкет) и коллективная "работа над ошибками" - это не фантастика, как может показаться на первый взгляд. Российский проект "Открытое мнение", объединивший как независимых исследователей, так и сотрудников ведущих поллстерских организаций России, продемонстрировал это. Участниками инициативы был разработан "Стандарт раскрытия данных электоральных опросов" и проведен коллективный анализ причин неверного прогнозирования результатов выборов мэра Москвы. Массивы и методические материалы предвыборных опросов передали для совместного анализа такие известные организации, как ФОМ, Левада-центр, ВЦИОМ, Синовейт-Комкон, а по результатам проведенной методической работы был опубликован экспертный отчет о возможных причинах ошибки. Отмечу, что подобная открытость и совместная аналитическая работа сразу же снимает примитивные, но распространенные стереотипы о том, что "никто ничего не исследует, а цифры пишут в Администрации Президента/Кабмине/партийном офисе" - ведь свои данные и методики передали и, условно, "провластные", и "оппозиционные" социологи. Очевидно, что никакое законодательное регулирование социологам не нужно, вопрос - в доверии друг к другу и желании кооперироваться. Кроме того, подобное раскрытие данных и методов лишают недобросовестных критиков инструментов для дискредитации результатов - смотрите, анализируйте, делайте экспертизу. Снова обратимся к тексту о "неправильных опросах", в котором, в частности, критикуется метод сбора данных, использованный ГФК:
"Провідні соціологи, з якими я консультувався, переконані, що застосування методу автоматизованого телефонного опитування за випадковою вибіркою із дзвінками на мобільні телефони призводить до суттєвої деформації вибірки, вона перестає бути репрезентативною і не може слугувати в якості якихось орієнтирів визначення, у тому числі президентських рейтингів".
Во-первых, я думаю, что автор этого фрагмента прекрасно знает, что телефонные опросы успешно используются для электоральных опросов. Более того, ряд работ ученых из США и России показывают, что опросы именно по мобильным имеют некоторые организационные и методические преимущества перед так называемым dual-frame, когда используются и мобильные, и стационарные номера (например, это такие публикации как 1) RDD Telephone Surveys Toward a Single-Frame Cell-Phone Design. Andy Peytchev and Benjamin Neely, Public Opinion Quarterly, 2013 Volume 77, Issue 1; 2) Методическое представление общероссийского опроса по мобильным телефонам, или процедуры оценки качества выборочного исследования на примере опроса трудоспособного населения России. Т.Э. Османов, Д.М. Рогозин. Мониторинг общественного мнения: экономические и социальные перемены. 2013. № 2). Но важнее в этом фрагменте другое: кто-то смог дать свою экспертную оценку, основываясь на минимуме информации - что это был опрос по мобильным телефонам. Точка. Мы, как и "анонимные рецензенты", не знаем, как строилась выборка, как проходил полевой этап, какой response rate исследования, - в общем, не знаем ничего, но это не мешает собеседникам Жданова сделать вывод, что опрос "деформирован". Он может быть "деформирован" - при проведении опроса по мобильным действительно нужно решить ряд непростых методических проблем, а может быть "не деформирован", но ставить "диагноз по фото" вряд ли возможно. Очевидно, что без раскрытия полной методической информации обсуждение "правилен ли такой опрос или нет" превращается в известный из классики диалог:
"Вишь ты", - сказал один другому. - "Вон какое колесо! Что ты думаешь, доедет то колесо, если б случилось, в Москву, или не доедет?"
"Доедет", - отвечал другой.
"А в Казань-то, я думаю, не доедет?"
"В Казань не доедет", - отвечал другой. Этим разговор и кончился".
Вряд ли можно считать удовлетворительным решением проблемы заявление Социологической ассоциации, появившееся за 11 дней до голосования, о том, что журналистам и избирателям следует доверять только данным десяти "профессиональных" исследовательских организаций" (список прилагается). В общем-то, это движение в правильном направлении: любая коммуникация и информирование общественности со стороны социологов - это, безусловно, полезно. Однако, это, как минимум, фрагментарное, частичное решение, которое не дает ответов на вопрос, например, а что делать журналисту, если отличаются данные организаций из "правильного" списка (а такое было не далее как в марте 2014 г. и очень часто бывало в прошлом)? Также довольно странно выглядит то, что список исчерпывающий, а в заявлении отсутствуют четкие критерии включения или невключения той или иной организации в этот перечень. Естественным критерием того, что организация не "мошенник" (термин из заявления Ассоциации) представляется готовность открывать свои первичные данные и методологию для экспертного анализа: у того, кто результаты "нарисовал", ни данных, ни методических материалов просто нет.
2. Проблема искренности респондентов.
Исследования зимы-весны 2014 года проводятся так, как будто украинское общество не расколото, люди не гибнут, репрессий со стороны власти (как прошлой, так и нынешней) нет, а СМИ не создают образ врага (поменяв тональность после февраля на противоположную). Есть разумные основания полагать, что респонденты сейчас могут быть не такими искренними в своих ответах, как обычно. Так, в куда более спокойной кампании 2004 года фиксировались различия в рейтингах Ющенко, полученных в прямом опросе и при "тайном голосовании", когда интервьюер не знает ответов респондента (secret ballot). Ухудшает ситуацию то, что зачастую людям нужно отвечать не только о президентских выборах, но и высказывать свое мнение по вопросам, которые стали жупелом и подпадают под реальное уголовное преследование. Например, вопрос о том, хотят ли респонденты, чтобы их область присоединилась к России, - это чистый сепаратизм, который клеймится со всех телевизионных экранов. Есть ли риск смещений, связанный с опасениями опрашиваемых и нежеланием сообщать свое настоящее мнение? Наверное, есть. Применяются ли какие-то методы для повышения искренности ответов? Об этом, к сожалению, ничего неизвестно. Ни в одном из известных нам пресс-релизов не упоминается использование методов непрямой постановки вопросов вроде ICT (item count technique) или же конфиденциальных ответов с помощью, например, secret ballot, или любых других способов повышения искренности респондентов.
В целом, социологам было бы полезно:
1) публично озвучить риски для исследований, возникшие из-за форс-мажорной политической ситуации;
2) там, где это возможно, изменить привычную методологию для решения потенциальных проблем;
3) выработать индустриальные стандарты публикации данных;
4) начать движение к открытости данных и методологии внутри профессионального сообщества.