Опросы общественного мнения снова оказались в центре внимания. Однако, как отмечает Роберт Стратерс, дискуссия о прозрачности затрагивает более фундаментальный вопрос: не занимаются ли даже самые благонамеренные социологи фальсификацией мнений, а не их измерением?
Недавние споры заставили отрасль обсуждать этичность опросов общественного мнения и детали правил Британского совета по опросам общественного мнения. Эти дебаты сосредоточены на раскрытии информации и прозрачности для клиентов, что, безусловно, является важными вопросами.
Но недавно прочитанная мной книга заставила меня задуматься об этике моей профессии в более широком смысле и о том, могут ли опросы общественного мнения вводить в заблуждение, даже если правила, подобные тем, что установлены BPC, соблюдаются неукоснительно.
Речь идёт о книге Дэвида У. Мура «Формирующие общественное мнение». Мур, бывший старший редактор Gallup, утверждает, что социологи не просто измеряют общественное мнение, они его формируют.
После многих лет проведения опросов общественного мнения мой инстинкт подсказывает мне защищать этот метод. Но хотя книга Мура была опубликована почти 20 лет назад, она показалась мне особенно актуальной и оставила у меня тревожный вопрос: являюсь ли я тоже генератором общественного мнения?
Как опросы общественного мнения формируют общественное мнение
Мур утверждает, что даже при наличии сбалансированных и хорошо продуманных вопросов многие опросы искажают общественное мнение. Они заставляют людей задавать вопросы, о которых те ничего не знают и которые их не интересуют, поэтому социологи искажают точку зрения, которой на самом деле никогда не существовало.
В качестве примера он приводит опросы общественного мнения, проведенные перед войной в Ираке. Примерно за шесть недель до вторжения компания Gallup опубликовала результаты опроса, показавшие широкую общественную поддержку отправки войск для свержения Саддама Хусейна. Поддержка выглядела сильной: 59% за, 38% против, и лишь 3% не имели мнения.
Но Мур и его коллеги показали, насколько хрупка поддержка, задав вопрос о том, насколько сильны чувства людей. Сторонников спросили, расстроятся ли они, если правительство не вторгнется в страну; противников — расстроятся ли они, если это произойдет.
Ситуация резко изменилась. Только 29% были твердо за, а 30% — категорически против, в то время как 41% либо не возражали, либо вообще не имели мнения по этому поводу.
«Мой инстинкт подсказывает мне защищать опросы общественного мнения. Но хотя книга Мура была опубликована почти 20 лет назад, она показалась мне актуальной и оставила меня с неприятным вопросом: являюсь ли я тоже генератором общественного мнения?»
Используя подобные примеры, Мур делит мнения на два типа: «директивные» — твердо устоявшиеся взгляды, и «разрешительные» — высказываемые по запросу, но не слишком выраженные. Измеряя эти разрешительные взгляды и представляя их как взвешенные, социологи переходят от измерения к производству.
Сфабрикованные результаты могут иметь самые разные последствия. Они вводят людей в заблуждение, могут формировать то самое мнение, которое, как утверждалось, они измеряли, и создают у сторонников политики ощущение некой обязательности, которой на самом деле не было.
Поиск души (или опрос)
Я могу вспомнить вопросы, которые я задавал и которые подверглись бы той же критике. Некоторое время назад я проводил опрос, спрашивая, поддерживают ли люди ежегодный налог на стоимость земли взамен гербового сбора и муниципального налога. Примерно двое из пяти поддержали его, а один из пяти выступил против.
Но задумывались ли многие из этих 1500 человек хоть на минуту о налоге на стоимость земли, прежде чем мы задали этот вопрос? Думаю, очень немногие.
Это еще раз подчеркивает необходимость проявлять осторожность, прежде чем рассматривать эти ответы как нечто большее, чем поверхностные косвенные ответы.
Что мы можем с этим сделать?
Мы все можем приложить больше усилий для более тщательной разработки и представления результатов опросов. Для вопросов, измеряющих взгляды избирателей на политику или проблемы, я бы предложил четырехкомпонентную структуру: SUBS (извините, я не удержался от создания аббревиатуры).
Данная методика основана на принципах, которые большинство хороших специалистов по проведению опросов уже знают и регулярно применяют. Но, вероятно, все мы порой позволяем себе отступать от них. Компоненты методики следующие:
- Актуальность. Выясните, волнует ли людей вопрос, который вы задаете.
Люди будут поддерживать ту или иную политику в абстрактном смысле, даже если в основе проблемы лежит вопрос, о котором они никогда не задумываются или который их не волнует. Если это едва заметно, это говорит о том, насколько важными должны быть последующие показатели.
- Неопределенность: Количественно оцените и подчеркните неопределенность.
В идеале это означает измерение того, насколько люди осведомлены или слышали о проблеме, которую вы задаете. При оценке поддержки предлагайте варианты «ни то, ни другое» и «не знаю», чтобы люди могли проявить двойственное отношение, безразличие или неуверенность, и избегайте ситуаций, когда это приведет к изменению ваших процентных показателей и их полному исчезновению.
- Баланс. Без него возрастает риск получения искусственного результата.
Всем известно, насколько важны беспристрастные и сбалансированные вопросы. Однако как часто в наши анкеты снова проникают утверждения типа «согласен/не согласен»? Такие форматы усугубляют проблему. Если респонденты и так склонны высказывать своё мнение по вопросам, по которым у них нет устоявшейся точки зрения, то дизайн, поощряющий такие предвзятости, как согласие или стремление к социальной желательности, только ухудшает ситуацию.
- Сильные стороны. Избегайте форматов, которые смешивают сильные и слабые мнения.
Дополнительный вопрос Мура, касающийся силы чувств, оказался показательным, но для него нет места в каждом опросе. Тем не менее, даже простая шкала выполняет полезную работу: такие пункты, как «скорее поддерживаю» или «скорее против», помогают выявить более либеральные точки зрения.
Больше измерений, меньше производства
Четыре пункта SUBS частично касаются качественного составления анкет. Но эта структура лучше всего работает в более широком контексте, охватывая также анализ, составление отчетов и комментарии.
Мой аргумент об измерении силы поддержки — хороший пример. Многие социологи, включая меня, уже используют пятибалльную шкалу для оценки силы поддержки, поэтому это предложение далеко не новаторское. Но затем мы объединяем две крайние точки с каждой стороны, чтобы получить итоговую цифру, и обычно это единственное число, которое сообщается в сколько-нибудь значимой форме.
Подход SUBS подразумевает понимание разницы между умеренной и сильной поддержкой чего-либо. Поэтому часть работы заключается в том, чтобы вместе с клиентами выявлять подобные нюансы или, по крайней мере, учитывать их при составлении отчетов о результатах.
Однако я понимаю, что это не решит всех проблем. Это не всегда помешает автору заголовка преувеличивать или завышать реальные результаты опроса.
Но если мы будем регулярно применять подход, подобный SUBS, в собственном анализе, отчетах и комментариях, мы сможем помочь тем, кто знакомится с опросами, лучше их понимать. Таким образом, мы поможем людям увидеть реальные мнения и меньше будем заниматься фальсификацией того, чего нет.
Роберт Стратерс возглавляет отдел анализа общественного мнения в BMG Research
Источник:
https://www.research-live.com/article/opinion/do-pollsters-manufacture-opinion/id/5152956
