Когда одновременно ослабевает ваше понимание того, что вы измеряете, и ваша уверенность в том, как вы это измеряете
У каждого есть своя теория о том, почему опросы общественного мнения «кажутся» неэффективными. Стадное поведение, скрытные избиратели, предвзятость из-за отказа от участия, смертельная спираль опросов по стационарным телефонам. После каждого цикла опросов всплывают одни и те же проблемы. И это реальные проблемы. Я писал о некоторых из них. Но я думаю, что происходит нечто большее, и это не дает мне покоя с ноября
Одновременно разрушаются две вещи, и почти никто не говорит о них вместе. Первая — это то , что мы пытаемся измерить. Вторая — это то, могут ли вообще эти инструменты это измерить. Я хочу разобрать их по частям, а затем посмотреть, что произойдет при их столкновении, но сразу скажу, что история здесь не такая, какой вы ожидаете. Очевидная версия — «ИИ убьет опросы общественного мнения». Реальная версия более странная, более конкретная и в некотором смысле более тревожная.
Политологи спорят о стабильности общественного мнения с тех пор, как Конверс в 1964 году заявил, что у большинства людей нет реального отношения к большинству политических вопросов, а лишь « не-отношения », которые они конструируют на ходу, чтобы угодить интервьюеру. Три десятилетия спустя Заллер возразил: люди — не пустые сосуды, они носят с собой целый набор противоречивых соображений и выбирают то, что наиболее доступно в данный момент. Опрос фиксирует моментальный снимок движущейся цели.
Этот спор так и не был окончательно разрешен, но долгое время на практике это не имело большого значения, потому что для большинства людей определяющим фактором мнения была партийная принадлежность , а партийная принадлежность была устойчивой. Идеологическая дифференциация сделала её ещё более устойчивой: корреляция между идеологией и партийной принадлежностью примерно удвоилась в период с 1970-х по 2000-е годы и с тех пор не снижается. Для тех, кто сформировал свою позицию (а это растущая доля электората), мнение, пожалуй, более устойчиво, чем когда-либо. У них есть свои рамки, эвристики, вся архитектура стабильных взглядов. Их партия подсказывает им, что думать по новым вопросам, и они в основном прислушиваются к этому.
Не все оказались в нужном положении. Но вот в чем сложность: большинство людей оказались. В литературе по политологии по этому вопросу все довольно ясно. Кит и др. три десятилетия назад установили, что большинство самопровозглашенных «независимых» — это скрытые сторонники определенной партии, то есть те, кто склоняется к той или иной партии и голосует за нее с той же частотой, что и слабые сторонники. Сейчас 45% американцев называют себя независимыми (рекорд), но если отбросить этот ярлык, то примерно две трети склоняются к той или иной партии и ведут себя соответственно. Клар и Крупников показали, что ярлык «независимый» часто связан не столько с идеологической амбивалентностью, сколько с социальной стигмой, окружающей партийную принадлежность: люди, которые точно знают, на чьей они стороне, но не хотят в этом признаваться на званом ужине. Они разделены по всем признакам, кроме названия.
Такая стабильная картина сохранялась долгое время. Но новые данные CES, представленные Брайаном Шаффнером, поднимают вопрос, заслуживающий внимания. Долгое время существовавшее преимущество демократов в партийной принадлежности практически исчезло: с 10-12 пунктов в 2007-2008 годах до всего 2-3 пунктов к концу 2025 года. Республиканская принадлежность практически не изменилась, оставаясь стабильной на уровне 35-38 процентов в течение двух десятилетий. Демократическая принадлежность упала примерно с 50 до 40 процентов, и большая часть этого снижения пришлась на людей, которые не склоняются ни к одной из партий. В Мичиганском университете партийная принадлежность была названа «неподвижным двигателем» политического поведения — стабильным фундаментом, который движет всем остальным. Согласно этим данным, этот неподвижный двигатель начинает двигаться — медленно, постепенно и в основном в одном направлении.
Открытым остается вопрос о том, что это движение означает для проблемы измерения. Действительно ли эти бывшие демократы не имеют четкой идеологической основы, находятся в растерянности, или же они представляют собой последнюю волну скрытых сторонников определенной партии — людей со четкими взглядами, которые отказались от ярлыка, но сохранили идеологическую структуру? Исследования Кейта и Клар-Крупникова предсказывают для большинства из них последнее. Но даже если лишь небольшая часть действительно не имеет идеологической основы, эта часть входит в ту группу населения, которую сложнее всего измерить.
Действительно не отсортированные избиратели — чистые независимые избиратели без партийных пристрастий и стабильных идеологических убеждений, те самые люди, о которых действительно беспокоился Конверс, — составляют примерно 7–10 процентов электората по семибалльной шкале ANES. Эта цифра оставалась удивительно стабильной на протяжении десятилетий, хотя за тенденциями CES следует внимательно следить. В любом случае, она невелика. И для большинства задач опросов это не имеет большого значения. Если вы хотите отслеживать политические настроения, измерять актуальность вопросов, намечать общие контуры того, что общественность думает об иммиграции или здравоохранении, отсортированное большинство дает вам достаточно информации. Проблема измерения, которую я описываю, специфична для конкурентных выборов, особенно президентских и напряженных выборов в колеблющихся штатах, где исход зависит от незначительного преимущества именно среди тех людей, которых труднее всего определить. И сами эти конкурентные выборы представляют собой сокращающуюся категорию: перераспределение избирательных округов, партийная сортировка по географическому признаку и преимущество действующих депутатов неуклонно сокращают число выборов, где исход действительно неопределен. В тех избирательных кампаниях, где сохраняется конкуренция, ставки выше, чем когда-либо, и именно в них каждый предъявляет наибольшие требования к результатам опросов. Сторонники разных партий взаимно нейтрализуют друг друга. Именно в этом неупорядоченном остатке и заключается разница в голосах, и именно здесь наши инструменты оказываются наиболее слабыми.
В своей работе я постоянно возвращаюсь к этому: доверие — это не просто приятное качество в демократии. Это несущая инфраструктура . Для чётко определённых партийных приверженцев (и для тех, кто скрывает свои взгляды и ведёт себя подобным образом) партия выполняет функцию якоря, даже когда институциональное доверие находится на самом низком уровне. Для тех, кто действительно не имеет чёткой партийной принадлежности, институциональное доверие было якорем, или, по крайней мере, его частью. Доверие к СМИ давало людям общую фактическую основу. Доверие к правительству давало политическим дебатам общую рамку. Отнимите всё это у человека, не имеющего твёрдых партийно-идеологических убеждений, выполняющего эту работу, и вы получите то, что я называю « непривязанным мнением». Предпочтения, которые являются подлинными, но изменчивыми, реагируют на самый громкий стимул, и их сложнее определить с помощью опроса, проведённого во вторник за три недели до выборов.
Однако эмпирическая картина сложнее, чем простая причинно-следственная связь. Девайн и др. (2024) показывают, что политическое доверие на индивидуальном уровне на самом деле довольно стабильно на протяжении всей взрослой жизни. Совокупное снижение, которое мы наблюдаем, отчасти является когортным явлением, а не одновременным крахом доверия у всех. И прямая причинно-следственная связь между снижением доверия и изменчивостью общественного мнения пока не установлена эмпирически так, как мне бы хотелось.
Я предлагаю теоретическое прочтение: та же самая институциональная эрозия, которая проявляется в показателях доверия (фрагментация общих информационных сред, крах местных новостей, партийная предвзятость в выборе источников информации), также разрушает эвристическую основу, которая позволяла измерять общественное мнение для действительно неразделённого сегмента электората. Два симптома одной и той же болезни, усугубляющие друг друга.
Двадцать три процента американцев заявляют, что доверяют федеральному правительству прямо сейчас. Эта цифра особенно высока. Это не случайность. Для определённых партий этот низкий уровень доверия — всего лишь ещё одно подтверждение того, во что они уже верят относительно правительства противоположной стороны. Но для тех действительно неопределённых 7-10 процентов? Это отсутствие какой-либо институциональной основы для интерпретации политической информации. Они находятся в подвешенном состоянии. А инструмент опроса, разработанный для мира, где у большинства людей есть ориентиры, не предназначен для их отслеживания.
Избирательный цикл 2024 года показателен, и не в том смысле, в каком думает большинство людей. В отчете целевой группы AAPOR было установлено, что опросы общественного мнения на уровне штатов были самыми точными с 1944 года. Национальные опросы показали средние результаты: не триумф, но и не катастрофа, которую все помнят. Основные результаты были близки. Модели работали. Опросы по-прежнему недооценивали голоса республиканцев, как и с 2016 года, но меньше, чем раньше. И все же все по-прежнему чувствуют , что ошиблись. Разрыв между тем, что опросы фактически показали, и тем, что испытала общественность, сам по себе является симптомом проблемы доверия. Когда доверие к институтам настолько низкое, даже точная информация не воспринимается как достоверная. Сигнал был хорошим. Способность его воспринимать — нет.
Это первая попытка. Мы измеряем погоду с помощью приборов, откалиброванных для климатических условий.
Пять центов за бот
Вот вторая трещина. Шон Вествуд из Дартмута опубликовал в прошлом году в PNAS статью , которая должна была вызвать гораздо больший резонанс в мире социологических исследований (на мой взгляд). Он создал бот с искусственным интеллектом, который заполняет онлайн-опросы примерно за пять центов каждый. Бот имитирует время чтения, генерирует движения мыши, похожие на человеческие, набирает ответы в свободной форме по одному нажатию клавиши за раз, с учетом опечаток и самокоррекций. Он прошел 99,8% стандартных проверок качества.
Все средства защиты, которые индустрия разрабатывала десятилетиями (проверки внимания, вопросы-ловушки, CAPTCHA, открытые вопросы для проверки), теперь функционально неэффективны против компетентного специалиста уровня LLM. И «компетентность» не означает передовую исследовательскую лабораторию. Это означает несколько строк кода и ключ API.
Число случаев мошенничества уже зашкаливает. Кравчик и Сиек запустили академический опрос о рассказах об абортах и за четыре часа получили 981 ответ. Три из них были от реальных людей. Исследование пчеловодства собрало 2622 ответа от населения, которое никак не могло бы получить такой объем информации. Четыре процента были подлинными. По оценкам Research Defender , около трети необработанных ответов на онлайн-опросы теперь содержат ту или иную форму мошенничества, и доля ИИ растет.
Один уважаемый мною социолог резко опроверг более раннюю версию этого аргумента, и это значительно обострило мои мысли. Существует важное различие между теми, кто действительно страдает от этого, и теми, кто не страдает.
Хорошие специалисты по проведению опросов общественного мнения на выборах? В значительной степени они защищены, хотя, возможно, и не по тем причинам, которые предполагает нарратив «мы адаптировались». Такие организации, как Marist и Pew, уже использовали методы, которые оказались устойчивыми к заражению ботами: интервьюеры вживую, вероятностный набор участников, проверенные связи с панелями. Эти методы существовали еще до угрозы ИИ. Они не были созданы как защита от ботов; это качественная инфраструктура, которую, как оказалось, трудно взломать. Заражение ИИ — это еще одна вещь в длинном списке вещей, которых нужно избегать, и их существующие методы позволяют этого избежать. Нарратив о том, что опросы неэффективны из-за ИИ, не совсем подходит для таких организаций, как Marist или Pew, или для более эффективных государственных организаций. Когда эти опросы не дают результатов, обычно возникает старая, сложная проблема: угадать, кто на самом деле придет и проголосует. Это проблема моделирования явки, а не проблема ботов.
В итоге страдают именно учёные.
Именно здесь важна структура стимулов, потому что она не случайна. Академические социологические исследования проводятся с более ограниченными бюджетами, в большей степени опираются на удобные выборки и дешевые онлайн-панели, и работают в условиях «публикуйся или погибнешь», где награда за тщательный дизайн опроса и строгую проверку качества данных… по сути, равна нулю. Статья с новым выводом, полученным на основе скомпрометированной панели Qualtrics, публикуется. Статья, в которой было потрачено вдвое больше средств на вероятностную выборку с реальным набором участников, и которая получила тот же скучный результат, не публикуется. Структура стимулов отбирает именно тот тип данных, который наиболее уязвим для искажения.
Таким образом, кризис ботов — это не совсем кризис опросов общественного мнения , по крайней мере, пока. Это скорее кризис академических исследований . И это различие важно, потому что то, что публикуется в научных журналах, формирует наше теоретическое понимание общественного мнения, то, как мы обучаем следующее поколение исследователей, и то, что лежит в основе моделей, которые иногда используют сами практики. Мусор в академической среде не остается в академической среде. И происходит репутационное заражение, которое переходит границу в обратном направлении: каждая история о ботах, заполонивших академические опросы, делает общественность более скептически настроенной ко всем опросам, включая добросовестные. Опросы, проводимые самими практиками, могут быть совершенно чистыми и все равно потерять доверие, потому что само слово «опрос» было искажено.
Однако специалистам не стоит слишком расслабляться. Вествуд подсчитал, что всего 10–52 стратегически размещенных синтетических ответа могли бы изменить прогноз результатов в семи национальных опросах в последнюю неделю перед выборами 2024 года. Эти оценки основаны на общедоступных онлайн-опросах, от которых опытные социологи уже отказались. Панели, основанные на вероятностном анализе и с реальным набором участников, гораздо сложнее взломать. Таким образом, непосредственная угроза исходит оттуда, где я и говорил: от дешевых данных. Но разница настолько мала, что мотивированный человек со скромными ресурсами (не государственный деятель, а просто какой-то парень ) может изменить ситуацию в опросах, которые еще не адаптировались. И по мере совершенствования ботов категория «еще не адаптировались» может быстро расти. Будет ли это продолжаться — это уже другой вопрос.
В прошлом году Qualtrics заменила свою старую систему проверки респондентов. Было ли это признанием неудачи или настоящим обновлением, до сих пор неясно, и данные о производительности новой системы не были опубликованы. Но закономерность очевидна: средства защиты должны постоянно совершенствоваться, потому что противник постоянно улучшает свои системы. Это гонка вооружений, а гонка вооружений выгодна той стороне, у которой ниже затраты. Сейчас это боты.
Если бы это были отдельные проблемы, каждая из них была бы серьезной. Но они не являются отдельными.
Снижение доверия приводит к падению уровня отклика. В телефонных опросах Pew доля ответов снизилась с 36% в 1997 году до 6% к 2018 году , и эта тенденция не изменилась с начала пандемии. Низкий уровень отклика заставляет исследователей переходить к более дешевым онлайн-панелям. Онлайн-панели — это среда, наиболее подверженная заражению ботами. Таким образом, кризис доверия подпитывает кризис ИИ: чем меньше реальных людей участвует, тем больше места остается для фейковых профилей. И исследователи, наиболее зависимые от этих дешевых панелей — ученые, испытывающие бюджетные трудности, — наименее подготовлены к выявлению этой проблемы.
И это закручивается внутри академической среды таким образом, что меня это по-настоящему тревожит. Честно говоря, то, что я собираюсь описать, — это правдоподобный механизм, а не задокументированное явление. У нас пока нет систематических доказательств того, сколько загрязненных данных уже проникло в опубликованную литературу. Но с этой логикой трудно спорить. Загрязненные данные приводят к результатам, которые выглядят реальными, но таковыми не являются. Эти результаты публикуются, цитируются, включаются в теоретические рамки, которые готовят следующее поколение исследователей в области социологических опросов. Аспиранты изучают методы работы с данными, которые могут быть частично синтетическими, и никто об этом не знает. Загрязнение затрагивает не только отдельные статьи; оно проникает в то, как в этой области понимают общественное мнение. Плохие данные становятся плохой теорией, плохая подготовка — плохой подготовкой, а затем еще более плохими данными. Этот цикл может продолжаться годами, прежде чем кто-либо это заметит, потому что отдельные статьи выглядят нормально. Боты прошли проверку качества, помните?
Мне это постоянно приходит на ум как своего рода эпистемическая энтропия. Система, которую использует данная дисциплина для понимания общественного мнения, разрушается изнутри, и ущерб незаметно накапливается.
Есть один вопрос, который в этой области уклоняются от ответа, и я думаю, это самый сложный вопрос во всей этой ситуации.
Если мы не можем с уверенностью отличить ответы на опросы, сгенерированные ИИ, от ответов людей — а сейчас это в значительной степени так для всех, кто использует стандартные инструменты, — то что же на самом деле измеряют опросы? Здесь следует уточнить, потому что картина обнаружения сложнее, чем просто «мы бессильны». В контролируемых исследованиях люди правильно идентифицируют текст, сгенерированный ИИ, где-то в 50-70% случаев, в зависимости от дизайна исследования. В некоторых условиях это едва лучше, чем подбрасывание монеты, и этого явно недостаточно, когда вы проверяете тысячи ответов, а процент ошибок может составлять от 5% до 30%. Специализированные системы машинного обнаружения (поведенческий анализ, шаблоны нажатий клавиш, интегрированные модели мошенничества) показывают лучшие результаты, и некоторые заявляют о почти идеальной точности в лабораторных условиях. Но эти системы не получили широкого распространения, они дороги и преследуют одну и ту же цель: каждый опубликованный метод обнаружения становится обучающими данными для следующего поколения ботов. Траектория развития событий благоприятствует нападающему, даже если нынешняя ситуация сложнее, чем «все средства защиты потерпели неудачу».
В основе социологических исследований лежит конкретное утверждение: совокупные индивидуальные ответы раскрывают нечто истинное о том, что думает общественность. Это всегда предполагает наличие определенных допущений: что люди отвечают честно, что выборка репрезентативна, что вопросы отражают реальные взгляды, а не искажения, вызванные формулировкой вопросов. Эти допущения всегда были несовершенны. Но их можно было исправить. Более качественная выборка, более разумное взвешивание, более четкая формулировка вопросов.
Что меня беспокоит в загрязнении данных ИИ, так это то, что оно отличается по своей природе. Оно не вносит предвзятости, которую можно скорректировать, потому что невозможно определить, какие именно ответы нуждаются в корректировке. Оно не создает систематического уклона, который проявляется в остатках. Оно вносит шум, который выглядит точно так же, как сигнал. И я не уверен, что методология может это исправить. Возможно, это философская проблема, замаскированная под методологию.
Искушение пойти в другом направлении, склониться к синтетическим данным, растет именно там, где и следовало ожидать. Это называется «силиконовая выборка»: обучение респондентов на основе демографических профилей для генерации синтетических ответов на опросы в качестве дешевой замены реальных данных от людей. Это логическая конечная точка описанной ранее системы стимулирования. Если реальные респонденты дороги и ненадежны, почему бы просто не смоделировать их? В статье в журнале Political Analysis это было проверено на практике, и результаты оказались ужасающими: ответы, сгенерированные ChatGPT, преувеличивали партийную и расовую эмоциональную поляризацию (показатель «термометра чувств», насколько сильно вы не любите другую сторону) в семь раз по сравнению с реальными данными от людей. В семь раз. Это крайний случай; по более предсказуемым партийным вопросам синтетические данные были ближе, может быть, на 5-10% отклонение. Но худшие неудачи были именно в тех областях, где нам нужна наибольшая точность: новые темы, отношение подгрупп, места, где вся суть опроса состоит в том, чтобы узнать что-то, чего вы еще не знали. Результат был крайне чувствителен к формулировке запроса — можно было сгенерировать практически любое желаемое распределение, просто изменив формулировку.
Исследователи прямо заявили: синтетические данные не должны заменять реальные данные об общественном мнении. Но давление со стороны затрат реально, и в академической среде, где бюджеты наиболее ограничены, а давление со стороны публикаций наиболее велико, соблазн будет только расти. Вот что происходит, когда рушатся стимулы к тщательному сбору данных: происходит не просто внешнее загрязнение. Люди намеренно создают это загрязнение, называя это методологией.
Итак, что же дальше?
Так что же делать? Я действительно не уверен, и хочу быть честным в этом вопросе, а не притворяться, что существует какой-то план действий.
Я постоянно возвращаюсь к мысли, что основная проблема здесь не техническая, а структурная. А решение этой структурной проблемы до смешного очевидно, и, возможно, именно поэтому никто этого не делает: изменить систему поощрений, которая вознаграждает за некачественные данные.
Журналы могли бы требовать документального подтверждения качества данных так же, как они требуют одобрения этического комитета. Не в качестве необязательного дополнения, не в виде сноски в разделе методов, а в качестве условия рецензирования. Откуда были получены данные? Какая панель? Какой метод набора участников? Какое средство обнаружения мошенничества применялось? Какой процент ответов был отмечен и удален? Это несложно. Это то, что должно было стать стандартной практикой еще десять лет назад, и тот факт, что это не так, говорит обо всем, что касается того, как на самом деле работает механизм «публикуйся или погибнешь». Награда за строгость — медленная публикация. Награда за скорость — строчка в вашем резюме. Заражение ИИ не создало эту систему стимулов. Оно просто превратило ее в вектор для возможного искажения научных данных.
Технические меры по устранению проблемы также имеют значение, даже если они не устраняют первопричину.
Наиболее перспективным направлением, которое я наблюдаю, является многомодальное слияние данных: вместо того, чтобы полагаться только на опросы, следует сопоставлять их с сигналами из социальных сетей, данными о поведении потребителей, экономическими показателями и моделями регистрации избирателей. Любой отдельный поток данных может быть искажен, но триангуляция между несколькими потоками затрудняет манипуляции и делает шум более заметным. Некоторые команды уже видят реальные улучшения в точности прогнозов. Но для этого требуется статистическая инфраструктура, которой большинство организаций, проводящих опросы, не имеют и не могут легко создать.
Сейчас происходит и более радикальное переосмысление. Искусственный интеллект сломал старые инструменты опроса, но некоторые исследователи задаются вопросом, может ли он создать новые. Ямиль Велез работает над адаптивными опросами, которые мутируют в реальном времени в зависимости от ответов респондента, используя ИИ для ведения диалога, а не для заполнения анкеты. Недавно Anthropic пошел еще дальше, используя инструмент для интерактивных опросов , чтобы получить мнения более чем 80 000 пользователей по всему миру об ИИ. Энди Холл отметил , что главной проблемой среди пользователей были не научно-фантастические опасения по поводу Скайнета, а обычная ненадежность ИИ как инструмента. Такие результаты получаются только при более глубоком и открытом сборе данных.
Но я не уверен, что основная проблема исчезнет. Как отмечает Холл, кто именно захочет вступать с Клодом в длительную дискуссию об исследовании? Это группа людей, которые сами выбирают участие, и разрыв между теми, кто соглашается, и теми, кто не соглашается, вероятно, более существенный, чем традиционная ошибка, связанная с отказом от участия, а не менее существенный. Инструмент новый. Проблема репрезентативности та же самая, что и всегда, просто в другой одежде.
Существует также подход, основанный на вероятностном отборе участников. Вместо открытых онлайн-панелей, куда может зайти любой желающий (или любой бот), такие панели набирают участников методом выборки по адресам и поддерживают постоянно подтвержденные отношения. Так поступает AmeriSpeak от NORC . Так поступает American Trends Panel от Pew . Они гораздо более устойчивы к загрязнению. Однако они также дороги, сталкиваются с собственными проблемами, связанными с уровнем отклика, и их содержание становится все дороже по мере снижения участия в целом. Разрыв между теми, кто может позволить себе качественные данные, и теми, кто не может, почти идеально совпадает с разрывом между практиками и учеными, и этот разрыв увеличивается.
Технические решения существуют. Вопрос в том, будут ли институциональные структуры (журналы, комитеты по присвоению ученой степени, финансирующие организации) действительно поощрять их использование. Сейчас они этого не делают. Кризис воспроизводимости в психологии в конечном итоге привел к реальным реформам — предварительной регистрации, зарегистрированным отчетам, нормам открытых данных, — но на это ушло почти десятилетие, и это произошло в области с более сильной культурой методологического самоанализа, чем в социологических исследованиях. Я думаю, что нечто подобное произойдет и здесь, но, вероятно, не без внешнего толчка: скандала с отзывом исследований, достаточно крупного, чтобы опозорить всю область, или финансирующей организации, которая начнет требовать проверки качества данных так же, как NSF требует планов управления данными. Возможно, скандал с опросом пчеловодов — это начало. Но институциональные изменения происходят медленно, даже когда доказательства в их пользу неопровержимы.
Помимо вопроса о данных, есть еще кое-что, касающееся ожиданий. Возможно, опросы просто не могут делать то, что мы от них требуем. Они могут отслеживать общие тенденции. Они могут измерять актуальность проблем. Они могут отображать относительный вес проблем в разных группах. Это ужасные хрустальные шары, и разрыв между тем, что они предоставляют, и тем, что от них требуют СМИ (и общественность), сам по себе подпитывает подрыв доверия, с которого я начал.
У меня нет простого решения этой проблемы. Ситуация зашла в тупик — сигнал ухудшается, а датчик одновременно корродирует, и то, и другое усугубляет проблему. Решение одной проблемы может усугубить другую. Внедрение онлайн-опросов для компенсации снижения отклика по телефону? Вы открываете двери для ботов. Использование моделирования на основе ИИ для компенсации качества данных? Вы добавляете непрозрачность, которая подрывает доверие, необходимое для эффективного проведения опросов.
Я не думаю, что социологические опросы исчезнут. Люди, которые профессионально изучают общественное мнение, не собираются прекращать свою деятельность, и у демократий есть структурная потребность знать, что думают их граждане. Но я думаю, что этой области необходимо перестроить некоторые свои основы — не только методы, но и более глубокое понимание того, что она может знать и насколько уверенно. Это сложнее, чем исправить модель. Это переосмысление отношения всей отрасли к достоверности.
И, возможно, самый неприятный вывод заключается в следующем: у практиков, скорее всего, всё будет хорошо. Они уже адаптировались раньше и адаптируются снова. Вопрос в том, сможет ли академическая инфраструктура, которая должна понимать общественное мнение — строить теории, обучать исследователей, хранить знания — сохранить свою целостность в среде, где самые дешевые данные чаще всего оказываются скомпрометированными, а стимулы постоянно подталкивают к дешевизне.
Я бы назвал это кризисом знаний, а не кризисом опросов общественного мнения. И это из тех вещей, которые не дают о себе знать, пока ущерб уже не отразится в научной литературе.
Автор: Кайл Сондерс, Professor of Political Science at Colorado State University
Источник:
https://kylesaunders.substack.com/p/the-pincer-bots-trust-and-a-quiet
