Вероятностные выборки больше не могут служить эвристическим методом для проведения точных и репрезентативных опросов

Мы работаем в компании Verasight, занимающейся проведением опросов с использованием как вероятностных, так и невероятностных методов выборки. Мы оба также широко использовали вероятностные опросы в других контекстах — Эннс в своих академических исследованиях, а Маршалл в своей предыдущей работе в исследовательском центре Pew Research Center и Бюро переписи населения США. Мы считаем, что отрасли необходимо пересмотреть свой подход к вероятностным опросам .

На протяжении десятилетий вероятностные выборки считались золотым стандартом социологических исследований. По этой причине ученые часто рассматривают вероятностные выборки как показатель точности данных. К сожалению, этот тип выборки больше не является информативным эвристическим методом оценки качества данных. Как объясняет Майкл Бейли в книге «Опросы на перепутье» , «Спустя почти 70 лет после начала эры случайной выборки, эта парадигма начала показывать свой возраст. Изменения в обществе сделали все более сложным проведение опросов в соответствии с принципами этой парадигмы» (Бейли 2024, 46).

Конечно, многие вероятностные опросы дают точные и репрезентативные данные. То же самое можно сказать и о многих опросах, использующих невероятностные методы. Легко найти примеры обоих типов выборок, которые соответствуют известным эталонным показателям популяции (например, Enns et al. 2024; Santillan et al. 2024; Tamanna et al. 2025).

Мы не ставим под сомнение потенциальные преимущества различных типов выборок. Высококачественные вероятностные и невероятностные опросы остаются важным и превосходным источником данных. Наша точка зрения заключается в том, что при выборе опросов для использования или анализа тип выборки не должен быть определяющим фактором. Знание того, использовалась ли в опросе вероятностная выборка, больше не дает четкого сигнала о том, насколько точно выборка представляет интересующую нас популяцию.

Краткая справочная информация (некоторые ключевые термины)

При случайной выборке каждый человек в исследуемой популяции имеет равные шансы быть выбранным в выборку. Случайная выборка — это особый тип вероятностной выборки . При вероятностной выборке каждый человек в популяции имеет известную, ненулевую вероятность быть выбранным.

Хотя на общую точность и репрезентативность опросов влияет множество факторов, вероятностные (а следовательно, и случайные) выборки позволят получить точные оценки генеральной совокупности, а также вычислимую неопределенность вокруг этих оценок, если выполняются определенные предположения .

Ключевое предположение вероятностных опросов заключается в том, что те, кто принял участие в опросе, в среднем эквивалентны тем, кто был приглашен, но не принял участие в опросе. Те, кто был приглашен, но не принял участие в опросе, отражают неответственность респондентов (или отдельных лиц) . Если неответившие респонденты отсутствуют случайным образом, то неответственность можно игнорировать.

Однако, если те, кто не участвует в опросе, систематически отличаются от тех, кто участвует, то мы имеем дело с неигнорируемым отказом от участия . Если не участвующие в опросе респонденты различаются по аспектам, которые коррелируют с тем, что нас интересует, наши оценки будут смещены, и опрос не будет отражать изучаемую популяцию.

Постстратификационные веса не решают проблему неигнорируемого отказа от участия в опросе. Эти веса корректируют выборку таким образом, чтобы пропорции в каждой демографической группе в опросе соответствовали фактическим пропорциям в населении (часто измеряемым в переписи населения или другом крупном государственном опросе). Но это взвешивание также предполагает неигнорируемый отказ от участия в опросе по любым переменным или характеристикам, не включенным в веса.

Чтобы понять почему, предположим, что мы проводим политический опрос, и люди с более низким уровнем образования реже принимают в нем участие. Более того, предположим, что люди с низким уровнем образования, которые все же принимают участие в опросе, как правило, гораздо более политически заинтересованы, чем люди с низким уровнем образования, которые не принимали участия в опросе. Эти закономерности ответов приведут к переоценке политической заинтересованности среди группы с низким уровнем образования.

Более того, эта завышенная оценка политического интереса усилится в полной выборке, если мы будем взвешивать данные по уровню образования. Увеличение смещения происходит потому, что взвешивание повышает влияние респондентов с более низким уровнем образования, поскольку они недостаточно представлены в опросе. Но эти респонденты с низким уровнем образования не являются репрезентативными для населения с низким уровнем образования в целом. Такое взвешивание увеличит влияние нерепрезентативных респондентов (т. е. респондентов с низким уровнем образования, которые гораздо более политически заинтересованы, чем те, кто не участвовал в опросе).

Почему нельзя считать, что основное предположение вероятностной выборки выполняется.

В 1990-х годах процент ответов на телефонные опросы составлял 36% (Кеннеди и Хартиг, 2019). Когда более трети опрошенных принимали участие в опросе, казалось правдоподобным, что не ответившие систематически не отличались от тех, кто принял участие. Но с 1990-х годов процент ответов резко упал.

Текущие показатели отклика для наиболее строгих вероятностных выборок составляют от 1,6 до 3,4%.¹ ^Эти показатели означают, что из каждых 100 приглашенных человек обычно отвечают только 2 или 3. Крайне маловероятно, что эти 2-3 человека, решившие принять участие в опросе, систематически не отличаются от 97-98 человек, которые не принимают участие в опросе.

Действительно, один из нас столкнулся с этой проблемой непосредственно после проведения дорогостоящего вероятностного опроса чуть более чем за две недели до президентских выборов в США 2020 года.² ^Первый вопрос в опросе звучал так: «По шкале от нуля до 10, пожалуйста, укажите, насколько вероятно, что вы проголосуете на президентских выборах, которые состоятся в ноябре». Второй вопрос звучал так: «За кого вы планируете голосовать на президентских выборах 2020 года?»

Взвешенные результаты вероятностного опроса показали, что Байден выиграл голосование по двум основным партиям с преимуществом в 20,8 процентных пункта — это завышенная оценка его фактического преимущества более чем на 16 процентных пунктов. Если ограничить выборку теми, кто указал, что проголосовал или с высокой вероятностью проголосует, завышенная оценка доли голосов за Байдена возрастает до более чем 20 процентных пунктов.

Конечно, избиратели, принимающие решение в последний момент, и незнание того, кто из респондентов действительно проголосует, могут привести к тому, что намерения избирателей в предвыборных опросах будут отличаться от окончательных результатов выборов (например, Jamieson et al. 2023; Shapiro 2020). Но эти факторы не могут объяснить завышение прогноза более чем на 16–20 процентных пунктов всего за две недели до выборов.

Доказательства неигнорируемого отказа от участия в вероятностных опросах выходят за рамки этого единственного примера. Эннс и Ротшильд (2021) проанализировали 355 опросов потенциальных избирателей, проведенных за два месяца до выборов 2020 года, и обнаружили, что опросы с вероятностными выборками давали среднюю ошибку в 6% — больше, чем опросы с не вероятностными выборками, и значительно превышали ожидаемую погрешность выборки. Более того, вместо ошибки, сосредоточенной вокруг окончательного результата голосования, все 81 вероятностная выборка переоценивали долю голосов Байдена. ³ Мы бы не ожидали такой картины результатов, если бы отказ от участия в вероятностных опросах можно было игнорировать.

Хотя низкие однозначные показатели отклика свидетельствуют о том, что в вероятностных опросах нельзя игнорировать отказ от участия, неигнорируемый отказ от участия существует и при гораздо более высоких показателях отклика.

Тайлер и др. (2026) проанализировали Американское национальное исследование выборов 2020 года (ANES); вероятностный опрос с впечатляющим показателем отклика в 36,7%. Тем не менее, Тайлер и др. приходят к выводу: «Мы задокументировали свидетельства неигнорируемого отказа от участия; то есть сторонники Трампа с меньшей вероятностью отвечали и с меньшей вероятностью завершали ANES 2020 года, если и отвечали». Эти опасения кажутся более серьезными в случае ANES 2024 года (Эннс и др., 2025). Неигнорируемый отказ от участия может создавать предвзятость даже в самых дорогостоящих вероятностных опросах с самыми высокими показателями отклика.

Последние два опроса в Айове, посвященные президентским выборам 2024 года, которые не оправдали ожиданий на 9 и 16 пунктов соответственно, предоставляют дополнительные доказательства того, что вероятностные опросы не предотвращают экстремальные аномальные результаты. Конечно, смещение, вызванное отказом от участия в опросе, может влиять на все типы вероятностных опросов, а не только на опросы, посвященные выборам (см., например, Guyot et al. 2023; Kontto et al. 2025; Marello et al. 2026; Stein et al. 2025). На основе обширного анализа Вертхаймер (2026) недавно пришел к выводу, что вероятностный опрос потребительских настроений, проведенный Мичиганским университетом, «не работает ^»

А как насчет исследований, сравнивающих вероятностные и невероятностные опросы?

Некоторые признают вышеупомянутые опасения, но утверждают, что они менее распространены в вероятностных опросах, чем в других методах выборки. Эти утверждения основаны на устаревших данных или — по иронии судьбы — содержат неверные выводы, сделанные на основе обобщений, полученных из нерепрезентативной выборки опросов.

Билген и Датвин (2026) недавно написали: «Подавляющее большинство доказательств свидетельствует о том, что вероятностные методы неизменно точнее». Самым последним доказательством, которое они приводят и которое напрямую подтверждает точность вероятностных и невероятностных выборок, является обзорная статья Корнесса и др. (2020). Эта обзорная статья основана на исследованиях с использованием данных за период с 1999-2000 (Берренс и др. 2003) по 2012 год (МакИннис и др. 2018). ⁴ В исследовании МакИнниса и др. (самое последнее исследование в работе Корнесса и др., 2020) показатель отклика при случайном наборе телефонных номеров (RDD) в 2012 году составил более 15% — в 5-10 раз больше, чем типичные показатели отклика сегодня. ⁵ Более того, проанализированные ими неслучайные опросы основывались на устаревших методах выборки (например, «естественный трафик на веб-сайте») и устаревших стимулах (например, «шанс выиграть призы») (MacInnis et al. 2018, 732). Это были важные исследования, но мы не должны делать выводы о точности современных типов выборки на основе исследований, проведенных в период с 1999 по 2012 год.

Мерсер и Лау (2023) провели более позднее сравнение трех вероятностных и трех невероятностных выборок 2021 года. По большинству из 28 критериев, использованных в их исследовании, вероятностные выборки показали хорошие результаты (хотя они существенно переоценили явку избирателей, а средняя абсолютная ошибка невзвешенных демографических переменных более чем в 4 раза превышала ожидаемую погрешность выборки). Однако их исследование не следует использовать для обобщений относительно вероятностных и невероятностных выборок. Две из использованных ими невероятностных выборок основаны на агрегаторах/рынках выборок, что вызывает проблемы с прозрачностью данных (Эннс и Ротшильд, 2022). Кроме того, все три невероятностные выборки основаны на простой квотной выборке (образование, раса/этническая принадлежность и пол). На протяжении десятилетий нам известно о точности более сложных методов невероятностной выборки (например, Риверс, 2007). Мы не можем делать обобщения на основе трех выборок, которые не соответствуют передовым практикам. Такой подход игнорирует неоднородность методов неслучайной выборки и не учитывает те неслучайные опросы, которые являются столь же точными или даже более точными, чем вероятностные опросы, при сравнении с рядом показателей населения, включая результаты выборов , количество рожденных детей, статус вакцинации и состояние здоровья (например, Enns and Rothschild 2021; Enns et al. 2024, 2025; Santillan et al. 2024; Tamanna et al. 2025) ^.

Решения

В важном обзоре социологических исследований для PNAS Nexus Джеймисон и др. (2023) написали: «Вероятностные выборки минимизируют риск систематической ошибки». Подобные утверждения больше не отражают ситуацию в сфере социологических исследований. Интуиция подсказывает, что 2-3 человека из каждых 100, которые участвуют в опросе на основе вероятностной выборки, вряд ли эквивалентны 97-98 людям, которые были приглашены, но не приняли участие в опросе. Данные подтверждают эту интуицию. Как объясняют Доминиц и Мански (2026, 60), «опросы стремились придерживаться идеала, продвигаемого в статистической литературе по социологическим исследованиям… Однако на практике этот идеал практически никогда не достигается».

Как подчеркивалось выше, это не означает, что все вероятностные опросы проблематичны. Существуют точные и репрезентативные вероятностные опросы, и могут быть веские причины для использования вероятностной выборки — в том числе и в нашей работе. Кроме того, в неслучайных выборках необходимо учитывать неигнорируемый отказ от участия, а также тот факт, что в неслучайных выборках вероятность включения в опрос равна нулю для некоторых членов популяции. По этой причине мы не можем предполагать, что неслучайные выборки представляют популяцию по неизмеренным характеристикам. Но значительный неигнорируемый отказ от участия оставляет вероятностные выборки в том же положении . В обоих случаях существует потенциал для систематической ошибки. Нам необходима дополнительная информация для оценки данных опроса.

У нас есть две рекомендации по оценке выборок в ходе опросов. Эти рекомендации в равной степени применимы к опросам, использующим вероятностные и невероятностные выборки.

Всегда спрашивайте:

1.) Как минимизировать неслучайные отказы от участия в исследовании?

Показатели отклика могут быть частью ответа, но, как мы видели выше, существуют недавние свидетельства о значительном количестве отказов от участия в опросе, достигающем 37%. Более важным, чем показатели отклика, является понимание того, как различные аспекты процесса привлечения респондентов, такие как способ связи, количество контактов, содержание приглашений, формат опроса и стимулы, помогают обеспечить равенство тех, кто не принял участие в опросе, и тех, кто принял участие.

2)   Как результаты предыдущих опросов, проведенных этой фирмой или исследовательской организацией с использованием тех же или аналогичных методов выборки, соотносятся с известными демографическими показателями населения?

Сравнение результатов опросов с административными эталонами может быть важным инструментом для оценки вероятностных и невероятностных выборок, а также двух типов выборок в сочетании (Enns et al. 2025), но на практике это часто сложно осуществить. С учетом соответствующих оговорок (например, Jamieson et al. 2023; Shapiro 2020), результаты выборов представляют собой хорошо заметный эталон для опросов. К сожалению, во многих вероятностных опросах перестали задавать вопросы о намерениях голосовать, что исключает возможность независимой оценки точности опросов. Высокая стоимость вероятностных опросов еще больше усложняет сравнительные исследования. Без значительного финансирования исследователям невозможно оценить, соответствуют ли недавние вероятностные опросы известным эталонным показателям населения, если эти организации не публикуют эту информацию регулярно.

Выводы

Высококачественные опросы продолжают предоставлять критически важные данные во всех секторах общества. Однако пользователям данных опросов следует помнить, что в нынешнюю эпоху социологических исследований одних только методов выборки недостаточно для оценки того, насколько точно опрос отражает интересующую популяцию. В более общем смысле, мышление в терминах вероятностных или невероятностных выборок может быть нецелесообразным. Многие известные опросы теперь фактически объединяют оба типа выборок , показывая, что различие между вероятностными и невероятностными выборками представляет собой ложную дихотомию. Как объясняют Фриз и Джин (2025, 111-112), «граница между вероятностными и невероятностными выборками становится все более размытой из-за ухудшения способности успешно проводить вероятностные выборки в таких странах, как Соединенные Штаты». Мы считаем, что исследования с использованием опросов станут более эффективными, если акцент сместится с устаревших эвристических методов на непосредственную оценку качества и точности данных.

Примечания

1. Во многих вероятностных опросах не указываются показатели отклика. Мы высоко ценим те, кто это делает. Диапазон показателей отклика основан на данных следующих опросов: NYT/Siena 2026 , NYT/Siena 2026 , Pew Research Center 2024 , AP-NORC 2025 , Pew Research Center 2025 и AP-NORC 2025. Правильный показатель отклика для вероятностных панелей должен включать в себя первоначальный показатель отклика в панели, показатель удержания панели и показатель отклика конкретного опроса.

2. Полевые исследования проводились с 14 по 21 октября 2020 года. Подробная информация об исследовании доступна здесь: https://doi.org/10.25940/ROPER-31118042 .

3. Мы провели аналогичный анализ опросов общественного мнения, проведенных на выборах 2024 года (Enns et al. 2025). Вероятностные выборки оказались немного (на 0,9 процентных пункта) точнее, чем невероятностные, но эта тенденция изменилась: невероятностные выборки стали точнее (на 1 процентный пункт) после того, как мы учли прозрачность данных, сосредоточившись на опросах, которые являются членами Инициативы AAPOR по обеспечению прозрачности и/или архивируют свои данные в Центре Ропера.

4. Исследование МакИнниса и др. (2018) является наиболее последним опубликованным исследованием в работе Корнесса и др. (2020). Билген и Датвин также уделяют внимание мошенничеству с LLM в опросах. Более поздние исследования показывают, что этот тип мошенничества в высококачественных неслучайных опросах встречается исключительно редко (Гордон и др. 2026, Ротчайлд и др. 2026). Билген и Датвин не приводят никаких исследований, посвященных потенциальному мошенничеству с LLM в вероятностных опросах, поэтому у нас нет эмпирических данных о распространенности мошенничества с LLM в вероятностных опросах.

5. Вероятностный показатель отклика в интернете составил 2%, что находится в середине диапазона сегодняшних показателей отклика.

Ссылки

Бейли, Майкл А. 2024. Опросы на перепутье: переосмысление современных методов социологических исследований . Нью-Йорк: Cambridge University Press.

Берренс, Роберт П., Алок К. Бохара, Хэнк Дженкинс-Смит, Кэрол Сильва и Дэвид Л. Веймер. 2003. «Появление интернет-опросов для политических исследований: сравнение телефонных и интернет-выборок». Политический анализ 11(1): 1-22.

Билген, Ипек и Дэвид Датвин. 2026. «Использование неслучайных выборок в ходе опросов может быть опасным риском». Краткий обзор исследований. NORC при Чикагском университете (6 февраля).

Корнесс, Карина, Аннелис Г. Блом, Дэвид Датвин, Джон А. Кросник, Эдит Д. де Леув, Стефан Легле, Джош Пасек, Даррен Пенней, Бенджамин Филлипс, Джозеф В. Сакшауг, Белла Струминская и Александр Венц. 2020. «Обзор концептуальных подходов и эмпирических данных в исследованиях с использованием вероятностных и невероятностных выборок». Журнал статистики и методологии опросов 8(1): 4-36.

Доминиц, Джефф и Чарльз Ф. Мански. 2025. «Использование общей погрешности для учета невыборочной ошибки в опросах общественного мнения на выборах: случай отсутствия ответов». Журнал Американской статистической ассоциации . 121(553): 60-71.

Эннс, Питер К. и Джейк Ротшильд. 2021. «Переосмысление «золотого стандарта» опросов общественного мнения: новые методы превзошли традиционные в 2020 году» 3Streams . (18 марта).

Эннс, Питер К., Амелия Горансон, Джейк Ротшильд и Гретхен Стритт. 2025. «Будущее опросов общественного мнения на выборах». 3Streams. (13 мая).

Эннс, Питер К., Коллин Л. Барри, Джеймс Н. Друкман, Серхио Гарсиа-Риос, Дэвид К. Уилсон и Джонатан П. Шульдт. 2024. «Необходимость регулярного крупномасштабного сравнительного исследования для постоянной оценки методов выборки и способов проведения: уроки промежуточного совместного исследования 2022 года» ArXiv.

Фриз, Джереми и Оливия Джин. 2025. «Онлайн-невероятностные выборки». Ежегодный обзор социологии 51: 109-128.

Гордон, Эндрю, Дэвид Ротшильд, Фелипе М. Аффонсо, Джастин Сулик, Дэвид Дж. Хаузер, Карин Пепин и Саймон Джонс. 2026. «Распространенность агентов ИИ и качество данных у нескольких онлайн-поставщиков выборок». PsyArXiv.

Гийо, Мадлен, Ингрид Пельгримс, Раф Аэртс, Ханс Кёне, Рой Реммен, Ева М. Де Клерк, Изабель Томас и Софи О. Ванвамбеке. 2023. «Смещение, вызванное отсутствием ответов, при анализе связи между психическим здоровьем и городской средой: поперечное исследование в Брюсселе, Бельгия». Архивы общественного здравоохранения 81:129.

Джеймисон, Кэтлин Холл, Артур Лупиа, Эшли Амайя, Генри Э. Брэди, Рене Баутиста, Джошуа Д. Клинтон, Джилл А. Девер, Дэвид Датвин, Дэниел Л. Горофф, Д. Саншайн Хиллигус, Кортни Кеннеди, Гэри Лангер, Джон С. Лапински, Майкл Линк, Таша Филпот, Кен Превитт, Дуг Риверс, Линн Ваврек, Дэвид К. Уилсон, Марсия К. Макнатт. 2023. «Защита целостности социологических исследований» PNAS Nexus (2)3:1-10.

Кеннеди, Кортни и Ханна Хартиг. 2019. «Уровень отклика в телефонных опросах возобновил снижение». Исследовательский центр Pew (27 февраля).

Контто, Юкка, Ханна Толонен и Энн Х. Салонен. 2025. «Использование данных административного регистра для корректировки смещения, вызванного отказом от участия в финском исследовании вреда азартных игр». BMC Public Health 25(1): 1807.

МакИннис, Бо, Джон А. Кросник, Аннабелл С. Хо и Му-Джунг Чо. 2018. «Точность измерений с использованием вероятностных и невероятностных выборок: воспроизведение и расширение». Ежеквартальный журнал общественного мнения 82(4): 707-744.

Марелло, Мадлен Мари, Кристи Денкла и Мая О’Коннор. 2026. «Набор и удержание овдовевших супругов: отсутствие ответа на выборочное продольное исследование психического здоровья после утраты, проведенное на основе датского реестра». Качество и количество 60(2): 6073-6089.

Мерсер, Эндрю, и Арнольд Лау. 2023. «Сравнение двух типов выборок онлайн-опросов». Исследовательский центр Пью. (7 сентября).

Риверс, Дуглас. 2007. «Выборка для веб-опросов». Доклад, подготовленный для Объединенного статистического совещания 2007 года, Солт-Лейк-Сити, Юта, 1 августа 2007 г.

Ротшильд, Дэвид М., Субхик Барари, Трент Д. Бускирк, Эндрю Гордон и Д. Саншайн Хиллигус. 2026. «Ответ Вествуду: ставим под сомнение эмпирические доказательства того, что загрязнение опросов ИИ является реальным и существенным». SocArXiv.

Сантильяна, Маурисио, Ата А. Услу, Таманна Урми, Алекси Кинтана-Мате, Джеймс Н. Друкман, Кэтрин Огнянова, Мэтью Баум, Рой Х. Перлис и Дэвид Лазер. 2024. «Отслеживание случаев заражения COVID-19 с использованием данных опроса об экспресс-тестах на дому». JAMA Network Open 7(9): e2435442.

Шапиро, Роберт Й. 2020. «Несмотря на результаты выборов 2020 года, опросам общественного мнения по-прежнему можно доверять. В основном». Washington Post. (3 декабря).

Урми, Таманна, Бинод Пант, Джордж Дьюи, Алекси Кинтана-Мате, Айрис Ланг, Джеймс Друкман, Кэтрин Огнянова, Мэтью Баум, Рой Перлис, Кристоф Ридль, Дэвид Лазер и Маурисио Сантильяна. 2025. «Характеристика изменений в поведении людей на уровне населения во время пандемии COVID-19 в Соединенных Штатах». PNAS 122(37): 1-12.

Тайлер, Мэтью, Д. Саншайн Хиллигус, Мэтью ДеБелл, Тед Брейдер, Шанто Иенгар, Дарон Шоу и Николас А. Валентино. 2026. «Почему опросы с трудом оценивают долю голосов?» Американский журнал политических наук . (предварительная публикация).

Вертхаймер, Джоэл. 2026. «Действительно ли существует феномен Vibecession — или результаты опроса не соответствуют действительности?» Silver Bulletin . (29 июня).

Авторская принадлежность

Питер К. Эннс: профессор государственного управления, профессор государственной политики, и Роберт С. Харрисон, директор Корнельского центра социальных наук, Корнельский университет, и главный специалист по анализу данных в Verasight.

Джои Маршалл: вице-президент по анализу данных в Verasight. До прихода в Verasight Джои работал специалистом по анализу данных в Бюро переписи населения США и научным сотрудником в исследовательском центре Pew Research Center.

Благодарности

Мы благодарим Джейми Друкмана, Муджахеда Ислама, Кабира Ханну, Джейка Ротшильда, Джона Шульдта, Кэтлин Уэлдон и Дэвида Уилсона за полезные комментарии к предыдущим версиям этой статьи.

Рекомендуемая цитата

Эннс, Питер К. и Джои Маршалл. 2026. «Вероятностные выборки больше не могут служить эвристикой для точных и репрезентативных опросов». Отчет Verasight. (21 июля).