Представьте, что вы проводите маркетинговое исследование, чтобы посоветовать компании по производству газировки, какой вкус сделать акцент в следующей рекламной кампании: обычная кола или вишневая? Вы, вероятно, стремитесь найти и опросить самых разных потенциальных клиентов в интернете. Но теперь есть более быстрая и дешевая альтернатива: такие известные компании, как Qualtrics, и новые фирмы, такие как Synthetic Users, предлагают «кремниевых» респондентов — большие языковые модели (LLM), которые будут притворяться множеством разных людей и отвечать на вопросы, основываясь на прогнозах моделей. Что думает о вишневой коле 50-летний белый мужчина из Орегона? 25-летняя чернокожая женщина из Техаса? Искусственный интеллект может быть ими и сотнями других!
Последствия выбора неправильного варианта могут быть незначительными, но предположим, вы задаетесь вопросом, следует ли городу ввести обязательное использование нательных видеокамер полицией или Конгресс должен предоставлять налоговые льготы на обучение в частных школах — или, как некоторые экспериментируют, оценивать предпочтения избирателей перед предстоящими выборами.
«Общественные опросы общественного мнения чрезвычайно важны», — говорит Джеймс Бисби, политолог из Университета Вандербильта. «Наша политическая элита, наши политики, наши лидеры в значительной степени полагаются на них, чтобы понять общественное настроение и скорректировать свои действия на посту и свою политику». И синтетические респонденты вскоре могут стать регулярной частью опросов. «Сегодня люди заполняют анкеты, а компьютеры заполняют пробелы», — написала группа экспертов по политологии из Гарварда в 2024 году. «В будущем все будет наоборот».
Ученые также экспериментируют с использованием ИИ в качестве респондентов в опросах. Невозможно сказать, сколько именно, говорит Джейми Камминс, приглашенный исследователь из Оксфордского университета, изучающий влияние ИИ на качество исследований, но «число исследователей, изучающих их использование, растет в различных научных областях». Исследования, проведенные несколько лет назад, предполагали, что магистерские программы могут довольно точно отражать разнообразие человеческих точек зрения, но более поздние результаты менее оптимистичны и вызывают опасения, что замена людей на ИИ может иметь непредвиденные последствия.
Как показал Бисби в своей статье 2023 года , данные опросов, полученные с помощью ИИ, могут точно отражать средние мнения демократов и республиканцев, но не весь спектр их взглядов или то, как они различаются в зависимости от демографических характеристик. Например, они покажут, что чернокожие респонденты чаще, чем белые, являются демократами, но не смогут учесть мнения тех, кто находится вне этих рамок.
По словам Бисби, результаты опросов респондентов из Кремниевой долины также более поляризованы, поскольку модели, как правило, обучаются на данных, собранных из интернета, который «пронизан партийной принадлежностью». Америка поляризована, говорит он, но выпускники магистратуры «рисуют настолько крайнюю версию».
И здесь есть проблемы с предвзятостью. Исследовательница искусственного интеллекта из Корнельского университета Анджелина Ванг обнаружила, что боты-респонденты не только неточно изображают маргинализированные группы, но и представляют их так, как их видят посторонние : «Это как если бы группа белых людей собралась вместе и сняла фильм о чернокожих, а сценаристами и даже актерами были бы только белые».
Ни одна из вышеупомянутых компаний не ответила на мои запросы о комментариях, но в интервью журналу Science в 2023 году соучредитель Synthetic Users хвастался, что данные компании «бесконечно богаче», чем обычно получаемые «безликие» отзывы. Конечно, обычные данные опросов далеко не идеальны. С каждым годом становится все сложнее и дороже точно опрашивать людей, отмечает Бисби, особенно в онлайн-среде, где исследователям приходится отфильтровывать ботов и учитывать труднодоступные группы. Но «синтетические данные странны в том, что мы не понимаем», — говорит он. У Бисби также есть этические опасения. «Мне просто невозможно чувствовать себя комфортно, изучая людей с помощью смоделированного человека», — добавляет он. «В этом есть что-то принципиально неправильное».
Ситуация ухудшается. В прошлом году Шон Вествуд, профессор политологии в Дартмутском университете, опубликовал поразительную статью «Потенциальная экзистенциальная угроза больших языковых моделей для онлайн-опросов». Он смог разработать автономных ботов с искусственным интеллектом, которые ускользали от инструментов, используемых исследователями для выявления нечеловеческих респондентов. Вествуд пришел к выводу, что политические деятели и иностранные правительства вполне могут использовать эти методы для изменения результатов опросов и формирования общественного мнения.
В январе Вествуд сказал мне, что угроза больше не «потенциальная». В недавнем эксперименте на крупной платформе для проведения опросов он обнаружил, что по меньшей мере 4 процента ответов были получены от нечеловеческих существ. «Это может показаться очень незначительным», — говорит он, — «но в мире, где измеряемые параметры очень и очень близки, когда общественное мнение невероятно разделено, этого достаточно, чтобы изменить результат».
По словам эксперта, опросы, проводимые такими авторитетными платформами, как YouGov, исследовательский центр Pew Research Center и крупными новостными агентствами, скорее всего, по-прежнему не используют искусственный интеллект. Это объясняется тем, что они «набирают людей в реальной жизни», — объясняет Кортни Кеннеди, эксперт по методам обработки данных, возглавляющая группу Pew по разработке опросов, которая формирует национальные выборки, используя случайные домашние адреса.
Никто из опрошенных мной исследователей не выступает против ИИ. Некоторые используют его ежедневно для таких задач, как программирование или аннотирование сообщений в социальных сетях. Но Бисби проводит черту на опросах общественного мнения. Он и его соавторы написали, что их выводы «вызывают серьезные опасения по поводу качества, надежности и воспроизводимости синтетических данных опросов, генерируемых с помощью LLM».
Действительно, журнал Psychological Science теперь требует от исследователей раскрывать информацию об использовании ИИ в данных и опросах. «Общественное мнение, — подчеркивает Вествуд, — является ключевым компонентом демократической подотчетности». Именно поэтому его необходимо измерять добросовестно. Именно поэтому, по его словам, людям стоит потратить лишнюю минуту, чтобы прочитать мелкий шрифт и убедиться, отражает ли опрос, который они читают или о котором читают, реальные люди или же это лишь их подделки.
