Оценка использования больших языковых моделей в качестве синтетических социальных агентов в исследованиях социальных наук

Появление больших языковых моделей (LLM) и их потенциал выступать в роли homo silicus вызвало значительный интерес в различных социальных науках .50Исследователи начали использовать эти модели для моделирования человеческих популяций, поведения и социальных взаимодействий .36,39,49,55,56Растущая популярность этого направления предполагает, что мы , возможно, находимся на пороге смены парадигмы в социальных исследованиях, но она также поднимает насущные вопросы о целесообразности такого подхода.

Критическая эпистемологическая ошибка может заключаться в том, как мы интерпретируем результаты LLM. Необходимо признать, что рассматривать ответы LLM как случайные выборки из четко определенного распределения генеральной совокупности может быть крайне ошибочно. LLM действительно генерируют текст вероятностным образом, выбирая каждое слово на основе изученных вероятностных распределений, но они не являются механизмами вероятностного вывода в строгом байесовском смысле. В ортодоксальных методах прогнозирования неопределенность количественно оценивается и распространяется через модели, как в байесовских подходах, где априорные распределения обновляются в апостериорные при наличии новых данных .48,57В отличие от этого , LLM не поддерживает и не обновляет апостериорное распределение убеждений при получении новых подсказок; у него нет явной модели неопределенности или дисперсии в моделируемых явлениях. Его «вероятностный» результат на самом деле является следствием предварительно обученных статических весов и алгоритмов выборки, таких как температура или топ- k / p , а не механизмом обновления, который включает новые данные. Когда LLM получает указание действовать, например, как 30-летний фермер со Среднего Запада или образованный городской избиратель, он не использует фактическое демографическое распределение населения. Скорее, LLM действует как сложная система сопоставления образов, которая имитирует то, что такой человек мог бы сказать, основываясь на следах в обучающих данных LLM. Если LLM на самом деле не рассуждают о распределении убеждений людей так, как это делают социологи, то что именно выводится, когда их результаты рассматриваются как выборки из популяции?

В данной статье рассматриваются два центральных вопроса, вытекающих из этого несоответствия: каковы статистические ограничения ценности использования LLM в качестве синтетических агентов в социальных исследованиях и каково будущее агентов LLM в этой области?

В недавних работах LLM-as-respondent рассматривается как недорогой заменитель реальной выборки людей в опросах и лабораторных исследованиях.36] смоделировать демографические субпопуляции , используя в качестве основы для GPT-3 подробную предысторию, и сравнить полученные с помощью LLM кремниевые выборки с распределением данных опросов населения.34[ Предлагаются эксперименты, в которых модели генерируют множество реакций, подобных реакциям участников, на классические результаты исследований в экономике и психологии, документируя как воспроизведение результатов, так и систематические искажения. ]56Авторы представляют систему автоматизации опросов, которая использует LLM для разработки, проведения и анализа опросов. Они подтверждают эффективность подхода на основе данных, полученных от людей, показывая, что ответы, сгенерированные с помощью LLM, точно воспроизводят закономерности, наблюдаемые в Общем социальном опросе США (GSS).

В других исследованиях модели LLM оцениваются как инструменты прогнозирования социально-поведенческих результатов .49] показывают, что GPT-4 может предсказывать направление и относительную силу эффектов лечения в широком диапазоне экспериментов в области социальных наук, включая неопубликованные исследования, и во многих случаях делает это более надежно, чем эксперты-люди .44Аналогичным образом исследователи обнаружили, что модели LLM могут предсказывать результаты экономических полевых экспериментов, но они также выявляют важные «слепые пятна», особенно в областях, затрагивающих такие чувствительные социальные категории, как пол, этническая принадлежность или нормы .65] Создаются созданные с помощью ИИ образы персонажей для моделирования экспериментов по изучению влияния СМИ, воспроизводится большинство основных результатов и демонстрируются потенциал и ограничения экспериментальной репликации на основе LLM.

Кроме того, в агентно-ориентированных исследованиях LLM-модели встраиваются в многоагентные симуляции для изучения динамики взаимодействия, переходя от LLM-модели как респондента к LLM-модели как агенту .55] показывают, что агенты, обладающие расширенными возможностями памяти, планирования и рефлексии, воспроизводят правдоподобное социальное поведение на микро- и мезоуровне в экспериментальных средах, которые, по мнению некоторых, могут служить полигонами для выдвижения гипотез или прототипирования вмешательств. В то же время, амбициозные утверждения о том, что базовые модели могут «предсказывать и моделировать поведение человека в любом эксперименте, выражаемом языком» [38Эти исследования уже вызвали резкую методологическую критику, что подчеркивает активную дискуссию о том, что именно прогнозируется.

LLM-модели генерируют ответы путем авторегрессионного прогнозирования токенов на основе изученных закономерностей распределения из больших наборов данных, обусловленных пользовательскими запросами .42] . В моделях с линейным моделированием используются различные методы выборки, такие как масштабирование температуры, top -k и top- p , которые вносят изменчивость и обеспечивают гибкость в выходных данных модели .41,60Изменение этих метрик приводит к изменению выходного текста, даже при сохранении неизменности подсказок. Полученный текст отражает условную правдоподобность в рамках модели, а не основан на четко определенном апостериорном распределении по популяции людей.

В определенных контролируемых условиях LLM-ы могут научиться имитировать оптимальный байесовский предиктор для данной задачи .54Однако в этих условиях также существует «феномен забывания», когда модель сначала учится обобщать данные как байесовская, но затем возвращается к запоминанию своих исходных данных по мере продолжения обучения. Это говорит о том, что, хотя трансформеры могут научиться быть байесовскими предикторами, эта способность зависит от среды обучения, а не является неотъемлемым свойством модели.

Основной принцип статистического моделирования с независимыми и одинаково распределенными (iid) или, в более общем смысле, взаимозаменяемыми данными заключается в том, что порядок представления наблюдений не должен влиять на выводы. Данные социальных наук, такие как ответы на опросы или результаты экспериментов, обычно рассматриваются как взаимозаменяемые. Однако повторные запросы к моделям LLM могут не пройти этот тест на инвариантность.

[46Они связывают эту неудачу с нарушением ключевого условия байесовского обучения, которое они называют мартингальным свойством распределения прогнозов (эквивалентно, инвариантностью прогноза/CID). Для последовательности случайных переменныхЗяСвойство мартингала гласит, что математическое ожидание следующего значения, с учетом всех предыдущих значений, равно математическому ожиданию значения, находящегося гораздо дальше в будущем, при той же истории. Для моделипМ, любойн, любойк≥1и всез,

Это свойство гарантирует, что прогностическое распределение модели в среднем инвариантно относительно импутации пропущенных выборок из собственного распределения. При нарушении этого свойства предсказания модели становятся несогласованными и неоднозначными. Если вероятностные убеждения агента согласованы, то их можно представить в виде байесовских вероятностей. Другими словами, модель или агент являются байесовскими тогда и только тогда, когда их вероятностные назначения согласованы и взаимозаменяемы/условно одинаково распределены (CID) [45Теоретически, линейная модель прогнозирования ( LLM ) могла бы быть байесовской, если бы было доказано, что она выдает согласованные прогнозы, но на данный момент нет убедительных доказательств того, что это происходит на практике. LLM может выдавать разные предельные прогнозы для 100-го участника в смоделированном исследовании в зависимости от того, был ли он сначала импутирован для 51-го или 99-го участника. Такая зависимость от порядка подрывает доверие к данным, полученным с помощью LLM, в сценариях, где порядок наблюдений, как известно, не имеет значения.

Нарушение свойства мартингала приводит к явлению, которое [46Это явление называется «интроспективной галлюцинацией». Оно возникает, когда модель систематически изменяет свои собственные прогнозы в среднем, задавая себе вопросы и генерируя новые точки данных для добавления к своему контексту. Это прямое следствие того, что прогнозы модели смещаются, а не сходятся, как это было бы в случае истинного байесовского апостериорного распределения. В исследовании были представлены конкретные диагностические методы для проверки этого явления. Например, тестовая статистика.Т1,гИзмеряет среднюю разницу между прогнозами на разных будущих временных шагах. Для системы, удовлетворяющей свойству мартингала, эта статистика должна быть центрирована вокруг нуля. Их эксперименты показали устойчивый ненулевой дрейф для таких моделей, как GPT-4, Llama-2 и Mistral-7B, особенно на более длинных последовательностях данных, что свидетельствует о таком небайесовском поведении .46] .

Это открытие имеет решающее значение для социальных ученых, надеющихся использовать синтетических агентов в своих исследованиях. Если модель LLM используется для моделирования популяции путем генерации одного агента за раз и добавления их в контекст, ее прогностическое распределение должно обновляться по мере введения большего количества агентов, поэтому последующие выборки могут законно отличаться от предыдущих. Однако не должно происходить того, чтобы прогнозы зависели от произвольного порядка генерации этих агентов. Эта нечувствительность к порядку является необходимым условием для однозначного прогнозирования при взаимозаменяемых данных .46В когерентной модели последовательность импутаций должна быть CID: перед наблюдением любого нового образца предсказание для 200-го агента должно быть таким же, как и для 20-го, и после того, как новый образец импутирован, распределение последовательно обновляется с учетом расширенной истории. Это требование является естественным обобщением взаимозаменяемости де Финетти [45] и была формализована в литературе по теории вероятностей, посвященной прогностическим характеристикам байесовских моделей [37,47Напротив , если предсказания модели LLM зависят от порядка импутации, а не только от информации, содержащейся в прошлых выборках, это подрывает достоверность смоделированных данных и создает риск внесения серьезных искажений в результаты исследований.

Повышение реализма и улучшение прогностических возможностей LLM во многом обусловлены масштабом и архитектурой. По своей сути, LLM — это непревзойденные средства сопоставления образов. Они обучаются на огромных массивах данных, приближающихся по масштабу к интернету, который представляет собой значительную часть записанного человеческого языка и знаний. Как явные, так и скрытые в этих обучающих данных социальные модели, эвристики, предвзятости, установки и поведенческие тенденции, которые лежат в основе исследований в области социальных наук. Когда LLM просят предсказать поведение или отношение, он не выполняет статистический вывод. Вместо этого он использует усвоенные модели естественного языка. Степень, в которой естественный язык является точным представлением реальной жизни (например, [63) по-прежнему является предметом философских дебатов.

Однако в экспериментах линейные модели продемонстрировали способность «предсказывать» поведение человека .34,36,55,56] при различных стратегиях подсказок, управления и настройки. В каждом случае успех LLM зависит от его способности интерполировать данные из огромного массива уже имеющихся данных. В этих случаях, а потенциально и в других широко обсуждаемых и хорошо задокументированных социальных явлениях, сопоставление образов может оказаться достаточно эффективным для получения результатов, имитирующих реальность.

Производительность LLM подчиняется законам масштабирования, которые показывают, что по мере предсказуемого увеличения количества параметров модели и размера обучающего набора данных производительность на различных тестовых наборах данных улучшается .52] . Масштаб порождает возникающие возможности — способности, отсутствующие в меньших моделях, но спонтанно появляющиеся в больших моделях .62] . Более крупные модели, следовательно, должны позволять более точно моделировать человеческий диалог, что, в свою очередь, приведет к повышению «прогностической» способности. Среди этих возникающих явлений существует даже вероятностная мимикрия. Это привело к появлению конкурирующих объяснений того, как работает такая мимикрия. Ведущим теоретическим объяснением этого является неявный байесовский вывод [64] , согласно которому модель учится выводить высокоуровневую «скрытую концепцию» из примеров в задании. Поведение модели затем можно описать как байесовское обновление, когда она обуславливает свой результат этой выведенной концепцией. Альтернативное, более механистическое объяснение можно найти в [35] , которые подчеркивают, что эффективность трансформеров в контекстном обучении обусловлена ​​их способностью неявно имитировать вероятностные методы, а не явно выполнять байесовский вывод.

Помимо базовых моделей, большинство исследователей, использующих линейные модели обучения (LLM) в социальных науках, применяют дополнительные методы для точной настройки или управления результатами работы модели. Известно, что готовые LLM-модели выдают заведомо предвзятые результаты, основанные на предвзятых обучающих данных .58Методы, такие как тонкая настройка и обучение с подкреплением на основе обратной связи от человека (RLHF), уточняют выходные данные модели, оптимизируя их в соответствии с поведением человека в конкретных контекстах, например, при выполнении когнитивных задач или в поведенческих играх .38Это делает модели более эффективными собеседниками и более способными следовать инструкциям, но это процесс поведенческой адаптации, а не статистическая коррекция. Это различие поднимает фундаментальный вопрос для социальных наук: когда мы настраиваем модель для лучшего выполнения конкретной человеческой задачи, например, воспроизведения результатов опроса, создаем ли мы более обобщаемую модель человеческого поведения или просто более специализированную имитацию?

Этот вопрос ставит перед нами классическое академическое противоречие между объяснением и прогнозированием. Тонкая настройка модели LLM на конкретном наборе данных, например, в поведенческих экономических играх, действительно может сделать её очень эффективной в прогнозировании результатов в этом узком контексте. Однако эта оптимизация не гарантирует, что модель разработала более глубокое и обобщаемое понимание человеческих мотиваций, таких как справедливость, взаимность или стратегическое мышление. Вместо этого модель может переобучаться на статистических закономерностях обучающих данных, подобно регрессионной модели со слишком большим количеством параметров. Это создает хрупкий агент, который превосходно справляется со своей задачей, но может потерпеть сокрушительное поражение при столкновении с новым сценарием. В этом случае социологи могут усомниться в способности этого направления исследований дать представление о реальном и сложном человеческом поведении на более общем уровне анализа.

[46[Авторы ] предоставляют убедительные эмпирические доказательства этого компромисса. Они обнаружили, что модели с линейной архитектурой, прошедшие обширную настройку и согласование инструкций (например, GPT-3.5 и GPT-4), в целом показали худшие результаты в тестах на статистическую согласованность, чем более старые, менее настроенные базовые модели. Это говорит о том, что сам процесс улучшения способности модели к диалогу и выполнению инструкций может ухудшить ее соответствие фундаментальным байесовским принципам. Это поднимает провокационный методологический вопрос: является ли тонкая настройка модели с линейной архитектурой для воспроизведения набора данных формой социальной науки? Или это упражнение по созданию квазипрогностической системы поиска? Традиционная социальная наука стремится строить и проверять теории, которые могут объяснить поведение в различных контекстах. Если наши синтетические агенты настроены до такой степени, что они могут воспроизводить только те данные, на которых они обучались, мы рискуем попасть в замкнутый круг, который не открывает новых знаний и не предлагает обобщаемой теории.

В этом кроется предостережение для всей области исследований: единый, универсальный Homo silicus, скорее всего, окажется миражем. Агент, идеально настроенный на роль респондента в политических опросах, может оказаться плохой моделью для изучения когнитивных искажений, и оба варианта могут быть непригодны для исследования долгосрочной социальной динамики. Будущее моделирования на основе синтетических агентов потребует не универсального инструмента, а множества микроуровневых, предметно-ориентированных подходов, где исследователи будут открыто говорить об оптимизациях, которые они внесли, и критически оценивать возможность обобщения, которой они, возможно, пожертвовали.

Учитывая вышеупомянутые предостережения, следует разработать некоторые практические рекомендации по применению синтетических агентов на основе LLM с научной строгостью. Во-первых, как уже подчеркивалось ранее, исследователи должны рассматривать агентов на основе LLM как высокоэффективные предикторы реакции человека в заданных условиях, а не как источники калиброванной вероятностной уверенности. Хорошим примером этого является то, как [36] операционализировать «алгоритмическую точность» — определяемую как степень, в которой обусловленная модель воспроизводит условную структуру ассоциаций между установками, демографическими характеристиками и поведением, наблюдаемыми в сопоставленных группах людей, а не просто сопоставляет маргинальные данные или поверхностный текст, — и проверять эти ассоциации на основе реальных опросов, генерируя одного виртуального субъекта для каждой предыстории. Это означает, что запросы от их агентов действуют скорее как локальная интерполяция, а не как апостериорные утверждения. Калибровка и валидность подгрупп должны активно измеряться и регистрироваться, а не просто предполагаться. Алгоритмическая точность является условной и демографически структурированной, поэтому точность может варьироваться в разных группах .36Исследователям следует сообщать о разбросе результатов синтезированных ответов и их точности относительно базовых показателей, полученных людьми, для каждой значимой подгруппы, а не только об общих средних значениях .

Эмпирически, [34] показывают, что их эксперименты Тьюринга воспроизводят известные эффекты, но повторные выборки демонстрируют «искажение сверхточности», или, точнее, коллапс дисперсии сверхточности. Ответы модели группируются слишком плотно и постоянно ближе к заданной истине, чем были бы реальные люди, поэтому отсутствует изменчивость, ожидаемая от человеческой популяции .40Также были отмечены неестественно низкая дисперсия и несовпадающие коэффициенты регрессии в данных опроса, сгенерированных с помощью LLM. Подобные отклонения от человеческой дисперсии следует отмечать в будущих исследованиях. Поскольку разброс искусственно мал, любые выводы в стиле апостериорного распределения на основе повторных выборок являются вводяще точными. Всякий раз, когда кремниевая выборка LLM слишком уверена или слишком однородна по сравнению с людьми, исследователям следует уменьшить вес этих синтетических данных или воздержаться от использования их в качестве надежного заменителя в статистическом анализе.

Любые выводы, сделанные на основе данных, смоделированных с помощью LLM, должны учитывать сдвиг распределения и то, что это результаты модели, а не выборки из человеческой популяции. Поскольку модели могут систематически отклоняться от мнений людей, наращивание синтетической выборки из самой себя может привести к слишком узким интервалам. Лучший подход — построить доверительные интервалы, отражающие несоответствие, и адаптивно ограничить эффективный размер симуляции .51] предоставляют структуру, которая выбирает размер на основе данных.к^и показывает, что увеличение k до очень больших значений может ухудшить охват, в то время как выбранныйк^обеспечивает практически номинальное покрытие. Это показывает, что соответствие данным, полученным от людей, должно определять узость интервала. Подобные методы не зависят от модели и используют синтетические данные для дополнения данных, полученных от людей, а не для их замены. Дополнение данных само по себе является многообещающим направлением. Например, синтетические агенты потенциально могут использоваться для предварительного тестирования инструментов, выявления проблем калибровки подгрупп, определения режимов отказов до начала полевых испытаний или для управления распределением выборки и анализом чувствительности. При этом можно собирать немногочисленные данные, полученные от людей, там, где они наиболее информативны. Это может повысить мощность и снизить затраты на этапе планирования исследования, сохраняя при этом данные, полученные от людей, в качестве стандарта для выводов.

Практический способ начать решение обсуждаемых статистических несоответствий — это создание агентов на основе данных об отдельных людях, а не на основе общих портретов. Например, [56] создают агентов, привязанных к интервью, и демонстрируют высокую степень согласованности с ответами респондентов на вопросы GSS и несколькими предварительно зарегистрированными повторами, приближаясь к надежности повторного тестирования у людей; проведенные исследования показывают, что преимущества обусловлены привязкой, а не своего рода стилистическим подражанием. Эти решения уточняют область применения и предоставляют естественные цели для проверки, однако [56Также отмечается неоднородность, обусловленная методом привязки и задачей, что предостерегает от обобщения за пределы исследуемой области. Кроме того, авторы обнаружили, что агенты, использующие интервью, уменьшают расхождения в предвзятости между политическими, расовыми и гендерными группами по сравнению с более простыми вопросами, касающимися только демографических данных, что указывает на улучшенную калибровку, хотя некоторые прогнозы для подгрупп все еще могут отклоняться от человеческой дисперсии. Точность алгоритма не является принципом «всё или ничего»; её следует количественно оценивать для каждой подгруппы, при этом любое превышение или недостаточное рассеивание и неточность калибровки относительно человеческих эталонов должны быть прозрачно зафиксированы.

Аналогичная логика может быть применена как к привязке к человеку, так и к привязке к задаче в больших масштабах .38Модель CENTAUR от ] дорабатывается на больших, поведенческих наборах данных, полученных в ходе отдельных испытаний, с явно заданными структурами и сообщает о генерализации за пределами предметной области. Эта прозрачность в определении задачи и строгое тестирование за пределами предметной области демонстрируют прогностическую структуру для агентов LLM. В то же время, даже такая мощная модель, как CENTAUR, остается ограниченной своей областью обучения, поэтому высокие результаты в экспериментальных задачах не позволяют делать широкие апостериорные выводы о человеческой природе в целом. Успех в точно настроенных задачах следует интерпретировать узко как высокоэффективный предиктор для этих контекстов, а не как универсальную модель для homo silicus . По мере совершенствования вычислительных ресурсов и инструментов, индивидуальная доработка может стать возможной для участников, давших согласие, но реальным узким местом являются продольные высококачественные персональные данные. Даже в этом случае контекст и обусловливание имеют ключевое значение, поскольку индивидуальная настройка в основном уменьшает межличностный шум и переносит неопределенность на внутриличностное состояние и формулировку задачи.

Помимо контекстно-зависимой тонкой настройки, протоколы выборки должны избегать самообусловливания в процессе выполнения запроса и защищать от влияния порядка предъявления запроса .36Шаблон «один субъект на одну предысторию » уже является примером такой независимости, в то время как [56Конвейеры обработки данных запрашивают данные у закрепленных агентов, не используя повторно ранее полученные синтетические результаты. В панельных оценках, где LLM-ы или люди оценивают ответы модели, простая смена места слева направо или порядка в списке может изменить предпочтительный ответ, даже если содержание идентично, поэтому фиксированный порядок может создать видимость сходимости, которая на самом деле является эффектом положения .43,59] . Исследования в стиле совета количественно оценивают этот риск, сообщая доверительные интервалы бутстрапа для рейтингов и показателей побед, которые проверяют, сохраняется ли очевидный победитель при повторной выборке голосов или элементов .53] . В сочетании с данными о предвзятости, связанной с позицией, длиной и собственными предпочтениями в ситуациях, когда LLM выступает в роли судьи, это обосновывает необходимость конкретных мер защиты в конвейерах обработки данных агентами .61,66] . Отсюда следует, что если агенты LLM рассматриваются как предикторы при явном обусловливании, а не как калиброванные апостериорные вероятности, то необходимо также применять проверки независимости, рандомизированный порядок элементов и фиксированные настройки декодирования, чтобы любое кажущееся совпадение отражало прогностический сигнал модели.

Стресс-тестирование синтетических агентов должно быть рутинной процедурой и открыто публиковаться, а исследователи должны учитывать пределы экстраполяции агентов. Агент LLM, хорошо справляющийся с задачами в рамках своей предметной области, такими как сопоставление известных результатов опросов, может показать худшие результаты при столкновении с другими новыми стимулами или даже с той же задачей, сформулированной по-другому .56Агенты , созданные на основе интервью, продемонстрировали высокую точность воспроизведения результатов GSS, однако более широкие оценки показывают, что такие агенты могут давать сбои за пределами узкой области, для которой они были настроены. Например, [65[ Провели одно из крупнейших на сегодняшний день исследований по воспроизведению результатов в разных задачах, смоделировав более 19 000 участников с использованием ИИ на основе модели Клода 3.5 по 133 поведенческим эффектам. Они обнаружили, что модели успешно воспроизвели около 76% известных основных эффектов, но только 27% эффектов взаимодействия, что указывает на резкое снижение надежности для более сложных или выходящих за пределы распределения паттернов. Аналогично, [44] Протестировали GPT-4/Claude на 319 реальных полевых экспериментах и ​​отметили высокую общую точность, но систематические сбои в исследованиях, включающих вмешательства, учитывающие гендерные, культурные или идентичностные особенности. Эти результаты подчеркивают, что надежность в подгруппах или контекстах варьируется в зависимости от задачи и стимула .34В рамках эксперимента Тьюринга этот вопрос исследуется путем введения новых стимулов наряду с классическими экспериментами. Хотя агенты на основе GPT точно воспроизвели известные результаты, такие как эффект подчинения Милграма, неожиданный поворот, подобный задаче оценки мудрости толпы, выявил вышеупомянутое искажение сверхточности, показав еще одно явное отклонение от ожидаемого поведения человека. Эти результаты постоянно вызывают одну из самых фундаментальных критических замечаний в отношении использования LLM в качестве социальных агентов — не воспроизводят ли LLM материал, усвоенный на этапе предварительного обучения, настройки или подсказок, вместо того, чтобы моделировать людей? Имеет ли это вообще значение? Это имеет значение, когда речь идет об обобщении, надежности подгрупп, причинно-следственной интерпретации или апостериорных представлениях о людях. Система, которая запоминает основные эффекты, все еще может давать сбои в таких вещах, как экстраполированные взаимодействия в измененных контекстах или в вмешательствах, чувствительных к идентичности, и она может давать ложно точные интервалы вокруг смещенного среднего значения. Это имеет меньшее значение, когда заявленная цель узкая, внутридоменная, прогнозирование при явном условии, что пересечение с прошлым материалом допустимо, если оно раскрыто, и если проверки за пределами домена пройдены.

Исследователи могут рассматривать это как проблему тестирования и отчетности. Стресс-тесты, такие как изменение формулировки подсказки, контекста или экспериментальной установки, должны стать стандартной частью проверки. В публикациях можно было бы включить сетку стресс-тестов, выходящих за пределы распределения, и сообщить, где нарушается предсказание имитации. Кроме того, исследованиям пошло бы на пользу, если бы авторы составили краткий сборник неудачных случаев, описывающих ситуации, когда синтетические агенты выдают неправдоподобные или предвзятые результаты под нагрузкой. Раскрывая эти режимы отказов, исследователи четко определяют границы достоверности своих агентов LLM. Надежное стресс-тестирование предотвращает чрезмерную уверенность в синтетических данных и помогает читателям точно понимать, когда и где можно доверять симуляциям, управляемым LLM, а когда нет.

Наконец, строгая воспроизводимость и полное раскрытие информации не являются необязательными при использовании данных синтетических агентов. Для повышения доверия исследователи должны раскрыть все ключевые детали своего конвейера моделирования LLM, включая шаблоны подсказок и сценарии персон/интервью, идентификаторы и версии моделей, параметры декодирования, такие как температура и максимальное количество токенов, а также любые случайные начальные значения, чтобы другие могли повторно выбрать и пересчитать все сообщаемые величины. equally важно продемонстрировать, что результаты не зависят от произвольных решений, таких как порядок вопросов или конкретный случайный выбор. Например, проверки независимости и инвариантности порядка, такие как перемешивание порядка подсказок и повторная генерация с новыми начальными значениями, могут выявить скрытые артефакты, такие как смещения положения или эффекты самосогласованности. Если синтетические данные из нескольких запусков или экземпляров модели агрегируются — что становится все более распространенной практикой для стабилизации результатов — авторы должны сообщить о любых наблюдаемых смещениях и объяснить, как ансамблирование повлияло на стабильность. Всякий раз, когда совокупность результатов LLM используется в качестве своего рода совета для повышения надежности, необходимо документировать вариативность результатов среди членов этого совета, а также степень, в которой усреднение или голосование изменяют результаты.

Данный анализ не призван показать, что у моделей с линейными моделями поведения (LLM) как синтетических агентов ограниченное будущее в социальных науках. Напротив, их потенциал огромен. По мере того, как масштабирование продолжает улучшать их возможности, их потенциал в качестве краткосрочных предикторов социальных явлений становится все более очевидным. Эффективно изучая сложные закономерности в обширных массивах данных о человеческом самовыражении, эти модели могут предлагать сложные квазиинтерполяции общественных взглядов и поведения. Более того, надежные синтетические агенты представляют собой захватывающую область исследований, которые либо этически нецелесообразны, либо практически невозможно провести в реальном мире, что может позволить исследователям изучать деликатные социальные динамики или проверять контрфактические сценарии. Однако этот потенциал может быть реализован только в том случае, если ограничения будут четко признаны. Доказательства того, что эти модели не являются принципиальными байесовскими рассуждениями и что их неопределенность остается неинтерпретируемым «черным ящиком», должны умерить энтузиазм. Будущее этих инструментов заключается не в создании единой, универсальной «LLM для социальных наук», а в тщательной разработке конкретных моделей, адаптированных к конкретным социальным вопросам на соответствующих уровнях анализа. Ценность этих моделей заключается в их использовании для руководства политикой и принятием решений по краткосрочным вопросам, где правдоподобная интерполяция существующих данных имеет важное значение. Хотя цель достижения полной механистической интерпретируемости в будущем остается недостижимой, в настоящее время эти модели работают как «черные ящики», внутренняя логика которых в значительной степени недоступна. Поэтому ответственный путь вперед заключается в том, чтобы использовать эти мощные новые инструменты не ради того, чем мы надеемся, что они когда-нибудь станут, а ради аналитических инструментов, которыми они являются уже сейчас.