В предварительной версии статьи исследователей из онлайн-платформы для проведения опросов Prolific сделан вывод о том, что моделирование опросов с использованием LLM следует применять для целенаправленных, исследовательских работ, а не в качестве замены измерения.
Исследователи провели опрос о политических взглядах и потребительских предпочтениях среди репрезентативной онлайн-выборки из 996 участников из США, а также дополнили его качественными интервью, модерируемыми с помощью искусственного интеллекта.
Затем они попытались воспроизвести данные, полученные от людей, с помощью респондентов, смоделированных с помощью LLM , при возрастающем уровне детализации персон: от полного отсутствия информации до демографических персон и, наконец, до демографических данных плюс дословные стенограммы идиографических интервью.
Исследование показало, что моделирование на индивидуальном уровне с использованием демографических характеристик — широко распространенный метод генерации синтетических данных — втрое увеличивает ошибку распределения по сравнению с использованием агрегированного распределения, запрашиваемого у модели.
Эндрю Гордон, руководитель отдела научных исследований в Prolific и первый автор статьи, написал в своем посте в LinkedIn: «Моделирование 996 человек должно было превзойти одну попытку с нулевым контекстом… но этого не произошло. Ошибка распределения примерно утроилась, поскольку персоны слились со стереотипными модальными ответами. Стенограммы интервью помогли, уменьшив вдвое падение дисперсии, но этого оказалось недостаточно, чтобы превзойти базовый показатель с нулевым контекстом.
Более существенным решением стало изменение метода подсказок. Получение вероятностного распределения для каждой персоны вместо одного принудительного ответа сократило ошибку на 35-48%, сохранив при этом данные на индивидуальном уровне. Но постстратификация ( MRP ) не смогла исправить оставшуюся ошибку, и ни один метод не сравнится по точности со второй выборкой людей».
Гордон добавил: «Наш худший метод воспроизведения распределения оказался одним из лучших при определении победителя по большинству голосов, поэтому оценка синтетических данных по одному показателю вознаграждает именно неправильные методы».
