Согласно исследованию, проведенному Лондонской школой экономики ( LSE ) при поддержке компании Electric Twin, занимающейся синтетическими данными, результаты опросов, проводимых с использованием искусственного интеллекта, могут укладываться в диапазон, получаемый традиционными исследовательскими платформами.
В исследовании приняли участие 7755 человек, опрошенных с помощью семи различных сервисов сбора данных, с целью оценки эффективности платформ и сравнения результатов с результатами, полученными с помощью платформы искусственного интеллекта, использующей синтетических респондентов для имитации ответов на вопросы опроса.
В число сервисов для сбора данных входили две панели с добровольным участием, платформа микрозадач Prolific, два агрегатора данных из разных источников и две пробы речной воды, собранные через Facebook и Instagram, а эталонный образец синтетической аудитории был предоставлен платформой искусственного интеллекта Electric Twin, которая также финансировала исследование.
Исследовательская группа под руководством Майкла Мутукришны из Лондонской школы экономики и Бена Уорнера из Лондонской школы экономики и компании Electric Twin обнаружила существенные различия в качестве данных, демографических характеристиках, а также в сообщаемых взглядах и поведении, несмотря на идентичные квоты и инструменты опроса.
Однако в исследовании говорится, что помимо внимания и качества данных, «ни одна платформа не оказалась превосходящей другие по всем параметрам».
Исследование показало, что различия между платформами в основном обусловлены составом выборки, а не особенностями поведения респондентов, при этом выбор платформы имеет значение для воспроизведения результатов, обобщаемости и достоверности маркетинговых выводов.
Например, наблюдалось колебание оценок результатов политического голосования на 10-20 процентных пунктов в зависимости от платформы, чего было бы достаточно, чтобы повлиять на различные решения в зависимости от выбора платформы.
В исследовательской работе говорится, что синтетические данные могут отражать «основные тенденции, схожие с тенденциями реальных респондентов», что, по мнению авторов, означает, что крупномасштабные исследования на основе языковых моделей могут быть полезным способом проведения исследований перед исследованиями с участием людей.
Респондентам задавали вопросы по таким темам, как финансовое положение, покупательские привычки, использование социальных сетей и поддержка Великобританией Украины. Данные с каждой платформы собирались и обрабатывались с использованием одной и той же методологии и целевых показателей набора участников, с учетом возраста, пола, образования и истории голосования для обеспечения сопоставимости.
Из выборки были удалены ответы низкого качества от ботов, дублирующих учетных записей или респондентов, не прошедших проверку на внимательность.
Доктор Майкл Мутукришна , профессор экономической психологии в Лондонской школе экономики , сказал: «Это исследование предоставляет одни из первых убедительных крупномасштабных доказательств того, что искусственная аудитория может заменить живую группу респондентов и привести к тем же результатам. По большинству вопросов, которые мы тестировали, ответы смоделированных респондентов Electric Twin оказались в том же диапазоне, что и ответы реальных людей».
«Это важное открытие для всех, кто проводит исследования в условиях нехватки времени, бюджета или практических ограничений. Синтетические респонденты не устают, не забывают и не поддаются социальным предубеждениям».
Доктор Бен Уорнер, приглашенный старший научный сотрудник Лондонской школы экономики и соучредитель компании Electric Twin, добавил: «Это исследование показывает, что в реальном масштабе, при независимом контроле, синтетическая аудитория дала результаты, которые соответствовали результатам, полученным с помощью человеческих панелей, по большинству из протестированных нами параметров. Это убедительный показатель того, что этому подходу можно доверять для поисковых и итеративных исследований аудитории».
«Это также ставит синтетические аудитории в один ряд с полезными инструментами. Цель этого исследования не состояла в том, чтобы объявить какой-либо один метод исследования лучшим — оно ставило перед собой задачу должным образом протестировать методы, сравнивая их между собой, в масштабах, которые редко встречаются в отрасли. Синтетические аудитории заслуживают своего места в этом обсуждении благодаря своей проверяемости, воспроизводимости и возможности проверки способами, недоступными для традиционных методов выборочного исследования».
