ЭСТОНИЯ/США – Согласно исследованию PyMC Labs и Colgate-Palmolive, большие языковые модели ( LLM ), выступающие в роли синтетических респондентов, могут приблизиться к результатам, аналогичным результатам человека, в исследованиях потребительского поведения.
В исследовании LLM воспроизводят намерение человека совершить покупку посредством выявления семантического сходства рейтингов Лайкерта . Основываясь на исследовании исследователей PyMC Labs из Таллина, Эстония, и Colgate-Palmolive из Нью-Йорка, исследовательская группа сосредоточилась на рейтинге семантического сходства (SSR), методе, который получает текстовые ответы от LLM и сопоставляет их с распределениями Лайкерта — мерами, которые помогают визуализировать частоту ответов на вопрос.
В ходе эксперимента был протестирован набор данных, включающий 57 опросов о средствах личной гигиены, проведенных неназванным ведущим брендом средств личной гигиены. В рамках проекта было проанализировано в общей сложности 9300 ответов людей, которые затем использовались для сравнения с результатами синтетических респондентов, сгенерированными LLM.
Исследование показало, что SSR достигла 90% надежности повторного тестирования у людей, сохранив при этом реалистичное распределение ответов.
Исследовательская группа посчитала, что синтетические респонденты обеспечили богатую качественную обратную связь, при этом их реакция на возраст и уровень дохода, в частности, на хорошем уровне отражала реакцию реального человека.
Исследование пришло к выводу, что в сочетании с соответствующими методами выявления LLM могут выступать в качестве полноценных синтетических потребителей для проверки концепций.
В интервью Research Live Нина Рисмал, старший научный сотрудник PyMC Labs, заявила, что полученные результаты «представляют собой одновременно и прорыв, и большую возможность».
Рисмал сказал: «Мы всё ещё находимся на ранних этапах интеграции ИИ в маркетинговые исследования. Сейчас многие приложения просто копируют традиционные методы — то, что раньше было опросами людей, теперь превратилось в «синтетические опросы», проводимые магистрами права. Действительно, эта тенденция может снизить потребность в сборе данных человеком в некоторых областях».
Однако реальный потенциал лежит за пределами имитации. ИИ позволяет моделировать целые виртуальные сообщества, где новые продукты, кампании или идеи могут динамически тестироваться. В таких условиях исследователи могут выйти за рамки сбора мнений и наблюдать за поведением и возникающей динамикой, наблюдая не только за тем, что люди (или модели) говорят, но и за тем, что они делают.
Рисмал отметил, что исследователям рынка необходимо понять технологию и переосмыслить свою роль, сохранив при этом имеющиеся знания в области психологии, социологии и понимания потребителей.
Кроме того, следует продолжать анализировать магистров права на предмет способности воспроизводить человеческое поведение в различных областях, сказал Рисмал, добавив: «Наши результаты вселяют оптимизм. При определённых условиях и в чётко определённых контекстах магистры права действительно могут действовать подобно человеческим решениям».
«Это не означает, что они мыслят как люди или обладают человеческим познавательным потенциалом. Но это демонстрирует, что их результаты могут соответствовать человеческим поведенческим моделям — многообещающий знак как для прикладных, так и для теоретических исследований».
