Что происходит, когда опросы переходят в формат беседы?

Данные независимого исследования Мангеймского университета, сравнивающего интервью с модерацией с помощью искусственного интеллекта (AIMI) со статическими онлайн-опросами.

На протяжении десятилетий онлайн-опросы были основой рыночных и социальных исследований. Они хорошо масштабируются, легко стандартизируются и быстро дают результаты. Эта эффективность сделала их незаменимыми. Однако она также имеет признанное ограничение: традиционные форматы опросов часто ограничивают глубину получаемых данных.

Это ограничение распространяется не только на открытые вопросы. Даже когда опросы включают ответы в свободной форме и дополнительные уточняющие вопросы, взаимодействие остается статичным и неизменным. Респондентов просят выбрать, оценить или кратко объяснить, но редко побуждают к размышлению, установлению связей между идеями или формулированию своих рассуждений в более широком контексте. Опросы часто фиксируют то, что люди думают, но с трудом показывают, почему они так думают или как различные соображения связаны друг с другом.

Независимое исследование, проведенное в Мангеймском университете, проверяет, могут ли интервью с модерацией с помощью искусственного интеллекта (AIMI) повысить глубину и надежность полученных данных по сравнению со статическими онлайн-опросами.

Сравнение статического онлайн-опроса и AIMI.

В исследовании, проведенном Айлин Идризовски из Мангеймского университета, сравниваются следующие параметры:

• Статический онлайн-опрос, проводимый на платформе SoSci Survey; и

• Интервью с модерацией с использованием ИИ (AIMI), проведенное на платформе Glaut (для сопоставимости ответы ограничены только текстовыми данными).

В исследовании использовался межгрупповой дизайн. Участники были набраны через PureSpectrum и случайным образом распределены, в результате чего были сформированы две группы по n = 100 человек. Выборка ограничивалась гражданами США в возрасте от 18 до 55 лет с равным распределением по полу.

Обе группы заполнили одинаковую анкету о выборе здорового образа жизни. Она включала шесть открытых вопросов, каждый из которых сопровождался дополнительными вопросами, а также структурированные вопросы и шкалу оценки опыта участников. Основное различие заключалось во взаимодействии: в статическом опросе использовались заранее определенные дополнительные вопросы, тогда как AIMI генерировала их динамически на основе последнего ответа участника. Поскольку AIMI может запросить более двух дополнительных вопросов, анализ сосредоточился на ответах на первые два вопроса в обоих форматах.

Что изменилось в полученных данных?

В лингвистическом и тематическом аспектах опросники AIMI дали более развернутые ответы.

• Длина ответов увеличилась. В среднем участники AIMI написали около 131 слова, по сравнению с 94 словами в статическом опросе: увеличение на 39%.

• Словарный запас стал более разнообразным. Ответы в рамках исследования AIMI содержали примерно на 51% больше уникальных слов, чем в статичном опросе, а лексическое разнообразие также было выше. Такое сочетание говорит о том, что участники не только больше писали, но и выражали свои идеи менее однообразно.

• Тематический охват увеличился. В исследовании проводится различие между количеством упоминаний тем и количеством отдельных тем.

• Общее количество упоминаний тем было примерно одинаковым во всех условиях, но ответы AIMI охватывали больше уникальных тем. На практике это означает более широкий спектр идей в ответе, а не простое повторение одних и тех же пунктов.

Эти показатели отражают глубину понимания: более детальная проработка, более широкий охват концепций и более дифференцированное изложение. Важно отметить, что читабельность и доля слов в содержании существенно не различались в зависимости от формата, что говорит о том, что более развернутые ответы не стали сложнее для интерпретации.

Качество данных оставалось на более высоком уровне.

В исследовании также оценивалась достоверность ответов с использованием «показателя бессмысленных символов», определяемого как ответы, содержащие случайные символы, бессмысленные повторения или неинформативные фрагменты.

В этом наборе данных в статическом онлайн-опросе встречались бессмысленные ответы (приблизительно 10%), но они отсутствовали в наборе данных AIMI, использованном для анализа. Это важно, поскольку низкокачественные ответы в свободной форме увеличивают время очистки и снижают уверенность в качественных сигналах.

Участники не сообщили о повышении уровня прилагаемых усилий.

Опросы AIMI также получили более высокие оценки с точки зрения опыта участников. Общая оценка опыта была выше для опросов AIMI, чем для статического опроса, а результаты на уровне отдельных пунктов неизменно показывали, что опросы AIMI оценивались как более разговорные, менее повторяющиеся и лучше создающие у участников ощущение понимания и доверия к обработке данных.

В то же время, легкость выражения и комфорт оставались примерно одинаковыми во всех форматах. Изменение глубины понимания не было результатом усложнения участия. Вместо этого оно произошло за счет изменения структуры взаимодействия.

Почему это важно для социологических исследований

Статические опросы превосходно справляются с измерением и стандартизацией. Однако они могут испытывать трудности, когда исследование требует объяснения, контекста и связной логики. Данные Мангеймского исследования показывают, что динамические, учитывающие ответы респондентов последующие опросы могут влиять на их ответы, даже если базовый вопросник остается неизменным.

Это переосмысливает давний компромисс. Глубина определяется не только формулировкой вопроса; она также формируется дизайном взаимодействия.

Полный текст статьи , включающий описание дизайна исследования, методологии, статистического анализа и результатов, можно прочитать здесь.