Как пишет Аннабель Джонс, недавнее исследование, проведенное методом сопоставления модераторов, предполагает, что инклюзивность в исследованиях заключается не только в том, кто входит в выборку, но и в том, кто задает вопросы и что это означает для глубины получаемых нами знаний.
В исследованиях мы уделяем много времени размышлениям о том, кто входит в выборку и какие вопросы мы задаем.
Мы зацикливаемся на квотах, корректируем правила проведения дискуссий и спорим о том, является ли вопрос наводящим, провокационным или просто немного неуклюжим — и это правильно. Если мы общаемся не с теми людьми или задаем им не те вопросы, мы вряд ли получим правильные ответы.
Но мы гораздо меньше времени тратим на размышления о том, кто (или что) задает этот вопрос.
Взаимопонимание, доверие и навыки модератора могут как способствовать успеху разговора, так и привести к его провалу. Мы и так тщательно оцениваем навыки модератора: умеет ли он устанавливать контакт, задавать содержательные вопросы и создавать комфортную атмосферу. Но как часто мы задумываемся о том, как модератор формирует это пространство и как его присутствие может повлиять на то, что участники чувствуют себя вправе сказать?
Мы хотели выяснить, может ли подбор участников к модератору на основе ключевых маркеров идентичности, таких как этническая принадлежность или пол, способствовать созданию большего комфорта, большей психологической безопасности и, в конечном итоге, более глубокому пониманию.
Использование Quasai , модератора-гуманоида с искусственным интеллектом от Simpson Carpenter, позволило нам более последовательно изолировать и сравнивать различные условия работы модераторов, чем это было бы возможно при использовании нескольких модераторов-людей.
Суть нашего эксперимента была проста: влияет ли то, кто задает вопросы, на ответы?
Эксперимент
В исследовании приняли участие 289 взрослых жителей Великобритании, представляющих афро-карибское, южноазиатское, восточно- и юго-восточноазиатское, белое/европейское и ближневосточное/смешанное происхождение, разделенных на три группы. В одной группе участники общались с модератором на основе искусственного интеллекта, управляемым только голосом. В другой группе участники выбирали из ряда различных расовых вариантов внешности для одного и того же модератора-аватара на основе ИИ. В третьей группе участникам назначался модератор-аватар на основе ИИ, подобранный в соответствии с их этнической принадлежностью.
Темой обсуждения была инклюзивность в Великобритании. Участников спрашивали об их собственном опыте, их восприятии инклюзивности и о том, какие чувства у них вызвал модератор. В конце им предлагалось поразмышлять о том, повлияла ли на их ответы личность модератора или его манера выступления.
Что мы обнаружили
Полученные результаты не были упорядоченными и однозначными, что, вероятно, и сделало их полезными.
Во-первых, сам ИИ, по-видимому, создал иной базовый уровень комфорта. Участники разных групп описывали, что чувствовали себя менее осуждаемыми, могли быть самими собой и меньше беспокоились о том, чтобы дать «правильный» ответ. Для некоторых отсутствие интервьюера-человека, похоже, снизило давление, связанное с необходимостью показать себя, произвести впечатление или отредактировать свои ответы.
Это не означает, что ИИ автоматически создает более качественные исследования, но это говорит о том, что в отношении некоторых деликатных тем модерация с помощью ИИ может снизить порог честности и помочь участникам быстрее перейти к размышлениям, личным размышлениям или даже исповеди.
Во-вторых, видимое соответствие имело значение, но не в упрощенном смысле. Для некоторых чернокожих и азиатских участников сопоставление с аватаром, «похожим на меня», создавало мгновенное чувство легкости и узнавания. Модератор, подбирающий аватара, по-видимому, снижал эмоциональную нагрузку во время интервью, включая необходимость предвидеть осуждение или определять, сколько информации о себе следует раскрыть.
Среди некоторых белых участников совпадение создавало ощущение узнавания с другим эффектом: снижением самоцензуры. Несколько участников признали, что, возможно, они бы более тщательно подбирали слова или сдерживались, если бы модератор выглядел иначе, чем они, — особенно при обсуждении вопросов разнообразия и инклюзивности. Воспринимаемое сходство показало, как быстро люди осознают, что им следует (или не следует) говорить, когда тема кажется им деликатной.
Эффект соответствия также отразился в самих данных. В условиях, когда модератор был подобран под конкретного участника, ответы были более длинными и подробными, чем в базовом варианте только с голосовым сопровождением, что говорит о том, что видимое присутствие модератора помогало участникам более подробно объяснять и раскрывать информацию. Этот эффект был еще сильнее в интервью, где модератор был подобран под конкретного участника. Вовлеченность также двигалась в том же направлении: участники в условиях соответствия чаще говорили, что чувствовали себя понятыми и им было легко объяснить свою точку зрения.
Это не значит, что участники готовы общаться только с теми, кто на них похож. Это показало, какие мелкие расчеты люди делают в любом разговоре: сколько объяснять, сколько редактировать, насколько быть уязвимым и поймет ли человек, задающий вопросы, ответ.
В-третьих, исследование показало риск поверхностного представления. В качестве экспериментального контроля голоса и акценты оставались неизменными для всех аватаров. Это привело к тому, что некоторые участники заметили несоответствие между тем, как аватар выглядит, и тем, как он звучит. Для некоторых участников из числа меньшинств это воспринималось скорее как диссонанс, чем как проявление инклюзивности.
Это важный урок, поскольку аватары, созданные с помощью ИИ, становятся все более распространенными. Дизайн аватара — это не просто косметический аспект, голос не нейтрален, и «стандартный» вариант тоже определенно не нейтрален. Представление способствует инклюзивности только тогда, когда оно кажется последовательным, убедительным и учитывающим культурные особенности.
Ну и что?
Для исследовательской индустрии это не означает, что каждого участника всегда следует подбирать к модератору, который на него похож. Наш эксперимент продемонстрировал, что поверхностное сопоставление уже может выявить: как люди, мы обладаем свободой воли, эмпатией и ответственностью, чтобы выйти за рамки этого, чтобы приблизиться к истине.
При подборе модераторов следует задать себе вопрос: какая характеристика наиболее важна для достижения цели исследования, и в каких случаях общий опыт может повлиять на то, что участники смогут сказать?
В более широком смысле, нам необходимо перестать исходить из предположения, что исследовательская среда по умолчанию является нейтральной.
Метод сопоставления может углубить понимание, но только при целенаправленном использовании. Разнообразная выборка — это не то же самое, что инклюзивный исследовательский опыт. Если участник чувствует себя настороженным, непонятым или эмоционально уязвимым, мы можем получить ответ, который он чувствует себя способным дать, а не ответ, отражающий всю правду о его опыте.
При грамотном использовании инструменты модерации на основе ИИ могут помочь нам проверить, что создает комфортную атмосферу, где люди сдерживаются и как различные способы участия влияют на глубину отклика.
Главный урок заключается не в замене исследователей-людей, а в том, чтобы напомнить нам, насколько важен человеческий контекст.
Участники оценивают, кто их слушает, что они могут понять и как могут быть восприняты их ответы, а это значит, что разнообразие исследовательских групп — это не просто желательное условие. Они являются частью метода: формируют задаваемые нами вопросы, назначаемых модераторов, оспариваемые предположения и смысл, который мы извлекаем из того, что говорят участники. С помощью технологий мы можем продолжать расширять возможности проведения инклюзивных и, в конечном итоге, более содержательных исследований.
Участники всегда чувствуют атмосферу в помещении, даже если оно цифровое или управляется искусственным интеллектом. Мы, исследователи, тоже должны это чувствовать.
Аннабель Джонс — старший менеджер по исследованиям в компании Simpson Carpenter.
Источник:
https://www.research-live.com/article/opinion/the-moderator-is-part-of-the-method/id/5150927
