Что различные алгоритмические вмешательства помогают бороться с дезинформацией
При ранжировании, рекомендации и модерировании контента платформы принимают управленческие решения, которые затрагивают миллиарды людей [1] — например, контролируя распространение проблемного контента, такого как дезинформация. Мы представляем первое поведенческое полевое исследование, в котором анализируется, как различные управленческие решения, принимаемые крупной онлайн-платформой в ходе обычной работы, влияют на охват дезинформации. Платформы обычно налагают ограничения на доступ к данным и исследовательское партнерство, которые ограничивают причинно-следственные исследования в этой области лабораторными методами и опросами, которые могут иметь ограниченную внешнюю достоверность [2], особенно в отношении поведенческих результатов [3]. Мы провели причинно-следственный эксперимент с высокой внешней достоверностью, сотрудничая с поисковой системой, чтобы собрать почти полмиллиона наблюдений за поведением пользователей на страницах результатов поиска, содержащих ссылки на веб-сайты с дезинформацией. Наш предварительно зарегистрированный анализ показывает, что алгоритмическая деамплификация снизила взаимодействие с веб-сайтами с дезинформацией более чем наполовину, в то время как информационные вмешательства оказали статистически незначительное влияние на взаимодействие. Эти результаты предполагают, что приоритеты исследований и платформ должны сместиться от информационных вмешательств, которые были в центре внимания в течение последних восьми лет [4, 5] — к алгоритмическим вмешательствам, которые сравнительно недостаточно изучены. Далее мы приходим к выводу, что совместные исследования с платформами жизненно важны для улучшения научного понимания того, как алгоритмы и дизайн платформ влияют на общество.
- 1. Введение
- 2. Поведенческие последствия дезинформации
- 2.1. Деамплификация
- 2.2. Информационные панели
- 3. Обсуждение
- 3.1. Этика и конфиденциальность
- 3.2. Ограничения
- СИ1. Исследуемая популяция
- Веб-сайты с дезинформацией
- Критерии включения запроса
- СИ2. Сбор данных
- СИ3. Информационные панели
- СИ4. Новостные сайты
- СИ5. Анализ
- Проверка гипотез_
- Страны
- Время
- Вмененные данные о взаимодействии с модулем новостей
- Рейтинг и поведение кликов
- СИ6. Ситуация с дезинформационными вмешательствами
- Информационные вмешательства
- Рекомендации
1. Введение
Такие платформы, как поисковые системы и социальные сети, сегодня играют важную роль в распространении информации, ранжируя, рекомендуя и модерируя контент для миллиардов людей [1]. В этой роли платформам приходится принимать трудные решения, например, как обращаться с дезинформацией и другим проблемным контентом. Ставки для этих решений высоки, потому что, когда дезинформация и другой проблемный контент широко распространяются на платформах, это может подорвать демократию [6], расширить возможности авторитарных властей [7] и привести к насилию и геноциду [8, 9].
Одна из причин, по которой устранение пагубных последствий речи, опосредованной платформами, является сложной задачей, заключается в том, что компании-платформеры сопротивляются общественному контролю. Они подавляют внутренние исследования по изучению вреда их продуктов [10–12] и ограничивают независимые исследования, ограничивая доступ исследователей к данным платформы [13–15]. Данные, которыми платформы делятся с исследователями, часто являются неполными или неточными [16, 17]. Эта информационная асимметрия между платформами и общественностью препятствует выработке политики в отношении острых глобальных проблем, таких как распространение дезинформации.
Регуляторы США и ЕС в течение многих лет оказывали давление на платформы, чтобы они уменьшили использование дезинформации [18, 19]. В ответ платформы в первую очередь выделяют два типа вмешательств, которые они применяют: вмешательства по удалению, такие как удаление контента и блокировка учетных записей [20], и информационные вмешательства, такие как проверка фактов, маркировка контента и информационные панели [5]. Только небольшая часть дезинформации на платформах подлежит удалению, поэтому информационные вмешательства — это в первую очередь то, на что платформы указывают, чтобы продемонстрировать свою приверженность противодействию дезинформации.
Однако компании-платформеры не продемонстрировали, что информационное вмешательство эффективно снижает вероятность распространения дезинформации. Платформы могли бы провести и опубликовать внутренние исследования по этому вопросу, но они этого не сделали. Кроме того, платформы упустили из виду роль другого типа вмешательства в дезинформацию, который они регулярно используют: алгоритмическую деамплификацию, которая снижает охват контента за счет изменений в алгоритмах рекомендаций и ранжирования [21]. Постоянный поток заявлений об информационном вмешательстве, в отличие от скудного обсуждения деамплификации, привел некоторых наблюдателей к выводу, что информационные вмешательства, а не закулисные алгоритмические настройки, должны работать [22]. Но платформы не предоставили доказательств, подтверждающих этот вывод.
Не имея полной картины с платформ, независимые ученые разработали большой объем исследований для изучения последствий дезинформационного вмешательства (см. SI6 для нашего обзора 272 статей в этой области). Исследователи тщательно изучили информационные вмешательства, особенно исправления фактов, которые составляют 202 (75 процентов) статей в нашем обзоре литературы. Эти исследования обычно показывают, что информационные вмешательства вызывают умеренное улучшение точности убеждений пользователей и способности пользователей распознавать дезинформацию [23–25].
Но у этой предыдущей работы есть существенные ограничения. Без доступа к данным и системам платформы исследователи в основном ограничивались лабораторными методами, опросными экспериментами и самооценкой поведенческих намерений, а не прямым наблюдением за поведением пользователей. Эти методы могут иметь ограниченную внешнюю валидность, особенно при изучении поведенческих вмешательств [3], поскольку участники могут изменять свое поведение в лабораторных условиях [26] или неточно сообщать о своем поведении [27, 28]. Кроме того, не существует предшествующих причинно-следственных исследований алгоритмических вмешательств, таких как деамплификация, поскольку чрезвычайно сложно изучать последствия изменений в алгоритмических системах, которые являются сложными, гетерогенными и демонстрируют эмерджентное поведение, без прямого доступа к этим системам [29].
В этой работе мы представляем один из путей изучения того, как вмешательство платформы влияет на поведение пользователей и распространение проблемного контента. В партнерстве с крупной платформой мы разработали внешний действительный полевой эксперимент, проведя первое научное исследование того, как реальные вмешательства, применяемые в нормальной работе платформы, влияют на взаимодействие пользователей с дезинформацией.
Нашим партнером в исследовании была DuckDuckGo, компания, занимающаяся технологиями обеспечения конфиденциальности, чья поисковая система обслуживает почти 100 миллионов ежедневных запросов пользователей по всему миру. В предварительно зарегистрированном эксперименте, охватывающем шесть языков и десять стран, мы протестировали три типа вмешательств, которые широко используются на основных платформах: информационные панели, связанный новостной модуль, который усиливает достоверные новости, и алгоритмическое деамплификация дезинформации. Мы случайным образом внедрили эти вмешательства на более чем 463 000 страниц результатов поиска (SERP), где в результатах поиска появлялись ссылки на веб-сайты с дезинформацией, и, используя методы сохранения конфиденциальности, измерили взаимодействие пользователей с новостями, дезинформацией и ссылками, не связанными с новостями.
Ключевой вывод нашего предварительно зарегистрированного анализа заключается в том, что алгоритмическое вмешательство по деамплификации снизило взаимодействие с дезинформацией более чем на 50 процентов, в то время как информационные панели и связанный с ним новостной модуль оказали статистически незначительное влияние на взаимодействие с дезинформацией. Соответствующий модуль новостей, который отображал ссылки на новости в верхней части поисковой выдачи, тем не менее, успешно усиливал новости, что привело к 40-процентному увеличению взаимодействия с новостными ссылками.
Предыдущие полевые данные показывают, что ранжирование контента оказывает мощное влияние на выбор контента пользователями [30, 31], поэтому неудивительно, что уменьшение дезинформации может снизить вовлеченность в дезинформацию, а продвижение новостей может увеличить вовлеченность в новостях. Но в контексте предыдущих полевых исследований мер вмешательства, связанных с дезинформацией, в которых изучались информационные вмешательства и были обнаружены небольшие или незначительные поведенческие эффекты [32, 33], наши результаты являются сильным сигналом о том, что платформы, исследователи и регулирующие органы должны уделять больше внимания вмешательствам, которые усилить желаемый контент и ослабить проблемный контент.
Хотя наше сотрудничество с DuckDuckGo обеспечивает модель для будущих экспериментов, разрабатываемых совместно исследователями и платформами, этот подход не является масштабируемым, поскольку он опирается на личные связи исследователей с промышленностью и добрую волю компаний-разработчиков платформ. Поскольку регулирующие органы все чаще рассматривают возможность введения мандатов на доступ к данным исследователей для платформ, мы, основываясь на нашем опыте, настоятельно призываем, чтобы эти мандаты включали возможности для совместного проведения исследований. Исследователи (и другие надзорные группы, такие как журналисты и организации гражданского общества) должны иметь информацию о том, какие данные собираются, как они собираются и какие вмешательства оцениваются экспериментально.
Однако этот подход не лишен этических рисков. Полевые эксперименты, проводимые технологическими компаниями, несут в себе риск причинения вреда участникам, особенно когда эксперименты проверяют вмешательства, которые нарушают нормативные ожидания пользователей относительно их взаимодействия с платформой. Исследователи могут предпринять шаги для минимизации этих рисков, как это сделали мы, тестируя безопасные вмешательства, которые несут небольшой риск для пользователей, активно информируя пользователей об изменениях в практике работы платформы и уделяя приоритетное внимание конфиденциальности пользователей.
2. Поведенческие последствия дезинформации
Мы изучили, как три типа распространенных дезинформационных вмешательств, развернутых на страницах результатов поиска (SERP), повлияли на поведение пользователей. Участниками нашего исследования были пользователи поисковых систем, которые запрашивали информацию о российском вторжении в Украину — теме, по которой российские государственные СМИ широко документированы, публикуя дезинформацию [34]. Мы измеряли, выбирали ли пользователи результаты, типы выбранных ими результатов и участвовали ли пользователи в информационном вмешательстве. Полная методологическая информация включена в SI.
В соответствии с гарантиями конфиденциальности DuckDuckGo сбор данных был полностью анонимным. Мы не собирали никаких идентификаторов пользователей, условий поисковых запросов или каких-либо частей URL-адресов, содержащихся в результатах поиска. Чтобы измерить типы результатов, которые были показаны и выбраны пользователями, мы собрали классификационную метку для каждого результата, указывающую, был ли домен результатов новостным, дезинформационным или другим типом веб-сайта. Для целей исследования мы определили сайты дезинформации как российские государственные СМИ с хорошо задокументированным опытом публикации ложной информации, цензуры фактов и передачи редакционного контроля российскому правительству. Мы подробно описываем нашу классификацию и схему сбора данных в SI.
Мы предположили, что для каждого вмешательства мы будем наблюдать уменьшение выбора результатов с дезинформацией, увеличение выбора новостей и других результатов, а также увеличение доли результатов поиска, из которых пользователи уходили, не нажимая ни на один результат. Следуя нашему плану предварительной регистрации, мы использовали односторонние двухвыборочные z-тесты при α = 0,05 для проверки этих гипотез: левосторонние для результатов дезинформации и правосторонние для других результатов. Мы представляем описательную статистику и результаты проверки этих гипотез в таблице 1.
Таблица 1. Участники были случайным образом распределены на одну из девяти процедур или контрольное состояние. Мы сообщаем о количестве наблюдений, частоте, с которой пользователи выбирали каждый тип результатов, а также частоте, с которой пользователи покидали результаты поиска, не выбрав результат. Мы также сообщаем о частоте кликов пользователей по ссылкам во время вмешательств. В качестве меры размера эффекта мы указываем относительный риск по сравнению каждого лечения с контролем (с 95-процентным доверительным интервалом). Величина эффекта, выделенная жирным шрифтом, статистически значима при α = 0,05.
Таблица 1: Участники были случайным образом распределены на одну из девяти процедур или контрольное состояние. Мы сообщаем о количестве наблюдений, частоте, с которой пользователи выбирали каждый тип результатов, а также частоте, с которой пользователи покидали результаты поиска, не выбрав результат. Мы также сообщаем о частоте кликов пользователей по ссылкам во время вмешательств. В качестве меры размера эффекта мы указываем относительный риск по сравнению каждого лечения с контролем (с 95-процентным доверительным интервалом). Величина эффекта, выделенная жирным шрифтом, статистически значима при α = 0,05.
2.1. Деамплификация
В результатах поиска, присвоенных условию деамплификации, рейтинг каждого результата, классифицированного как веб-сайт с дезинформацией, был снижен на коэффициент, полученный из распределения. В условиях сильного уменьшения усиления мы извлекли этот коэффициент из нормального распределения с центром в 8 и стандартным отклонением 3. В условиях слабого уменьшения усиления распределение было сосредоточено в центре 6 со стандартным отклонением 2.
Сильная деамплификация более чем вдвое снизила скорость, с которой пользователи выбирали результаты дезинформации, с 5,84 процента в контрольном состоянии до 2,90 процента, коэффициент риска 0,497 ± 0,036. Этот эффект был статистически значимым (z = -20,265, p <0,001). Слабая деамплификация снизила отбор результатов дезинформации почти на 30 процентов (коэффициент риска 0,711 ± 0,042), эффект, который также был статистически значимым (z = -11,589, p <0,001). Оба метода деамплификации также оказали значительное влияние на выбор новостей и другие результаты, хотя относительные изменения в поведении невелики, поскольку базовые ставки намного выше. Устранение дезинформации не привело к существенному увеличению вероятности того, что пользователи покинут поисковую выдачу, не выбрав результат.
Рисунок 1. Участники имели сильную тенденцию выбирать результаты с высоким рейтингом. Эта тенденция была более выражена в отношении результатов дезинформации. Мы рассчитали отношение шансов, используя модель логистической регрессии (p <0,001 для всех результатов).
Рейтинг и поведение кликов
Во всех типах результатов участники имели сильную тенденцию выбирать результаты с наивысшим рейтингом, выбирая один из трех лучших результатов в 62 процентах случаев (рис. 1). В среднем понижение ранга результата на единицу снижало вероятность клика по нему на 22 процента (модель логистической регрессии, p < 0,001). Распределение кликов по результатам по рангу тесно связано с предыдущими данными полей поисковых систем [30, 31].
Участники с большей вероятностью нажимали на дезинформацию, когда она появлялась на высоких позициях, чем нажимали на новости или другие типы результатов на высоких позициях (рис. 1). Мы предполагаем, что поисковики могли найти результаты дезинформации весьма соответствующими их запросам, поскольку исследование включало только запросы, по которым пользователь искал информацию о России и/или Украине (см. SI1). Для этих поисков вполне логично, что сайты российских государственных СМИ будут иметь весьма релевантный контент.
Понижение ранга результата дезинформации на единицу привело к снижению вероятности клика на 26 процентов (модель логистической регрессии, p < 0,001) — большее снижение, чем мы наблюдали для новостей (21 процент) или других типов результатов (22 процента). Эта тенденция сохранялась — и на самом деле была более выраженной — когда мы исключили результаты поиска, в которых вмешательство по деамплификации изменило ранги результатов (см. SI5).
2.2. Информационные панели
Первым типом информационного вмешательства, которое мы протестировали, была информационная панель: модуль на уровне страницы, отображающий сообщение и ссылку перенаправления на авторитетный источник информации. Поисковые системы и платформы социальных сетей широко используют информационные панели в качестве меры дезинформации [35–37]. Сообщения в рамках этих мероприятий обычно направлены на упреждающее опровержение или «предварительное разоблачение» дезинформации путем предоставления фактической информации, противодействующей дезинформации, и/или советов по грамотности, объясняющих, как противостоять дезинформации [38]. Исследователи, проводившие опросные эксперименты для тестирования информационных панелей, подобных тем, которые используются платформами, обнаружили положительное, но очень незначительное влияние на способность участников распознавать дезинформацию [39, 40].
Рисунок 2: Мы показываем основную версию вмешательства панели гуманитарной информации в том виде, в каком она отображается на рабочем столе.
Каждое разработанное нами вмешательство в информационную панель отображало сообщение, цитируемое из статьи Википедии «Вторжение России в Украину в 2022 году» и ссылку на эту статью (см. SI1). Мы выбрали Википедию в качестве источника сообщений и места назначения перенаправления, поскольку она является надежным и авторитетным источником информации по широкому кругу тем [41], а основные платформы регулярно развертывают функции обеспечения целостности информации на основе контента Википедии [42–44]. Мы создали три версии информационной панели, каждая с разными сообщениями (см. SI3). Для каждого сообщения мы создали основную версию, которая отображается над обычными результатами (рис. 2), и версию боковой панели, которая отображается справа от органических результатов (рис. S1, в SI1), в общей сложности для шести условий информационной панели.
Prebunking
Два из выбранных нами сообщений были направлены на упреждающее опровержение российских дезинформационных нарративов. Российские лидеры и средства массовой информации постоянно подкрепляют ложные утверждения о том, что Россия не вторгалась и не нападала на Украину и что цель России в Украине — защитить людей, живущих там [45]. Обе наши экспертные группы утверждают, что Россия действительно вторглась в Украину; Группа по осуждению ссылается на Организацию Объединенных Наций и Международный Суд, призывающие к выводу российских войск, а гуманитарная группа описывает тяжелые потери в результате вторжения среди гражданского населения Украины.
Мы не зафиксировали существенного снижения отбора результатов дезинформации, вызванного какой-либо комиссией по предварительному разоблачению, а также не наблюдали значительного увеличения отбора результатов новостей. Мы также обнаружили, что пользователи редко нажимали на ссылки на панелях предварительной разбивки (от 0,06 до 0,27 процента времени).
Рисунок 3. Мы показываем вмешательство соответствующего модуля новостей в том виде, в котором оно отображается на рабочем столе.
Предупреждение
На третьей информационной панели появилось предупреждающее сообщение о том, что репортажи российских СМИ об Украине подвергаются жесткой цензуре. Мы выбрали это сообщение, чтобы создать вмешательство, имитирующее общее предупреждение о дезинформации, которое представляет собой тип информационного вмешательства, которое предупреждает пользователя о потенциальном риске дезинформации [46] (а не опровергает или подрывает конкретную дезинформацию, как это делает предварительное сообщение). . В предыдущей работе предупреждения о дезинформации на уровне контента показали незначительное или незначительное влияние на убеждения и поведенческие намерения пользователей [47, 48], как и общие предупреждения [46]. Однако межстраничные предупреждения на уровне контента показали большие и значительные эффекты [49], как и контекстные предупреждения на уровне контента, которые также включают описательное сообщение о норме [50].
Мы обнаружили, что панели с предупреждениями значительно повышают вероятность того, что пользователи выберут результаты новостей (z = 3,296, p = 0,0005 для боковой панели; z = 3,0102, p = 0,0013 для основной панели). Однако относительное изменение составило менее половины процента для обеих версий панели предупреждений. Как и в случае с панелями предварительной блокировки, пользователи редко нажимали на ссылки перенаправления на панелях предупреждений (от 0,06 до 0,23 процента случаев).
Модуль связанных новостей
Нашим последним вмешательством стал связанный модуль новостей, в котором отображался ряд заголовков и ссылок на новости, соответствующие запросу пользователя. Facebook развернул модуль «Похожие статьи» в качестве средства борьбы с дезинформацией [51], а Google аналогичным образом включил новостные карусели в поисковую выдачу в качестве средства вмешательства в дезинформацию [52]. Лабораторное исследование показало, что в контексте социальных сетей соответствующий новостной модуль значительно повышает точность убеждений пользователей [53], но ни одно из предыдущих исследований не изучало поведенческие эффекты связанных новостных модулей, развернутых в полевых условиях.
В нашем исследовании соответствующий модуль новостей отображал карусель заголовков и ссылок на новости, соответствующие поисковому запросу пользователя (рис. 3). Соответствующий модуль новостей уменьшил выбор результатов дезинформации по сравнению с контролем, но это снижение не было статистически значимым после поправки на множественные сравнения.
Участники активно работали с соответствующим новостным модулем, что привело к 40-процентному увеличению количества кликов по новостным ссылкам в поисковой выдаче. Из-за ошибки реализации мы не собирали данные о кликах для модуля новостей в течение первых четырех недель исследования, поэтому мы условили недостающие данные и провели серию проверок на надежность, чтобы проверить наш метод вменения (см. SI5).
3. Обсуждение
Информационные вмешательства показали многообещающие результаты в предыдущих работах, но мы показываем доказательства того, что они могут быть неэффективными в реальных условиях. Там, где лабораторные исследования информационных вмешательств сообщали о значительном снижении намерения участников делиться дезинформацией, мы не обнаружили снижения реальной вовлеченности участников в распространение дезинформации. Это несоответствие подчеркивает необходимость более экологически обоснованных полевых исследований поведенческих эффектов информационного вмешательства.
Алгоритмические вмешательства по деамплификации значительно недостаточно изучены, но, судя по нашим данным, они, вероятно, очень эффективны для снижения вовлеченности в дезинформацию в реальных условиях. Чтобы подвергнуть сомнению это утверждение, исследователям нужна более точная информация о том, как снижение чувствительности различных категорий контента влияет на вовлеченность пользователей.
Платформы должны публиковать подробные стандарты, определяющие, какие категории контента они будут деамплифицировать, а также степень деамплификации, которую они будут применять. Платформы уже публикуют стандарты, объясняющие, какой контент они удаляют; мы предлагаем распространить этот подход на деамплификацию. Опубликованные стандарты деамплификации контента позволят исследователям проводить крупномасштабные наблюдения за охватом контента и вовлеченностью. Этим исследованиям в настоящее время препятствует непрозрачность алгоритмов платформы, поскольку исследователи не могут различить различные факторы, которые способствуют охвату контента.
Однако крупномасштабного наблюдения может оказаться недостаточно для обоснования отдельных причинно-следственных связей. Таким образом, мы также рекомендуем платформам совместно с исследователями разрабатывать исследования, чтобы исследователи могли изучать конкретные интересующие их причинные эффекты. В ЕС Закон о цифровых услугах вскоре потребует, чтобы платформы предоставляли независимым исследователям доступ к данным для проведения исследований, но если исследователи не смогут участвовать в разработке исследований и процедурах сбора данных, собирать причинно-следственные доказательства все равно будет сложно. Платформы ранее ссылались на проблемы конфиденциальности, чтобы объяснить, почему они не предоставляют исследователям исключительный доступ к системам или пользовательским данным, но наше исследование показывает, что тщательный дизайн исследования может смягчить эти проблемы, поскольку мы смогли собрать причинно-следственные доказательства, полностью сохраняя приватность и анонимность пользователей. , как мы обсудим ниже.
3.1. Этика и конфиденциальность
Этика интернет-исследований — это развивающаяся область, в которой все еще появляются лучшие практики [54]. Что касается нашего исследования, существует история этических проблем, возникающих в результате полевых экспериментов, проводимых технологическими компаниями без положительного согласия участников [55, 56]. Основная проблема, которая была поднята, заключается в том, что такие исследования создают повышенный риск причинения вреда участникам [57]. Есть две причины для такого беспокойства. Во-первых, исследования, проводимые частными компаниями, не обязаны подвергаться независимой проверке на предмет рисков для людей (например, Институциональным наблюдательным советом), поэтому исследователям можно предоставить право решать, перевешивают ли преимущества исследования риски [ 58]. Во-вторых, нормативные ожидания пользователей относительно их взаимодействия с онлайн-сервисом могут быть нарушены, если эксперимент включает в себя изменения в обычной практике сервиса, а пользователи не уведомляются [59].
При разработке нашего исследования мы предприняли усилия для решения обеих этих проблем. Для начала мы внедрили меры с низким риском причинения вреда пользователям. Наши меры направлены на улучшение качества информации и основаны на мерах, обычно применяемых онлайн-платформами, поэтому они одновременно безобидны и рутинны. Мы получили разрешение на проведение этого исследования на людях от Принстонского IRB. Кроме того, перед запуском эксперимента DuckDuckGo заранее раскрыла новое вмешательство, созданное для исследования, и свою политику его проведения. Это раскрытие было опубликовано простым языком на страницах справки DuckDuckGo [60].
Мы также разработали исследование с надежной защитой конфиденциальности в соответствии с обещанием DuckDuckGo своим пользователям о том, что «когда вы пользуетесь нашими услугами, у нас нет возможности создавать историю ваших поисковых запросов или сайтов, которые вы просматриваете» [61]. Мы не собирали никаких идентификаторов, даже псевдонимных идентификаторов, таких как IP-адреса. Мы не собирали условия запроса, которые могли бы раскрыть информацию о пользователе. Признавая уникальность поведения при просмотре веб-страниц [62], мы не собирали какие-либо части URL-адресов, содержащихся в отображаемых результатах поиска, а также не собирали какие-либо части URL-адресов результатов поиска, которые выбрали пользователи.
3.2. Ограничения
Из-за защиты конфиденциальности нашего исследования мы не назначали лечение каждому участнику или не измеряли повторные наблюдения одного и того же участника. Кроме того, мы не собирали информацию, позволяющую нам определить, выбирал ли пользователь несколько результатов в одной и той же поисковой выдаче (например, открывая каждый результат на новой вкладке) или несколько раз нажимал ссылки в одном и том же вмешательстве.
Дополнительная информация. Файлы, указанные ниже, доступны для загрузки по адресу https://github.com/citp/misinformation-intervention-study-SI .
СИ1. Исследуемая популяция
Мы собрали анонимные данные о событиях по 463 024 поисковым запросам, предоставленным пользователям DuckDuckGo в браузерах настольных компьютеров и мобильных устройств за двенадцать недель с 18 января 2023 г. по 14 апреля 2023 г. Для включения в исследование поисковая выдача должна была соответствовать четырем критериям:
- Условия поискового запроса содержали как минимум одно ключевое слово, связанное с российско-украинским конфликтом (см. ниже).
- Языком поиска был английский, русский, немецкий, испанский, португальский или итальянский.
- DuckDuckGo определил запрос как ненавигационный, то есть запрос не включал ключевые слова, указывающие на то, что целью пользователя было попасть на определенный веб-сайт [63].
- Результаты поиска содержали как минимум один результат, ссылающийся на веб-сайт с дезинформацией (см. ниже).
Веб-сайты с дезинформацией
Мы разработали наше исследование с акцентом на российскую пропаганду об Украине. Россия провела обширные информационные операции в рамках своих военных действий против Украины, а государственные СМИ стали ключевым каналом распространения государственной пропаганды [34]. При создании списка российских государственных медиа-сайтов, которые можно отнести к дезинформационным для данного исследования, мы придерживались политики рейтингов новостей DuckDuckGo [60], которая описывает, как DuckDuckGo использует независимые, неполитические оценки журналистских стандартов для формирования рейтинга новостей. связанные результаты поиска. В политике говорится, что DuckDuckGo должен видеть «по крайней мере три… неправительственные и неполитические организации, которые специализируются на объективной оценке журналистских стандартов… независимо оценить сайт как имеющий чрезвычайно низкие журналистские стандарты, а также следить за тем, чтобы ни одна из этих организаций оценили тот же сайт как имеющий даже несколько высокие журналистские стандарты». Мы выявили одиннадцать веб-сайтов, которые соответствовали этим критериям, а также были признаны независимыми экспертами как находящиеся под редакционным контролем правительства России. Сайты: rt.com, sputniknews.com, news-front.info, Strategic-cultural.org, usareally.com, Journal-neo.org, katehon.com, pravda.ru, pravdareport.com, snanews.de, и сайт Southfront.org.
Критерии включения запроса
Мы разработали набор терминов запроса для идентификации поисковых запросов, связанных с вторжением России в Украину. Мы начали с первоначального списка терминов, взятого у Чена и Феррары [64]. Для каждого англоязычного термина в их наборе данных мы выбрали 300 поисковых запросов (или столько поисковых запросов, сколько было доступно) в период с апреля 2022 года по август 2022 года и вручную пометили каждый поиск как релевантный или нерелевантный хотя бы для одной из следующих тем:
- Вторжение в Украину
- Российская или украинская политика, экономика, история, военная информация, текущие события, известные люди, достопримечательности, основные факты или география.
- Глобальная политика и события, связанные с вторжением в Украину
- Любое новостное освещение России или Украины, а также российских или украинских СМИ.
Мы отбросили все термины запроса, релевантность которых составляет менее 85 процентов, оставив 15 терминов. Затем мы провели цикл выборки «снежный ком», чтобы выявить дополнительные термины запроса, которые часто использовались вместе с первоначальными терминами. Мы оценили эти дополнительные термины запроса, используя тот же метод, что и для исходного списка, в результате чего было получено 6 дополнительных терминов. Наконец, мы перевели термины на каждый из языков, поддерживаемых нашим исследованием. Условия запроса:
- Украина, Украина, Украина, украина, украины, Украина
- россия, россия, россия, россия, россия, россия, россия
- путин, путин, путин
- советский, sovíetique, sovíetico, sowjetisch, советский, советский
- кремль, кремль, кремль
- минск, минск
- украинский, украинский, украинский, украинский, украинский, украинец, украинец
- НАТО, ОТАН, НАТО
- Луганск, Луганск, Луганск, Луганск
- донецк, донецк, донецк
- донбасс, донбасс, донбас, домбас, донбасс
- киев, киев, киев, киев, киев
- москва, москва, москва, москва, москва, москва
- зеленский, зеленский, зеленский, зеленский
- КГБ, КГБ
- крым, крымье, крым, крым, крым
- харьков, харьков, жарков, харьков, карко́виа, харьков
- беларусь, биелоруссия, белоруссия, вейруссия, белоруссия, беларусь
- новая каховка, новая каховка, новая каховка, новая каховка, нова
- каховка, новая каховка, новая каховка
- Херсон, Керсон, Херсон, Херсон,
- дума, дума, дума
СИ2. Сбор данных
Наше исследование запускалось каждый раз, когда пользователь DuckDuckGo загружал поисковую выдачу, соответствующую нашим критериям включения (см. SI1). При каждой загрузке поисковой выдачи мы собирали данные, описывающие, к какому условию случайным образом была присвоена поисковая выдача, был ли это повторный запрос.
или отскок, страна или штат США, в котором находится IP-адрес пользователя, язык поиска пользователя и дата. Для каждого отображаемого результата поиска и для каждого результата, загруженного как часть внутреннего запроса, но не отображаемого, мы классифицировали его на стороне клиента как дезинформацию, новости,
СИ3. Информационные панели
Сообщения на английском языке для каждой информационной панели были следующими:
- Гуманитарный вопрос : «24 февраля 2022 года Россия вторглась в Украину… и вызвала крупнейший в Европе кризис беженцев со времен Второй мировой войны: к концу мая около 8 миллионов человек были перемещены внутри страны, а 7,7 миллиона украинцев покинули страну».
- Осуждение : «24 февраля 2022 года Россия вторглась в Украину… Генеральная Ассамблея ООН приняла резолюцию, осуждающую вторжение и требующую полного вывода российских войск. Международный суд обязал Россию приостановить военные действия».
- Предупреждение : «24 февраля 2022 года Россия вторглась в Украину… Протесты произошли по всему миру; тех, кто находился в России, встретили массовыми арестами и усилением цензуры СМИ, включая запрет на слова «война» и «вторжение».
Научные сотрудники, владевшие каждым из языков, включенных в исследование, помогли нам найти сопоставимые цитаты из иностранных языков Википедии.
Рис. 4. Панель предупреждающей информации, боковая панель.
СИ4. Новостные сайты
Основная цель нашего исследования заключалась в том, чтобы определить, снизило ли вмешательство пользователей вероятность выбора российских государственных СМИ (РСАМ) и повысило вероятность выбора других, заслуживающих доверия результатов новостей. Мы создали списки RSAM и надежных новостных веб-сайтов для классификации результатов поиска на стороне клиента. Список веб-сайтов RSAM включен в SI1. Для набора данных новостных сайтов мы выбрали три источника:
- ABYZNewsLinks.com, каталог ссылок на онлайн-источники новостей со всего мира. Мы собрали 36 241 новостную ссылку с помощью автоматического парсера.
- Список газет по странам в Википедии, краудсорсинговый набор данных новостных агентств со всего мира, включающий веб-сайты для многих статей. Мы собрали 7234 новостных ссылки, вручную просматривая записи Википедии.
- DMOZ, также называемый каталогом Mozilla, представляет собой каталог веб-ссылок, поддерживаемый сообществом редакторов-добровольцев. DMOZ не обновлялся с 2017 года, но конечный каталог все еще доступен. Мы собрали 35 302 домена, загрузив дамп данных и отфильтровав домены с пометками «Новости», «Новости и медиа» или «Газета».
Мы определили несколько других наборов данных и решили не использовать их. Curlie (преемник DMOZ) не предоставляет дамп данных и не разрешает автоматический сбор данных. World-Newspapers.com, AllMediaLink.com и AllYouCanRead.com имели значительно меньше ссылок на страну, чем ABYZNewsLinks.com, который мы решили использовать вместо этого. Сайт Worldpress.org не был надежно доступен в период сбора данных. Списки новостных веб-сайтов на BBC.com не индексировались таким образом, чтобы их можно было легко просмотреть для сбора данных.
Из 78 777 ссылок мы провели фильтрацию и ранжирование следующим образом:
- Живость и перенаправление : мы отправили GET-запрос на каждую ссылку. Если мы не получили ответ или получили код ответа с ошибкой, мы удалили ссылку. Если мы получили ответ, мы сохранили исходную ссылку и URL-адрес ответа.
- Нормализация : мы нормализовали каждый URL-адрес по имени домена, удалив путь и субдомен, если только домен не был платформой публикации, такой как wordpress.com или substack.com, и в этом случае мы сохранили субдомен. В результате у нас осталось 58 254 домена.
- Рейтинг : мы оценили популярность каждого домена с помощью Tranco — набора ранжирующих данных, который широко используется в академических исследованиях и содержит более 7,5 миллионов доменов.
- Классификация и проверка : чтобы оценить качество набора данных, мы проанализировали 10 000 лучших доменов с помощью WebShrinker, службы классификации доменов. WebShrinker классифицировал 5731 (57,3 процента) доменов как новости. Мы случайным образом выбрали 500 из этих доменов, чтобы вручную подтвердить классификацию, и обнаружили только 7 ложноположительных результатов, которые оставили в наборе данных. Мы вручную проверили все 4269 неновостных классификаций и обнаружили 1437 ложноотрицательных результатов. Мы добавили эти ложноотрицательные сообщения в секретные новостные домены. Это составляет наш высоконадежный набор новостных данных, занимающий первые места в рейтинге, включающий 7168 доменов.
- Качественная фильтрация : мы удалили 28 доменов, которые квалифицируются как источники новостей крайне низкого качества в соответствии с политикой рейтинга новостей DuckDuckGo, в результате чего у нас осталось 7140 доменов.
- Разделение : мы выбрали 1000 самых популярных доменов в качестве набора данных Top 1k, а остальные 6140 стали нашим набором данных Top 1–7k. Из оставшихся 38 254 доменов в нашем исходном наборе данных 17 261 фигурируют в списке Tranco, так что это наш набор данных «длинного хвоста».
СИ5. Анализ
Проверка гипотез _
Мы предоставляем полные результаты наших проверок гипотез в прикрепленном файле (full_results.csv). В соответствующей литературе обычно используются два показателя величины эффекта: стандартизированные средние различия (также называемые d Коэна или h Коэна) и коэффициенты риска. Мы решили представить коэффициенты риска в качестве основного показателя величины эффекта. Коэффициенты риска отражают относительное изменение в поведении участников для событий с низкой базовой ставкой, таких как нажатие на результаты дезинформации, а также для событий с высокой базовой ставкой, таких как нажатие на результаты новостей. Чтобы обеспечить сравнение с предыдущей работой, мы также включаем h Коэна для каждой проверки гипотезы.
Страны
При развертывании исследования мы не устанавливали никаких географических фильтров, хотя языковые фильтры были установлены. Исследование сработало только на страницах поисковой выдачи, где языком пользователя был установлен английский, русский, немецкий, испанский, португальский или итальянский, и это повлияло на распределение стран, в которых мы проводили наблюдения.
В прикрепленных файлах мы представляем результаты с разбивкой по каждой из десяти ведущих стран по количеству наблюдений: США, Великобритании, Канаде, Германии, Австралии, России, Швейцарии, Нидерландам, Франции и Украине. Для семи из десяти стран, занимающих лидирующие позиции, наш общий результат остается неизменным: сильное понижение рейтинга оказало существенное понижающее воздействие на выборку результатов, содержащих дезинформацию. Для трех стран — Австралии, Франции и Украины — эффект был незначительным.
Мы также представляем результаты с разбивкой по штатам США для десяти крупнейших штатов по количеству наблюдений: Калифорния, Техас, Флорида, Нью-Йорк, Иллинойс, Вирджиния, Вашингтон, Пенсильвания, Огайо и Джорджия. Для восьми из десяти ведущих штатов наш общий результат остается верным: сильное понижение рейтинга оказало существенное понижающее влияние на выборку результатов, содержащих дезинформацию. Для двух штатов — Вашингтона и Пенсильвании — эффект был незначительным.
Рисунок 5. В результатах поиска, где не применялась деамплификация, участники по-прежнему имели сильную тенденцию выбирать результаты с высоким рейтингом. Эта тенденция была более выражена в отношении результатов дезинформации. Мы рассчитали отношение шансов, используя модель логистической регрессии (p <0,001 для всех результатов).
Время
Мы собирали данные за двенадцать недель: с 18 января 2023 г. по 12 апреля 2023 г. В прикрепленных файлах мы представляем результаты с разбивкой по неделям. Есть тринадцать файлов; первый (weekly_results_2023_01-18.csv) содержит данные за пять дней, а последний (weekly_results_2023_04-10.csv) содержит данные за три дня; все остальные файлы содержат данные за семь дней.
Наш главный результат справедлив для каждой недели данных: сильное понижение рейтинга оказало значительное понижающее влияние на выборку результатов с дезинформацией.
Вмененные данные о взаимодействии с модулем новостей
Из-за ошибки реализации мы не фиксировали клики по ссылкам в соответствующем модуле новостей примерно в течение первого месяца исследования (с начала сбора данных 18 января 2023 г. по 20 февраля 2023 г.). Эти недостающие данные видны в разбивке на уровне страны, штата и недели, представленной выше. Для ключевых результатов, представленных в основной части статьи, и полных результатов, представленных выше, мы вменили недостающие данные, используя следующий метод. Для каждого дня, когда мы собирали данные о кликах для соответствующего модуля новостей, мы рассчитывали частоту кликов как количество кликов, разделенное на количество страниц результатов поиска, где был показан модуль новостей. Для каждого дня, когда мы не собирали данные о кликах для соответствующего модуля новостей, мы случайным образом выбирали показатель кликов из распределения, полученного выше, и использовали этот показатель для подсчета количества кликов. Это вменение не влияет ни на одну из наших проверок гипотез, поскольку мы не проверяли гипотезы об участии в мероприятиях.
Рейтинг и поведение кликов
На рисунке 1 показано распределение кликов по рангу для каждого типа результатов. Рисунок S5 повторяет этот анализ, за исключением поисковой выдачи, где вмешательство по деамплификации изменило ранг результатов. Сюда были исключены 26 074 страницы результатов поиска (9,3 процента наших наблюдений). Общие тенденции сохраняются: участники имели сильную тенденцию выбирать результаты с высоким рейтингом и с большей вероятностью нажимали на дезинформацию, когда она появлялась на высоких позициях, чем нажимали на новости или другие типы результатов на высоких позициях. Что касается результатов дезинформации, снижение шансов кликов, соответствующее снижению на один ранг, было еще больше при исключении результатов поиска, в которых применялась деамплификация: 32 процента здесь по сравнению с 26 процентами, когда были включены результаты поиска, затронутые деамплификацией.
СИ6. Ситуация с дезинформационными вмешательствами
Ниже мы рассмотрим типы дезинформационных вмешательств, которые использовали платформы, и соответствующие научные исследования. При описании вмешательств по дезинформации, реализуемых платформами, мы опираемся на три базы данных объявлений платформ, содержащих в общей сложности 417 объявлений о вмешательствах [5, 65, 66], а также наши собственные знания о практиках платформ. Для освещения научных исследований мы опираемся на опрос Courchesne et al. из 223 статей, представляющих причинно-следственные данные о последствиях дезинформационных вмешательств [4]. Мы расширили этот корпус, собрав еще 46 статей. Мы провели поиск в Google Scholar, SSRN, arXiv.org, OSF Preprints и PubMed статей, содержащих ключевые слова «дезинформация», «дезинформация», «заговор», «пропаганда», «фейковые новости» или «информационные операции» вместе с любым из них. ключевое слово «вмешательство» или «контрмера». Для каждой базы данных и каждой пары ключевых слов мы читаем названия и аннотации 100 лучших результатов и избранных статей, соответствующих вышеуказанным критериям. Что касается обзорных статей и статей метаанализа, мы также изучили библиографии для получения дополнительных статей для нашего корпуса. Мы закодировали полный корпус из 272 статей в соответствии с типом проводимого лечения и измеряемыми результатами (или зависимыми переменными), включая перекодирование исходного корпуса. Закодированный набор статей представлен в файле Lit-Review-final.xlsx. Мы провели этот обзор литературы в феврале 2023 года.
Ниже мы освещаем реальное использование и ключевые результаты исследований, связанные с информативными и сокращающими вмешательствами.
Информационные вмешательства
Информационные вмешательства предоставляют пользователям информацию, такую как проверка фактов в новостях, метка, указывающая, что учетная запись в социальной сети принадлежит государственной медиа-организации, или уведомление с советами по выявлению дезинформации. Информационные вмешательства на уровне контента представляют информацию в контексте определенной части контента, учетной записи, страницы или группы, тогда как вмешательства на уровне страницы предоставляют общее сообщение, обычно в верхней части ленты или страницы результатов поиска.
Проверка фактов
Платформы широко используют проверку фактов в качестве средства вмешательства в информационную дезинформацию на уровне контента [67–69]. 75 процентов (207 из 272) всех статей в нашем обзоре литературы посвящены методам проверки фактов. Важно отметить, что только 15 процентов этих статей (11 процентов от общего объема) изучают метки проверки фактов, которые мы определяем как краткие сообщения проверки фактов, представленные непосредственно рядом с проверяемым фактом контентом.
В остальных статьях изучаются фактические исправления, представленные другими способами (например, в виде чтения, которое участникам предлагается заполнить [70] или в виде комментария пользователя к смоделированному посту в социальных сетях [71]). Результаты неоднозначны, но большинство статей показывают, что проверка фактов значительно снижает веру в дезинформацию, при этом метаанализ 30 исследований выявил средний эффект d = 0,29 [24], что считается эффектом от малого до среднего. Ключевые исследования также обнаружили значительное влияние на поведенческие намерения: одно исследование меток проверки фактов на смоделированных сообщениях в Facebook показало, что метки снижали намерение пользователей делиться ложными сообщениями почти вдвое (46 процентов, абсолютное снижение на 13,7 процентных пункта) [72]. .
Исходная информация и рейтинговые метки
Платформы используют различные ярлыки, раскрывающие информацию об источниках информации, например, ярлыки государственных СМИ [73, 74], информационные ярлыки издателей [75, 76] и индикаторы достоверности источников [76]. Маркировки исходной информации, используемые технологическими компаниями, в том числе в ходе полевого исследования [77], они не обнаружили, что эти метки уменьшают неправильное восприятие пользователей [77, 78] или заставляют пользователей потреблять больше новостей из заслуживающих доверия источников [77]. Однако в лабораторных исследованиях этикетки, разработанные исследователями, продемонстрировали значительное влияние на поведение пользователей [79] и убеждения [78, 79].
Модули статей по теме
Модули связанных статей представляют ссылки на статьи из надежных источников, обычно связанные с частью контента или поисковым запросом пользователя. Facebook ранее прикреплял модули связанных статей к сообщениям, содержащим дезинформацию [51], в то время как Google развертывает новостные карусели на уровне страниц в рамках своих усилий по противодействию дезинформации [52]. В двух статьях из нашего корпуса изучались модули связанных статей, и были получены неоднозначные результаты: одно исследование не выявило влияния на убеждения пользователей [80], тогда как другое исследование показало, что неправильное восприятие пользователей можно исправить на целых полбалла по семибалльной шкале. значительный, но небольшой эффект [53].
Информационные центры
Платформы регулярно развертывают информационные центры, которые отображают сообщения и ссылки на авторитетную информацию. Например, во время пандемии COVID-19 большинство крупных социальных сетей и поисковых платформ добавили в свои каналы и страницы результатов поиска информационные центры с информацией об общественном здравоохранении и ссылками на CDC, ВОЗ или другие организации здравоохранения [36, 65, 81– 85]. Платформы также развернули информационные центры как автономные ресурсы, к которым они затем подключаются в результате вмешательств на уровне страниц или контента [67, 86]. Насколько нам известно, ни одно предшествующее исследование не изучало причинные последствия вмешательства в информационные центры.
Советы и предупреждения по грамотности
Платформы также используют советы по грамотности в качестве мер вмешательства на уровне страниц [87]. Лабораторные исследования мер по повышению грамотности на уровне страниц дали неоднозначные результаты, включая обнаружение незначительного влияния на веру пользователей в дезинформацию [40] и значительных эффектов, которые варьируются от очень малых (B = -0,08, n = 2, 994) [46] до более существенного (B = −0,196, n = 4, 907) [39]. Полевое исследование показало, что пользователи YouTube, проводившие меры по повышению грамотности, а затем показывали заголовок с дезинформацией, немного лучше определяли, какую тактику дезинформации использовал заголовок, но размер эффекта был очень небольшим (h = 0,09, n = 22 632) [88] . Это исследование не выявило существенного влияния на поведенческие намерения пользователей [39, 46]. Некоторые из этих исследований ссылаются на недостаток внимания пользователя как на объяснение небольшого размера эффекта [39, 40]. Мы отмечаем, что по той же самой логике небольшие размеры эффекта, продемонстрированные в лабораториях, могут быть завышены по сравнению с реальными эффектами, поскольку пользователи, вероятно, уделяют больше внимания вмешательствам в лабораторных условиях, где им было поручено прочитать информацию о вмешательствах, в отличие от реальных вмешательств. платформы, где таких инструкций нет.
Вмешательства по снижению
Платформы используют меры по сокращению, чтобы ограничить распространение проблемного контента без его полного удаления. Сокращение часто принимает форму предотвращения или контроля над появлением контента в алгоритмических рекомендациях, рекламных функциях или результатах поиска. Платформы также иногда не позволяют пользователям взаимодействовать с проблемным контентом или «переделывать его», что также снижает охват контента [89].
Платформы поделились малой информацией о частоте и эффективности своих мер по сокращению [21]. Спорадические раскрытия информации и утечка документов с платформ указывают на то, что сокращение оказывает сильное влияние на вовлеченность пользователей [90–92], но комплексных и строгих исследований этих эффектов не проводилось. Наш обзор литературы не обнаружил каких-либо экспериментальных исследований, оценивающих эффекты мер по снижению.
© 2023, Бенджамин Кайзер и Джонатан Майер.
Цитируйте как: Бенджамин Кайзер и Джонатан Майер, Это алгоритм: крупномасштабное сравнительное полевое исследование вмешательств по дезинформации , 23-10 Knight First Amend. Инст. 23 октября 2023 г., https://knightcolumbia.org/content/its-the-algorithm-a-large-scale-comparative-field-study-of-misinformation-interventions [ https://perma.cc/G3LP- ХСТ ].
Рекомендации
[1] Клоник, К.: Новые губернаторы: люди, правила и процессы, регулирующие речь в Интернете. Харв. Л. Отк. 131, 1598 г. (2017). Доступно в SSRN: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2937985 .
[2] Амазин, М.А., Беневенуто, Ф., Брашир, Н.М., Бонд, Р.М., Бозарт, Л.К., Будак, К., Экер, Великобритания, Фацио, Л.К., Феррара, Э., Фланагин, А.Дж., Фламмини, А. , Фрилон, Д., Гринберг, Н., Хертвиг, Р., Джеймисон, К.Х., Джозеф, К., Джонс, Дж.Дж., Гаррет, Р.К., Крайсс, Д., МакГрегор, С., Мак-Нили, Дж., Марголин Д., Марвик А., Менцер Ф., Мецгер М.Дж., Нах С., Левандовски С., Лоренц-Спрен П., Ортелладо П., Паскетто И., Пенникук, Г., Портер Э., Рэнд Д.Г., Робертсон Р., Свайр-Томпсон Б., Триподи Ф., Восуги С., Варго К., Варол О., Уикс, Б.Е., Уихби, Дж., Вуд Т.Дж., Янг К.-К.: Борьба с дезинформацией: что исследователи могут сделать с данными социальных сетей. Обзор дезинформации Гарвардской школы Кеннеди, 1 (8) (2020 г.). https://doi.org/10.37016/mr-2020-49
[3] ДеллаВигна, С., Линос, Э.: РКИ для масштабирования: комплексные данные из двух подразделений подталкивания. Эконометрика 90(1), 81–116 (2022). https://doi.org/10.3982/ECTA18709
[4] Куршен Л., Ильхардт Дж., Шапиро Дж. Н.: Обзор социальных научных исследований о влиянии контрмер против операций влияния. Обзор дезинформации Гарвардской школы Кеннеди (2021 г.). https://doi.org/10.37016/mr-2020-79
[5] Ядав, К.: Вмешательства на платформах: как счетчики социальных сетей влияют на операции. Технический отчет https://carnegieendowment.org/2021/01/25/platform-interventions-how-social-media-counters-influence-operations-pub-83698 (2021 г.)
[6] Барретт, премьер-министр: Распространение большой лжи: как сайты социальных сетей усилили ложные заявления о фальсификации выборов в США. Технический отчет на https://bhr.stern.nyu.edu/tech-big-lie (2022 г.)
[7] Пол К.: Поток российской дезинформации ставит технологические компании в затруднительное положение. Хранитель (2022). https://www.theguardian.com/media/2022/feb/28/facebook-twitter-ukraine-russia-misinformation
[8] Гоэл В., Радж С., Равичандран П.: Как WhatsApp приводит мафию к убийствам в Индии. Нью-Йорк Таймс (2018). https://www.nytimes.com/interactive/2018/07/18/technology/whatsapp-india-killings.html
[9] Мозур, П.: Геноцид, разжигаемый в Facebook, с помощью сообщений военных Мьянмы. Нью-Йорк Таймс (2018). https://www.nytimes.com/2018/10/15/technology/myanmar-facebook-genocide.html
[10] Оремус, В.: Facebook продолжает исследовать собственный вред и скрывает результаты. Вашингтон Пост (2021). https://www.washingtonpost.com/technology/2021/09/16/facebook-files-internal-research-harms/
[11] Мак Р., Френкель С.: Внутренняя тревога, общественное пожимание плечами: сотрудники Facebook анализируют ее роль на выборах. Нью-Йорк Таймс (2021). https://www.nytimes.com/2021/10/22/technology/facebook-election-misinfo rmation.html
[12] Дэйв П., Дастин Дж.: Google посоветовала своим ученым «задавать позитивный тон» в исследованиях ИИ – Документы. Рейтер (2020). https://www.reuters.com/article/us-alphabet-google-research-focus/google-told-its-scientists-to-strike-a-positive-tone-in-ai-research-documents-idUSKBN28X1CB
[13] Руз, К.: Внутри информационных войн Facebook. Нью-Йорк Таймс (2021). https://www.nytimes.com/2021/07/14/technology/facebook-data.html
[14] Ледфорд, Х.: Исследователи спорят, поскольку Twitter планирует положить конец бесплатному доступу к данным. Природа, 602–603 (2023). https://doi.org/10.1038/d41586-023-00460-z
[15] Кайзер-Брил, Н.: AlgorithmWatch вынужден закрыть проект мониторинга Instagram после угроз со стороны Facebook. АлгоритмВотч (2021). https://algorithmwatch.org/en/instagram-research-shut-down-by-facebook/
[16] Розенберг, М.: Рекламный инструмент Facebook, созданный для борьбы с дезинформацией, не работает так, как рекламируется. Нью-Йорк Таймс (2019). https://www.nytimes.com/2019/07/25/technology/facebook-ad-library.html
[17] Тимбург, К.: Facebook допустил большую ошибку в данных, которые он предоставил исследователям, что подорвало академическую работу. Вашингтон Пост (2021). https://www.washingtonpost.com/technology/2021/09/10/facebook-error-data-social-scientists/
[18] Маккейб Д., Канг К.: Руководители законодателей Grill Tech о бунте в Капитолии, получают мало прямых ответов. Нью-Йорк Таймс (2022 г.). https://www.nytimes.com/2021/03/25/technology/facebook-twitter-google-capitol-riots-hearing.html
[19] Сэндберг, С.: Свидетельство Шерил Сэндберг. Специальный комитет Сената США по разведке (2018 г.). https://www.intelligence.senate.gov/sites/default/files/documents/os-ssandberg-090518.pdf
[20] Facebook: Отчет об угрозах: состояние операций влияния в 2017–2020 гг. Мета-журнал. Технический отчет на https://about.fb.com/news/2021/05/influence-operations-threat-report/ (2021 г.)
[21] Гиллеспи, Т.: Не рекомендуете? Сокращение как форма модерации контента. Социальные сети + Общество 8 (3) (2022 г.). https://doi.org/10.1177/205.63051E+14
[22] Сюй, Т.: Защита от дезинформации сработала в 2020 году, до определенного момента, как показало исследование. Нью-Йорк Таймс (2023). https://www.nytimes.com/2023/04/13/business/media/misinformation-2020-election-study.html
[23] Портер Э., Вуд Т.Дж.: Глобальная эффективность проверки фактов: данные одновременных экспериментов в Аргентине, Нигерии, Южной Африке и Великобритании. Proceedings of the National Academy of Sciences 118(37), 2104235118 (2021). https://doi.org/10.1073/pnas.2 104235118
[24] Уолтер Н., Коэн Дж., Холберт Р.Л., Мораг Ю.: Проверка фактов: метаанализ того, что работает и для кого. Политическая коммуникация 37(3), 350–375 (2020). https://doi.org/10.1080/10584609.2019.1668894
[25] Пенникук, Г., Рэнд, Д.Г.: Подсказки о точности — это воспроизводимый и обобщаемый подход к уменьшению распространения дезинформации. Природные коммуникации 13(1), 2333 (2022). https://doi.org/10.1038/s41467-022-30073-5
[26] МакКембридж Дж., Уиттон Дж., Элбурн Д.Р.: Систематический обзор эффекта Хоторна: необходимы новые концепции для изучения эффектов участия в исследованиях. Журнал клинической эпидемиологии 67 (3), 267–277 (2014). https://doi.org/10.1016/j.jclinepi.2013.08.015
[27] Шарков, М.: Точность самооценки использования Интернета — исследование проверки с использованием данных журнала клиента. Методы и меры коммуникации 10(1), 13–27 (2016). https://doi.org/10.1080/19312458.2015.1118446
[28] Араужо Т., Воннебергер А., Нейенс П., де Вриз К.: Сколько времени вы проводите в Интернете? Понимание и повышение точности показателей использования Интернета, о которых сообщают сами пользователи. Методы и меры коммуникации 11(3), 173–190 (2017). https://doi.org/10.1080/19312458.2017.1317337
[29] Китчин Р.: Критическое мышление и исследование алгоритмов. Информация, коммуникация и общество 20 (1), 14–29 (2017). https://doi.org/10.1080/1369118X.2016.1154087
[30] Ценность позиционирования в результатах Google. Взгляды Читики (2013). https://research.chitika.com/wp-content/uploads/2022/02/chitikainsights-valueofgoogleresultspositioning.pdf Проверено 12 апреля 2023 г.
[31] Глик М., Ричардс Г., Сапожников М., Сибрайт П.: Как ранжирование влияет на выбор пользователя в онлайн-поиске? Обзор промышленной организации 45, 99–119 (2014). https://doi.org/10.1007/s11151-014-943
[32] Боулз Дж., Ларреги Х., Лю С.: Противодействие дезинформации через WhatsApp: предварительные данные о пандемии Covid-19 в Зимбабве. ПЛОС ONE 15(10), 1–11 (2020). https://doi.org/10.1371/journal.pone.0240005
[33] Нассетта Дж., Гросс К.: Предупреждающие надписи в государственных СМИ могут противодействовать последствиям иностранной дезинформации. Обзор дезинформации Гарвардской школы Кеннеди (2020). https://doi.org/10.37016/mr-2020-45
[34] Бор, А., Осмундсен, М., Расмуссен, ШР, Бехманн, А., Петерсен, МБ: Видео «проверки фактов» уменьшают веру в «фейковые новости», но не распространяют их» в Твиттере (2020 г.) ). https://doi.org/10.31234/osf.io/a7huq
[35] Мослех, М., Мартель, К., Эклз, Д., Рэнд, Д.: Извращенные последующие последствия разоблачения: исправление другим пользователем за публикацию ложных политических новостей увеличивает последующее распространение низкокачественной информации, Парти-сан, и токсичный контент в полевом эксперименте в Твиттере. В: Материалы конференции CHI 2021 года по человеческому фактору в вычислительных системах. ЧИ ’21 (2021). https://doi.org/10.1145/3411764.3445642
[36] Осадчук Р.: Подрыв Украины: как Кремль использует информационные операции для подрыва глобального доверия к Украине (2023). Технический отчет https://www.atlanticcouncil.org/wp-content/uploads/2023/02/Undermining-Ukraine-Final.pdf .
[37] Зальц, Э., Лейбович, К.: Проверка фактов, информационные центры и теневые баны: обзор ситуации с дезинформационными вмешательствами. Партнерство в сфере ИИ. Технический отчет https://partnershiponai.org/intervention-inventory/(2021).
[38] Браун, Р.: Google запускает панели знаний в результатах поиска для борьбы с дезинформацией о вакцинах против COVID. CNBC (2020). https://www.cnbc.com/2020/12/10/google-search-panels-tackle-misinformat ion-about-covid-vaccines.html
[39] Ингрэм, Д.: Твиттер запускает «предварительные меры», чтобы опередить дезинформацию при голосовании. Новости Эн-Би-Си (2020). https://www.nbcnews.com/tech/tech-n ews/twitter-launches-pre-bunks-get-ahead-voting-misinformation-n1244777
[40] Левандовски С., Ван Дер Линден С.: Противодействие дезинформации и фейковым новостям посредством прививки и предварительной разоблачения. Европейский обзор социальной психологии 32 (2), 348–384 (2021). https://doi.org/10.1080/1046 3283.2021.1876983
[41] Гесс А.М., Лернер М., Лайонс Б., Монтгомери Дж.М., Найхан Б., Райфлер Дж., Сиркар Н.: Вмешательство в цифровую медиаграмотность увеличивает различие между мейнстримными и ложными новостями в США и Индия. Труды Национальной академии наук 117 (27), 15536–15545 (2020). https://doi.org/10.1073/pnas.1920498117
[42] Врага Э., Талли М., Боде Л.: Оценка относительных преимуществ новостной грамотности и корректировки мер реагирования на дезинформацию в Твиттере. Новые медиа и общество 24 (10), 2354–2371 (2022). https://doi.org/10.117 7/1461444821998691
[43] Месгари М., Околи К., Мехди М., Нильсен Ф.А., Ланамёки А.: «Сумма всех человеческих знаний»: систематический обзор научных исследований содержания Википедии. Журнал Ассоциации информационных наук и технологий 66 (2), 219–245 (2015). https://doi.org/10.1002/asi.23172
[44] Хьюз Т., Смит Дж., Ливитт А.: Помощь людям лучше оценивать истории, которые они видят в ленте новостей, с помощью контекстной кнопки. Отдел новостей Facebook (2018). https://about.fb.com/news/2018/04/news-feed-fyi-more-context
[45] Харрисон С.: Twitter хочет использовать Википедию, чтобы определить, кто получит синюю галочку. Сланец (2020). https://slate.com/technology/202 12.00/twitter-checkmark-verification-wikipedia-notability.html
[46] Солон О.: YouTube будет использовать Википедию, чтобы решить проблему теории заговора. Хранитель (2018). https://www.theguardian.com/technology/2018/mar/13/youtube-wikipedia-flag-conspiracy-theory-videos
[47] Анкель, С.: Россия повторяет заявление, что не нападала на Украину, заявляя, что была вынуждена защищать прокремлевские регионы. Инсайдер (2022). https://www.businessinsider.com/russia-repeats-claim-did-not-attack-ukraine-2022-3
[48] Клейтон, К., Блер, С., Бусам, Дж. А., Форстнер, С., Глэнс, Дж., Грин, Г., Кавата, А., Коввури, А., Мартин, Дж., Морган, Э. . и др.: Реальные решения для фейковых новостей? Измерение эффективности общих предупреждений и тегов для проверки фактов в снижении веры в ложные истории в социальных сетях. Политическое поведение 42, 1073–1095 (2020). https://doi.org/10.1007/s11109-019-09533-0
[49] Капраро В., Селадин Т.: «Я думаю, что эти новости точны»: поддержка точности уменьшает распространение фейковых новостей и увеличивает распространение реальных новостей. Бюллетень личности и социальной психологии (2022). https://doi.org/10.1177/01461672221117691
[50] Терновски Дж., Калла Дж., Аронов П.М.: Предупреждения о дипфейках в отношении политических видеороликов усиливают недоверие, но не улучшают проницательность: данные двух экспериментов (2021). Препринт на https://osf.io/dta97/
[51] Кайзер Б., Вэй Дж., Лучерини Э., Ли К., Матиас Дж. Н., Майер Дж. Р.: Адаптация предупреждений безопасности для противодействия онлайн-дезинформации. В: 30-й симпозиум по безопасности USENIX (USENIX Security 21), стр. 1163–1180 (2021 г.). https://www.usenix.org/conference/usenixsecurity21/presentation/kaiser
[52] Анди С., Акессон Дж.: Отстранение ложных новостей: данные эксперимента по социальным нормам. Цифровая журналистика 9 (1), 106–125 (2020). https://do i.org/10.1080/21670811.2020.1847674
[53] Смит Дж., Джексон Г., Радж С.: Проектирование против дезинформации. Дизайн Facebook (2017). https://medium.com/facebook-design/designing-a Gainst-misinformation-e5846b3aa1e2
[54] Снир И., Хеббар Н.: Пять новых способов проверки информации с помощью поиска Google (2023). https://blog.google/products/search/google-search-new-fact-checking-misinformation/
[55] Боде Л., Врага Э.К.: В разделе «Связанные новости: это было неправильно: исправление дезинформации с помощью функций связанных историй в социальных сетях». Журнал коммуникаций 65 (4), 619–638 (2015). https://doi.org/10.1111/jcom.12166
[56] Циммер М., Киндер-Курланда К.: Этика интернет-исследований в эпоху социального развития: новые вызовы, случаи и контексты. Международное академическое издательство Питера Ланга, Нью-Йорк (2017). https://doi.org/10.3726/b11077
[57] Крамер А.Д., Гиллори Дж.Э., Хэнкок Дж.Т.: Экспериментальные доказательства крупномасштабного эмоционального заражения через социальные сети. Труды Национальной академии наук 111 (24), 8788–8790 (2014). https://doi.org/10.1073/pnas.1320040111
[58] Раджкумар К., Сен-Жак Г., Божинов И., Бриньолфссон Э., Арал С.: Причинно-следственный тест силы слабых связей. Наука 377(6612), 1304–1310 (2022). https://doi.org/10.1126/science.abl4476
[59] Селинджер Э., Харцог В.: Исследование эмоционального заражения Facebook и этическая проблема присвоенной идентичности в опосредованной среде, где пользователям не хватает контроля. Этика исследований 12(1), 35–43 (2016). https://doi.org/10.1177/1747016115579531
[60] Мейер, Миннесота: Все, что вам нужно знать о спорном эксперименте Facebook по эмоциям. Проводной (2014). https://www.wired.com/2014/06/everything-you-need-to-know-about-facebooks-manipulative-experiment/
[61] Флик, К.: Информированное согласие и исследование эмоциональных манипуляций в Facebook. Этика исследований 12(1), 14–28 (2016). https://doi.org/10.1177/1747016115599568
[62] DuckDuckGo: Рейтинг новостей. Страницы справки DuckDuckGo. https://help.duckduckgo.com/duckduckgo-help-pages/results/news-rankings/ Проверено 12 апреля 2023 г.
[63] DuckDuckGo: Политика конфиденциальности. Страницы справки DuckDuckGo. https://duckduckgo.com/privacy По состоянию на 12 апреля 2023 г.
[64] Олейник Л., Кастеллучча К., Янк А.: Почему Джонни не может спокойно просматривать веб-страницы: об уникальности шаблонов истории просмотра веб-страниц. В: 5-й семинар по актуальным темам технологий повышения конфиденциальности (HotPETs 2012) (2012). https://hal.inria.fr/hal-00747841
[65] Бродер, А.: Таксономия веб-поиска. В: Форум ACM SIGIR, том. 36, стр. 3–10 (2002). https://doi.org/10.1145/792550.792552. ACM Нью-Йорк, Нью-Йорк, США
[66] Чен, Э., Феррара, Э.: Твиты во время конфликта: общедоступный набор данных, отслеживающий дискурс в Твиттере о войне между Украиной и Россией. Препринт на https://arxiv.org/abs/2203.0748 (2022 г.)
[67] Зальц, Э., Лейбович, К.: Теневые баны, проверки фактов, информационные центры: большое руководство по тому, как платформы обрабатывают дезинформацию в 2021 году. Технический отчет на https://www.niemanlab.org/2021/ 06/теневые-баны-факты-с-информационные центры-большое-руководство-как-платформы-обрабатывают-дезинформацию-в-2021/ (2021 )
[68] Харман Г., Таррант Р., Толберт А., Унгерлейдер Н., Вольф К.: Disinfodex. Доступно по адресу https://web.archive.org/web/20230213222216mp_/ https://disinfodex.org/ (2018).
[69] Рот Ю., Пиклз Н.: Обновление нашего подхода к вводящей в заблуждение информации (2020). https://blog.twitter.com/en_us/topics/product/2020/updating-our-approach-to-misleading-information
[70] Констин Дж.: Instagram скрывает ложный контент за предупреждениями, за исключением политиков. ТехКранч (2019). https://techcrunch.com/2019/12/16/instagram-fact-checking/
[71] Гиббс, С.: Google будет отображать ярлыки для проверки фактов, чтобы показать, правдивы ли новости или ложны. Хранитель (2017). https://www.theguardian.com/techhttps://www.theguardian.com/technology/2017/apr/07/google-to-display-fact-checking-labels-to-show-if-news-is- правда или ложь
[72] Найхан Б., Райфлер Дж.: Вытеснение дезинформации о событиях: экспериментальный тест причинно-следственных поправок. Журнал экспериментальной политологии 2(1), 81–93 (2015). https://doi.org/10.1017/XPS.2014.22
[73] Врага Э.К., Боде Л.: Я вам не верю: как предоставление источника исправляет неправильные представления о здоровье на платформах социальных сетей. Информация, коммуникация и общество 21(10), 1337–1353 (2018). https://doi.org/10.1080/1369118X.2017.1313883
[74] Пенникук Г., Беар А., Коллинз Э.Т., Рэнд Д.Г. Эффект подразумеваемой истины: добавление предупреждений к подмножеству заголовков фейковых новостей увеличивает воспринимаемую точность заголовков без предупреждений. Наука управления 66(11), 4944–4957 (2020). https://doi.org/10.1287/mnsc.2019.3478
[75] Глейхер, Н.: Маркировка контролируемых государством СМИ на Facebook (2020). http s://about.fb.com/news/2020/06/labeling-state-control-media/
[76] Кофман А.: YouTube обещал маркировать видео, спонсируемые государством, но не всегда это делает. ПроПублика (2019). https://www.propublica.org/article/youtube-promized-to-label-state-sponsored-videos-but-doesnt-always-do-so
[77] Анкер А., Су С., Смит Дж.: Новый тест для определения контекста статей. Отдел новостей Facebook (2017). https://about.fb.com/news/2017/10/news -feed-fyi-new-test-to-provide-context-about-articles/
[78] Хеббар Н.: Проверьте факты с помощью этих функций Google (2022). https://blog.google/products/news/fact-checking-misinformation-google-features/
[79] Аслетт, К., Гесс, А.М., Бонно, Р., Наглер, Дж., Такер, Дж.: Ярлыки достоверности новостей оказывают ограниченное среднее влияние на качество новостной диеты и не способны уменьшить ошибочное восприятие. Достижения науки 8 (18) (2022 г.). https://doi.org/10.1126/sciadv.abl3844
[80] Гао М., Сяо З., Карахалиос К., Фу В.-Т.: Маркировать или не маркировать: влияние ярлыков позиции и достоверности на выбор и восприятие новостных статей читателями. Учеб. ACM Hum.-Comput. Взаимодействуйте. 2(CSCW) (2018). https://doi.org/10.1145/3274324
[81] Киршнер Дж., Рейтер К.: Противодействие фейковым новостям: сравнение возможных решений относительно принятия и эффективности пользователей. Труды ACM по взаимодействию человека и компьютера 4 (CSCW2), 1–27 (2020). https://doi.org/10.1145/3415211
[82] Хэтмейкер Т.: Facebook разместит новый информационный центр о коронавирусе в верхней части ленты новостей. ТехКранч (2020). https://techcrunch.com/2020/03/18/facebook-coronavirus-information-center-zuckerberg/
[83] Сингх, М.: Whatsapp объявляет о гранте на 1 миллион долларов и информационном центре для борьбы со слухами о коронавирусе. ТехКранч (2020). https://techcrunch.com/2020/03/18/what sapp-unveils-1m-grant-and-info-hub-to-fight-coronavirus-rumors/
[84] Ли Ю., Гуан М., Хаммонд П., Берри Л.Э.: Распространение информации о COVID-19 в TikTok: контент-анализ видео TikTok из официальных аккаунтов, представленных в информационном центре COVID-19. Исследования в области санитарного просвещения 36(3), 261–271 (2021). https://doi.org/10.1093/her/cyab010
[85] Озома И.: Добавление авторитетных результатов по вакцинам в поиск Pinterest. Отдел новостей Pinterest (2019). https://newsroom.pinterest.com/en/post/bringing-authoritative-vaccine-results-to-pinterest-search
[86] Шу, К.: Twitter запускает новые функции поиска, чтобы остановить распространение дезинформации о вакцинах. ТехКранч (2019). https://techcrunch.com/2019/05/14/twitter-launches-new-search-features-to-stop-the-spread-of-misinformation-about-vaccines/
[87] Краус, Р.: С марта Facebook пометил 180 миллионов сообщений как «ложные». Дезинформация о выборах все равно распространяется. Машабл (2020). https://mashable.com/article/facebook-labels-180-million-posts-false
[88] Моссери А.: Новый образовательный инструмент против дезинформации. Мета-новости (2017). https://about.fb.com/news/2017/04/a-new-educational-tool-against-misinformation/
[89] Рузенбек Дж., ван дер Линден С., Гольдберг Б., Ратье С., Левандовски С.: Психологическая прививка повышает устойчивость к дезинформации в социальных сетях. Science Advances 8 (34), 6254 (2022). https://doi.org/10.1126/sciadv.abo6254
[90] Моррисон, Х.: Twitter отключает возможность ретвитнуть или поставить лайк твиту президента Дональда Трампа «из-за риска насилия» после штурма Капитолия США. МассЛайв (2021). https://www.masslive.com/politics/2021/01/twitter-disables-ability-to-retweet-or-like-president-donald-trumps-tweet-due-to-the-risk-of-violence- after-us-capitol-stormed.html
[91] Клегг, Н.: Вы и алгоритм: для танго нужны двое. Средний (2021). https://nickclegg.medium.com/you-and-the-algorithm-it-takes-two-to-t ango-7722b19aa1c2
[92] Кэмерон Д., Водинский С., ДеЖерен М., Жермен Т.: Каталог документов Facebook. Гизмодо. См., например, https://www.documentcloud.org/documents/21600352-tier0_rank_ir_0120 (2023 г.). https://gizmodo.com/facebook-papers-how-to-read-1848702919
Бенджамин Кайзерявляется доктором философии. кандидат компьютерных наук Принстонского университета в Центре политики информационных технологий.
Джонатан Майер— доцент кафедры информатики и связей с общественностью Принстонского университета.
