Противодействие дезинформации в мире после ChatGPT

Противостоять дезинформации станет намного сложнее: в ближайшем будущем ChatGPT и аналогичные чат-боты, основанные на больших языковых моделях, или LLM, позволят злоумышленникам освоить ряд вредоносных действий, включая создание более правдоподобной лжи в масштабе. Как заявил директор Агентства национальной безопасности (АНБ) по кибербезопасности Роб Джойс, ChatGPT позволит злоумышленникам создавать очень убедительные английские тексты на родном языке для фишинговых схем, ложных предысторий и даже операций злонамеренного влияния.

ChatGPT и аналогичные инструменты на базе LLM используют искусственный интеллект (ИИ) для приема огромных объемов данных из Интернета, выявления языковых закономерностей и ответов на вопросы пользователей с помощью текста, который сложно отличить от написанного человеком. Угрозы дезинформации, создаваемые злоупотреблением этими инструментами, подпадают под категорию атак «информация для человека (I2H)» , в отличие от кибератак, направленных на кражу информации.

Еще до появления ChatGPT дезинформация представляла серьезную угрозу честности выборов и общественной безопасности. Министерство внутренней безопасности (DHS) отвечает за противодействие тройной угрозе дезинформации, дезинформации и недостоверной информации (MDM). Агентство кибербезопасности и безопасности инфраструктуры (CISA), операционный компонент DHS, повысило осведомленность об угрозах MDM для критически важной инфраструктуры.

Злоумышленники вкладывают значительные средства в распространение лжи. В 2022 году государственный бюджет России на дезинформацию, пропаганду и другие операции влияния оценивался в более чем 1,5 миллиарда долларов , что в три раза больше, чем всего годом ранее. Теперь у LLM есть потенциал значительно увеличить «отдачу от вложенных средств» в кампаниях по дезинформации, упрощая и ускоряя создание гораздо большего количества неаутентичного контента и распространение его среди все более широкой аудитории.

Чтобы понять, как LLM могут расширять враждебные фабрики лжи, давайте начнем с примера дезинформации из 2016 года: российское ГРУ взломало и слило компрометирующие материалы о кампании Клинтон и Демократической партии, наиболее печально известными в обнародовании внутренних сообщений Национального комитета Демократической партии. (DNC) и электронные письма председателя кампании Клинтон Джона Подесты. В то время как первоначальные попытки отмыть смесь законных и измененных материалов зашли в тупик из-за DCLeaks и Guccifer 2.0, операция позже получила общественный резонанс, когда информация была отфильтрована через платформу Wikileaks. Затем Российское агентство интернет-исследований смогло использовать своих троллей и ботов для дальнейшего распространения лжи, что, в свою очередь, привело к освещению в СМИ, что создало видимость легитимности.

Теперь гипотетический сценарий с поддержкой LLM, вероятно, будет включать более реалистичные ложные повествования. Такой инструмент, как ChatGPT с LLM, обученным на общедоступных данных, вероятно, будет достаточным для злоумышленников, чтобы достичь этого нового уровня реализма, хотя LLM также потенциально могут быть обучены с определенными наборами данных, чтобы увеличить шансы обмануть избранную аудиторию. Если бы кампания по дезинформации включала как настоящую, так и ложную информацию, различить их было бы труднее, чем когда-либо прежде. Кроме того, дезинформацию с помощью LLM может быть труднее сразу обнаружить в социальных сетях, потому что злоумышленникам будет легче изменить свой язык, чем повторять одни и те же фразы снова и снова в больших объемах. Точно так же, как противники будут больше полагаться на автоматизацию для создания более убедительных дезинформационных нарративов и «глубоких подделок»,

У LLM есть недостатки, которыми могут воспользоваться специалисты по кибербезопасности, охотники за угрозами и группы контрразведки. Во-первых, LLM ограничены объемом и типом информации, которую они могут принимать. Это привело к тому, что ChatGPT отвечал на многие вопросы неверными или просто выдуманными ответами. В одном особенно странном случае чат-бот, казалось, оскорблял пользователя, который правильно указал, что год был 2023, а не 2022, как продолжала настаивать программа. Эдварду Тиану, 22-летнему студенту колледжа, изучающему GPT-3, предшественницу ChatGPT, потребовалось всего три дня, чтобы создать инструмент для обнаружения контента, созданного ИИ., которую он назвал GPTZero. Пока команды работают над улучшением качества ответов, предоставляемых LLM, структурные ограничения модели будут по-прежнему иметь уязвимости, которые можно использовать.

GPTZero по существу использует модель машинного обучения ChatGPT, сканируя текст на наличие индикаторов, соответствующих контенту, созданному ИИ. Хотя попытки проверить эффективность GPTZero дали неоднозначные результаты, по крайней мере, одно исследование показало, что он достаточно надежен в определении более длинных фрагментов при борьбе с более короткими текстами (такими как твиты).

Еще одним усилием по борьбе с дезинформацией является DISARM Foundation , организация, созданная для создания общей структуры, аналогичной структуре MITRE ATT&CK для кибербезопасности. DISARM Framework — это попытка использовать понимание враждебных тактик, методов и процедур для разработки и проведения кампаний по дезинформации, чтобы найти способы их обнаружения, смягчения или срыва.

В интервью для подкаста Cyber5 Джон Брюэр , исполнительный директор фонда DISARM, заявил: «Долгосрочный успех выглядит так, будто у нас есть инструмент, который действительно хорош и прост, может быть на мобильном телефоне и действительно может помочь людям заметьте часть дезинформации и сообщите об этом. Я имею в виду, что у нас было это с электронной почтой, так что люди могут сообщать о спаме одним нажатием кнопки, и это оказало большое влияние». Аналогичные, но более надежные инструменты обнаружения, использующие технологии машинного обучения (ML)/AI, должны быть разработаны для того, чтобы направлять центры операций по когнитивной безопасности (SOC) для выявления недостоверного контента, связанного с информационными операциями, и обеспечивать быстрое реагирование и даже предварительное опровержение, а не опровержение дезинформации. кампании.

Успешное опровержение российских нарративов перед вторжением России в Украину в 2022 году продемонстрировало ценность упреждающего обнаружения дезинформации и противодействия ей. В отличие от традиционной практики сохранения разведывательной информации в секрете для защиты источников и методов, правительство США публично заявило о том, что ему было известно о планах России до вторжения. Это помогло предотвратить распад ключевых союзов — исторически основная цель российских кампаний по дезинформации — и сохранить единство поддержки обороны Украины. Теперь необходимы дополнительные усилия, чтобы опережать завтрашние угрозы MDM.

На национальном уровне организациям следует разработать планы противодействия МДМ, направленные на создание возможностей для предотвращения или ограничения распространения дезинформации в пределах своих полномочий. Рекомендации по противодействию дезинформации, опубликованные в августе 2022 года генеральным инспектором DHS и Консультативным советом по внутренней безопасности, предоставляют DHS и правительству в целом дорожную карту для разработки более стратегического подхода к дезинформации. Кроме того, государственно-частное партнерство будет играть все более важную роль в развенчании дезинформации до ее распространения.

Команды безопасности и руководители во многих критически важных инфраструктурных компаниях, отвечающих за выполнение критически важных функций на национальном уровне, должны активно внедрять руководство CISA для отрасли по противодействию MDM, включая мониторинг любых изменений в онлайн-активности, связанных с их бизнесом или сектором.

Кроме того, новаторы должны воспользоваться возможностью, чтобы раскрыть потенциал новых технических решений: такие платформы, как DISARM, и такие инструменты, как GPTZero, могут и должны быть интегрированы в когнитивные SOC. Междисциплинарные группы, обладающие навыками искусственного интеллекта, когнитивной безопасности, поиска угроз, контрразведки и других областей, могут найти творческие способы использования этих инструментов для обнаружения кампаний MDM. Создание таких возможностей сейчас даст возможность политикам, организациям частного сектора и обществу в целом более эффективно противостоять MDM и противостоять ему в будущем.