GTIG AI Threat Tracker: анализ, экспериментирование и (продолжение) интеграция ИИ для противодействия угрозам

Введение

В последнем квартале 2025 года группа Google Threat Intelligence Group (GTIG) отметила, что злоумышленники все чаще интегрируют искусственный интеллект (ИИ) для ускорения жизненного цикла атаки, добиваясь повышения производительности в разведке, социальной инженерии и разработке вредоносного ПО. Этот отчет является обновлением наших выводов от ноября 2025 года относительно прогресса в использовании инструментов ИИ злоумышленниками.

Выявляя эти ранние признаки и экспериментальные образцы наступательных угроз, GTIG стремится предоставить специалистам по защите информацию, необходимую для прогнозирования следующей фазы угроз, связанных с искусственным интеллектом, для заблаговременного предотвращения вредоносной деятельности и постоянного совершенствования как наших классификаторов, так и модели.

Управляющее резюме

Google DeepMind и GTIG выявили рост попыток извлечения моделей или «дистилляционных атак» — метода кражи интеллектуальной собственности, нарушающего условия предоставления услуг Google. В этом отчете мы описали шаги, предпринятые нами для предотвращения вредоносной деятельности, включая обнаружение, пресечение и нейтрализацию Google попыток извлечения моделей. Хотя мы не наблюдали прямых атак на перспективные модели или продукты генеративного ИИ со стороны субъектов, использующих сложные целевые атаки (APT), мы наблюдали и нейтрализовали частые атаки по извлечению моделей со стороны частных компаний по всему миру и исследователей, стремящихся клонировать собственную логику. 

Для поддерживаемых правительством киберпреступников большие языковые модели (LLM) стали незаменимыми инструментами для технических исследований, определения целей и быстрого создания сложных фишинговых приманок. В этом ежеквартальном отчете освещается, как киберпреступники из Корейской Народной Республики (КНДР), Ирана, Китайской Народной Республики (КНР) и России внедрили ИИ в конце 2025 года, и улучшается наше понимание того, как злоупотребление генеративным ИИ проявляется в кампаниях, которые мы пресекаем в реальных условиях. GTIG пока не наблюдала случаев, когда APT-группировки или группы информационных операций (IO) достигли бы прорывных возможностей, коренным образом меняющих ландшафт угроз.

В данном отчете рассматриваются следующие вопросы:

• Атаки с целью извлечения моделей: за последний год участились случаи «дистилляционных атак» как метода кражи интеллектуальной собственности.
• Операции с использованием ИИ: реальные примеры из практики демонстрируют, как группы оптимизируют разведку и установление контактов в фишинговых атаках.
• Агентный ИИ: Злоумышленники начинают проявлять интерес к созданию возможностей агентного ИИ для поддержки разработки вредоносного ПО и инструментов. 
• Вредоносное ПО со встроенным ИИ: появились новые семейства вредоносных программ, такие как HONESTCUE, которые экспериментируют с использованием интерфейса прикладного программирования (API) Gemini для генерации кода, позволяющего загружать и запускать вредоносное ПО второго этапа.
• Подпольная экосистема «джейлбрейка»: в подполье появляются вредоносные сервисы, подобные Xanthorox, которые заявляют о своей независимости, но на самом деле используют взломанные коммерческие API и серверы с открытым исходным кодом Model Context Protocol (MCP).

В Google мы стремимся к смелому и ответственному развитию ИИ, что означает принятие упреждающих мер по пресечению вредоносной деятельности путем блокировки проектов и учетных записей, связанных с злоумышленниками, и постоянного совершенствования наших моделей, чтобы сделать их менее уязвимыми для неправомерного использования. Мы также активно делимся передовыми отраслевыми практиками, чтобы вооружить специалистов по защите и обеспечить более надежную защиту во всей экосистеме. В этом отчете мы описываем шаги, которые мы предприняли для предотвращения вредоносной деятельности, включая блокировку ресурсов и применение интеллектуальных средств для усиления как наших классификаторов, так и модели, чтобы защитить их от неправомерного использования в будущем. Дополнительные сведения о том, как мы защищаем Gemini, можно найти в официальном документе « Улучшение мер безопасности Gemini ».

Прямые риски, связанные с моделями: противодействие атакам по извлечению моделей.

По мере того как организации все чаще интегрируют LLM-модели в свою основную деятельность, запатентованная логика и специализированное обучение этих моделей становятся ценными целями. Исторически сложилось так, что злоумышленники, стремящиеся украсть возможности высокотехнологичных систем, использовали традиционные методы компьютерного вторжения для компрометации организаций и кражи данных, содержащих коммерческую тайну. Для многих технологий ИИ, где LLM-модели предлагаются в качестве услуг, такой подход больше не требуется; злоумышленники могут использовать легитимный доступ к API для попытки «клонирования» отдельных возможностей моделей ИИ.

В течение 2025 года мы не наблюдали прямых атак на перспективные модели со стороны отслеживаемых APT-группировок или групп, занимающихся информационными операциями (IO). Однако мы наблюдали атаки по извлечению информации из моделей, также известные как атаки дистилляции, на наши модели ИИ с целью получения представления о лежащих в основе рассуждениях модели и процессах мышления.

Что такое атаки с целью извлечения моделей?

Атаки с целью извлечения информации из модели (MEA) происходят, когда злоумышленник использует законный доступ для систематического исследования зрелой модели машинного обучения с целью извлечения информации, используемой для обучения новой модели. Злоумышленники, использующие MEA, применяют метод, называемый дистилляцией знаний (KD), для переноса информации, полученной из одной модели, в другую. По этой причине MEA часто называют «атаками дистилляции».

Извлечение модели и последующая обработка знаний позволяют злоумышленнику быстро и значительно снизить затраты на разработку моделей искусственного интеллекта. Эта деятельность фактически представляет собой форму кражи интеллектуальной собственности.

Дистилляция знаний (KD) — это распространённый метод машинного обучения, используемый для обучения «учеников»-моделей на основе уже существующих «учителей». Часто это включает в себя запрос к модели-учителю для решения задач в определённой области, а затем выполнение контролируемой тонкой настройки (SFT) на полученном результате или использование результата в других процедурах обучения модели для создания модели-ученика. Дистилляция имеет законные применения, и Google Cloud предлагает решения для её выполнения. Однако дистилляция из моделей Google Gemini без разрешения является нарушением наших Условий предоставления услуг , и Google продолжает разрабатывать методы для обнаружения и предотвращения подобных попыток.

Google DeepMind и GTIG выявили и пресекли атаки, направленные на извлечение данных из моделей, в частности, попытки кражи моделей и извлечения их функциональности, исходящие от исследователей и компаний частного сектора по всему миру.

Пример из практики: Рассуждение, отслеживание и принуждение

Одной из распространенных целей для злоумышленников является исключительная способность Gemini к логическому мышлению. Хотя внутренние траектории логического мышления обычно суммируются перед передачей пользователям, злоумышленники пытались заставить модель выдавать полные результаты логического мышления.

Одна из выявленных атак дала Gemini указание на то, что «…язык, используемый в содержании для обдумывания, должен строго соответствовать основному языку пользовательского ввода » .

Анализ этой кампании показал:

Риски атак, связанных с извлечением и дистилляцией моделей.

Атаки, направленные на извлечение и дистилляцию моделей, как правило, не представляют риска для обычных пользователей, поскольку не угрожают конфиденциальности, доступности или целостности сервисов ИИ. Вместо этого риск сосредоточен среди разработчиков моделей и поставщиков услуг.

Организации, предоставляющие модели ИИ в качестве услуги, должны отслеживать доступ к API на предмет выявления закономерностей извлечения или преобразования данных. Например, пользовательская модель, настроенная для анализа финансовых данных, может стать целью коммерческого конкурента, стремящегося создать производный продукт, или модель программирования может стать целью противника, желающего воспроизвести свои возможности в среде без защитных механизмов.

Основные моменты активности противников, использующих искусственный интеллект в качестве средства воздействия.

В течение последнего года постоянно выявлялись случаи, когда поддерживаемые правительством злоумышленники использовали Gemini для программирования и написания скриптов, сбора информации о потенциальных целях, исследования общеизвестных уязвимостей и осуществления действий после взлома. В четвертом квартале 2025 года понимание GTIG того, как эти усилия воплощаются в реальных операциях, улучшилось, поскольку мы увидели прямые и косвенные связи между злоупотреблением Gemini со стороны злоумышленников и активностью в реальных условиях.

Поддержка разведки и разработки целей. 

APT-атаки использовали Gemini для поддержки нескольких этапов жизненного цикла атаки, включая разведку и разработку целей для облегчения первоначального взлома. Эта деятельность подчеркивает сдвиг в сторону фишинга с использованием искусственного интеллекта, где скорость и точность LLM-моделей позволяют обойтись без традиционного ручного труда, необходимого для профилирования жертв. Помимо генерации контента для фишинговых приманок, LLM-модели могут служить стратегическим множителем силы на этапе разведки атаки, позволяя злоумышленникам быстро синтезировать разведывательные данные из открытых источников (OSINT) для профилирования важных целей, выявления ключевых лиц, принимающих решения в оборонном секторе, и составления организационных иерархий. Интегрируя эти инструменты в свой рабочий процесс, злоумышленники могут быстрее и в большем масштабе переходить от первоначальной разведки к активному нацеливанию.  

• Злоумышленник UNC6418 , личность которого не установлена, использовал Gemini для целенаправленного сбора разведывательной информации, в частности, для получения конфиденциальных учетных данных и адресов электронной почты. Вскоре после этого GTIG обнаружил, что злоумышленник атаковал все эти учетные записи в рамках фишинговой кампании, направленной на Украину и оборонный сектор. Google принял меры против этого злоумышленника, заблокировав ресурсы, связанные с этой деятельностью.
• Temp.HEX, китайская хакерская группировка, злоупотребляла инструментами Gemini и другими средствами искусственного интеллекта для сбора подробной информации о конкретных лицах, включая цели в Пакистане, а также для сбора оперативных и структурных данных о сепаратистских организациях в различных странах. Хотя в результате этого исследования мы не обнаружили прямого целенаправленного воздействия, вскоре после этого хакерская группировка включила в свою кампанию аналогичные цели в Пакистане. Google приняла меры против этой группировки, заблокировав ресурсы, связанные с этой деятельностью.

Усиление фишинга

Как защитники, так и жертвы долгое время полагались на такие признаки, как плохая грамматика, неуклюжий синтаксис или отсутствие культурного контекста, чтобы выявлять попытки фишинга. Всё чаще злоумышленники используют языки программирования для создания гиперперсонализированных, культурно-чувствительных приманок, которые могут отражать профессиональный тон целевой организации или местный язык. 

Эта возможность выходит за рамки простой генерации электронных писем и распространяется на «фишинг, основанный на установлении доверительных отношений», где модели используются для поддержания многоэтапных, правдоподобных диалогов с жертвами с целью построения доверия до того, как будет доставлена ​​вредоносная программа. Снижая порог вхождения для неносителей языка и автоматизируя создание высококачественного контента, злоумышленники могут в значительной степени устранить эти «признаки» и повысить эффективность своих усилий по социальной инженерии.

• Поддерживаемая иранским правительством группировка APT42 использовала генеративные модели искусственного интеллекта, включая Gemini, для значительного расширения возможностей разведки и целенаправленной социальной инженерии. APT42 злоупотребляет Gemini для поиска официальных электронных адресов конкретных организаций и проведения разведки потенциальных деловых партнеров с целью создания убедительного предлога для нападок. Это включает попытки получить список официальных электронных адресов конкретных организаций и провести исследование для создания убедительного предлога для нападок. Предоставляя Gemini биографию цели, APT42 злоупотребляла Gemini для создания подходящего образа или сценария, чтобы привлечь внимание цели. Как и многие другие злоумышленники, отслеживаемые GTIG, APT42 использует Gemini для перевода с местных языков и на местные, а также для лучшего понимания фраз и отсылок на неродных языках. Google принял меры против этой группировки, заблокировав ресурсы, связанные с этой деятельностью.
• Поддерживаемая правительством Северной Кореи группировка UNC2970 постоянно фокусируется на целях в сфере обороны и выдает себя за корпоративных рекрутеров в своих кампаниях. Группа использовала Gemini для анализа OSINT и составления профилей важных целей для поддержки планирования кампаний и разведки. Составление профилей целей включало поиск информации о крупных компаниях в сфере кибербезопасности и обороны, а также сопоставление конкретных технических должностей и информации о заработной плате. Эта деятельность стирает грань между обычным профессиональным исследованием и злонамеренной разведкой, поскольку группировка собирает необходимые компоненты для создания тщательно подобранных, высокоточных фишинговых образов и выявления потенциальных уязвимых целей для первоначального взлома. Google принял меры против этой группировки, заблокировав ресурсы, связанные с этой деятельностью. 

Злоумышленники продолжают использовать ИИ для поддержки разработки программного обеспечения и инструментов. 

Государственные структуры продолжают злоупотреблять Gemini для повышения эффективности всех этапов своих операций, от разведки и создания фишинговых приманок до разработки систем управления и контроля (C2 или C&C) и утечки данных. Мы также наблюдали активность, демонстрирующую интерес к использованию возможностей агентного ИИ для поддержки кампаний, например, предоставление Gemini экспертного профиля в области кибербезопасности или попытки создания интегрированной с ИИ системы аудита кода.

APT31 использовала строго структурированный подход, поручив Gemini, используя эксперта по кибербезопасности, автоматизировать анализ уязвимостей и разработать целевые планы тестирования. Китайский злоумышленник сфабриковал сценарий, в одном из случаев протестировав инструмент Hexstrike MCP, и направил модель на анализ удаленного выполнения кода (RCE), методов обхода брандмауэра веб-приложений (WAF) и результатов тестирования SQL-инъекций против конкретных целей в США. Это автоматизированный сбор разведывательной информации для выявления технологических уязвимостей и слабых мест в организационной защите. Эта деятельность явно стирает грань между обычной оценкой безопасности и целенаправленной вредоносной разведывательной операцией. Google приняла меры против этого злоумышленника, заблокировав ресурсы, связанные с этой деятельностью.

Группа UNC795 , базирующаяся в КНР, активно использовала Gemini на протяжении всего цикла атаки. GTIG наблюдала, как группа постоянно взаимодействовала с Gemini несколько дней в неделю для устранения неполадок в коде, проведения исследований и разработки технических возможностей для своей деятельности по вторжению. Действия злоумышленников активировали системы безопасности, и Gemini не подчинился попыткам злоумышленников создать возможности, нарушающие правила безопасности. 

Группа также использовала Gemini для создания интегрированной с ИИ системы аудита кода, что, вероятно, демонстрирует интерес к агентным ИИ-инструментам для поддержки их хакерской деятельности. Google приняла меры против этого злоумышленника, заблокировав ресурсы, связанные с этой деятельностью.

Мы наблюдали активность, предположительно связанную с китайской хакерской группировкой APT41, которая использовала Gemini для ускорения разработки и развертывания вредоносных инструментов, в том числе для синтеза знаний, устранения неполадок в реальном времени и перевода кода. В частности, злоумышленник неоднократно предоставлял Gemini страницы README инструментов с открытым исходным кодом и запрашивал пояснения и примеры использования конкретных инструментов. Google принял меры против этого злоумышленника, заблокировав ресурсы, связанные с этой деятельностью.

Помимо использования Gemini для вышеупомянутых кампаний социальной инженерии, иранская группа киберпреступников APT42 использует Gemini в качестве инженерной платформы для ускорения разработки специализированных вредоносных инструментов. Эта группа активно занимается разработкой нового вредоносного ПО и инструментов для наступательных операций, используя Gemini для отладки, генерации кода и исследования методов эксплуатации уязвимостей. Google приняла меры против этой группы, заблокировав ресурсы, связанные с этой деятельностью.

Использование Gemini для поддержки информационных операций.

GTIG продолжает наблюдать за тем, как субъекты информационной войны используют Gemini для повышения производительности (исследования, создание контента, локализация и т. д.), что соответствует их предыдущему использованию Gemini. Мы выявили активность в Gemini, указывающую на то, что злоумышленники запрашивают этот инструмент для создания статей, генерации ресурсов и помощи в программировании. Однако мы не обнаружили подобного сгенерированного контента в реальных условиях. Ни одна из этих попыток не привела к созданию прорывных возможностей для кампаний информационной войны. Злоумышленники из Китая, Ирана, России и Саудовской Аравии создают политическую сатиру и пропаганду для продвижения определенных идей как на цифровых платформах, так и на физических носителях, таких как печатные плакаты.

Продолжение экспериментов с вредоносным ПО, использующим искусственный интеллект. 

В конце 2025 года GTIG продолжила наблюдение за тем, как злоумышленники экспериментируют с ИИ для внедрения новых возможностей в семейства вредоносных программ. Хотя мы не сталкивались с экспериментальными методами, использующими ИИ, которые привели бы к революционным изменениям в ландшафте угроз, эти экспериментальные семейства вредоносных программ являются ранними показателями того, как злоумышленники могут внедрять методы ИИ в рамках будущих операций. Мы ожидаем, что в будущем объем таких исследовательских испытаний увеличится.

Помимо продолжающихся экспериментов с новыми возможностями, в конце 2025 года GTIG наблюдала, как злоумышленники интегрируют традиционные возможности, созданные с помощью ИИ, в свои операции по вторжению, такие как фишинговый набор COINBAIT. Мы ожидаем, что злоумышленники будут продолжать использовать ИИ на протяжении всего жизненного цикла атаки, включая: поддержку создания вредоносного ПО, улучшение существующего вредоносного ПО, исследование уязвимостей, проведение разведки и/или создание контента для приманки.

Функционал аутсорсинга: HONESTCUE

В сентябре 2025 года GTIG обнаружила образцы вредоносного ПО, которые мы отслеживаем как HONESTCUE , использующие API Gemini для генерации функциональности. Наше исследование образцов вредоносного ПО HONESTCUE показывает, что использование ИИ злоумышленником, вероятно, предназначено для поддержки многоуровневого подхода к обфускации путем подрыва традиционных методов обнаружения на основе сети и статического анализа. 

HONESTCUE — это фреймворк для загрузки и запуска вредоносного ПО, который отправляет запрос через API Google Gemini и получает в ответ исходный код на C#. Примечательно, что HONESTCUE обладает возможностями, аналогичными методу «в режиме реального времени» (JIT) PROMPTFLUX, который мы наблюдали ранее ; однако, вместо использования LLM для обновления, HONESTCUE вызывает API Gemini для генерации кода, который управляет функциональностью «второго этапа», загружая и выполняя другой фрагмент вредоносного ПО. Кроме того, бесфайловый вторичный этап HONESTCUE берет исходный код на C#, полученный от API Gemini, и использует легитимный фреймворк .NET CSharpCodeProvider для компиляции и выполнения полезной нагрузки непосредственно в памяти. Такой подход не оставляет следов полезной нагрузки на диске. Мы также наблюдали, как злоумышленники используют сети доставки контента (CDN), такие как Discord CDN, для размещения финальных полезных нагрузок.

Мы не связали это вредоносное ПО с какими-либо существующими группами угроз; однако мы подозреваем, что его разрабатывают разработчики, обладающие определенным уровнем технической экспертизы. В частности, небольшие итеративные изменения во многих образцах, а также единственный отправитель на VirusTotal, потенциально тестирующий возможности антивируса, указывают на одного злоумышленника или небольшую группу. Кроме того, использование Discord для тестирования доставки полезной нагрузки и отправка ботов Discord указывают на злоумышленника с ограниченной технической подготовкой. Последовательность и ясность архитектуры в сочетании с итеративным развитием исследованных образцов вредоносного ПО убедительно свидетельствуют о том, что это один злоумышленник или небольшая группа, вероятно, находящаяся на стадии проверки концепции. 

Использование HONESTCUE жестко закодированного запроса само по себе не является вредоносным, и, если его не рассматривать в контексте, связанном с вредоносным ПО, маловероятно, что этот запрос будет считаться «вредоносным». Передача части функциональности вредоносного ПО на аутсорсинг и использование степени магистра права для разработки, казалось бы, безобидного кода, который вписывается в более крупную, вредоносную структуру, демонстрирует, как злоумышленники, вероятно, будут использовать приложения ИИ для усиления своих кампаний, обходя при этом средства защиты.

Набор инструментов для фишинга, созданный с помощью ИИ: COINBAIT

В ноябре 2025 года GTIG выявила COINBAIT , фишинговый набор, создание которого, вероятно, было ускорено инструментами генерации кода на основе ИИ, маскирующийся под крупную криптовалютную биржу для сбора учетных данных. На основе прямого совпадения инфраструктуры и использования атрибутированных доменов мы с высокой степенью уверенности оцениваем, что часть этой активности пересекается с UNC5356, кластером угроз, мотивированных финансовыми интересами, который использует фишинговые кампании по SMS и телефону для атаки на клиентов финансовых организаций, компаний, связанных с криптовалютами, и различных других популярных предприятий и сервисов. 

Анализ образцов вредоносного ПО показал, что набор инструментов был создан с использованием платформы Lovable AI, работающей на основе искусственного интеллекта, с применением клиента lovableSupabase и приложения lovable.app для размещения изображений.

• Размещая контент на легитимном, заслуживающем доверия сервисе, злоумышленник повышает вероятность обхода фильтров сетевой безопасности, которые в противном случае заблокировали бы подозрительный основной домен.
• Фишинговый набор был обернут в полноценное одностраничное приложение React (SPA) со сложной системой управления состоянием и маршрутизацией. Такая сложность свидетельствует о коде, сгенерированном на основе высокоуровневых запросов (например, «Создайте пользовательский интерфейс в стиле Coinbase для восстановления кошелька») с использованием фреймворка, такого как Lovable AI. 
• Еще одним ключевым признаком использования LLM является наличие подробных, ориентированных на разработчиков сообщений журнала непосредственно в исходном коде вредоносного ПО. Эти сообщения — неизменно с префиксом «? Analytics:» — обеспечивают отслеживание в реальном времени действий по отслеживанию вредоносных действий и утечке данных, осуществляемых комплектом, и служат уникальным идентификатором для этого семейства кода.

Мы также заметили, что группа использует инфраструктуру и тактику обхода для своих операций, включая проксирование фишинговых доменов через Cloudflare для сокрытия IP-адресов злоумышленников и размещение графических ресурсов на фишинговых страницах непосредственно из Lovable AI. 

Внедрение фишингового набора COINBAIT представляет собой эволюцию в инструментарии UNC5356, демонстрируя переход к современным веб-фреймворкам и легитимным облачным сервисам для повышения сложности и масштабируемости их кампаний по социальной инженерии. Однако есть по крайней мере некоторые свидетельства того, что COINBAIT может быть сервисом, предоставляемым множеством различных субъектов угроз.

Использование инструментов искусственного интеллекта в киберпреступности

Помимо злоупотребления существующими инструментами и сервисами на основе ИИ в масштабах всей отрасли, растет интерес и рынок к инструментам и сервисам ИИ, специально разработанным для осуществления незаконной деятельности. Инструменты и сервисы, предлагаемые через подпольные форумы, позволяют злоумышленникам низкого уровня увеличивать частоту, масштаб, эффективность и сложность своих вторжений, несмотря на ограниченные технические знания и финансовые ресурсы. Хотя злоумышленники, движимые финансовой мотивацией, продолжают экспериментировать, им пока не удалось совершить прорыв в разработке инструментов на основе ИИ. 

Злоумышленники используют сервисы искусственного интеллекта для социальной инженерии в кампаниях типа «ClickFix».

Хотя это и не новая техника распространения вредоносного ПО, GTIG зафиксировала случаи, когда злоумышленники злоупотребляли доверием общественности к сервисам генеративного ИИ, пытаясь распространить вредоносное ПО. GTIG выявила новую кампанию, в которой злоумышленники используют функцию публичного доступа к сервисам генеративного ИИ, включая Gemini, для размещения обманного контента, связанного с социальной инженерией. Эта деятельность, впервые зафиксированная в начале декабря 2025 года, направлена ​​на то, чтобы обманом заставить пользователей установить вредоносное ПО с помощью хорошо известной техники «ClickFix». Техника ClickFix используется для социальной инженерии, чтобы заставить пользователей скопировать и вставить вредоносную команду в командный терминал.

Злоумышленники смогли обойти средства защиты и подготовить вредоносные инструкции по выполнению различных задач в macOS, в конечном итоге распространив варианты ATOMIC — программы для кражи информации, которая нацелена на среду macOS и способна собирать данные браузера, криптовалютные кошельки, системную информацию и файлы в папках «Рабочий стол» и «Документы». Для размещения своих вредоносных инструкций злоумышленники использовали широкий спектр платформ для чата с использованием ИИ, включая ChatGPT, CoPilot, DeepSeek, Gemini и Grok.

Цель кампании — заманить пользователей, в первую очередь тех, кто использует системы Windows и macOS, к ручному выполнению вредоносных команд. Схема атаки выглядит следующим образом:

• Злоумышленник сначала создает вредоносную командную строку, которая, если ее скопировать и вставить, заразит жертву вредоносным ПО.
• Далее злоумышленник манипулирует ИИ, чтобы тот создал реалистично выглядящие инструкции для устранения распространенной компьютерной проблемы (например, очистки дискового пространства или установки программного обеспечения), но передает ИИ вредоносную командную строку в качестве решения.
• Gemini и другие инструменты искусственного интеллекта позволяют пользователю создавать ссылки для обмена конкретными стенограммами чатов, чтобы определенный ответ ИИ можно было передать другим. Теперь у злоумышленника есть ссылка на вредоносную целевую страницу ClickFix, размещенную на инфраструктуре этого сервиса ИИ.
• Злоумышленник приобретает вредоносную рекламу или иным образом направляет ничего не подозревающих жертв к общедоступной переписке в чате.
• Жертва обманывается расшифровкой чата, созданной искусственным интеллектом, и следует инструкциям, копируя, казалось бы, легитимный скрипт командной строки и вставляя его непосредственно в терминал своей системы. Эта команда загрузит и установит вредоносное ПО. Поскольку действие инициируется пользователем и использует встроенные системные команды, программному обеспечению безопасности может быть сложнее обнаружить и заблокировать его.

Для Windows и MacOS были созданы разные приманки, и использование вредоносных рекламных методов для распространения полезной нагрузки позволяет предположить, что целевая аудитория, вероятно, довольно широка и носит оппортунистический характер. 

Этот подход позволяет злоумышленникам использовать доверенные домены для размещения начального этапа своих инструкций, полагаясь на социальную инженерию для выполнения заключительного, крайне разрушительного этапа выполнения. Хотя этот подход широко используется, это первый случай, когда GTIG зафиксировала злоупотребление функцией публичного доступа к сервисам ИИ, используемой в качестве доверенных доменов.

Наблюдения с подпольного рынка: злоупотребление ключами API для ИИ со стороны хакеров

Хотя легитимные сервисы искусственного интеллекта остаются популярными инструментами для злоумышленников, существует устойчивый рынок сервисов ИИ, специально разработанных для поддержки вредоносной деятельности. Текущие наблюдения за англоязычными и русскоязычными подпольными форумами показывают, что сохраняется постоянный спрос на инструменты и сервисы с поддержкой ИИ, что согласуется с нашей предыдущей оценкой этих платформ . 

Однако злоумышленники испытывают трудности с разработкой собственных моделей и вместо этого полагаются на зрелые модели, такие как Gemini. Например, «Xanthorox» — это подпольный набор инструментов, который позиционирует себя как собственный ИИ для кибератак, таких как автономная генерация кода вредоносного ПО и разработка фишинговых кампаний. Модель рекламировалась как «специально разработанный, обеспечивающий конфиденциальность, самодостаточный ИИ», предназначенный для автономной генерации вредоносного ПО, программ-вымогателей и фишингового контента. Однако наше расследование показало, что Xanthorox — это не собственный ИИ, а на самом деле он работает на основе нескольких сторонних и коммерческих продуктов ИИ, включая Gemini.

Данная схема использует ключевой вектор злоупотребления: интеграцию множества продуктов с открытым исходным кодом в области ИИ — в частности, Crush, Hexstrike AI, LibreChat-AI и Open WebUI — которые используются в корыстных целях через серверы Model Context Protocol (MCP) для создания агентного сервиса ИИ на основе коммерческих моделей.

Для масштабируемого использования сервисов LLM в злонамеренных целях злоумышленникам необходимы API-ключи и ресурсы, позволяющие интегрировать LLM. Это создает риск взлома для организаций со значительными облачными ресурсами и ресурсами искусственного интеллекта. 

Кроме того, уязвимые инструменты искусственного интеллекта с открытым исходным кодом часто используются для кражи ключей API ИИ у пользователей, что способствует процветанию черного рынка несанкционированной перепродажи API и угона ключей, что приводит к широко распространенным злоупотреблениям и влечет за собой издержки для пострадавших пользователей. Например, платформы One API и New API, популярные среди пользователей, сталкивающихся с цензурой на государственном уровне, регулярно используются злоумышленниками для получения ключей API, используя общеизвестные уязвимости, такие как учетные данные по умолчанию, небезопасная аутентификация, отсутствие ограничения скорости запросов, уязвимости XSS и раскрытие ключей API через небезопасные конечные точки API.

Разработка ИИ: безопасно и ответственно 

Мы считаем, что наш подход к ИИ должен быть одновременно смелым и ответственным. Это означает разработку ИИ таким образом, чтобы максимизировать положительные результаты для общества, одновременно решая существующие проблемы. Руководствуясь нашими принципами в области ИИ , Google разрабатывает системы ИИ с надежными мерами безопасности и строгими механизмами защиты, и мы постоянно тестируем безопасность наших моделей, чтобы улучшать их. 

Наши руководящие принципы и правила использования, а также положения о запрещенном использовании, ставят во главу угла безопасность и ответственное использование инструментов генеративного искусственного интеллекта Google. Процесс разработки политики Google включает в себя выявление новых тенденций, комплексный подход и проектирование с учетом требований безопасности. Мы постоянно совершенствуем меры защиты в наших продуктах, чтобы обеспечить масштабируемую защиту пользователей по всему миру.  

В Google мы используем данные об угрозах для противодействия операциям противников. Мы расследуем злоупотребления нашими продуктами, услугами, пользователями и платформами, включая вредоносную кибердеятельность со стороны поддерживаемых правительством субъектов угроз, и сотрудничаем с правоохранительными органами, когда это необходимо. Более того, полученные нами знания о противодействии вредоносной деятельности используются в разработке продуктов для повышения безопасности наших моделей ИИ. Эти изменения, которые могут быть внесены как в наши классификаторы, так и на уровне моделей, необходимы для поддержания гибкости нашей защиты и предотвращения дальнейшего неправомерного использования.

Компания Google DeepMind также разрабатывает модели угроз для генеративного ИИ с целью выявления потенциальных уязвимостей и создает новые методы оценки и обучения для предотвращения злоупотреблений. В рамках этих исследований Google DeepMind рассказала о том, как они активно внедряют средства защиты в системы ИИ, а также инструменты измерения и мониторинга, включая надежную систему оценки, которая может автоматически выявлять уязвимости ИИ, связанные с косвенными атаками внедрения вредоносного ПО. 

Наши команды по разработке ИИ и обеспечению безопасности также тесно сотрудничают с нашими командами по анализу угроз, безопасности и моделированию, чтобы предотвратить злоупотребления.

Потенциал ИИ, особенно генеративного ИИ, огромен. По мере развития инноваций отрасли необходимы стандарты безопасности для ответственного создания и развертывания ИИ. Именно поэтому мы представили Secure AI Framework (SAIF) — концептуальную основу для обеспечения безопасности систем ИИ. Мы предоставили разработчикам всеобъемлющий набор инструментов с ресурсами и рекомендациями по ответственному проектированию, созданию и оценке моделей ИИ. Мы также поделились передовыми методами внедрения мер защиты , оценки безопасности моделей , тестирования и защиты систем ИИ с помощью «красной команды» , а также нашим комплексным подходом к внедрению уязвимостей .

Тесное сотрудничество с отраслевыми партнерами имеет решающее значение для создания более надежной защиты для всех наших пользователей. В этом отношении нам повезло иметь прочные партнерские отношения со многими исследователями, и мы ценим работу этих исследователей и других членов сообщества, которые помогают нам проводить «красную» проверку и совершенствовать нашу защиту.

Google также постоянно инвестирует в исследования в области ИИ, помогая обеспечить ответственное создание ИИ и использование его потенциала для автоматического выявления рисков. В прошлом году мы представили Big Sleep , агента ИИ, разработанного Google DeepMind и Google Project Zero, который активно ищет и находит неизвестные уязвимости безопасности в программном обеспечении. С тех пор Big Sleep обнаружил свою первую реальную уязвимость безопасности и помог обнаружить уязвимость, которая в ближайшее время должна была быть использована злоумышленниками, что GTIG удалось предотвратить заранее. Мы также экспериментируем с ИИ не только для поиска уязвимостей, но и для их устранения. Недавно мы представили CodeMender , экспериментального агента на базе ИИ, использующего расширенные возможности логического мышления наших моделей Gemini для автоматического исправления критических уязвимостей кода. 

Индикаторы компрометации (IOC)

Чтобы помочь более широкому сообществу в поиске и идентификации активности, описанной в этом сообщении блога, мы включили IOC в бесплатную коллекцию GTI для зарегистрированных пользователей.

Об авторах

Группа Google Threat Intelligence занимается выявлением, анализом, смягчением последствий и устранением целых классов киберугроз, направленных против Alphabet, наших пользователей и клиентов. Наша работа включает в себя противодействие угрозам со стороны поддерживаемых правительством субъектов, целенаправленным атакам нулевого дня, скоординированным информационным операциям (ИО) и серьезным сетям киберпреступников. Мы используем наши разведывательные данные для повышения уровня защиты Google и защиты наших пользователей и клиентов.