Хакеры используют скрытый текст, чтобы обмануть Google Gemini

Исследователи безопасности обнаружили новый скрытный метод манипуляции AI-ассистентом Google Gemini, пряча вредоносные команды в коде электронной почты, которые Gemini неосознанно выполняет.

Эти методы косвенной инъекции подсказок (IPI) позволяют мошенникам внедрять поддельные уведомления внутри AI-сгенерированных резюме, заставляя их выглядеть как законные предупреждения от самого Google, в конечном итоге приводя пользователей прямо в фишинговые ловушки.

Как работает эксплойт

В отличие от традиционных фишинговых схем, которые полагаются на сомнительные ссылки или вложения, эта техника гораздо более тонкая, так как уловка заключается в коде электронной почты. Нападающие прячут инструкции в электронных письмах, используя невидимый текст — белый шрифт на белом фоне, шрифты нулевого размера или элементы за пределами экрана. Хотя они остаются невидимыми для человеческого глаза, Gemini видит их и полностью обрабатывает.

Как только получатель нажимает «Суммировать это письмо» в Google Workspace, Gemini сканирует все сообщение, включая скрытые разделы. Если эти скрытые части содержат вредоносные подсказки, они также включаются в итоговое резюме.

Это приводит к поддельному, но убедительному предупреждению о безопасности, призывающему пользователей позвонить по номеру службы поддержки или предпринять срочные действия. Поскольку предупреждение кажется исходящим от самого Gemini, пользователи могут доверять ему, что делает атаку особенно опасной.

Эксплойт обнаружен через программу вознаграждений за ошибки

Уязвимость инъекции подсказок в Google Gemini для Workspace была раскрыта в программе вознаграждений за ошибки 0din от Mozilla для генеративных AI инструментов исследователем Марко Фигероа, менеджером программ вознаграждений за ошибки GenAI в Mozilla. Его демонстрация показала, как злоумышленник может внедрить скрытые инструкции, используя стилистические директивы, такие как теги или CSS-код, которые предназначены для скрытия контента от человеческих глаз, чтобы обмануть Gemini.

Поскольку Gemini рассматривает такие инструкции как часть подсказки, он в конечном итоге повторяет их, как будто они были частью оригинального сообщения в своем итоговом выводе, не осознавая, что они вредоносные.

Фигероа предоставил пример доказательства концепции, чтобы продемонстрировать, как Gemini можно обмануть, чтобы отобразить поддельное предупреждение о безопасности, предупреждающее пользователя о том, что их пароль Gmail был скомпрометирован, и предоставляющее мошеннический номер поддержки для звонка.

Почему это важно

Атака является формой косвенной инъекции подсказок, где вредоносный ввод зарыт внутри контента, который AI должен резюмировать. Это стало растущей проблемой, поскольку генеративный AI интегрируется в повседневные рабочие процессы. С Gemini, интегрированным в Google Workspace — Gmail, Docs, Slides и Drive — любая система, где ассистент анализирует пользовательский контент, потенциально уязвима.

Что делает это более опасным, так это то, что эти резюме могут казаться очень убедительными. Если Gemini включает поддельное предупреждение о безопасности, пользователи могут воспринять его всерьез, так как они доверяют Gemini как части Google Workspace, не осознавая, что это на самом деле скрытое вредоносное сообщение.

Многоуровневая стратегия защиты Google

В ответ Google внедрил многоуровневую систему защиты для Gemini, которая предназначена для усложнения этих атак. Меры включают:

• Классификаторы машинного обучения для обнаружения вредоносных подсказок
• Санитация Markdown для удаления опасного форматирования
• Редактирование подозрительных URL
• Система подтверждения пользователя, которая добавляет дополнительную проверку перед выполнением чувствительных задач.
• Уведомления для оповещения пользователей, когда обнаруживается инъекция подсказок

Google также заявляет, что работает с внешними исследователями и красными командами, чтобы улучшить свои защиты и внедрить дополнительные меры безопасности в будущих версиях Gemini.

«Мы постоянно укрепляем нашу уже надежную защиту через упражнения с красными командами, которые обучают наши модели защищаться от таких типов враждебных атак», — сказал представитель Google в заявлении для BleepingComputer.

Хотя Google заявил, что пока нет доказательств использования этой техники в реальных атаках, это открытие является ясным предупреждением о том, что даже AI-сгенерированный контент, каким бы безупречным он ни был, все еще может быть манипулирован.