ハッカーが隠されたテキストを使ってGoogle Geminiを騙す

セキュリティ研究者たちは、悪意のあるコマンドをメールコードに隠すことで、GoogleのGemini AIアシスタントを操作する新しい巧妙な方法を発見しました。これにより、Geminiは知らず知らずのうちにそれに従います。

これらの間接的なプロンプトインジェクション（IPI）手法により、詐欺師はAI生成の要約内に偽の警告を埋め込むことができ、これがGoogle自身からの正当な警告のように見えるため、最終的にはユーザーをフィッシングトラップに誘導します。

エクスプロイトの仕組み

従来のフィッシング詐欺が怪しいリンクや添付ファイルに依存するのとは異なり、この手法ははるかに微妙です。トリックはメールのコードにあります。攻撃者は、目に見えないテキスト（白い背景に白いフォント、ゼロサイズのフォント、または画面外の要素）を使用してメールに指示を隠します。人間の目には見えませんが、Geminiはそれを見て完全に処理します。

受信者がGoogle Workspaceで「このメールを要約する」をクリックすると、Geminiは隠された部分を含むメッセージ全体をスキャンします。もしその隠された部分に悪意のあるプロンプトが含まれていれば、それも要約出力に含まれます。

これにより、ユーザーにサポート電話番号に電話をかけるよう促す偽のセキュリティ警告が表示されます。この警告はGemini自身からのものであるように見えるため、ユーザーはそれを信頼し、攻撃が特に危険になります。

バグバウンティプログラムを通じて発見されたエクスプロイト

Google WorkspaceのGeminiにおけるプロンプトインジェクションの脆弱性は、Mozillaの生成AIツール向けの0dinバグバウンティプログラムに、研究者のマルコ・フィゲロアによって開示されました。彼は、攻撃者がタグやCSSコードのようなスタイリング指示を使用して、目に見えないコンテンツを隠すための指示を埋め込む方法を示しました。

Geminiはそのような指示をプロンプトの一部として扱うため、悪意のあるものであることに気づかず、要約出力で元のメッセージの一部であるかのように繰り返します。

フィゲロアは、GeminiがユーザーにGmailのパスワードが侵害されたと警告し、電話をかけるための詐欺的なサポート番号を提供する偽のセキュリティ警告を表示するように騙される方法を示す概念実証の例を提供しました。

なぜこれが重要なのか

この攻撃は、悪意のある入力がAIが要約すべきコンテンツに埋め込まれる間接的なプロンプトインジェクションの一形態です。生成AIが日常のワークフローに統合されるにつれて、これはますます懸念されています。GeminiがGoogle Workspace（Gmail、Docs、Slides、Drive）全体に統合されているため、アシスタントがユーザーコンテンツを分析するシステムは潜在的に脆弱です。

これをさらに危険にしているのは、これらの要約が非常に説得力があるように見えることです。Geminiが偽のセキュリティ警告を含む場合、ユーザーはそれを真剣に受け止めるかもしれません。彼らはGeminiをGoogle Workspaceの一部として信頼しており、それが実際には隠された悪意のあるメッセージであることに気づいていません。

Googleの多層防御戦略

これに応じて、GoogleはGeminiに対して、これらの攻撃を実行しにくくするために設計された層状の防御システムを展開しました。対策には以下が含まれます：

• 悪意のあるプロンプトを検出するための機械学習分類器
• 危険なフォーマットを削除するためのMarkdownサニタイズ
• 疑わしいURLの削除
• 敏感なタスクを実行する前に追加のチェックポイントを追加するユーザー確認フレームワーク
• プロンプトインジェクションが検出されたときにユーザーに通知する通知

Googleは、外部の研究者やレッドチームと協力して、防御を洗練させ、将来のGeminiバージョンに追加の保護を実装するために取り組んでいるとも述べています。

「私たちは、これらの種類の敵対的攻撃に対して防御するためにモデルを訓練するレッドチーミング演習を通じて、すでに堅牢な防御を常に強化しています」と、GoogleのスポークスパーソンはBleepingComputerに対して述べました。

Googleは、この技術が実際の攻撃に使用された証拠はまだないと述べていますが、この発見は、どんなにシームレスであっても、AI生成のコンテンツが操作される可能性があるという明確な警告です。