RAGシステムでは、指示（命令）とデータ（外部知識）が同一のトークンストリームとしてLLMに渡されるため、外部知識に悪意あるペイロードを混入させる「間接的プロンプトインジェクション」が深刻な脅威となる。本研究は、指示の上書き（Instruction Override）、機密情報の漏洩（Data Exfiltration）、および振る舞いの操作（Behavioral Manipulation）を目的としたブラックボックス攻撃を想定している。既存の防御策は、入力フィルタリングや命令の階層化、出力モニタリングが独立して機能しており、これらが協調して状態を共有する構造を持っていないという課題がある。本研究は、直接的および間接的なインジェクションを単一のアーキテクチャで同時にカバーすることを目指している。
本研究の主な貢献は、モデルの重み変更を必要としない、モデル非依存の3層防御フレームワークを提案したことである。このフレームワークは、入力、コンテキスト構築、出力の各フェーズで多層的な防御を提供し、攻撃成功率（ASR）を $60.1$ ポイント減少させることに成功した。また、各防御層の寄与度を明らかにするアブレーション解析を行い、層間の相乗効果を定量的に示した。さらに、検知された攻撃を第1層の分類器へフィードバックする継続的監査ループ（Continuous Audit Loop）を導入し、未知の攻撃への適応性を確保する設計を行っている。
提案フレームワークは以下の3つの層で構成される。第1層（Input Screening）は、正規表現によるパターンマッチングと、PromptBench等で学習された軽量なセマンティック分類器を用いて、ユーザー入力内の直接的なインジェクションを検知する。第2層（Privilege-Constrained Context Assembly）は、コンテキスト構築時にシステムプロンプトを「Operator Tier」、検索結果を「Retrieval Tier」、ユーザー入力を「User Tier」と定義し、各セグメントに $[SYS], [RET], [USR]$ のプロベナンス（由来）タグを付与することで、下位階層の指示が上位を上書きすることを防ぐ。第3層（Output Auditing）は、ポリシー・ルールエンジンとセマンティック類似度テストを用いて、モデル出力がシステムプロンプトの指示に反していないか、あるいは機密情報を漏洩していないかを監査する。これら全層のログは継続的監査ループを通じて収集され、防御の強化に利用される。
GPT-4o、Llama 3 8B、Mistral 7Bの3つのターゲットモデルを用い、PromptBenchやBIPIA、および手動作成による計2,240件の攻撃サンプルと、MS-MARCOから抽出した2,240件の良性クエリを用いて評価を行った。実験の結果、マクロ平均ASRは $71.4\%$ から $11.3\%$ へと減少した。偽陽性率（FPR）は $4.8\%$ に抑えられ、応答品質（RQS）はBERTScore $F_1$ で $0.89$ を維持した。レイテンシのオーバーヘッドは、MiniLMエンコーダによる処理を含め中央値で $61.2\,\text{ms}$ であり、運用許容範囲内であることが示された。アブレーション解析では、第3層が最大のASR削減（$32.8\,\text{pp}$）に寄与することが確認された。
本フレームワークは、各層が独立して機能するのではなく、第2層が第3層のポリシーエンジンに到達する攻撃を減らすことで、全体のFPRを低く抑えるという相乗効果を生んでいる。しかし、依然として $11.3\%$ のASRが残存しており、その要因はL1の閾値を下回る新規な表現（$37.5\%$）や、明示的な命令を避けた間接的インジェクション（$25.0\%$）にある。また、本研究は単一ターンの評価に基づいているため、マルチターン攻撃（残存バイパスの $15.6\%$）への脆弱性が課題として残る。今後の展望として、セッション全体を考慮した再帰的な検知機構や、オンラインでの適応的な閾値キャリブレーションの導入が挙げられる。
RAG（Retrieval-Augmented Generation）を用いたチャットボットにおいて、指示とデータが同一のトークンストリームとして扱われるというLLMの構造的特性が悪用され、システムプロンプトを上書きするプロンプトインジェクションが深刻な脅威となっている。特に、外部知識ベースに悪意あるペイロードを埋め込む間接的プロンプトインジェクションは、攻撃対象領域を大幅に拡大させる。本研究では、指示の上書き、データ漏洩、振る舞いの操作を目的とするブラックボックス攻撃を想定した形式的な脅威モデルを定義し、モデルに依存しない3層の防御フレームワーク（入力スクリーニング、権限制約付きコンテキスト構築、出力監査）を提案する。5,080個の良性および敵対的サンプルを用いた評価では、3つのターゲットモデルにおいて、マクロ平均攻撃成功率（ASR）を $71.4\%$ から $11.3\%$ へと $60.1$ ポイント減少させることに成功した。この防御策は、偽陽性率（FPR）を $4.8\%$ に抑えつつ、中央値で $61.2\,\text{ms}$ のレイテンシオーバーヘッドで動作し、各防御層の寄与度や残存するバイパスメカニズムについてもアブレーション解析を行っている。
プロンプトインジェクションの研究は、攻撃手法の特性化と防御策の提案という2つの軸で発展しており、本研究は既存研究の欠落を埋めることを目的としている。攻撃面に関しては、ユーザー入力による直接的な上書きに加え、外部コンテンツにペイロードを埋め込む「間接的プロンプトインジェクション」が、単一の文書で多数のユーザーに影響を及ぼすため、より深刻な脅威として特定されている。防御策は、入力フィルタリング（SmoothLLMによる文字レベルの摂動など）、命令の階層化（StruQによる構造化クエリやSandwich promptingなど）、および出力モニタリング（NeMo GuardrailsやLlama Guardによる意図分類やフィルタリング）の3つのカテゴリに分類されるが、これらは独立して機能しており、状態を共有する協調的なレイヤー構造を持っていない。既存の防御手法には、入力側防御が間接的インジェクションに対して無力であること、命令階層化がモデルの微調整や特定の構造信号への依存を必要とすること、そして防御策を組み合わせた際の相乗効果が定量化されていないという課題がある。本研究は、直接的および間接的インジェクションを単一のアーキテクチャで同時にカバーし、攻撃ベクトルと攻撃目的を区別して評価する、BIPIAベンチマークに基づいた新しいフレームワークを提案している。
本研究では、RAG（Retrieval-Augmented Generation）ベースのチャットボットを対象とした脅威モデルを定義しており、システムはシステムプロンプト、検索モジュール、LLM推論エンジン（GPT-4o, Llama 3, Mistral 7Bを使用）、応答配信層の4つの論理コンポーネントで構成される。攻撃者は、公開されているチャットボットに対して外部からアクセスするブラックボックス型の攻撃者としてモデル化されており、命令プレーンとデータプレーンが分離されず、すべての入力が単一のトークンストリームとして処理される脆弱性を突く。攻撃ベクトルは、ユーザー入力から直接命令を注入する「Direct Prompt Injection」（Role Hijacking, Instruction Override, System Prompt Extraction）と、外部知識ベースに悪意あるペイロードを混入させる「Indirect Prompt Injection」（Retrieved Document Payload, Knowledge Base Poisoning）の2種類に分類される。攻撃の成功は、システムプロンプトの指示を無視させる Instruction Override (IO)、機密情報を漏洩させる Data Exfiltration (DE)、および有害な出力を生成させる Behavioral Manipulation (BM) の3つの目的によって評価される。なお、ホワイトボックス環境を前提とする勾配ベースのAdversarial Suffix攻撃や、学習時のデータポイズニング、マルチモーダル注入、インフラ層への攻撃などは本研究のスコープ外としている。
本研究では、RAG（Retrieval-Augmented Generation）ベースのチャットボットにおける直接的および間接的なプロンプトインジェクションを防ぐため、モデルの重み変更を必要としない、モデル非依存の3層防御フレームワークを提案している。第1層（Input Screening）は、正規表現を用いたパターンマッチングと、PromptBench等のデータセットで学習された軽量なセマンティック分類器により、ユーザー入力に含まれる直接的なインジェクションを検知・無害化する。第2層（Privilege-Constrained Context Assembly）は、コンテキスト構築時に、システムプロンプトを「Operator Tier」、検索結果を「Retrieval Tier」、ユーザー入力を「User Tier」とする特権階層を定義し、各セグメントに $[SYS], [RET], [USR]$ のプロベナンス（由来）タグを付与することで、下位階層の指示が上位階層を上書きすることを防ぐ。第3層（Output Auditing）は、推論後のモデル出力をポリシー・ルールエンジンとセマンティック類似度テストによって監査し、システムプロンプトの漏洩や意図しない振る舞い（Semantic Drift）を検知して、最終的な安全網として機能する。これら全層のログを収集する継続的監査ループ（Continuous Audit Loop）を備えており、検知された攻撃事例を第1層の分類器の再学習にフィードバックすることで、未知の攻撃への適応性を確保している。本フレームワークはミドルウェアとして統合可能であり、各層の推論オーバーヘッドは極めて低く抑えられる設計となっている。
本研究では、RAGベースのチャットボットに対するプロンプトインジェクションを防ぐための3層防御フレームワークの有効性を、GPT-4o、Llama 3 8B、Mistral 7Bの3モデルを用いて評価している。評価にはPromptBenchやBIPIA、手動作成およびGPT-4oによるパラフレーズ拡張を用いた計2,240件の攻撃サンプルと、MS-MARCOから抽出した2,240件の良性クエリからなるデータセットが使用された。実験の結果、提案フレームワークはマクロ平均の攻撃成功率（ASR）を71.4%から11.3%へと60.1ポイント削減し、単一層の最良結果（L3のみの38.6%）やNeMo Guardrailsを大幅に上回る性能を示した。誤検知率（FPR）は4.8%に抑えられ、応答品質（RQS）もBERTScore $F_1$ で0.89を維持しており、実用的なユーザビリティが確認された。アブレーション解析により、各層は相補的であり、特にL3が最大のASR削減（32.8 pp）に寄与することが示された一方、残存する11.3%のASRは、主にL1の閾値を下回る意味的に新規な表現（37.5%）や、明示的な命令を避けた間接的インジェクション（25.0%）に起因することが判明した。また、フレームワークによる追加のレイテンシオーバーヘッドの中央値は61.2msであり、主にMiniLMエンコーダによる2回のセマンティック符号化処理に起因するが、運用予算である100ms以内に収まっている。
本研究の提案する3層防御フレームワークは、アブレーション研究において、全層適用時のASR（Attack Success Rate）が11.3%となり、2層構成の22.4%や単層構成の38.6%と比較して質的に異なるレベルの保護を実現することを示している。Layer 2は、Layer 3のポリシーエンジンに到達する注入攻撃の割合を減らすことで、システム全体のFPR（False Positive Rate）を4.8%まで低下させるという、層間の相乗効果（Layer 2がLayer 3のROC曲線の低FPR領域への動作点をシフトさせる効果）をもたらす。実験の結果、モデルの能力向上（例：GPT-4oの採用）はASRをわずかに下げるのみであり、構造的な防御が不可欠であることが示されたほか、Layer 3のコサイン類似度判定により、データ漏洩（DE）攻撃は他の攻撃（IOやBM）よりも抑制しやすい傾向にある。本研究の限界として、攻撃者が防御機構を知るホワイトボックス攻撃への未対応、単一ターン評価によるマルチターン注入（残存バイパスの15.6%を占める）への脆弱性、および検証用データと実環境の分布差による閾値 $\tau$ の感度問題が挙げられる。今後の展望として、セッションレベルの注入スコアを維持する再帰的・注意機構を用いたマルチターン検知、生成的な検知器による潜在的な指示の検出、およびオンラインでの適応的な閾値キャリブレーションの導入が示唆されている。
本研究は、LLMのコンテキスト内における命令とデータの境界の欠如に起因する構造的なセキュリティ問題に対し、Input Screening、Privilege-Constrained Context Assembly、Output Auditingの3層からなる防御フレームワークと、継続的な監査ループ（Continuous Audit Loop）を提案している。実験の結果、提案フレームワークは3つのターゲットモデルおよび5つの攻撃カテゴリにおいて、マクロ平均攻撃成功率（ASR）を $71.4\%$ から $11.3\%$ へと大幅に低減させ、既存の単一層のベースラインや汎用ガードレールシステムを上回る性能を示した。また、偽陽性率（False Positive Rate）を $4.8\%$ に抑えつつ、中央値のレイテンシ増加を $61.2\,\text{ms}$ に留めており、対話型チャットボットへの実用的な導入が可能であることを証明している。アブレーション解析により、各層が独自の防御価値を持ち、それらの組み合わせが個々の寄与の総和を超える相乗効果を生むことが確認された。一方で、意味的に新規な攻撃、検索されたコンテンツに埋め込まれた暗黙的な命令、およびマルチターン攻撃に対する脆弱性が残存しており、今後は適応的な検出手法やセッションを考慮した防御策の検討が必要である。