KidnapRAG: A Black-Box Attack for Hijacking Reasoning in Agentic Retrieval-Augmented Generation Systems

Chanwoo Choi, Euntae Kim, Kyuho Lee, Youngsam Chun, Jinhee Jeong, Eunmi Kim, Myunggyo Oh, Junseo Jang, Buru Chang
採択先: 未取得 ・ 2026-07-01 ・ source: arxiv
新着論文公開日 2026-07-01キーワード一致 2被引用 0関連度 5本文(arXiv)読む価値 4/5
Agentic RAG特有の「推論鎖のハイジャック」という新奇な攻撃概念を提案しており、ブラックボックス条件下での実用的な手法として非常に価値が高い。
本文取得済み: 本文(arXiv)を根拠に要約しています。
Retrieval-Augmented GenerationRAG
一言で: Agentic RAGシステムに対し、外部から公開可能な毒入り文書のみを用いて推論プロセスを段階的に乗っ取るブラックボックス型攻撃手法「KidnapRAG」を提案する。本手法は、検索意図を逸らす $Bait$、推論鎖を維持する $Chain\text{-}Link$、最終回答を操作する $Mal\text{-}Ins$ の3段階の文書を用いることで、エージェントの多段階推論を攻撃者の意図する経路へと再誘導する。

どんなもの?

本研究は、検索、観察、推論、行動を反復的に行うAgentic RAGシステムにおける、推論鎖(reasoning chain)のハイジャックという新たな脆弱性を扱う。従来のRAG攻撃は単発的な検索を対象としており、エージェントが矛盾を検知して再検索を行うことで攻撃を回避する傾向があった。これに対し、KidnapRAGはシステムプロンプトや内部パラメータにアクセスできないブラックボックス条件下で、公開された中間的な推論ステップや検索クエリなどの観測可能な信号を利用する。攻撃者は、エージェントの自律的な検索行動を逆手に取り、逐次的な攻撃表面(sequential attack surface)を通じて推論経路を操作する。

先行研究と比べてどこがすごい?

本研究の主な貢献は、Agentic RAG特有の反復的な推論プロセスを標的とした、実用的なブラックボックス型ポイズニング攻撃「KidnapRAG」を提案したことである。実験を通じて、KidnapRAGが既存の7つの攻撃手法(Ignore AttackやPARADOX等)と比較して、多様なLLMバックボーンおよびフレームワークにおいて一貫して高い攻撃成功率(ASR)を達成することを示した。また、攻撃が単なる情報の注入ではなく、推論鎖に対する持続的な操作であることを明らかにし、推論プロセスを段階的に偽装することでOpenAI Moderationによる検知率を低く抑えられる特性も示した。これにより、Agentic RAGにおける推論鎖のハイジャックが深刻なセキュリティリスクであることを浮き彫りにした。

技術や手法のキモはどこ?

KidnapRAGは、以下の4つのフェーズからなる逐次的な攻撃アルゴリズムである。まず「Reasoning Chain Profiling」により、公開インターフェースから中間的な推論ステップや検索クエリを観察する。次に「Reasoning Redirection」フェーズにおいて、キーワードの再定義、意図のハイジャック、および次のクエリを推奨する「Next Query Recommendation」戦略を用いた $Bait$ 文書を配置し、検索意図を希少なドメインへと逸らす。続いて「Chain Dragging」フェーズでは、再帰的な検索によってエージェントを攻撃者の制御下に留め続ける $Chain\text{-}Link$ 文書を用い、最終的に $Mal\text{-}Ins$ 文書(悪意ある指示ドキュメント)へと誘導して回答を操作する。このプロセスにより、エージェントの推論文脈を攻撃者の意図する結論へと段階的に書き換える。

どうやって有効だと検証した?

実験では、HotpotQA、MuSiQue、2WikiMultihopQAの3つのベンチマークを用い、ReAct(Qwen2.5-32B-Instruct, Llama-3.3-70B-Instruct)およびWebThinker(QwQ-32B, DeepSeek-R1-32B)のフレームワークで評価を行った。リトリーバーには $e5\text{-}large\text{-}v2$ を使用し、正解率(EM)、攻撃成功率(ASR)、Reasoning Path Divergence Score、Target Redirection Score、Answer Preference Scoreを指標とした。結果として、KidnapRAGは全ての構成において既存手法を上回るASRを達成した。アブレーション研究では、$Bait$、$Chain\text{-}Link$、$Mal\text{-}Ins$ の連鎖が不可欠であり、これらを単一文書に統合した「w/o Chaining」設定ではASRが大幅に低下することが確認された。

議論はある?(限界・課題)

KidnapRAGの有効性は、単なる汚染された証拠の局所的な注入ではなく、推論鎖に対する持続的な操作に起因している。しかし、本手法にはいくつかの限界が存在する。第一に、中間思考や検索クエリが隠蔽・サニタイズされるシステムでは攻撃の有効性が低下する可能性がある。第二に、インデックスの遅延やプラットフォームのモデレーション、ドメイン権威性などの要因が検索の信頼性に影響を与える。第三に、評価がReActやWebThinkerなどの代表的なアーキテクチャに限定されており、マルチエージェント構成等への検証が必要である。今後の課題として、検索結果の検証や推論の一貫性チェックを備えた、より高度な防御メカニズムに対する包括的な検証が挙げられる。

セクション別の詳細要約

KidnapRAG: A Black-Box Attack for Hijacking Reasoning in Agentic Retrieval-Augmented Generation Systems

本研究は、検索と推論を反復的に行うAgentic RAGシステムに対し、外部から公開可能な毒入り文書のみを用いるブラックボックス型のポイズニング攻撃手法「KidnapRAG」を提案している。KidnapRAGは、初期の検索を誘発する $Bait$、クエリの再構成を誘導する $Chain\text{-}Link$、そして攻撃者が制御する証拠を提供する $Mal\text{-}Ins$ という、役割の異なる3種類の文書を用いた逐次的な攻撃アルゴリズムである。実験では、複数のAgentic RAGフレームワーク、LLMバックボーン、およびベンチマークを用いて評価を行い、既存のポイズニング手法をブラックボックス条件下で一貫して上回る性能を示すことを確認している。詳細な分析により、本手法が元の検索意図を段階的に弱め、検索行動をリダイレクトさせ、攻撃者が制御する証拠への依存度を高めることで、エージェントの多段階の推論チェーンを乗っ取ることが明らかになった。

1 Introduction

Agentic RAGシステムは、検索、観察、推論、行動を反復的に行うことで複雑な情報処理を可能にするが、従来の単発的なRAGへの毒入れ攻撃では、エージェントが推論過程で矛盾する情報を棄却したり再検索を行ったりするため、攻撃が失敗しやすいという課題がある。本研究では、システムプロンプトや内部パラメータにアクセスできないブラックボックス条件下で、エージェントの推論鎖(reasoning chain)を乗っ取る攻撃手法であるKidnapRAGを提案する。KidnapRAGは、初期の検索を誘導して希少なドメインへと検索意図を逸らす $\text{Bait}$、乗っ取った推論鎖を維持する $\text{Chain-Link}$、そして最終的な回答を操作するための証拠を提供する $\text{Mal-Ins}$ という、役割の異なる3種類の毒入り文書を逐次的に利用する。攻撃者は、実際のAgentic RAGサービスが公開している中間的な推論ステップや生成された検索クエリなどの観測可能な信号を利用して、エージェントの推論経路を攻撃者の意図する経路へと段階的に再誘導する。実験の結果、KidnapRAGは多様なアーキテクチャやLLMバックボーンにおいて、既存の毒入れ手法と比較して最大の性能低下と最も高いターゲット回答誘導率を達成した。この結果は、反復的な推論プロセスが単純な攻撃に対しては堅牢性を高める一方で、逐次的な攻撃表面(sequential attack surface)を生み出すという新たな脆弱性を浮き彫りにしている。

2 Related Work

Agentic RAGは、ReActのような推論ステップとツール呼び出しを交互に行う動的なパラダイムに基づき、Search-o1やWebThinkerのように自己認識した知識の欠落に応じて検索やウェブナビゲーションを自律的に実行するシステムである。従来のRAGに対する攻撃には、外部コンテンツ内の悪意ある指示を用いてモデルの挙動を転換させる手法や、検索コーパスに細工した文書を注入するコーパス・ポイズニング攻撃が存在する。PoisonedRAGやRAG Paradoxといったブラックボックス型の攻撃も存在するが、これらは主に単一ステップの検索を対象としている。一方で、Agentic RAGを標的とした近年の攻撃は、中間的な推論やツール利用プロセスを操作するものであるが、プロンプトや推論トレース、リトリーバー、モデルパラメータへのホワイトボックス的なアクセスを前提としていることが多い。これに対し、本研究は、攻撃者が外部から検索可能なポイズニング文書を公開するのみで、逐次的な検索を通じてエージェントの推論チェーンを誘導するブラックボックス攻撃を扱う。

3 KidnapRAG

KidnapRAGは、Agentic RAGシステムの内部構成(モデル、システムプロンプト、リトリーバー等)にアクセスできないブラックボックス条件下で、攻撃者が意図した回答を生成させる攻撃手法である。攻撃プロセスは、まず公開インターフェースから中間的な推論ステップや検索クエリ、取得コンテンツを観察する「Reasoning Chain Profiling」から始まり、次に観察されたクエリに最適化された「Bait Document」を公開ソースに配置して推論を逸脱させる「Reasoning Redirection」へと続く。逸脱後は、再帰的な検索によってエージェントを攻撃者の制御下に留め続ける「Chain-Link Document」を用い、最終的に「Mal-Ins Document(悪意ある指示ドキュメント)」へと誘導することで、推論の文脈を攻撃者の意図に完全に書き換える「Chain Dragging」と「Target Answer Induction」を実行する。Bait Documentの生成には、キーワードの再定義、意図のハイジャック、および次のクエリを推奨する「Next Query Recommendation」という3つの戦略が用いられ、これによってエージェントを攻撃者が用意した固定のドキュメントチェーンへと引き込む。Chain-LinkおよびMal-Ins Documentは一度作成すれば再利用可能であり、これらは一連の推論の流れの中で自然な結論として攻撃者の意図した回答を提示するように設計されている。

4 Experiment

本実験では、Agentic RAGシステムに対するブラックボックス攻撃手法であるKidnapRAGの有効性を、HotpotQA、MuSiQue、2WikiMultihopQAの3つのデータセットを用いて検証している。評価にはReAct(Qwen2.5-32B-Instruct, Llama-3.3-70B-Instruct使用)およびWebThinker(QwQ-32B, DeepSeek-R1-32B使用)の2つのフレームワークを用い、リトリーバーにはe5-large-v2を採用した。評価指標として、正解率(EM)と攻撃成功率(ASR)に加え、推論経路の逸脱を示すReasoning Path Divergence Score、攻撃対象への誘導を示すTarget Redirection Score、およびAnswer Preference Scoreを導入している。実験の結果、既存の7つの攻撃手法(Ignore AttackやPARADOX等)がAgentic RAGにおいて失敗する一方で、KidnapRAGは全ての構成において最も高いASRを達成し、推論経路を攻撃者の意図する方向へ継続的に操作できることが示された。アブレーション研究により、Bait(誘導)、Chain-Link(維持)、Mal-Ins(最終誘導)の3種類の文書が連鎖的に機能することが不可欠であり、これらを単一の文書に統合(w/o Chaining)するとASRが大幅に低下することが判明した。また、KidnapRAGは推論プロセスを段階的に偽装するため、OpenAI Moderationによる検知率(guard rate)を低く抑えられるという特性も確認された。

5 Conclusion

本研究は、Agentic RAGシステムにおける重大な脆弱性を明らかにし、内部システムへのアクセスを必要とせず、外部から観測可能な推論信号を利用して最終回答に至る推論鎖を操作できることを示した。提案手法であるKidnapRAGは、エージェントの推論鎖を元のクエリの意図から攻撃者が意図する応答へと段階的に転換させる、現実的なブラックボックス攻撃である。広範な実験の結果、KidnapRAGは既存の攻撃手法と比較して、大幅な性能低下を引き起こすと同時に、標的応答の誘導においてより高い成功率を達成することが示された。詳細な分析により、その有効性は単なる汚染された証拠の局所的な注入ではなく、推論鎖に対する持続的な操作に起因することが確認された。これらの知見は、推論鎖のハイジャックがAgentic RAGにおける根本的なセキュリティリスクであることを浮き彫りにしており、敵対的なステアリングを検知・防御する新たな防御策の必要性を強調している。

Limitations

本研究は、攻撃者が内部コンポーネントにアクセスできず、システムが公開する推論チェーンの情報のみに依存するブラックボックス設定下でも、Agentic RAGの推論プロセスを乗っ取れることを示したが、いくつかの限界が存在する。第一に、中間思考や検索クエリの提示度合いに依存するため、推論プロセスが隠蔽・要約・サニタイズされるシステムでは攻撃の有効性が低下する可能性がある。第二に、攻撃者が公開したコンテンツが検索対象となる際、インデックスの遅延、ソースフィルタリング、ドメイン権威性、プラットフォームのモデレーション等の要因により、検索の信頼性が変動する。第三に、実験は ReAct や WebThinker といった代表的なアーキテクチャに限定されており、プランナーや検証器、マルチエージェント構成を含むより広範な設計への評価が必要である。最後に、OpenAI Moderation に基づく検知器による評価は行っているものの、検索結果の検証、ソースの信頼性推定、推論の一貫性チェックといった、より多様な防御メカニズムを備えたシステムに対する包括的な検証は今後の課題である。

Ethical Considerations

本研究は、Agentic RAGシステムにおいて、システムが露出させる推論チェーン(reasoning-chain)の情報を悪用してエージェントの推論プロセスを乗っ取る、未踏のブラックボックス攻撃手法であるKidnapRAGを提案している。この攻撃は、中間的な推論の操作や攻撃者の意図に基づいた誤情報の誘導、あるいは不適切・誤解を招く結論への誘導を可能にするリスクがあり、特に医療、法律、金融、教育、公共の意思決定といった高影響なドメインにおいて深刻な脅威となる。実験の大部分は、制御された条件下で公開ベンチマークデータセットを用いてオフラインで実施されている。著者らは、悪用を防ぎ安全なシステムの構築を支援することを目的としており、推論チェーンの異常検知、検索結果の検証、ソースの信頼性評価、および出力の監査といった、推論プロセス乗っ取りに対する実用的な防御策の研究を推奨している。