セキュリティ分野の検索拡張生成（Security-RAG）システムを対象とし、検索された文書集合を用いて脆弱性の深刻度、修正策、および悪用可能性の判定を誤らせる問題を扱う。従来の防御策は、文書内の不自然な命令の検知、文書間の矛盾のフィルタリング、あるいは文書間の共同推論の禁止、回答の不確実性の検証に依存してきた。しかし、個々の文書が事実として正しく、かつ互いに整合している場合に、モデルに推論を強いて誤った結論を導かせる攻撃への対処が困難であった。
既存の防御手法が前提とする「不自然な形式」「矛盾」「不確実性」という特徴を一切持たず、すべての文書が真実かつ分布的に正常であるという条件下で成立する攻撃クラスCompositional Misleading（COMA）を定義した。また、文書の矛盾に頼るのではなく、特定の文書を除外した際の影響度を測定することで、一貫した文書群による構成的な攻撃を検知できる因果的反事実的防御（ccd）を提案した。
攻撃手法COMAは、推奨策を不適切な回避策へ誘導するaction-corruptionと、到達可能性の連鎖により判定を不安定化させるverdict-flipの2つのメカニズムを用いる。防御手法ccdは、leave-one-out方式を採用し、検索された文書集合から特定の文書を一つずつ除外して回答を再生成することで、各文書が回答に与える因果的な影響度を算出する。文書は信頼ティア（高・中・低）に基づいて分類され、低信頼ドキュメントの除外によって回答が変化した場合にのみ、攻撃の可能性をフラグ立てする。さらに、影響力を複数の文書に分散させる攻撃に対しては、低信頼ドキュメントの集合を一括で除外して評価する集約型のccdを用いる。
5つのモデル（llama3.1:8b, gemma4:31b, nemotron-3-super:120b, gpt-5.5, deepseek-v4-pro）を用い、合成ドメインと実在の脆弱性（CVE-2021-33813）で評価した。action-corruptionはすべてのモデルで100%の成功率を示し、verdict-flipはモデルの能力向上に伴い減少するものの、フロンティアモデルでも60%から67%の成功率を維持した。防御策ccdは、攻撃用ドキュメントを単独で取り除いた際に回答を正解へ復帰させることで攻撃箇所を特定し、4つの正常な文書群に対しては偽陽性を発生させなかった。また、集約型のccdを用いることで、影響力を分散させた適応的な攻撃も全モデルにおいて検知できた。
本研究の限界として、評価が少数の手作りのシードに基づいているため、大規模なコーパスにおける攻撃の普及率が不明であることや、防御の評価が判定の反転という離散的なレベルに留まっていることが挙げられる。今後の課題は、連続的な影響度スコアの活用や適切な閾値の設定、および独立したレッドチーミングによる検証である。また、攻撃者が予算を増やして影響力を分散させる場合、防御の堅牢性は攻撃者の注入予算と検知回避のための影響範囲のトレードオフの関係になる。
本研究は、セキュリティ分野の検索拡張生成（RAG）システムを標的とした、Compositional Misleading（COMA）と呼ばれる攻撃手法を提案している。この攻撃は、個々の検索文書が事実として正しく、指示を含まず、矛盾もしていないにもかかわらず、それらの組み合わせによってモデルの回答を誤らせるものである。攻撃には、脆弱性の修正策を不適切なものへ誘導するaction-corruptionと、脆弱性の判定を覆すverdict-flipの2つの形態がある。実験では、2つの合成ドメインと実在の脆弱性（CVE-2021-33813）を用いて5つのモデルを評価しており、action-corruptionはすべてのモデルで発生し、verdict-flipはモデルの能力向上に伴い減少するものの依然として発生することが示された。攻撃が成功する原理は、回答を確定させるための事実が直接読み取れるものではなく、文書間の推論を必要とする場合に発生する。これに対し、著者らはCausal Counterfactual Defense（ccd）という防御策を提案しており、これは特定の文書を一つずつ除外して回答への因果的な影響を測定する手法を用いて、信頼性の低い文書の影響力が集中している回答を検知するものである。ccdは、攻撃者が制御する文書を特定でき、かつ複数の文書を用いた正常なシナリオにおいて誤検知が発生しないことが確認されている。
本研究は、セキュリティ分野の検索拡張生成（Security-RAG）において、個々の文書は事実として正しく、指示命令を含まず、他の文書とも矛盾しないにもかかわらず、それらを組み合わせることで大規模言語モデル（LLM）を誤導する攻撃クラスであるCompositional Misleading（COMA）を提案している。この攻撃は、脆弱性の深刻度は正しく診断させつつ不適切な修正策へと誘導するaction-corruptionや、脆弱性の判断を不安定にするverdict-flipという2つのメカニズムを通じて実行される。COMAは、判断の決め手となる事実を明示せず、推論によってのみ導き出せる状態にすることで、既存のコンテンツスキャン、合意形成フィルタリング、不確実性検証といった防御手法を構造的に回避する。これに対し、提案する防御手法であるCausal Counterfactual Defense（ccd）は、特定の文書を一つずつ除外して再実行する手法を用い、回答に対する各文書の因果的な影響力を測定することで攻撃文書を特定する。実験では、action-corruptionが最新の推論モデルを含む5つのモデルに対して有効であることを示し、ccdが合成データおよび実在の脆弱性（CVE-2021-33813）を用いた攻撃において、誤検知なく攻撃文書を特定できることを確認している。さらに、影響力を複数の文書に分散させる適応的な攻撃に対しては、低信頼度文書群の影響力を合算して閾値判定を行う集約型のccdを用いることで、検知が可能であることを示している。
本研究が対象とする脅威は、プロンプトインジェクションから発展し、検索された文書内に攻撃ペイロードを混入させることでRAG（検索拡張生成）システムを乗っ取る手法に基づいています。既存の防御策は、命令文の形式を検知する手法、文書間の矛盾を検知する手法、文書を個別に評価して多数決を行う手法、およびモデルの自己反省を利用する手法の4つの分類に分けられます。しかし、これらの防御策は、攻撃的な文書が不自然な形式であることや、他の文書と矛盾すること、あるいは回答の確信度を下げることを前提としており、すべての文書が真実かつ命令を含まず、かつ互いに整合している「Compositional Misleading」攻撃には対応できません。これに対し、提案手法であるccdは、文書間の矛盾に頼るのではなく、どの文書が回答の生成に因果的な影響を与えたかを個別に監査することで、一貫した文書群による攻撃を検知します。本研究は、LLMが脅威インテリジェンスの分析を行うセキュリティオペレーションセンター（SOC）を対象としており、個別の記事のスコアリングに留まる既存の分類器とは異なり、検索された文書集合全体に対する構成的な攻撃に対処します。
本研究の脅威モデルは、精査済み、半精査済み、および公開情報の3つの信頼階層からなるコーパスを利用するRAGベースのセキュリティ・コパイロットを対象としている。攻撃者は、埋め込みモデルやインデックスにはアクセスできないが、公開コーパスに最大10個の文書を注入できる。提案するCompositional Misleading攻撃は、すべての主張が真実であり、指示形式を含まず、既存の文書と矛盾せず、かつ統計的な特徴が正常な文書と区別できないという4つの制約を満たしながら、モデルの推論を誤らせる手法である。この攻撃は、モデルが文書から直接読み取れる事実ではなく、文書の欠落から推論しなければならない事実に依存して成功するという原理に基づいている。具体的なメカニズムとして、脆弱性への恒久的な対策ではなく、特定の条件下でのみ有効な脆弱な回避策を推奨させるAction-corruptionと、到達可能性の判断を循環参照によって決定不能にし、判定を確率的に誤らせるVerdict-flipの2種類が定義されている。既存の防御手法であるコンテンツ検知、矛盾検知、不確実性検知、および文書の隔離は、攻撃文書が個別の文書としては正常かつ一貫しているため、構造的にこの攻撃を検知できない。
COMA（Compositional Misleading Attack）は、個々の文書はすべて真実を述べているものの、それらを組み合わせることでモデルに誤った推論をさせる攻撃手法である。この攻撃には、推奨される修正策を不適切な回避策へと誘導するアクションの汚染（Action-corruption）と、真実の文書間で循環的な依存関係を構築して脆弱性の到達可能性を決定不能にすることで、誤って「悪用不可能」と判断させる判定の反転（Verdict-flip）の2種類がある。実在の脆弱性であるJDOMライブラリのXXE脆弱性（CVE-2021-33813）を用いた検証では、過去にセキュリティ強化が行われたという事実を強調することで、モデルに「既に保護されているため悪用不可能である」という誤った推論を誘発させる。この攻撃の有効性は、情報の矛盾を解消するための明示的な記述が欠如しているかどうかに依存しており、曖昧さを解消する文書を挿入するとモデルは正しい回答を導き出せるようになる。
Causal Counterfactual Defense (ccd)は、生成された回答が攻撃者の制御下にある低信頼ドキュメントに依存しているかを検知する手法である。具体的には、検索されたドキュメント集合から特定のドキュメントを一つずつ除外した際に回答が変化するかを評価するleave-one-out方式を用い、回答の変化をドキュメントの因果的な影響度として算出する。セキュリティに関するクエリでは、脆弱性の判定結果や推奨される対策の内容が変化するかを指標とし、生成器のサンプリングノイズを分離するために複数回の実行結果に基づく統計的な頻度を用いて影響度を測定する。ドキュメントは、ソースURLのホワイトリスト等に基づき、高信頼、中信頼、低信頼の3段階の信頼ティアに分類され、ccdは低信頼ドキュメントの除外によって回答が変化した場合にのみ、回答を保留して「証拠不十分」としてアナリストに通知する。単一のドキュメントによる誤誘導は正確に特定できるが、誤誘導を複数のドキュメントに分散させる攻撃に対しては、低信頼ドキュメントの集合を一括で除外して影響を評価するaggregate ccdを用いることで検知が可能となる。なお、本手法は追加の生成器呼び出しを必要とするため、低信頼ドキュメントが含まれる場合や重要度の高いクエリに限定して適用するなどの運用上の検討が想定される。
本評価では、5種類のオープンウェイトモデルおよびフロンティアモデルを用い、攻撃手法であるCOMAの有効性と防御手法であるccdの性能を検証しています。攻撃の評価指標として、推奨される最初の対策が恒久的な修正ではなく回避策となるaction-corruptionと、脆弱性の判定を誤らせるverdict-flipの2軸を用いています。実験の結果、action-corruptionは合成ドメインや実在のCVEを問わず、全モデルにおいて決定論的に成功しました。verdict-flipはモデルの能力向上に伴い成功率が低下する傾向にあるものの、フロンティアモデルにおいても60%から67%程度の成功率が確認されました。防御手法であるccdは、攻撃用ドキュメントを単独で取り除いた際に正解へ復帰させる局所化性能を示し、誤誘導のない正常なドキュメント群に対しては偽陽性を発生させませんでした。また、攻撃者が誤誘導を複数のドキュメントに分散させる適応的な攻撃に対しても、個別のドキュメント削除では回避されるものの、それらをまとめて削除する集約的なccdを用いることで、全モデルにおいて確実に検知できることが示されました。
提案された因果的反事実的防御（CCD）は、生成器に通常の推論を行わせた上で、どの検索文書が回答に寄与したかを特定する監査パラダイムの一種であり、証拠の集約を標的とする攻撃への対抗策として機能する。本研究では、診断結果は正しいものの修正策のみを誤らせる「アクション汚染（action-corruption）」という攻撃メカニズムが、分析者の信頼を悪用するため極めて危険であることを指摘している。本研究の限界として、評価が手作業で作成された少数のシードに基づいているため、大規模なコーパスにおける攻撃の普及率を測定できていないことや、防御の評価が判定の反転の有無という離散的なレベルに留まっており、連続的な影響度スコアや適切な閾値の設定が今後の課題であることが挙げられる。また、シードの作成者が検証者も兼ねているため、独立したレッドチーミングによる検証が必要であることや、攻撃者が予算を増やして影響力を分散させる適応的な戦略をとった場合、防御の堅牢性は予算と影響範囲のトレードオフの関係になることが示唆されている。倫理的側面については、本研究は防御を目的としたものであり、使用したシードには実効性のあるエクスプロイトは含まれず、実験もローカル環境で行われたものであると述べている。
Compositional Misleading攻撃は、個々の検索ドキュメント自体には嘘や矛盾、不自然な指示が含まれておらず、すべてが真実かつ平易な内容であるため、不正なドキュメントを検知する従来の防御手法では見逃されるという特徴を持ちます。この攻撃は、回答を修正するために必要な事実を直接読み取るのではなく、複数の情報の組み合わせから推論させる必要がある場合に、その構成の仕方を悪用して成立します。提案する防御手法であるccdは、どのドキュメントが誤っているかを探すのではなく、どのドキュメントが現在の回答を導き出す要因となったかを特定することで、攻撃者が制御するドキュメントを正確に特定し、ドキュメントごとの監査を回避しようとする適応的な攻撃に対しても有効に機能します。実験を通じて明らかになった重要な知見は、テストしたすべてのモデルにおいて、セキュリティ支援AIは脆弱性の診断は正確に行えても、その修正策の提示においては脆弱性が残るという点です。したがって、セキュリティ用途のAIを評価するベンチマークは、診断の正確性だけでなく、修正策の妥当性についても評価すべきであると結論付けています。