Agentic RAGシステムにおいて、エージェントが外部ツールを用いて検索を行ったにもかかわらず、得られた証拠を十分に読み取らずに回答を生成してしまう問題に対処する。対象はマルチホップ質問回答（QA）タスクにおけるエージェントの実行軌跡であり、従来の評価では、検索結果の確認という手続き的なプロセスがスキップされる問題が十分に扱われていなかった。
誤答の要因を、エビデンスの確認不足による規律失敗と、正解エビデンスを読解した後でも発生する正解読み飛ばし失敗に分解し、これらが非冗長な失敗モードであることを明らかにした。また、モデルの重みや検索プロセスを変更することなく、検索後に読解アクションを強制する環境レベルの制約Read-Gateを提案し、エビデンスの精査が推論能力とは独立した軌跡レベルの制御問題であることを示した。
エージェントの軌跡を、規律の欠如、正解読解後の失敗、検索失敗、およびその他の曖昧さの4つの排他的なカテゴリに分類する。規律失敗は、読み取り回数が0であるケース、検索スニペットのみを参照し読み取りチャンクを参照しないケース、および質問内のエンティティの被覆率が80%未満であるケースに細分化される。対策として、検索後に回答を行う前に必ず読み取り動作を要求し、読み取り回数が0の場合に修正指示を返す決定論的なルールであるRead-Gateを導入する。
HotpotQA、2WikiMultiHopQA、MuSiQueの3つのデータセットを用い、計12,000件の軌跡を評価した。コントローラーにはgpt-4o-miniおよびgpt-5-miniを使用し、評価指標にはLLM-AccおよびContain-Accを用いた。Read-Gateの導入により、読み飛ばしが発生していた軌跡のLLM-Accが14.9〜19.9ポイント向上し、全最小推論セルにおいても3.2〜9.4ポイントの向上が確認された。
Read-Gateは規律エラーが高い場合には有効な救済策となるが、エージェントが既に安定して読解を行っている場合には効果が限定的であるというトレードオフがある。また、思考の予算を増やしても必ずしも証拠の精査が増えるわけではなく、場合によっては逆にゼロ読解の発生率を高めるリスクがある。本手法は検索品質そのものを改善するものではなく、検索結果が有用な候補を返していることを前提としている。今後の課題として、より大規模なモデルや非英語ドメインへの汎用性、および検索と生成が密結合したシステムへの適用が挙げられる。
Agentic RAGシステムにおいて、エージェントが検索した候補スニペットを精査せずに回答を確定させてしまう「証拠提示前の規律失敗（pre-evidence discipline failures）」という現象を特定している。本研究では、誤答を「証拠提示前の規律失敗」と、検索された正解の文章を読み飛ばす「正解読み飛ばし失敗（post-gold-read failures）」に分解し、ツール呼び出しの履歴、検索された証拠、読み取られた文章、最終回答を用いて、これらが非冗長な失敗モードであることを示した。HotpotQA、2WikiMultiHopQA、MuSiQueを用いた12,000件の軌跡の評価では、正規表現やspaCyを用いたエンティティ抽出器のいずれを用いても、両方の失敗が同時に発生する割合は低いことが確認された。対策として、検索後かつ最終回答の前に必ず文章の読み取りを強制する実行時不変条件であるRead-Gateを提案しており、これにより読み飛ばしが発生していた軌跡のLLM精度（LLM-Acc）を14.9〜19.9ポイント、全最小推論セルにおいて3.2〜9.4ポイント向上させた。さらに、思考の予算（thinking budget）を大きくしても必ずしも証拠の精査が増えるわけではないことを示しており、証拠収集は回答側の推論とは別に、軌跡レベルの制御問題として評価すべきであると結論付けている。
Agentic RAGシステムにおいて、エビデンスに基づく推論が開始される前に、検索結果を読み取らずに回答を終了してしまう手続き的な失敗を特定し、これを従来の推論失敗と区別することを提案している。本研究では、誤答の軌跡を、エビデンスの確認が不十分な「discipline failures」と、必要なエビデンスを読み取った後でも誤答する「post-gold-read failures」の2種類に分解して定義する。この分解は、ツール呼び出し、読み取り回数、検索されたスニペット、読み取られた本文、正解エビデンスの注釈、および最終回答の正誤に基づき、決定論的に測定される。提案手法であるRead-Gateは、検索後に回答を行う前に必ず読み取り動作を強制する環境レベルの制約であり、モデルやリトリーバー、推論予算を変更することなく、回答前の終了を拒否して読み取りを促す。HotpotQA、2WikiMultiHopQA、MuSiQueを用いた評価では、読み取りなしで回答を終了するケースにおいて、Read-Gateの導入によりLLMの正解率（LLM-Acc）が14.9〜19.9ポイント向上し、全最小推論セルにおいても3.2〜9.4ポイントの向上が確認された。さらに、コンテキスト注入による制御実験の結果、エビデンスの確認は単に推論予算を増やすことの副産物ではなく、回答側の推論とは独立した制御軸であることが示されている。
Agentic RAGは、パラメトリックな言語モデルと非パラメトリックな証拠検索を組み合わせた手法であり、WebGPTやReAct、Toolformerなどのエージェントシステムは推論と外部ツールの使用を交互に行い、IRCoTやFLAREなどの検索指向システムは多段階のQAにおける検索・読解プロセスを研究している。Self-RAGやCRAG、あるいは強化学習を用いたエージェントは、リフレクション・トークンや学習済みの評価器を通じて検索ポリシーを訓練するが、これらは検索後に証拠を検証せずに回答へスキップしてしまう実行時の問題を分離して扱っていない。これに対し、Read-Gateは検索後に読解アクションが行われるまで最終回答を拒否するという実行時の不変条件を課しており、既存の信頼度や不確実性に基づく検索トリガーとは異なり、本研究では「候補を検索したにもかかわらず、回答前にそれらを検証していない」という観測可能な軌跡の違反をトリガーとする。評価の側面では、既存の研究が回答の正確性や根拠への忠実性、あるいはChain-of-Thoughtのような回答側の推論プロセスを重視しているのに対し、本研究はエージェントが最終回答を生成する前に証拠の読解アクションを正しく実行したかという、外部アクションのシーケンスそのものを評価対象としている。
本研究では、Agentic RAGにおける誤答の要因を特定するため、エージェントの軌跡（trajectory）を分類するフレームワークを提案している。誤答は優先順位に基づき、手続き的な不備を示すdiscipline、正解の根拠となる情報を読み取った後も誤答するpost-gold-read、検索自体が失敗するretrieval、およびそれらに該当しないresidual ambiguityの4つの排他的なカテゴリに割り当てられる。discipline失敗は、読み取り回数が0であるno-read final、検索スニペットのみを参照し読み取りチャンクを参照しないsnippet-only final、および質問内のエンティティの被覆率が80%未満であるlow-evidence finalの3つのサブタイプに分類される。この課題に対し、推論時の環境制約として、検索後に回答を行う前に必ず読み取りを要求するRead-Gateを導入しており、これはモデルの重みや検索プロセスを変更せずに、読み取り回数が0の場合に修正指示を返す決定論的なルールである。本フレームワークは、disciplineとpost-gold-readが独立した失敗軸であることを示す仮説（H1）や、Read-Gateの精度向上がreasoningの能力よりもdisciplineの誤り率に依存するという仮説（H2）などを検証可能にする。
本実験では、HotpotQA、2WikiMultiHopQA、およびMuSiQueの3つのWikipedia形式マルチホップQAデータセットを用いて評価を行う。エージェントのインターフェースは、BM25と密ベクトル検索を相互ランク融合（RRF）で組み合わせ、上位5つのチャンクIDとスニペットを返すハイブリッド検索ツールと、選択したチャンクの全文を取得する読み取りツールの2つで構成される。コントローラーモデルにはOpenAIのgpt-4o-miniおよびgpt-5-miniを使用し、推論コストの異なる設定（minimalおよびmedium）を含む計12,000の軌跡を、各データセットから1,000問ずつ抽出して分析する。評価指標として、gpt-5-miniをジャッジとした意味的等価性に基づくLLM-Accを主指標とし、短文回答が利用可能な場合はContain-Accを副指標として用いる。実験設定は、0.6Bパラメータの密ベクトル埋め込みモデル、ハイブリッド検索の上位$k$取得、最大ループ回数10、最大トークン数$128\text{k}$、温度$0.0$に固定されている。統計的な有意差検定には、ペア比較におけるMcNemar検定や、同一質問の繰り返し評価を考慮したロジスティックモデルにおける質問クラスター化標準誤差が用いられる。
本セクションでは、エージェント型RAGにおける「規律違反（discipline failures）」と「証拠確認後の失敗（post-gold-read failures）」の非冗長性、および提案手法であるRead-Gateの有効性が検証されている。実験の結果、規律違反はモデルの推論努力（reasoning effort）が低い場合にピークを迎え、証拠確認後の失敗とは異なる挙動を示すことが示され、両者が独立したエラーカテゴリであることが確認された。Read-Gateを導入することで、証拠を読み込まずに回答を終了してしまう「ゼロ読解（zero-read）」のケースを大幅に改善でき、HotpotQAや2WikiMultiHopQAなどのデータセットにおいて、LLMの精度（LLM-Acc）を14.9〜19.9ポイント向上させる「救済効果」が確認された。また、Read-Gateの精度向上は単なるコンテキストへの情報の注入（ctx-inject）によるものではなく、エージェント自身が「読み込みアクション」を実行することに起因することが、3群比較実験（no-Read-Gate, Read-Gate, ctx-inject）を通じて示されている。さらに、Read-Gateは規律違反（discipline error）が高い場合に最も効果的であり、推論努力の増大とは異なる軌跡のシグネチャを持つことが、ロジスティック回帰モデルを用いた解析により明らかになった。一方で、Gemini 2.5 Flashを用いた実験では、思考予算（thinking budget）を増やすことが逆にゼロ読解の発生率を高め、精度を低下させるという、隠れた思考が証拠の確認を保証しないリスクも示されている。
Agentic RAGシステムにおいて、エビデンスに基づいた推論が始まる前に失敗が発生する「Pre-Evidence Procedural Failures」の存在を指摘している。Wikipedia形式のマルチホップQAを用いた検証により、エージェントが検索を行い、もっともらしい表面的なエビデンスを観測したものの、十分な読解を行わずに回答を確定させてしまうエラーが、通常の推論エラーとは異なる独立したエラー領域として存在することを明らかにした。このボトルネックを測定するために、規律の欠如による失敗（discipline failures）と、正解となるエビデンスを読解した後の失敗（post-gold-read failures）を分離する軌跡レベルの分解手法を提案している。提案された制御策であるRead-Gateは、規律エラーが高い場合には「読解なしの失敗」を回収できるが、エージェントが既に安定して読解を行っている場合には効果が限定的であり、これはRead-Gateが普遍的な最適制御策ではなく、エビデンスの精査自体がボトルネックであるかを判定するための診断的介入であることを示唆している。最終的な回答精度のみを評価指標とすることは不十分であり、エビデンスの精査プロセスを軌跡レベルで測定することの重要性を強調している。
本研究の実験は、コスト効率を重視したエージェントコントローラーである gpt-4o-mini および gpt-5-mini に焦点を当てており、より大規模なフロンティアモデルや非英語設定への汎用性は今後の課題である。提案手法の検証において、チャネルとアクションの分解に関する分析は単一のデータセットとバックボーンで行われており、自己発行アクションの効果が他の環境でも同様に一般化するかは未解明である。また、本フレームワークは検索、読み取り、最終回答といった離散的なツールアクションを前提としており、検索と生成を暗黙的に交互に行うエージェントでは、読み取りの境界を観測・制御できないという限界がある。使用したデータセットは英語の Wikipedia スタイルのマルチホップ QA ベンチマークに限定されており、ドメインごとにエンティティの網羅率の閾値やゲートの挙動を再調整する必要がある。さらに、Read-Gate は検索品質そのものを改善するものではなく、検索結果が有用な候補を十分に返すことを前提としているため、実用システムにおいては強制的な読み取りメカニズムと、検索品質のモニタリングや回答側の検証を組み合わせることが推奨される。
本研究は、HotpotQA、2WikiMultiHopQA、MuSiQueといった公開されているQAベンチマークを使用しており、人間を対象とした実験やプライベートなユーザーデータの使用は含まれていない。提案する手続き的なゲート（procedural gate）は証拠の検証を改善するものの、事実の正確性を保証するものではないため、高リスクな環境下では回答の検証、ログ記録、およびドメイン固有の安全性チェックを併用すべきである。実験では、PyTorchやHuggingFaceライブラリ、Qwen3-Embedding-0.6Bなどのオープンソースツールに加え、エージェントの制御やLLM-as-judgeによるスコアリングのためにOpenAIのAPI（gpt-4o-mini, gpt-5-mini）およびGoogleのGemini API（Gemini 2.5 Flash, Gemini 2.5 Pro）を使用している。執筆およびコーディングの補助としてGoogle GeminiやAnthropic Claudeを利用しているが、最終的な科学的主張、実験設計、および分析はすべて著者自身が行い、AI生成コンテンツは著者の確認と検証を経て使用されている。