従来のマルチホップRAGは、固定的な検索パイプラインに依存しているため、情報の不足やクエリの誤りに対して動的に対応することが困難であるという課題がある。既存手法には、生成と検索を交互に行うIRCoTや、クエリを再構成するCoRAG、検索タイミングを適応させるAdaptive-RAG、証拠の品質を評価するCRAGなどが存在するが、これらは個別の制御プロトコル内に留まっている。本研究は、多様なRAGの振る舞いを、共有された証拠状態（evidence state）に対する原子的な証拠操作（atomic evidence operations）として定義し、これらを一貫した制御プロセスとして扱うことを目指している。
本研究の主な貢献は、マルチホップRAGにおける証拠獲得を、状態条件付きの制御問題として統合したDynaKRAGフレームワークの提案である。このフレームワークは、アクションの「妥当性（validity）」と「有用性（utility）」を分離することで、ルールに基づく一貫性と、コスト対効果を考慮した最適な操作の学習を両立させている。実験では、HotpotQAで $F1=0.5998$、2Wikiで $F1=0.5340$、MuSiQueで $F1=0.3061$ を記録し、既存の制御型ベースラインを凌駕した。また、S2G-RAGと比較して、HotpotQAで $15.5\%$、2Wikiで $13.1\%$、MuSiQueで $20.7\%$ のトークン削減を達成しつつ、高い精度を維持している。
DynaKRAGは、質問、検索済み文書、検索フロンティア、履歴、ブリッジ候補、診断フィードバック等を含む状態 $s_t$ に基づき、アクション $a_t$ を選択する。アクション空間 $\mathcal{A}$ には、`retrieve_more`、`gap_query`、`rewrite_query`、`bridge_entity_expand`、`sufficiency_check`、`stop_answer`、`compress_answer_evidence` の7種類が含まれる。まず、ハードな妥当性レイヤー（validity layer）が実行可能なアクション集合 $\mathcal{A}_{valid}$ を構築し、次に学習された価値モデル（コントローラー）がそれらをランク付けする。学習フェーズでは、正解の支持文書の割合を示す support recall $R(s_t)$ を用い、報酬 $r(s_t, a_t) = R(s_{t+1}) - R(s_t)$ を定義して、ランダムフォレスト回帰器を用いてアクション値モデルを訓練する。
Qwen2.5-7B-Instructをバックボーンとして、HotpotQA、2Wiki、MuSiQueの3つのベンチマークで評価を行った。アブレーション解析により、学習されたアクション選択、十分性フィードバック、および最終的な証拠圧縮のすべてが性能向上に寄与することが示された。特に、コントローラーを一様分布ポリシーに置き換えると、F1スコアが $3.96\text{--}5.78$ ポイント低下することが確認されている。また、汎用性の検証として、Qwen2.5-7B-Instructで学習したコントローラーを再学習なしでLlama-3.1-8B-Instructへ転移させたところ、HotpotQAで $F1=0.4876$、MuSiQueで $F1=0.2391$ を記録した。さらに、MuSiQueにおけるリトリーバル予算の感度分析では、検索回数が2回から3回に増えるとF1が $0.2796$ から $0.2641$ へ低下し、追加の検索が常に有益ではないことが示された。
本研究の結果は、マルチホップRAGの成功には、単に検索回数を増やすことではなく、現在の情報状態から適切な証拠操作を選択することが不可欠であることを示唆している。特に、複数の事実を組み立てる必要がある「compositional questions」において、動的な証拠収集は極めて効果的であり、2Wikiでは固定リトリーバルと比較してF1が $24.31$ ポイント向上した。また、制御された検索容量（retrieval-cap）の実験は、データセットの特性に応じた適切な予算配分の重要性を浮き彫りにしている。本フレームワークは、証拠の状態に応じた検索、診断、およびギャップを埋めるための獲得を適応的に調整することで、精度と効率のトレードオフを最適化できる。
DynaKRAGは、マルチホップRAGにおける証拠獲得プロセスを、状態条件付きの原子的な証拠操作（atomic evidence operations）に対する制御問題として定式化した統一フレームワークである。各ステップにおいて、validity layerが実行可能なアクション集合を構築し、学習されたコントローラーが次に実行すべき操作を選択することで、証拠の状態を更新し、次ステップで新たな操作を可能にする動的な遷移を実現している。Qwen2.5-7B-Instructを用いた評価において、本手法はHotpotQAで $F1=0.5998$、2Wikiで $F1=0.5340$、MuSiQueで $F1=0.3061$ を記録し、すべてのベンチマークで既存の制御型ベースラインを上回った。学習されたコントローラーを一様分布ポリシーに置き換えるとF1スコアが $3.96\text{--}5.78$ ポイント低下することや、十分性フィードバックの除去が精度を悪化させることから、証拠の状態に応じた検索、診断、およびギャップを埋めるための獲得を調整することの重要性が示されている。また、制御された検索容量（retrieval-cap）実験により、追加の検索が常に有益であるとは限らないことも明らかになっている。
マルチホップ質問への対応において、従来のRAGは固定的なパイプラインに依存しており、情報の不足やクエリの誤りに対して動的な制御が困難であるという課題がある。本研究が提案するDynaKRAGは、多様なRAGの振る舞いを共有された証拠状態（evidence state）に対する原子的な証拠操作（evidence operations）として定義する統一的な学習フレームワークである。この状態には、質問、検索済み文書、検索フロンティア、履歴、ブリッジ候補、診断フィードバックなどが含まれ、アクション空間にはフロンティア検索、クエリ書き換え、ブリッジエンティティ拡張、ギャップ指向検索、充足性確認、停止、および最終的な証拠圧縮が含まれる。DynaKRAGの核心的なメカニズムは、アクションの「妥当性（validity）」と「有用性（utility）」を分離している点にあり、まずハードな妥当性レイヤーが実行可能なアクション集合をフィルタリングし、次に学習された価値モデルがそれらの選択肢をランク付けして次の一手を選択する。この設計により、ルールによる遷移の一貫性の確保と、コスト対効果を考慮した最適な操作の学習を両立させている。3つのマルチホップQAベンチマークを用いた実験では、既存の強力なベースラインと比較して、回答の質とトークン効率の両面で一貫した向上を達成している。
Multi-hop RAGの研究は、HotpotQAやMuSiQueといったベンチマークに代表される、複数の文書に分散した証拠を辿る必要がある設定を扱っており、後続の検索を既得の証拠に条件付けることで、部分的な解の状態に応じて進化する軌跡として証拠取得を捉えている。既存手法には、IRCoTやSelf-Askのように生成プロセスと検索を交互に行うもの、CoRAGやRQ-RAGのようにクエリの再構成や分解を行うもの、さらにFLAREやAdaptive-RAGのように検索のタイミングや戦略を適応させるものがある。また、CRAGやSelf-RAG、S2G-RAGなどは、証拠の品質評価、反省トークンによる批判、あるいは証拠の不足（gap）の診断といった、証拠の状態に基づいた制御（evidence diagnosis）に焦点を当てている。しかし、これらの多様な振る舞いは個別の制御プロトコル内で研究されることが多く、証拠の状態が変化する中でどの操作を選択すべきかという問題が残されている。本研究の提案手法であるDynaKRAGは、現在の証拠状態が実行可能な操作を決定し、学習された価値モデル（value model）が軌跡の展開に応じて次の操作を選択するという、共有された状態条件付きの制御プロセスを通じてこの決定問題を解決する。
DynaKRAGは、マルチホップRAGにおいて、固定的な検索深度やルーチンに依存せず、状態に応じて最適な証拠獲得操作を選択する学習可能な制御フレームワークである。システムは、質問、検索済み文書、クエリ履歴、ブリッジエンティティ、欠落情報のフィードバック等を含む状態 $s_t$ に基づき、有効なアクション集合 $\mathcal{A}_{valid}$ からアクション $a_t$ を選択し、次状態 $s_{t+1}$ へ遷移する。学習フェーズでは、正解の支持文書の割合を示す support recall $R(s_t)$ を用いて、報酬 $r(s_t, a_t) = R(s_{t+1}) - R(s_t)$ を定義し、ランダムフォレスト回帰器を用いてアクション値モデルを訓練する。実行可能な操作には、`retrieve_more`、`gap_query`、`rewrite_query`、`bridge_entity_expand`、`sufficiency_check`、`stop_answer` の7種類があり、これらはハードな妥当性関数によって実行不可能な操作が事前に除外される。推論時には、学習済みのアクション値モデルが各操作の期待値をスコアリングし、継続モデルと組み合わせて最適な証拠獲得の軌跡を決定する。最終段階では、蓄積された証拠を `compress_answer_evidence` によって圧縮し、生成器 $\mathcal{G}$ に渡すことで、ノイズの多いコンテキストから相互に支持し合う事実を抽出する。
DynaKRAGは、マルチホップQAにおいて学習可能な証拠制御を行う統一フレームワークであり、HotpotQA、2Wiki、MuSiQueの3つのベンチマークで、Qwen2.5-7BおよびGPT-4o-miniのバックボーンにおいて最高水準のF1スコアを達成している。実験では、Qwen2.5-7B-Instructで学習したコントローラーをGPT-4o-miniやLlama-3.1-8B-Instructへ転移させており、再学習なしでもLlama-3.1-8BにおいてHotpotQAで$0.4876$、MuSiQueで$0.2391$のF1を記録するなど、高い汎用性を示した。手法の有効性に関するアブレーション解析により、学習されたアクション選択、十分性フィードバック（sufficiency feedback）、および最終的な証拠圧縮（terminal compression）のすべてが性能向上に寄与していることが確認されており、特に学習されたコントローラーを一様分布に基づくポリシーに置き換えると、全データセットでF1スコアが$3.96$から$5.78$ポイント低下する。また、S2G-RAGと比較して、HotpotQAで$15.5\%$、2Wikiで$13.1\%$、MuSiQueで$20.7\%$のトークン使用量の削減を実現しつつ、より高いF1スコアを達成している。リトリーバル予算の感度分析では、MuSiQueにおいてリトリーバル回数が2回から3回に増えるとF1が$0.2796$から$0.2641$へ低下することから、「リトリーバルの増加が常に性能向上に繋がる」という単純な仮説は否定され、データセットに応じた適切な予算配分が重要であることが示された。最後に、質問構造別の分析では、複数の事実を組み立てる必要がある「compositional questions」において、固定リトリーバルと比較して2WikiのF1が$24.31$ポイント向上するなど、動的な証拠収集が最も効果的に機能することが明らかになった。
本論文では、マルチホップ検索拡張生成（RAG）における状態条件付き制御フレームワークである DynaKRAG を提案している。DynaKRAG は、共有された状態内で証拠操作を整理し、状態の進化に応じて現在実行可能な操作の中から最適なものを選択する閉ループ型の獲得プロセスを実現しており、操作の種類と検索深度の両方を収集済みの証拠に適応させることが可能である。HotpotQA、2Wiki、MuSiQue を用いた実験の結果、強力な共有バックボーンを持つベースラインと比較して F1 スコアを継続的に向上させると同時に、最も強力な反復型 Qwen ベースラインと比較してトークン消費量を削減できることが示された。また、検索上限（retrieval-cap）に関する分析により、追加の検索が必ずしも一様に有益ではないことが明らかになっており、適応的なマルチホップ RAG の成功には、現在の情報状態から適切な証拠操作を選択することが不可欠であると結論付けている。