従来のマルチホップRAGでは、単一の粒度(パッセージ、文、トリプル)のみに依存するため、情報の密度とノイズのバランスが欠如する問題がある。また、反復的な検索プロセスにおいて中間的な推論エラーが蓄積しやすく、冗長な証拠が最終回答に悪影響を及ぼす困難が存在する。本研究は、クエリに対して適切な粒度の証拠を動的に選択し、推論の進捗を管理する仕組みを対象とする。
既存の反復型や構造認識型RAGに対し、オフラインでパッセージ、文、トリプルの3つの粒度を紐付けたクロス粒度インデックスを構築し、オンラインで質問に特化したパス構造の証拠グラフを生成する点に新規性がある。単一の粒度に依存せず、充足度に基づき「トリプル $\rightarrow$ 文 $\rightarrow$ パッセージ」の順で粒度を拡張する適応的な証拠選択メカニズムを導入している。さらに、中間回答を用いて初期クエリの解決状況を判断する回答認識型の反復推論を提案している。
オフライン段階では、コーパスをパッセージ $\mathcal{E}_{\text{p}}$、文 $\mathcal{E}_{\text{s}}$、トリプル $\mathcal{E}_{\text{t}}$ からなるマルチグラニュラー証拠空間 $\mathcal{E} = \{\mathcal{E}_{\text{p}}, \mathcal{E}_{\text{s}}, \mathcal{E}_{\text{t}}\}$ として整理し、これらを紐付けるインデックスを構築する。オンライン段階では、初期クエリ $q_{\text{init}}$ に対し、各ステップ $t$ において、トリプル、文、パッセージの順(fine-to-coarse)で証拠の十分性を評価し、最初に十分と判断された粒度を証拠 $e_t$ として選択する。選択された証拠に基づき、中間回答 $a_t$、解決済みの経路 $p_t$、および残存する情報ニーズ $r_t$ を更新し、情報が不足している場合は次回のクエリ $q_{t+1}$ と遷移関係 $\phi_t$ を生成して推論を継続する。この一連のプロセスは、教師モデルの軌跡 $\tau$ を模倣するように軽量なモデルへ蒸留される。
2WikiMultiHopQA、HotpotQA、MuSiQueの3つのデータセットにおいて、Direct Model、Iterative/Adaptive、Structure-aware、Multi-granularな既存手法と比較した。Qwen3-8Bをバックボーンとし、Qwen3-Maxによる軌跡蒸留を用いたLoRA微調整により、F1スコアおよびExact Match (EM) において性能向上を達成した。特にMuSiQueで顕著な改善が見られた。また、回答に基づいた停止ポリシーにより、HotpotQAでLLM呼び出し回数を71.88%、MuSiQueで58.10%削減した。
本手法はパスベースの推論であるため、各ノードが最大で一つの後続ノードしか持たず、誤った状態に陥った際のバックトラックができないという限界がある。また、自動抽出されたトリプルに誤りや修飾語の欠落が含まれる可能性や、トリプルを優先的に選択する固定された順序の改善といった課題がある。今後の課題として、英語のファクトイドQA以外の領域への拡張や、インデックス作成等の初回コストを含めた評価、および独立してサンプリングされた部分集合間の変動を捉える検証が挙げられる。
MEGRAGは、マルチホップ推論をパス構造を持つ多粒度エビデンスグラフとして表現する、回答を意識した(answer-aware)RAGフレームワークである。既存の反復型RAG(iRAG)が単一の粒度のみに依存して情報の密度とノイズのバランスを欠く点や、中間ステップの誤りが蓄積しやすいという課題に対し、オフライン時にパス、文、トリプルをクロス粒度インデックスで紐付け、オンライン時にクエリに応じて最適な粒度を選択する手法を提案している。具体的には、まずコンパクトなトリプルから検索を開始し、必要に応じて文やパスのコンテキストを追加することで、情報の密度を維持しつつノイズを抑制する。さらに、中間的な回答とこれまでの推論過程を用いて、初期クエリが解決されたかを判断し、未解決であれば不足している情報を特定して次の焦点を絞ったクエリを生成し、解決済みであれば検索を停止して回答を返す。多様なRAGベースラインを用いた広範な実験により、本手法が既存手法に対して一貫した性能向上を示すことが確認されている。
従来のマルチホップRAGにおける課題として、単一の粒度による証拠提示が情報の密度とノイズのバランスを欠く点、および中間的な推論エラーや冗長な証拠が最終回答に蓄積される点が挙げられる。これに対し、提案手法であるMEGRAGは、オフラインでパッセージ、文、および抽出されたトリプルを紐付けるクロス粒度インデックスを構築し、オンラインで質問に特化したパス構造の証拠グラフを生成する。推論の各ステップにおいて、まずコンパクトなトリプルから開始し、必要に応じて文やパッセージへと粒度を拡張する「充足度に基づいたマルチ粒度証拠選択」を行うことで、情報の過不足を最適化する。また、現在のクエリに対する回答と、初期クエリの解決を区別する「回答認識型反復推論」を導入しており、中間回答を用いて未解決の情報を特定し、次のクエリを策定するか、あるいは検索を停止するかを動的に判断する。最終的に、このグラフ構築のポリシーは軽量な学習モデルへと蒸留される。
マルチホップ推論のためのRAG手法は、単一の検索を行う標準的な手法に対し、情報の変化に応じて検索を繰り返す反復型や、コーパスの構造を利用して関連性を伝播させる構造認識型へと発展している。MEGRAGは、選択された証拠と中間回答をオンラインのパス状態として整理し、残された情報ニーズを明示的に記録することで、既存のMetaRAGやDualRAG、HippoRAGといった手法と差別化を図っている。証拠の粒度に関しては、文脈を保持するパッセージ、局所的な制約を持つ文、およびコンパクトな事実を提供するトリプルの間で情報の密度と完全性のトレードオフが存在するが、MEGRAGは各検索ステップ内でこれらを組み合わせたマルチグラニュラーな証拠構成を構築する。具体的には、オフライン段階でパッセージ、文、トリプルの各ビューを整列させて構築しておき、オンライン段階ではまずコンパクトなトリプルから検索を開始し、必要に応じて文やパッセージを追加して中間回答を形成するプロセスを辿る。このプロセスを通じて、現在のクエリに対する回答を生成し、それが最終的な回答として十分であるかを判断するか、あるいは次の検索クエリを生成して推論を継続するかを決定する。
MEGRAGは、初期クエリ $q_{\text{init}}$ に対して、推論ノードと遷移エッジからなる質問固有の証拠グラフ $\mathcal{G}$ をオンラインで構築する手法である。オフライン段階では、コーパスをパッセージ、文、およびトリプルの3つの粒度 $\mathcal{E} = \{\mathcal{E}_{\text{p}}, \mathcal{E}_{\text{s}}, \mathcal{E}_{\text{t}}\}$ で構成されるマルチグラニュラー証拠空間として整理し、パッセージのベクトル類似度に基づいた検索後に、関連する文とトリプルを収集することで、コーパス全体への知識グラフ探索を回避しつつ、局所的な制約や関係的事実へのアクセスを可能にする。オンライン段階では、各ステップ $t$ において、まずトリプル、次に文、最後にパッセージの順(fine-to-coarse)で証拠の十分性を評価し、最初に十分と判断された粒度を証拠 $e_t$ として選択する。選択された証拠に基づき、中間回答 $a_t$、解決済みの経路 $p_t$、および残存する情報ニーズ $r_t$ を更新し、情報が不足している場合は次回のクエリ $q_{t+1}$ と遷移関係 $\phi_t$ を生成して推論を継続する。停止条件は、初期クエリが解決された場合($a_t = \text{ans}$)または最大ステップ数 $T$ に達した場合であり、予算超過時には最終的なリゾルバを用いて回答を導出する。この一連のグラフ構築プロセスは、教師モデルの軌跡 $\tau$ を模倣するように軽量な生徒モデルへと蒸留される。
MEGRAGは、2WikiMultiHopQA、HotpotQA、MuSiQueの3つのマルチホップQAデータセットにおいて、既存のDirect Model、Iterative/Adaptive、Structure-aware、Multi-granularな手法を上回る性能を達成しており、特に長い推論連鎖を必要とするMuSiQueで顕著な改善が見られます。手法の評価では、Qwen3-8Bをバックボーンとし、Qwen3-Maxによる軌跡蒸留(Distillation)を用いたLoRA微調整を行うことで、F1スコアおよびExact Match (EM) において高い精度を実現しています。アブレーション研究により、蒸留(SFT)は構造化された意思決定の転移に寄与し、また、パス、文、トリプルの異なる粒度の証拠を適応的に選択するメカニズムが、単一の粒度に依存せず精度向上に寄与することが示されました。さらに、目標条件付きの遷移関係(Goal-conditioned Transition Relation)を導入することで、推論の各ステップで未解決の情報を追跡することが可能となり、MuSiQueにおいてF1/EMの低下を抑制しています。効率性の面では、回答に基づいた停止ポリシー(Answer-aware Stopping)により、HotpotQAでLLM呼び出し回数を71.88%、MuSiQueで58.10%削減しつつ、固定ステップの検索と比較して高い精度を維持しています。最後に、本手法は検索器(NV-Embed-v2やBGE-small-en-v1.5)やバックボーン(Llama, DeepSeek, GPT, Gemini)の変更に対しても堅牢であり、シングルホップのQAタスクにおいても競争力を維持しています。
MEGRAGは、インデックス化された多粒度(multi-granular)の証拠と、質問に特化した反復的な推論を組み合わせた手法である。各ステップにおいて、十分であると判断された最初の粒度の証拠を選択して中間回答を生成し、残された情報の必要性に基づいて、さらなる検索を継続するかどうかを決定する。3つのマルチホップ質問応答ベンチマークと2つのバックボーンを用いた実験により、多様なRAGベースラインに対して一貫した性能向上を示した。詳細な分析により、適応的な証拠選択、推論履歴、遷移情報、方策蒸留(policy distillation)、および回答を意識した停止判定(answer-aware stopping)の各要素が、性能向上に寄与していることが裏付けられている。
MEGRAGは、パスベースの推論フレームワークであり、各ノードが最大で一つの後続ノードしか持たないため、一般的なグラフ探索やメッセージパッシング手法とは異なる。本手法には、パスの途中で誤った状態に陥った際にバックトラック(後戻り)ができないことや、自動抽出されたトリプルに誤りや修飾語の欠落が含まれる可能性があるといった限界がある。また、軽量な Qwen3-8B を用いる設定ではタスク固有の教師データによる軌跡が必要となるが、より大規模な Qwen3-Max ではそれが不要であるという違いがある。評価面では、マルチホップ評価がベンチマーク固有の候補コーパスに依存していることや、報告されたレイテンシに OpenIE、埋め込み、インデックス作成に伴う初回コストが含まれていないことが挙げられる。さらに、Paired bootstrap は固定された部分集合内での不確実性を捉えるものであり、独立してサンプリングされた部分集合間の変動を捉えるものではない。今後の課題として、英語のファクトイド QA 以外の領域への拡張や、トリプルを優先的に選択する固定された順序の改善が残されている。