マルチホップな質問回答（RAG）では、回答に必要な事実を網羅するために検索範囲を広げる必要があるが、範囲を広げると回答に関係のないノイズも増大する。従来の検索手法やグラフベースのRAGでは、候補間の関連性やグラフ上の接続性のみに依存するため、接続されているが回答の根拠にはならない情報がコンテキストを占有してしまう「候補プール品質のギャップ」および「接続性と支持性の乖離」という問題が生じる。
既存のRAGシステムが、検索された候補が回答のための支持的な連鎖を形成しているかを直接的に評価できていない点に着目し、接続性と支持性を分離して扱う枠組みを提案した。グラフの辺を単なる接続ではなく「支持の仮説」として定義し、クエリに特化した一時的なグラフ構造を用いることで、既存の検索ロジックや読解器を一切変更することなく、プラグインとして後段に挿入できる汎用的な選択層を実現した。
まず、ニューラル検索を用いて広範な候補プールを取得し、必要な事実が欠落しないための探索空間を確保する。次に、取得した候補群に対して、候補間の関係性や由来（プロバナンス）を記録した質問ごとの局所的なグラフを構築する。各エッジは、なぜ候補同士が接続されたのかというメタデータを持つ。経路の評価では、クエリとの適合性、ソースの信頼性、情報の特異性、ハブ性、ノイズ、および経路の整合性に基づき、各経路が回答をどの程度支持するかをスコアリングする。最後に、最小限の十分な情報量で構成されるコンテキストを生成するため、追加の支持価値がコストを上回る場合にのみ経路を採用する選択プロセスを行う。
HotpotQA、MuSiQue、2WikiMultiHopQAの3つのベンチマークを用い、回答の正確性（Ans F1）と根拠の質（Sup F1）を評価した。読解器への入力予算を最大5ユニットに固定した条件下で、強力な検索器であるNV-Embed-v2と比較して、Ans F1が58.00から65.00へ、Sup F1が44.86から55.31へと向上した。また、IRCoTやRECOMPといった推論・圧縮型パイプライン、およびSelfRAGやHippoRAG2などのグラフ型RAGを含む多様なバックエンドに対し、プラグインとして適用することで一貫した性能向上を確認した。
本手法は、上流の検索プロセスにおいて必要な事実が候補プール自体に含まれていない場合には、それらを回収することはできないという限界がある。今後の課題として、候補プールの品質に依存する性質を考慮し、支持情報の抽出と適応的な候補生成をより密接に統合する手法の検討が挙げられる。
PAGE-RAGは、限られたコンテキスト予算内でマルチホップな質問回答を行うために、検索された候補群から根拠となる情報を効率的に選択する手法である。本手法は知識ベース自体がグラフ構造であることを前提とせず、検索された候補に対してクエリに依存した局所的なグラフを構築し、候補間の接続理由をメタデータとして記録する。候補同士が接続されていても必ずしも回答の根拠になるとは限らない「接続性と支持性の乖離」という問題に対し、PAGE-RAGは関連性、ソースの追跡可能性、具体性、ハブ性、ノイズ、一貫性の各信号を用いてパスのスコアを算出する。このスコアリングに基づき、最小限かつ十分な情報を選択して読解用のコンテキストへと昇格させる。3つのマルチホップQAベンチマークを用いた実験では、強力なリトリーバーと比較して、支持情報のF1スコアで平均10.4ポイント、回答のF1スコアで平均3.3ポイントの向上を達成した。また、本手法は既存の推論型、圧縮型、グラフ型、あるいはドキュメント単位のRAGシステムに対して、検索ロジックを置き換えることなくプラグインとして組み込むことが可能である。
マルチホップの質問回答を目的としたRAGにおいて、検索対象を増やすと必要な事実を回収できる一方で、グラフ構造上の接続性のみに基づくと、回答に寄与しないノイズが混入する「候補プール品質のギャップ」が生じる。本研究では、グラフにおける接続性と回答への支持性は必ずしも一致しないという問題に対し、検索された候補群からクエリに特化した局所的な支持グラフを構築するPAGE-RAGを提案する。この手法は、グラフの辺を回答の根拠ではなく支持の仮説として扱い、クエリとの整合性、ソースの信頼性、ブリッジの特異性、ハブ性、ノイズ、パスの一貫性といった複数の信号を用いてパスのスコアを算出する。その後、最小限かつ十分な選択を行うことで、拡張検索による到達性を維持しつつ、ノイズを排除したコンパクトな文脈を生成する。PAGE-RAGは既存の検索器やRAGシステムに後付け可能な軽量なプラグインとして動作し、コーパス全体のグラフ再構築を必要とせずに、一時的なクエリ局所グラフを用いて情報の昇格を制御する。実験では、強力な検索器と組み合わせた際に、支持F1スコアで10.4ポイント、回答F1スコアで3.3ポイントの向上を達成し、既存システムへのプラグインとしても一貫した改善を示すことが確認された。
本研究では、限られたコンテキスト容量を持つリーダーに対し、膨大な候補プールから回答を直接的に支える情報の集合を選択する、マルチホップRAGの課題を定義している。従来の検索手法では、局所的な関連性に基づくランキングやグラフ構造上の接続性に依存するため、回答に寄与しない関連情報がコンテキストを占有してしまう候補プール品質ギャップや、接続されていても回答を支えない情報が混入する接続性・支持性ギャップが生じる。既存のRAG手法には、推論やフィードバックを用いて検索を改善するものや、グラフ構造を利用して関係性を探索するものがあるが、保持された候補が回答のための支持的な連鎖を形成しているかを直接的にモデル化するものではない。これに対し、提案手法であるPAGE-RAGは、クエリごとに一時的なローカルグラフを構築し、グラフの辺を支持の仮説として利用することで、接続されたパスが支持性を考慮したスコアリングと最小限の選択プロセスを通過するように設計されている。これにより、リーダーの予算内で、回答を真に支える候補を選択することを目指している。
PAGE-RAGは、マルチホップな質問応答において、限られたコンテキスト予算内で最適な根拠を選択するための検索から読解までのフレームワークです。まず、ニューラル検索を用いて、従来の読解予算を超える広範な候補プールを取得し、重要な事実の検索漏れを防ぐための探索空間を確保します。次に、候補間の関係性を記述するプロバナンス（由来）を考慮したグラフを質問ごとに構築し、各エッジにソースの識別子、トリガーとなったエンティティ、信頼性などのメタデータを付与します。このグラフ構築では、特定のエンティティが多くの候補を繋いでしまうハブ性をペナルティとして計算し、情報の特異性を評価することで、ノイズとなる一般的な接続を排除します。経路のスコアリングでは、文の支持度、エッジの信頼性、特異性、および長さのコストを組み合わせ、単に接続されているだけでなく、回答に寄与する支持経路を特定します。最終的な選択段階では、既に選択された情報との重複を避けつつ、追加の支持価値がコストを上回る場合にのみ経路を採用する逐次的な選択を行い、限られた予算内で最大限の支持を得られるコンパクトなコンテキストを生成します。この手法は、既存の検索システムやRAGバックエンドの後に挿入可能な汎用性を持ち、文単位から文書単位まで、上位システムの出力単位に合わせて柔軟に統合できます。
HotpotQA、MuSiQue、2WikiMultiHopQAの3つのマルチホップ質問回答ベンチマークを用い、回答の正確性を示すAns F1と、根拠となる事実の質を示すSup F1を評価指標として、PAGE-RAGの有効性を検証しています。評価は、検索から読解までの一連のパイプラインとして機能させる設定と、既存のRAGシステムに挿入するプラグインとして機能させる設定の2通りで行われ、いずれも読解器への入力予算を最大5ユニットに固定して公平性を保っています。実験の結果、PAGE-RAGは単独の検索器としてNV-Embed-v2と比較してAns F1を58.00から65.00へ、Sup F1を44.86から55.31へと向上させたほか、IRCoTやRECOMPといった既存のパイプラインに対しても高い改善効果を示しました。また、SelfRAGやHippoRAG2を含む多様なバックエンドに対してプラグインとして適用した場合でも、一貫して性能が向上しており、手法の堅牢性が確認されています。アブレーション解析により、グラフの接続性のみに頼るのではなく、回答を支持する情報を重視するスコアリングと、情報をコンパクトに絞り込む最小選択の両方が、高い回答精度を実現するために不可欠であることが示されました。なお、本手法は上流のシステムが提供する候補プールに依存するため、候補プール自体に正解の根拠が含まれていない場合には、選択のみでそれらを補完することはできません。
PAGE-RAGは、マルチホップRAGにおいて、候補となる情報の到達可能性と最終的な文脈としての有用性を分離して扱う、出典情報を考慮した証拠昇格フレームワークである。この手法は、クエリに特化したサポートグラフを構築し、ソースの追跡とサポート信号を用いて候補パスのスコアを算出することで、生成前にコンパクトな文脈を選択する。文レベルおよび混合粒度のプロトコルを用いた実験では、既存のRAGやGraphRAGバックエンドと比較して、パイプライン全体およびプラグイン設定の両方で性能向上が確認された。ランキング位置の分析により、PAGE-RAGが正解を支える重要な事実を最終的な文脈により多く昇格させることが示され、構成要素の除去実験では、サポートを考慮したスコアリングと最小限の選択プロセスの両方が性能向上に必要であることが確認された。本手法の限界は、拡張された候補プールに含まれなかった事実を復元できない点にある。
PAGE-RAGのオリジナル実装は、Apache License 2.0の下でGitHub上に公開されています。なお、比較対象として使用されている第三者のベースラインコンポーネントについては、それぞれの元のライセンスが適用されます。