従来のRAGシステムでは、検索器とリランカーが各チャンクのクエリに対する関連性を個別に評価するため、取得されたチャンク集合が備えるべき構造的な依存関係や論理的な整合性が考慮されない。このため、個々のチャンクは関連していても、集合として見ると矛盾していたり、推論に必要な情報の繋がりが欠落していたりする問題が生じる。本研究では、検索されたチャンク集合が持つ構造的・論理的な完全性、すなわち「チャンク間のコヒーレンス（整合性）」を対象とする。
既存のグラフベース手法は情報の探索やナビゲーションを目的としているが、取得されたチャンク集合が互いに矛盾していないかといった集合レベルでの整合性を検証するものではない。本研究は、グラフのトポロジーを集合レベルの証拠検証メカニズムとして活用し、チャンク間の整合性を明示的な最適化目標としてスコアリングする点に新規性がある。
まず、検索されたパッセージから言語解析を用いて、代名詞を解消した語彙をノードとし、多様な関係性をエッジとする有向異種エンティティグラフを構築する。次に、グラフ内の全ノードの出次数における最小値を持つノードを特定し、それらの特徴量と隣接エッジの重みを、その最小出次数に基づくスカラー倍で増幅することで、事実的なアンカーとなる概念を強調する。エンコーディングには、関係性タイプ別の重み行列を持つ関係グラフ畳み込みネットワーク（R-GCN）を用い、グローバルな総和プーリングによってグラフレベルの埋め込みを得る。最終的なランキングでは、初期リトリーバーによるクエリとパッセージのコサイン類似度と、R-GCNから得られるパッセージ間の構造的な整合性スコアを、調整可能な重みを用いて統合して決定する。
HotpotQA、2WikiMultihopQA、MuSiQue、RAMDocsの4つのマルチホップ・ベンチマークを用いて評価を行った。検索性能の指標であるRecall@5において、CAGEは2WikiMultihopQAで85.4、HotpotQAで84.2を記録し、既存の強力なベースラインと同等以上の性能を示した。回答生成の評価指標であるExact Matchにおいても、多くのデータセットで改善が見られた。
本手法には、グラフ構築がルールベースの依存構造解析に依存しているため、パーサーの精度が関係抽出の品質を制限するという課題がある。また、現在の評価ではコヒーレンスの詳細な注釈が存在しないため、マルチホップの支持事実を代理指標として用いている。さらに、コヒーレンスと関連性の融合重みをグリッドサーチで設定しているため、クエリの性質に応じて重みを適応的に調整するメカニズムの導入が求められる。また、誤情報が正解と類似した構造を持つRAMDocsのような設定では、構造的な接続性のみでは論理的な矛盾を解決できないという限界がある。
従来のRAGシステムは各パッセージを独立してクエリに対してスコアリングするため、個々の文脈は関連していても集合としての整合性が欠ける課題がある。提案手法であるCAGEは、ドメイン内関連性、ノイズ耐性、情報の結合性、事実の一貫性の4つの観点からパッセージ間の整合性をモデル化するリランキングフレームワークである。具体的には、検索されたパッセージを方向性を持つ異種エンティティグラフへと変換し、出次数が最小のノードに対して重み付けを行うことで事実的なアンカーを強調し、関係グラフ畳み込みネットワークを用いて構造的パターンをエンコードする。最終的なランキングでは、パッセージ間の整合性とクエリへの関連性を融合させて決定する。4つのマルチホップ・ベンチマークを用いた評価では、ブリッジ情報が重要なデータセットにおいてRecall@5でmonoT5などの強力なベースラインと同等以上の性能を示し、Exact Matchを継続的に向上させている。この結果は、検索の再現率が同等かそれ以下であっても、構造的に整合性の取れた文脈を提供することで、より正確な回答が得られることを示している。
従来のRAG（検索拡張生成）では、検索器とリランカーが各チャンクのクエリに対する関連性を個別に評価するため、検索結果の集合が備えるべき構造的な依存関係や論理的な整合性が考慮されないという課題がある。本研究では、回答生成の前段階における問題として、検索されたチャンク集合の構造的・論理的な完全性を指す「チャンク間のコヒーレンス（整合性）」を定義する。このコヒーレンスは、ドメイン内での関連性、ノイズへの耐性、情報の結合性、および事実の一貫性という4つの次元に分解される。提案手法であるCAGEは、検索されたチャンクを方向性を持つ異種エンティティグラフへと変換し、関係グラフ畳み込みネットワーク（R-GCN）を用いてエンコードすることで、クエリへの関連性とチャンク間の構造的な整合性を統合した目的関数によりリランキングを行う。具体的には、最小出次数を持つノードを重視するグラフの再重み付けによって意味的なアンカーとなるエンティティの影響を強め、R-GCNの関係タイプ別の重み行列によって構造的な矛盾の抑制や推論の橋渡しを促進する。4つのマルチホップ・ベンチマークを用いた実験の結果、CAGEは既存の強力な検索ベースラインをRecall@5において上回り、下流の生成タスクにおけるExact Match性能も一貫して向上させることを示した。
従来の検索における一貫性は、単一文書内の文の論理的接続性を指すものであったが、RAG（検索拡張生成）においては、独立したソースから取得された断片群（チャンク）が集合として構造的・論理的な整合性を保っているかという「チャンク間の整合性」が重要となる。既存のRAG評価指標は生成された回答の論理的一貫性を測定するものであり、取得されたチャンク群自体の構造的完全性を評価していない。また、GraphRAGやHippoRAG、GNN-RAGなどのグラフベースの手法は、関連情報の探索やマルチホップ検索のナビゲーションには寄与するものの、取得されたチャンク集合が互いに矛盾していないかといった集合レベルでの整合性を検証する目的には使われていない。これに対し、提案手法であるCAGEは、検索後のリランキング段階において、グラフの構造を集合レベルの証拠検証メカニズムとして活用し、チャンク間の整合性を明示的な最適化目標としてスコアリングを行う。具体的には、ドメイン内の関連性、ノイズへの耐性、情報の結合性、事実の一貫性という4つの観点から、取得されたコンテキストが回答合成のための構造的に統合可能な基盤となるよう制御する。
本研究では、検索されたチャンク集合におけるコヒーレンス（一貫性）を、4つの相互に排他的な次元に分解して定義している。具体的には、同一ドメイン内での実体レベルの参照一致を指す「ドメイン内関連性」、クエリとの語彙の重なりによるノイズを排除する「ノイズ耐性」、チャンク間を繋ぐ橋渡し的な実体の存在を示す「情報結合」、および論理的な矛盾の有無を扱う「事実的一貫性」である。理論的基盤として、関係性グラフ畳み込みネットワーク（R-GCN）がこれら4つの次元を捉えるのに十分な表現力を持つことを証明している。R-GCNの更新規則は関係性マルチセットに対して単射であり、関係性Weisfeiler-Lehmanアルゴリズムと同等の識別力を持つため、構造的に異なるチャンクグラフには異なる埋め込みが割り当てられる。さらに、実体や関係性が構造的に整合しているグラフペアは高い類似度を持つ一方、橋渡し実体が欠如していたり矛盾する関係パターンを含んでいたりするグラフは、埋め込み空間上で明確に区別されることが数学的に示されている。実用的な実装においては、1層のR-GCNとグローバルな総和プーリングを用いることで、過剰な平滑化を避けつつ、チャンク間の橋渡し実体の文脈を効率的に捉えてコヒーレンスを評価できる。
CAGEは、初期リトリーバーが取得した上位のパッセージに対し、グラフ構築、ノードの再重み付け、R-GCNによるエンコーディング、およびスコアリングの4段階を経て、クエリへの関連性とパッセージ間の整合性を考慮した再ランキングを行う手法である。まず、各パッセージから言語解析を用いて、代名詞を解消した語彙をノードとし、主語・目的語の関係や修飾関係、共起関係などの多様な関係性をエッジとする有向異種グラフを構築する。次に、グラフ内の全ノードの出次数における最小値を持つノードを特定し、それらの特徴量と隣接エッジの重みを、その最小出次数に基づくスカラー倍で増幅することで、固有名詞や数値などの事実的なアンカーとなる概念を強調する。エンコーディングには単層のR-GCNを用い、グローバルな合計プーリングによってグラフレベルの埋め込みを得るが、表現の崩壊を防ぐために、バッチ内の埋め込み間の平均コサイン類似度を最小化する多様性目的関数を正則化として用いる。最終的なランキングスコアは、初期リトリーバーによるクエリとパッセージのコサイン類似度と、全取得パッセージとの構造的な整合性を示す整合性項を、ハイパーパラメータによって調整しながら統合することで算出される。実験では、2WikiMultihopQAやHotpotQAなどのマルチホップベンチマークにおいて、Recall@5で既存の強力なベースラインと同等以上の性能を達成している。
本実験では、HotpotQA、2WikiMultihopQA、MuSiQue、RAMDocsの4つのマルチホップデータセットを用いてベンチマークを行っています。これらのデータセットは、情報の結合、ドメイン内の関連性、ノイズ耐性、事実の一貫性といった異なる一貫性の側面を評価するように設計されており、正解となる根拠事実の連鎖を評価の指標として利用しています。手法の構築にあたっては、各クエリに対して検索された上位のパッセージからspaCyを用いてエンティティグラフを構築し、最小出次数に基づく再重み付けを適用した後、単層の関係グラフ畳み込みネットワーク（R-GCN）をクエリごとに独立して学習させています。R-GCNは、300次元の文脈埋め込み、品詞、エンティティタイプ、重みスカラーからなるノード特徴量、およびエッジのインデックスとタイプを入力とし、グローバルな総和プーリングを通じて128次元のグラフレベルの埋め込みを生成します。学習には、グラフ埋め込み間の平均ペアワイズコサイン類似度を最小化する多様性目的関数を用い、構造的に異なるパッセージが埋め込み空間内で異なる領域を占めるよう促しています。各学習インスタンスは通常10から50個程度のノードからなる小規模なグラフであるため、Adam最適化手法（学習率 1e-3）を用いることで、1クエリあたり1秒未満、30から60エポック以内で収束し、オフラインの事前学習を必要としません。
CAGEは、グラフ構造に基づく整合性スコアを用いて検索結果を再ランキングすることで、検索精度と回答生成精度を向上させる手法である。検索性能の評価において、正解のチャンクが上位5件に含まれる割合を示すRecall@5を指標とした実験では、CAGEは2WikiMultihopQAやHotpotQAなどのベンチマークで既存の検索・再ランキング手法を上回る結果を示した。特に、推論の連鎖に不可欠だがクエリとの意味的類似性が低い「ブリッジ・パッセージ」を、R-GCNによる構造的な整合性スコアによって効果的に救い出せるため、ブリッジ問題の割合が高いデータセットほど顕著な改善が見られる。回答生成の評価では、言語モデルを用いたExact Match（EM）において多くの組み合わせで最高値を達成しており、これは構造的な整合性が、不完全な推論連鎖を許容しない厳格な指標であるEMの向上に直結することを示している。アブレーション研究により、関係タイプごとに異なる変換を行うR-GCNの採用や、出次数が最小のノードを重み付けする手法が性能向上に寄与することが確認された。一方で、誤情報が正解と類似したエンティティ構造を持つRAMDocsのようなデータセットでは、構造的な接続性のみでは論理的な矛盾を解決できないという限界も示された。
CAGEは、個々のクエリに対する関連性だけでなく、構造的な一貫性に基づいて検索された文章を再ランク付けするフレームワークである。本手法は、チャンク間のコヒーレンスを、ドメイン内の関連性、ノイズ耐性、情報の結合性、および事実の一貫性という4つの次元に分解し、有向異種エンティティグラフをR-GCNを用いてエンコードすることで実現している。実験の結果、2WikiMultihopQAやHotpotQAといったブリッジ型問題のベンチマークにおいてRecall@5で最高精度を達成し、下流タスクの生成におけるExact Matchも一貫して向上させた。特にMuSiQueでは、検索の再現率が低下した場合でも生成品質が向上しており、チャンク間のコヒーレンスが個々のチャンクの関連性を補完する信号として機能することが示されている。
本手法には主に3つの制約が存在する。第一に、グラフ構築がspaCyを用いたルールベースの依存構造解析に依存しているため、エンティティ認識や依存関係解消の誤りがグラフの構造に波及し、関係抽出の品質がパーサーの精度に制限される。第二に、既存のRAGベンチマークには提案手法が定義する4つの次元に基づく詳細なチャンク間のコヒーレンス注釈が存在しないため、評価においてはマルチホップの支持事実注釈をコヒーレンスの代理指標として用いている。第三に、コヒーレンスと関連性の信号を調整する融合重みが現在はグリッドサーチによって設定されており、クエリごとの検索信頼度やグラフ密度に基づいて重みを調整する適応的なメカニズムを導入することで、RAMDocsのようなベンチマークに対する堅牢性を向上できる可能性がある。今後は、本研究で導入した理論的定式化を活用し、各次元のコヒーレンスを明示的にラベル付けした専用のベンチマークを構築することが重要な課題である。
本研究では、Wikipediaから派生した公開ベンチマークであるHotpotQA、2WikiMultihopQA、およびMuSiQueを使用しており、これらには個人を特定できる情報や不適切なコンテンツは含まれていません。新たな人間を対象としたデータ収集やクラウドソーシングによるアノテーションは行っておらず、回答生成にはGemmaやLLaMAといったオープンウェイトモデルをローカル環境で実行するため、外部APIへのデータ送信は発生しません。提案手法であるCAGEのリランキング・パイプラインは、パラメータ数が約21万と軽量であり、計算リソースが限られた研究者でも利用可能です。本研究が直接的な社会的悪影響を及ぼすことは想定されていませんが、検索の整合性が向上しても生成される回答の事実正確性が保証されるわけではないため、医療や法律などの重要な領域では出力の検証が必要です。