従来のテキストベースのRAG（NaiveRAG）は、意味的なつながりが欠如した文脈を検索してしまうため、複雑なマルチホップ推論が必要な質問への対応が困難である。本研究は、グラフ構造を活用して関係知識を効果的に捉えるGraph Retrieval-Augmented Generation (GRAG) の枠組みに焦点を当てている。具体的には、グラフ構築、グラフマッチング、回答生成の3つのコンポーネントからなる「NGM-RAG」を提案する。このフレームワークは、テキストの語彙的・意味的な類似性と、グラフニューラルネットワーク（GNNs）による構造的な関係性の両方を統合して検索を行う。
本研究の主な貢献は、テキストマッチングとNeural Graph Matchingを適応的な重み付け戦略によって統合した新しいGRAGフレームワークの提案である。提案手法は、LightGCNのようなパラメータフリーな手法から、GINEのような異種グラフに適応可能な学習型手法までを包含できる柔軟性を持つ。実験では、HotpotQA、MultiHop-RAG、UltraDomainのベンチマークにおいて、NaiveRAG、GraphRAG、LightRAGといった既存の最先端手法を上回る性能を達成した。また、高い検索精度を維持しながら、NaiveRAGと比較して平均トークンコストを約90%削減（10,996.07から808.72トークンへ）するという、性能と効率の優れたバランスを実現している。
NGM-RAGは、LLMを用いて構築されたターゲット知識グラフ $\mathcal{G}_t = (\mathcal{V}_t, \mathcal{E}_t)$ とクエリグラフ $\mathcal{G}_q = (\mathcal{V}_q, \mathcal{E}_q)$ を用いて動作する。クエリノード $v_q$ に対するターゲットノードの類似度スコア $s(v_q, v_t)$ は、以下の式で定義される3つの信号の加重和として算出される：
$$s(v_q, v_t) = \alpha \cdot s_{\text{dir}}(v_q, v_t) + \beta \cdot s_{\text{text}}(v_q, v_t) + (1-\alpha-\beta) \cdot s_{\text{graph}}(v_q, v_t)$$
ここで、$s_{\text{dir}}$ はLevenshtein距離に基づくDirect Matching、$s_{\text{text}}$ はBM25によるText Similarity、$s_{\text{graph}}$ はNeural Graph Matchingを表す。Neural Graph Matchingでは、BGE埋め込みで初期化されたノード特徴量に対し、LightGCNやGINEを用いて構造をエンコードし、対照学習損失 $\mathcal{L} = -\mathbb{E}[\log \frac{\exp(\text{sim}(v_q, v_t^+)/\tau)}{\exp(\text{sim}(v_q, v_t^+)/\tau) + \exp(\text{sim}(v_q, v_t^-)/\tau)}]$ を用いて最適化を行う。最終的に、スコアの高い上位 $k$ 個のノードを文脈として生成モジュールに渡す。
性能評価は、マルチホップQAタスク（HotpotQA, MultiHop-RAG）および長文コンテキスト要約タスク（UltraDomain）を用いて行われた。QAタスクではExact Match (EM) と F1スコアを、UltraDomainではLLMによる5つの観点（comprehensiveness, diversity, empowerment, directness, overall win rate）でのペアワイズ評価を用いた。実験の結果、GPT-4o-miniやLlama-3.1-8B、DeepSeek-R1などのバックボーンにおいて、NGM-RAGは既存手法を上回る性能を示した。パラメータ解析では、検索深度 $k$ が1から5に増えるとF1スコアが向上するが、$k=5$ では冗長性により低下する傾向があり、重みは $\alpha = \beta = 0.5$ が最適であることが示された。アブレーション研究により、3つのマッチングモジュールすべてが性能向上に寄与することが確認された。
NGM-RAGは、構造的・テキスト的証拠を統合することで高い推論能力を示すが、いくつかの限界が存在する。第一に、グラフマッチングの計算複雑性が高く、大規模データセットにおける学習および推論時間が大幅に増加するため、リアルタイム性が求められる環境での実用性に課題がある。第二に、オープンドメインの質問応答や対話システムへの汎用性は未検証である。第三に、LLMを評価器として用いる長文要約の評価において、結果が不安定になる可能性がある。また、事前学習済みモデルやGNNに依存しているため、学習データのバイアスを継承するリスクや、入力データの品質（ノード名の正確性など）に性能が強く依存するという課題も指摘されている。
従来のテキストベースの検索戦略では、マルチホップ推論を必要とする複雑な質問への対応が困難であるという課題に対し、本研究ではグラフ構造を活用して関係知識を効果的に捉える「NGM-RAG (Neural Graph Matching based Retrieval-Augmented Generation)」を提案している。このフレームワークは、グラフ構築、グラフマッチング、および回答生成を統一されたプロセスとして組み込んでおり、テキストベースのマッチングとグラフニューラルネットワーク（GNNs）を組み合わせたニューラルグラフマッチング手法を導入している。具体的には、適応的な重み付け戦略（adaptive weighting strategy）を用いることで、複数のマッチング手法を効率的に統合し、回答生成に最も関連性の高い文脈ノード情報を選択する。マルチホップ質問回答および長文コンテキスト要約タスクを用いた実験の結果、提案手法は従来のNaiveRAGに加え、GraphRAGやLightRAGといった最新のグラフ強化型アプローチと比較しても優れた性能を達成している。
本論文では、従来のテキストベースのRAG（NaiveRAG）が、複雑なマルチホップ推論を必要とする質問に対して、意味的なつながりを欠く文脈を検索してしまうという課題を指摘している。この問題を解決するため、著者らはGraph Retrieval-Augmented Generation (GRAG) の形式的な定義を提示した上で、グラフ構築、グラフマッチング、回答生成の3つのコンポーネントからなる新しいフレームワーク「NGM-RAG」を提案している。提案手法の核となるグラフマッチングでは、テキスト類似性に加え、Graph Neural Networks (GNNs) に基づくNeural Graph Matchingを導入しており、これはLightGCNのようなパラメータフリーな同種グラフだけでなく、教師信号を導入することでGINEのような異種グラフにも適応可能である。さらに、適応的な重み付け戦略を用いることで、異なるマッチングアルゴリズムを効果的に統合できる設計となっている。実験の結果、マルチホップ質問回答および長文コンテキスト要約の複数のタスクにおいて、NGM-RAGはNaiveRAGや、既存の最先端GRAG手法であるGraphRAGおよびLightRAGを上回る性能を達成した。
従来のRAGは意味的・語彙的な類似性に依存するため、構造化された関係データの活用に限界があるが、Graph Retrieval Augmented Generation (GraphRAG) はグラフ構造を取り入れることで、Graph Neural Networks (GNNs) やグラフ探索アルゴリズムを用いて関係パスに基づく検索を可能にし、複雑な推論やドメイン特化タスクの精度を向上させている。グラフ構造のモデリングにおいて、GNNsは同種グラフ（homogeneous graphs）から発展し、知識グラフのような異種グラフ（heterogeneous graphs）に対しては、Relational Graph Convolutional Network (R-GCN) に代表される手法が用いられる。単純なGCNやその簡略版であるSGCNは、グラフレベルのパラメータを省略してノード埋め込みのみに依存する場合があるが、異種グラフの設定では多様なノード型間の複雑な関係パターンを捉える必要があり、一般に学習可能な追加パラメータを組み込む必要がある。また、GNNsはその強力な構造モデリング能力により、グラフマッチング問題にも広く応用されている。
RAGシステムは、生成モジュール $G$、検索モジュール $R$、ユーザー入力 $q$、および外部データベース $\mathcal{D}$ からなるフレームワーク $\mathcal{Y} = G(R(q, \mathcal{D}), q)$ として定義される。本研究が対象とするGraph RAG (GRAG) では、検索モジュールにグラフ構造を導入しており、Graph Indexer が生成するターゲットグラフ $\mathcal{G}_T$ とクエリグラフ $\mathcal{G}_Q = (V_Q, E_Q)$ を用いて、グラフマッチング関数 $f$ により $\mathcal{G}_T$ と $\mathcal{G}_Q$ の適合性を評価する。具体的には、クエリ $q$ から変換された $\mathcal{G}_Q$ に対し、マッチング関数 $f$ は $\text{argmax}_{\mathcal{G}_T \in \mathcal{D}} f(\mathcal{G}_Q, \mathcal{G}_T)$ を通じて、生成モジュールに最も関連性の高いノード集合 $V_{rel}$ とエッジ集合 $E_{rel}$ を特定する。GRAGの目的は、従来のベクトルベースのセマンティック検索よりも複雑かつ包括的な問題解決能力を持つ、効率的なGraph Retriever Moduleを設計することにある。既存のGraphRAGやLightRAGといった手法は、このパラダイムに基づきつつ、Graph Retriever Moduleの設計において異なるアプローチを採用している。
NGM-RAGは、グラフ構築、グラフマッチング、および文脈・回答生成の3つのコンポーネントからなる、グラフRAG（GRAG）のための新しいフレームワークである。まず、LLMを用いてデータセットからターゲット知識グラフ $\mathcal{G}_t = (\mathcal{V}_t, \mathcal{E}_t)$ を構築し、クエリに対しても同様の手法でクエリグラフ $\mathcal{G}_q = (\mathcal{V}_q, \mathcal{E}_q)$ を構築する。グラフマッチングでは、クエリノード $v_q \in \mathcal{V}_q$ に対して最も類似したターゲットノードの集合 $\mathcal{S}(v_q) = \arg\max_{v_t \in \mathcal{V}_t} s(v_q, v_t)$ を特定するが、そのスコア $s(v_q, v_t)$ は、Levenshtein距離を用いたDirect Matching、BM25によるText Similarity、および構造情報を考慮したNeural Graph Matchingの3つの信号を適応的重み $\alpha, \beta$ を用いて統合した $s(v_q, v_t) = \alpha \cdot s_{\text{dir}}(v_q, v_t) + \beta \cdot s_{\text{text}}(v_q, v_t) + (1-\alpha-\beta) \cdot s_{\text{graph}}(v_q, v_t)$ によって算出される。Neural Graph Matchingでは、BGE埋め込みで初期化されたノード特徴量に対し、LightGCNやGINEなどのGNNを用いてグラフ構造をエンコードし、Direct MatchingとText Similarityで得られたノードペアを教師信号として、対照学習損失 $\mathcal{L} = -\mathbb{E}[\log \frac{\exp(\text{sim}(v_q, v_t^+)/\tau)}{\exp(\text{sim}(v_q, v_t^+)/\tau) + \exp(\text{sim}(v_q, v_t^-)/\tau)}]$ を用いて最適化を行う。最終的に、各クエリに対してスコアの高い上位 $k$ 個のノードを文脈的根拠として選択し、回答生成に利用する。
本研究では、NGM-RAGの性能を検証するため、マルチホップQA用のHotpotQAおよびMultiHop-RAG、ならびに長文コンテキスト要約用のUltraDomainの3つのベンチマークを用いて評価を行っている。評価指標として、QAタスクではExact Match (EM) と F1スコアを用い、UltraDomainではLLMによるペアワイズ評価（comprehensiveness, diversity, empowerment, directness, overall win rate）を採用している。実験の結果、NGM-RAGはGPT-4o-miniやLlama-3.1-8B、DeepSeek-R1などの多様なバックボーンモデルにおいて、NaiveRAGやGraphRAGといった既存手法を上回る性能を示し、特にマルチホップ推論において高い安定性を発揮した。パラメータ解析では、検索深度 $k$ が1から5に増加するにつれてF1スコアが向上するが、$k=5$ では冗長性によりF1が低下する傾向が確認され、テキスト類似度とグラフマッチングの重み $\alpha, \beta$ については $\alpha = \beta = 0.5$ の設定がバランスの取れた構成として示された。アブレーション研究により、Direct matching、Text similarity、Neural graph matchingの3つのモジュールすべてが性能向上に寄与していることが証明された。コスト面では、NGM-RAGは平均トークンコストを808.72トークンに抑え、NaiveRAGの10,996.07トークンと比較して90%以上の削減を実現しつつ、高いF1スコアを維持するという、性能と効率の優れたバランスを達成している。
本論文では、Retrieval-Augmented Generation（RAG）のためのグラフマッチングフレームワークであるNGM-RAGを提案している。本手法は、Levenshtein距離に基づく直接マッチング、BM25によるテキスト類似度、およびGNNを用いたニューラルグラフマッチングを統合することで、テキスト的および構造的な証拠の両方を捉え、検索精度を向上させている。Multi-hop QAおよび長文コンテキスト要約を用いた実験の結果、NGM-RAGは強力なRAGおよびGRAGのベースラインを一貫して上回る性能を示した。さらに、本手法はトークンコストとレイテンシを削減することにも成功しており、複雑なRAGタスクにおけるニューラルグラフマッチングの有効性と効率性を実証している。
NGM-RAGは、グラフマッチングの計算複雑性が、特に大規模データセットにおいて学習および推論時間を大幅に増加させるため、リアルタイム性やリソース制約のある環境での実用性に課題がある。本手法はマルチホップ推論や長文要約で高い性能を示すものの、オープンドメインの質問応答や対話システムといった他のタスクへの汎用性は未検証である。また、長文要約のペア比較評価において、大規模言語モデル（LLM）を評価器として用いることで結果がわずかに不安定になる可能性がある。さらに、実装が事前学習済み言語モデルやグラフニューラルネットワークに依存しているため、学習データに含まれるバイアスを継承するリスクがある。
NGM-RAGにはいくつかの潜在的なリスクが存在する。第一に、事前学習済み言語モデルやグラフニューラルネットワークへの依存により、学習データに含まれるバイアスが不公平または不正確な結果を招く可能性がある。第二に、グラフマッチングの計算量および複数の類似度指標の統合に伴う高い計算リソース消費が、リソースの限られたユーザーにとっての障壁となる懸念がある。第三に、ノード名の正確性や検索されたドキュメントの関連性といった入力データの品質に性能が強く依存しており、ノイズや不完全なデータはモデルの有効性を著しく低下させる恐れがある。最後に、提案手法の他のタスクやドメインへの汎用性は十分に検証されておらず、異なるコンテキストにおいて性能が低下するリスクが残されている。