従来のRAGはテキストの断片化と文埋め込みによる密ベクトル検索に依存しており、複数の文書にまたがる複雑なクエリやマルチホップ推論への対応が困難である。既存のGraph RAG手法は、文埋め込みなどの浅い意味的統合に依存しており、グラフ構造とテキスト情報をエンドツーエンドで統合して学習することが難しい。本研究は、知識グラフのトポロジーを活用してマルチホップ質問回答（QA）などの複雑なタスクを解くことを目的としている。
先行研究のGFM-RAGはGNNベースの検索器を用いることで未知ドメインへの汎用性を実現したが、ノードのテキスト特徴を十分に活用できず、グラフ上の距離に依存した推論に留まるという限界があった。本研究は、事前学習済み言語モデルが持つ強力なテキスト理解能力とグラフ処理能力を統合することで、構造的信号のみに依存して類似した関係性を持つ無関係な隣接ノードを誤取得する問題を回避した。これにより、マルチホップ設定におけるSOTAの達成と、極めて高いゼロショット転移性能を実現している。
提案手法は、事前学習済み言語モデルをグラフトランスフォーマーへと変換したGLMをリトリーバーとして用いる。まず、シードエンティティ周辺の局所的なサブグラフをテキストの三つ組（triplets）のシーケンスに変換し、ノード、リレーション、およびクエリを個別にトークナイズする。モデルの自己注意機構には、同一トリプレット内のトークンペア間の距離を捉える相対位置エンコーディングと、グラフ全体の構造を捉えるGNN的な注意パターンを導入している。これにより、最初のAttention層においてクエリテキストとサブグラフ構造が融合し、早期の段階で両者の相互作用が可能となる。最終的に、各エンティティの埋め込みと投影されたクエリベクトルとの要素ごとの積を計算し、スコアリングヘッドを通じて関連度を算出する。
WikipediaベースのマルチホップQAデータセット（HotPotQA, 2WikiMultihopQA, MuSiQue）を用い、GLM-RAG、GNNベースのGFM-RAG、およびVanilla RAGを比較した。評価指標にはリトリーバル性能のRecall@2と、QA性能のExact Match（EM）を用いた。実験の結果、未知のドメイン（OOD）におけるマルチホップQAにおいて、GLM-RAGは既存のSOTA手法をRecall@2で20ポイント上回った。また、モデルのパラメータ数やサブグラフの網羅率の向上に伴い、性能がスケーリングする傾向が確認されている。
本手法はTransformerベースのアーキテクチャを採用しているため、GNNベースのリトリーバーと比較して計算コストが高くなるというトレードオフがある。そのため、現在は効率的な学習のために処理対象となるサブグラフのサイズを制限している。また、最新の拡張された知識グラフ・インデックス戦略との統合はまだ行われておらず、実験で使用した言語モデルも最大 $0.8\text{B}$ パラメータまでに限定されている。今後は、強力な意味理解能力と、GNNベースの手法が持つような広範なグラフカバレッジを両立させるためのスケールアップが課題である。
本研究では、グラフ構造と意味情報を効果的に捉えるために、グラフ言語モデル（GLM）を用いたリトリーバーを提案し、従来のベクトル検索やグラフニューラルネットワーク（GNN）ベースの手法と比較検証している。実験では、シングルホップおよびマルチホップのRAG設定における性能に加え、未知のドメインへの転移性能に焦点を当てて評価を行っている。結果として、ファインチューニングされたGLMリトリーバーは、2つのマルチホップ・ベンチマークにおいてSOTAを達成し、ドメイン外への汎化性能が極めて高いことが示された。インドメインのマルチホップQAデータセットにおいては既存手法と同等の性能を維持しており、モデルのパラメータ数やサブグラフの網羅率の向上に伴い、性能がスケーリングする傾向が確認されている。一方で、GNNベースのリトリーバーは効率的な学習設定で高いグラフ網羅率を実現し、ベクトル検索ベースのベースラインはシングルホップのデータセットにおいて優れた性能を発揮するという、各手法の特性の違いが明らかになった。
従来のRAGは、複数の文書にまたがるマルチホップ推論が必要なタスクにおいて、ベクトル検索のみでは限界がある。既存のGraph RAG手法は、文埋め込みなどの浅い意味的統合に依存しており、グラフ構造とテキスト情報をエンドツーエンドで統合して学習することが困難であるという課題がある。本研究では、事前学習済み言語モデルをグラフトランスフォーマーへと適応させ、事前学習済みのパラメータを保持したままグラフ構造とテキスト属性をトークンレベルでネイティブに処理できるGLM-RAGを提案する。GLM-RAGは、エンティティや関係性の深い意味的理解を活用することで、構造的な信号のみに依存するGFM-RAGが陥りやすい、類似した関係性を持つ無関係な隣接ノードの誤取得を回避できる。実験の結果、シングルホップのタスクでは従来のRAGで十分であるが、マルチホップ設定ではグラフベースの手法が優位であることが示された。また、GLM-RAGはMedicalやComputer ScienceのG-benchにおいてSOTAを達成しており、モデルサイズの拡大に伴う性能向上（スケーラビリティ）においても、GNNベースの検索器と比較して優れた特性を持つことが確認された。
従来のRAGはテキストを断片化して文埋め込みによる密ベクトル検索を行うが、複数のテキストにまたがる複雑なクエリやマルチホップ推論に課題がある。これに対し、Graph RAGは情報の依存関係をグラフとして符号化することで、知識グラフのトポロジーを活用したマルチホップQAなどの複雑なタスクへの対応を目指している。先行研究であるGFM-RAGは、GNNベースの検索器を用いることで、ファインチューニングなしで未知のドメインへ汎用化可能なグラフ基盤モデルを実現し、ドメイン内データでSOTAを達成している。本研究は、GFM-RAGをベースとしつつ、検索プロセスにGraph LM（GLM）を導入することで、事前学習済みLLMが持つ強力なテキスト理解能力とグラフ処理能力を統合し、転移性能の向上を図るものである。既存のグラフ符号化手法には、グラフを線形化してLMで処理する手法や、静的な意味埋め込みとGNNを組み合わせる手法があるが、本研究はLMのアーキテクチャを微調整することで、テキスト特徴量とグラフ構造のより深い相互作用を可能にするアプローチを継承している。
Graph Language Models (GLMs)は、事前学習済み言語モデル（LM）をグラフトランスフォーマーへと変換することで、LMの言語理解能力とグラフ構造に基づく推論能力を統合する手法である。まず、知識グラフなどのテキスト属性を持つグラフに対し、エッジおよびノードのラベルを個別にトークン化し、元のグラフ構造に従って接続する前処理を行う。これにより、各トリプレットは自然言語に近いトークン列として表現されるが、標準的なグラフ構造と同様に、ノードのトークンは複数のトリプレット間で共有される。次に、LMの自己注意機構を拡張し、同一トリプレット内のトークンペア間の距離を捉える相対位置エンコーディングを導入することで、トリプレットを逐次的なテキストとして読み取ることが可能になる。さらに、LM特有の注意パターンに加え、グラフ全体の構造を捉えるGNN（Graph Neural Network）的な注意パターンを併用することで、ラベル付きグラフを連続的な言語のように処理し、Graph RAGに適した高度なグラフ推論を実現している。
GLM-RAGは、テキストとグラフ構造を同時に推論可能なGraph Language Model（GLM）をリトリーバーとして活用するRAGアーキテクチャである。従来のGNNベースのリトリーバーは、クエリに対応するシードエンティティのみをクエリ埋め込みで初期化し、他のノードはゼロベクトルで初期化するため、ノードのテキスト特徴を十分に活用できず、グラフ上の距離に依存した推論に留まるという限界がある。これに対し、提案するGLMベースのリトリーバーは、シードエンティティ周辺の局所的なサブグラフをテキストの三つ組（triplets）のシーケンスに変換し、構造を意識した相対位置情報を持つグラフエンコーダを用いて、ノード、リレーション、およびクエリを個別にトークナイズしてエンコードする。この手法では、GLMの最初のAttention層においてクエリテキストとサブグラフ構造が融合するため、より早期の段階でクエリとグラフの相互作用が可能となる。最終的に、各エンティティの埋め込みに対して投影されたクエリベクトルとの要素ごとの積を計算し、スコアリングヘッドを通じて関連度を算出する。実験では、Wikipediaに基づく3つのマルチホップQAデータセットを用いてファインチューニングが行われ、上位ランクのエンティティから元のドキュメントを特定した後、言語モデルが回答を生成する構成をとる。
本研究では、Wikipediaベースのマルチホップ質問回答（QA）データセット（HotPotQA, 2WikiMultihopQA, MuSiQue）を用いて、提案手法であるGLM-RAGと、GNNベースのGFM-RAGおよびVanilla RAGとの比較実験を行っています。実験設定では、GLMリトリーバーの初期値としてT5-largeを使用し、生成モデルにはgpt-4o-miniを採用、評価指標にはリトリーバル性能の指標としてRecall@2を、QA性能の指標としてExact Match（EM）を用いています。実験の結果、ドメイン内（in-domain）の性能ではGFM-RAGのバリエーションがGLM-RAGと同等以上の結果を示す場面もありますが、未知のドメイン（OOD）に対する転移性能においては、GLM-RAGがGFM-RAGの各モデルを大幅に上回ることが示されました。特に、マルチホップ推論を必要とするOODデータセット（Multihop-RAGやG-Benchシリーズ）において、GLM-RAGはRecall@2で既存のSOTA手法であるG-Reasonerを20ポイント上回るなど、極めて高いゼロショット転移能力を発揮しています。アブレーション研究では、GLM-RAGの優位性がモデルのパラメータ数やグラフの可視範囲によるものではなく、大規模な事前学習済み言語モデル（LM）の知識をグラフのセマンティクスと深く統合していることに起因することを、容量を一致させた比較（capacity-matched setting）を通じて証明しています。
各グラフベースのリトリーバーの特性を調査した分析の結果、GLM-RAGは構造的信号よりも意味的な知識をより効果的に活用して適切なドキュメントを検索する傾向があることが示された。質問と検索された回答エンティティ間のコサイン類似度を算出した結果、11のデータセットすべてにおいてGLM-RAGおよびGFM-RAG+が他のモデルよりも一貫して高い意味的類似性を持つエンティティを検索しており、特にマルチホップのデータセットにおいて構築されたグラフに対する優れた意味理解が確認された。一方で、グラフの網羅性を評価するために、シードエンティティから検索されたエンティティまでの最短経路の平均ホップ距離を算出したところ、GNNベースのリトリーバーはGLMベースのリトリーバーよりも平均して遠くまで到達することが判明した。この結果は、GNNベースのリトリーバーの強みがグラフのより広い範囲をカバーできる点にあることを示唆している。
本研究では、グラフRAGの設定においてマルチホップな質問に対応するため、GLM（Graph Language Model）ベースのリトリーバーを学習させる新しいアプローチを提案している。GLM-RAGは、テキスト属性を持つグラフ内の意味的知識を統合することで、構造的信号に依存する従来のGNNベースのリトリーバーとは異なり、ドキュメント内のエンティティと質問との類似性を評価することで、より適切なドキュメントの選択と理解が可能になる。実験による比較の結果、マルチホップ推論を必要としないシングルホップの質問に対しては、標準的なRAG手法で十分であることが示された。一方で、マルチホップの質問に対しては、ノード埋め込みで初期化されたGFM-RAG+モデルがGLM-RAGと同等の競争力のある性能を示す。さらに、ゼロショットでのマルチホップ質問において、GLM-RAGはGNNベースの手法と比較して一貫して優れた転移能力（transferability）を持つことが明らかになった。
本研究は GFM-RAG を基盤としているが、より多様な情報を捉えるために拡張された最新の知識グラフ・インデックス戦略は、現時点では提案手法の GLM リトリーバーと統合されていない。スケーリング実験の結果から、より大規模なベース言語モデルの活用には大きな可能性があるものの、本実験では最大 $0.8\text{B}$ パラメータまでの言語モデルに限定している。また、Transformer ベースのアーキテクチャを採用しているため、GNN ベースのリトリーバーと比較して計算コストが高くなるという課題がある。そのため、効率的な学習を実現するために処理対象となるサブグラフのサイズを制限しており、今後は強力な意味理解能力と広範なグラフカバレッジを両立させるために、リトリーバーのスケールアップを図ることが課題である。