著者、論文、掲載誌からなる異種グラフ構造を対象とした、学術的な質問回答（QA）を問題設定としている。従来のグラフ拡張型RAGでは、クエリの複雑さに応じて探索深度を調整できないこと、取得したサブグラフが回答に十分な証拠を含んでいるか判断できないこと、および生成された回答がグラフ上のエンティティ、関係、属性と整合しているかを構造的に検証する仕組みが欠如していることが困難となっている。
既存のグラフRAG研究は、埋め込み学習や非構造化テキスト、あるいは単純な論理演算に焦点を当てており、クエリの構造に応じて検索を適応させる仕組みや、異種学術グラフの構造的事実に基づいた回答検証の手法は十分に確立されていない。本研究は、RAGの各工程を専門のエージェントに置き換え、クエリタイプに応じた検索計画の策定、証拠の網羅性に基づく適応的なサブグラフ拡張、およびグラフの事実に基づく回答の検証を統合した点に新規性がある。
提案手法は、3つのエージェントによる意思決定プロセスで構成される。まず検索エージェントが、自然言語のクエリを属性、直接関係、集計、マルチホップの4つのカテゴリに分類し、開始ノードの型や探索ホップ数を含む検索計画を策定する。次に、グラフ検索と再ランキングを行うエージェントが、埋め込み類似度を用いてノードを特定し探索を行うが、抽出されたサブグラフの充足度スコア（エンティティの網羅性と意味的関連性の指標）が閾値を下回る場合には、最大2回まで近傍を適応的に拡張する。最後に、検証エージェントが、回答に含まれるエンティティの存在、関係の妥当性、属性の正確性をグラフの事実と照合する事実整合性スコアを用いて確認し、スコアが低い場合は最大2回まで回答の再生成を試みる。
OpenAlexおよびDBLPから構築された、著者、論文、掲載誌の3種類のノードを持つ異種グラフを用いて評価を行った。比較対象として、GPT-o3などのLLM、GraphRAGなどのグラフ拡張型RAG、およびAdaptiveRAGなどのエージェント型RAGを用いた。評価指標にはAccuracy、F1、Hit@1を用いた結果、OpenAlexで76.68%、DBLPで73.43%のAccuracyを達成した。アブレーション解析では、検索エージェントの欠如が最も大きな性能低下を招くこと、および各エージェントがそれぞれ精度向上に寄与していることが示された。
計算コストとレイテンシを制御するため、グラフの拡張および回答の再生成はそれぞれ最大2回までに制限されている。
学術的な質問回答において、著者、論文、会議などの多様なエンティティが絡み合う異種グラフ構造を扱うための、エージェント強化型異種グラフRAG手法を提案している。本手法は、クエリの複雑さに適応できない固定的な検索戦略、証拠の十分性評価の欠如、およびグラフの事実に基づく検証の不足という3つの課題を解決するため、RAGの各工程をエージェントによる意思決定プロセスへと変換している。具体的には、クエリのタイプを分析して適切なグラフ探索戦略を選択する検索エージェント、証拠の網羅性を評価して適応的にサブグラフを拡張する再ランキングエージェント、そして回答の最終決定前にエンティティ、関係性、属性の正確性をグラフの事実と照合する検証エージェントの3段階で構成される。OpenAlexおよびDBLPから構築された異種グラフを用いた実験の結果、提案手法は強力な大規模言語モデルやグラフ拡張型RAG、およびエージェントベースの比較手法を上回る性能を示している。
学術的な質問回答（QA）において、従来のグラフ拡張型RAGは、クエリの複雑さに応じた探索深度の調整、取得したサブグラフの証拠としての十分性の制御、およびグラフ構造に基づいた回答の検証という3つの課題を抱えています。本研究では、これらを解決するためにRAGの各工程をエージェント化する手法を提案しており、まずクエリ認識エージェントが質問を属性、直接関係、集計、またはマルチホップの4つのタイプに分類して最適な検索計画を策定します。次に、証拠制御エージェントが取得したサブグラフがクエリの制約や集計信号を十分に満たしているかを評価し、必要に応じてグラフの近傍を適応的に拡張します。最後に、検証エージェントがエンティティの存在や関係の妥当性、属性の正確性をグラフに基づいて確認します。OpenAlexおよびDBLPから構築された異種グラフを用いた評価実験では、LLM単体や既存のグラフ拡張型RAG、エージェント型検索手法と比較して、提案手法が回答精度において一貫した向上を示すことが確認されました。
学術的な質問応答では、著者や論文、会議などの多様なエンティティとそれらの関係性からなる異種グラフの活用が進んでおり、ノードやエッジのタイプを考慮して情報を集約するグラフニューラルネットワークを用いた手法が存在します。検索拡張生成（RAG）の分野では、グラフ構造や知識グラフを検索パイプラインに組み込み、構造化された関係性を根拠として利用する手法や、サブグラフを抽出してテキストベースのグラフ理解を支援するシステムが提案されています。また、エージェント型LLMのパラダイムでは、推論と行動を交互に行う手法や、複数のエージェントを用いて検索結果をフィルタリングする仕組み、さらにはエージェントを用いて検索動作を制御する試みも行われています。既存の研究の多くは、埋め込み学習や論理演算の実行、あるいは非構造化テキストを中心とした設定に焦点を当てており、質問の構造や複雑さに応じて検索を適応させる仕組みや、異種学術グラフから得られる構造化された根拠に基づいて回答を検証する手法は十分に探索されていません。
本手法は、著者、論文、会議の3種類のノードと、著者・論文間および論文・会議間の関係性を持つ学術ヘテロジニアスグラフを用いた、3段階のエージェントによるRAGフレームワークを提案している。まず、Retrieval Agentが自然言語のクエリを解析し、クエリの構造的カテゴリ（属性、直接関係、集約、マルチホップ）、開始ノードの型、ホップ数の予算、および探索計画を決定する。次に、Graph Retrieval Agentが埋め込み類似度を用いて開始ノードを特定し、計画に基づいた探索を行うが、その際、抽出されたサブグラフが回答に十分であるかを、エンティティの網羅性と意味的関連性の両面から算出される充足度スコアによって評価する。充足度が閾値を下回る場合は、遅延を抑えるために最大2回までの制御されたグラフ拡張を行う。最後に、回答を生成するエージェントがサブグラフに基づき回答を作成し、Validation Agentが、回答に含まれるエンティティの存在、関係の妥当性、および属性の正確性を検証する事実整合性スコアを用いて、回答がグラフの事実と一致するかを確認する。整合性スコアが閾値を下回った場合は、計算コストを抑えるため最大2回までの再生成を試みる。
本研究では、OpenAlexとDBLPから構築された、著者、論文、掲載誌の3種類のノードと、執筆および掲載という2種類の関係性を持つ異種グラフを用いて評価を行います。OpenAlexは76,569個のノードと105,290個のエッジ、DBLPは62,443個のノードと79,697個のエッジで構成され、属性、直接関係、集計、マルチホップの4つのクエリタイプごとに100個、計400個のクエリを各データセットに対して生成しています。エージェント制御および最終的な回答生成にはGPT-4-turboを使用し、エンティティの検索には意味的類似性に基づくsentence-transformersを用いた手法を採用しています。評価指標には、正解との完全一致を測るAccuracy、エンティティ単位の適合率と再現率から算出するF1、および予測された回答の最上位が正しいかを評価するHit@1の3つを用います。比較対象のベースラインとして、Qwen-2.5-7BやGPT-o3を含む純粋なLLM、Vanilla RAGやGraphRAGなどのグラフ拡張型RAG、そしてAdaptiveRAGやAgent-Gといったエージェント型または複雑性認識型RAGの3つのカテゴリを網羅しています。
提案手法は、OpenAlexおよびDBLPの2つのデータセットにおいて、GraphCoTやGraphRAG、KGRAGといったグラフ拡張手法、およびAdaptiveRAGやAgent-Gなどのエージェントベースの手法を上回り、OpenAlexで76.68%、DBLPで73.43%の精度を達成しています。特にHit@1の指標において顕著な改善が見られ、これはクエリに応じた計画策定と情報の十分性を考慮した検索が、より信頼性の高い回答選択に寄与していることを示しています。アブレーション解析の結果、検索エージェントを削除した際に最も大幅な性能低下が確認され、クエリ型の分析と探索ステップ数の計画の重要性が示されました。また、再ランキングエージェントは初期のサブグラフが不十分な場合に証拠を適応的に拡張する役割を果たし、検証エージェントは検索されたサブグラフに対してエンティティ、関係性、属性の正確性を確認することでF1スコアとHit@1を向上させています。これら3つのエージェントがそれぞれ意味のある貢献をしており、エージェントによる一連のパイプライン全体が最も堅牢な性能を実現しています。
本研究では、学術的な質疑応答を目的とした、エージェント機能を備えた異種グラフRAG手法を提案している。この手法は、クエリに応じた検索計画、証拠の十分性を考慮した制御、およびグラフに基づいた回答の検証という3つの主要なステップをエージェント化することで、検索と検証のプロセスを学術的な異種グラフの構造に適合させている。OpenAlexおよびDBLPを用いた実験の結果、純粋な大規模言語モデルによるベースライン、グラフ拡張型RAG、およびエージェントベースの検索手法と比較して、一貫した性能向上を達成した。