本研究は、従来のRAGが苦手とする法規範間の動的な依存関係（修正、廃止、階層的参照など）の把握という課題に取り組んでいる。標準的な高密度検索（dense retrieval）では、法規制の更新に伴う「古い、あるいは不完全な情報の取得」や、文脈の欠落が発生しやすい。J-KGRAGは、ドメイン固有の知識グラフをRAGパイプラインに組み込むことで、法的な論理構造に基づいた推論を可能にする。これにより、法規範の時系列的な動態をモデル化し、複雑なクエリに対する回答の整合性と信頼性を高めることを目的としている。
本研究の主な貢献は、法務ドメインに特化したハイブリッドRAGアーキテクチャであるJ-KGRAGを提案したことである。この手法は、ベクトル検索によるテキストチャンクの取得と、KGを用いたエンティティの1次近傍探索を組み合わせることで、法的な依存関係を明示的にモデル化する。実験では、ブラジル・ゴイアス州会計検査院（TCE-GO）の42の規範的行為を含む、新たに作成された53組の質問・回答ペアからなるベンチマークを用いて性能を実証した。結果として、Naive RAGと比較してFactual Correctnessで75%の向上、Answer Correctnessで16%の向上を達成した。
J-KGRAGは、インデックス作成と検索の2段階からなるハイブリッドアーキテクチャを採用している。インデックス作成段階では、文書と条文（article）をエンティティとして定義し、LLMを用いて「contains（含む）」「amends（修正する）」「revokes（廃止する）」の3種類の関係性を抽出してベクトルデータベースとKGを並行して構築する。検索段階では、密ベクトル検索で取得したチャンクに加え、抽出されたエンティティの1次近傍をKG上で探索するグラフベースの拡張を行う。評価にはGPT-4o-miniによるエンティティ抽出と、RAGASフレームワークを用いた自動評価（Semantic Similarity、Factual Correctness、Answer Correctness）が用いられている。
TCE-GOの文書42件を用いた実験において、J-KGRAGの有効性が検証された。特に、プロンプトからドキュメントチャンクを除去した「J-KGRAG without chunks」モデルは、Semantic Similarityで0.918、Factual Correctnessで0.240を記録し、Naive RAG（それぞれ0.912および0.137）を大きく上回った。定性的評価では、監査責任者の特定において、Naive RAGが誤答する中で、本手法はエンティティと関係性に集中することでハルシネーションを抑制し、$Ricardo\ Souza\ Lobo$ を正しく特定した。一方で、KGにエンコードされていない詳細なリスト形式の情報を求めるクエリに対しては、「データ不足」として回答に失敗する限界も確認されている。
本手法は、エンティティベースの拡張により「lost in the middle」現象を緩和し、矛盾した出力を低減できることが示された。しかし、本研究にはいくつかの限界が存在する。第一に、コーパスが42の規制に限定されている点、第二に、KGが遡及的妥当性を考慮しない即時更新を前提としている点、第三に、評価がRAGASによるLLMベースのヒューリスティックに依存しており、法務専門家による人間による検証が欠如している点である。今後の展望として、GraphSAGEやGraph Transformersを用いたサブグラフのスコアリング、リアルタイム更新のためのストリーミング・インジェクション、および計算コスト削減のためのパラメータプルーニングの検討が挙げられている。
J-KGRAGは、ドメイン固有の知識グラフ（KG）を統合することで、従来のRAGが苦手とする法規範間の構造的関係（引用、階層、改訂、廃止など）の把握を可能にするハイブリッドな検索拡張生成アーキテクチャである。本手法は、標準的な高密度検索（dense retrieval）にグラフベースの拡張ステップを組み合わせることで、初期コンテキストで欠落した更新済みのエンティティを特定・取得し、法規範の時系列的な動態をモデル化する。ブラジルのゴイアス州会計検査院の42の規範的行為を対象とした実験では、ナイーブなRAGベースラインと比較して、事実の正確性が75%、回答の全体的な正解率が16%向上した。評価には、新たに作成された53組の法的な質問と回答のペアからなるベンチマークが使用されている。本研究の目的は、KGを用いて法規範の依存関係や更新を明示的にモデル化し、複雑なクエリに対する回答の整合性と信頼性を高めることにある。
J-KGRAGは、法規範間の修正、廃止、階層的参照などの動的な関係性を捉えるために知識グラフ（KG）をRAGパイプラインに統合したハイブリッドなアーキテクチャである。インデックス作成段階では、同一の文書群からベクトルデータベースとKGを並行して構築し、文書と条文（article）をエンティティとして定義した上で、LLMを用いて「contains（含む）」「amends（修正する）」「revokes（廃止する）」の3種類の関係性を抽出する。検索段階では、従来のベクトル類似度に基づく検索に加え、KGを用いたグラフベースの拡張を行うことで、法的な依存関係や時間的な更新を考慮したコンテキストを生成モデルに提供する。本手法は、ブラジル公法を対象としており、既存のNaive RAGが陥りやすい「古い、あるいは不完全な情報の取得」という課題に対し、規範的な論理構造に基づいた推論を可能にすることで、回答の事実的一貫性と関連性を向上させることを目的としている。
提案手法であるJ-KGRAGは、密ベクトル検索によるテキストチャンクの取得に加え、抽出されたエンティティの1次近傍を知識グラフ（KG）上で探索するグラフベースの拡張を行うハイブリッドなRAGアーキテクチャである。実験では、法規範の更新や撤回を扱うため、Goiás州会計監査院（TCE-GO）の文書42件から構成されるデータセットを用い、GPT-4o-miniによるエンティティ抽出とRAGASフレームワークによる自動評価を実施した。評価指標には、クロスエンコーダを用いたSemantic Similarity、クレーム分解に基づくFactual Correctness、およびこれらを組み合わせたAnswer Correctnessの3つを採用している。実験結果では、KGの構造化情報のみをプロンプトに用いる「J-KGRAG without chunks」が、Semantic Similarityで0.918、Factual Correctnessで0.240を記録し、Naive RAG（0.912および0.137）を大きく上回る性能を示した。この結果は、KGによるエンティティ拡張が、従来の密ベクトル検索では捕捉困難な、法規範の変更に伴う最新かつ補完的な情報を特定する上で極めて有効であることを示唆している。
本セクションでは、知識グラフ（KG）を用いたハイブリッドRAGアーキテクチャであるJ-KGRAGの定性的評価が示されている。実験の結果、推論プロンプトからドキュメントのチャンクを除去した「KGRAG without chunks」モデルが、事実の正確性と全体的な正解率において最も優れた性能を示し、冗長なコンテキストによる言語モデルの混乱（overwhelming）を回避できることが明らかになった。具体的には、監査責任者の特定において、Naive RAGやチャンクを含むKGRAGが誤った人物を回答する一方で、チャンクなしのモデルはエンティティと関係性に集中することでハルシネーションを抑制し、正解である $Ricardo\ Souza\ Lobo$ を正しく特定した。しかし、特定の休日リストを問う質問（Question 12）のように、KGの構造内に明示的なエンティティや関係性がエンコードされていない詳細なリスト形式の情報を求める場合、KGRAG without chunksは「データ不足」として回答に失敗する限界がある。このことから、構造化された知識による精度向上と、チャンクベースの検索による粒度の高い情報取得を適応的に組み合わせる戦略の必要性が示唆されている。
J-KGRAGは、ポルトガル語の法域における大規模言語モデル（LLM）のハルシネーションを抑制するため、RAGと専門的な知識グラフ（KG）を統合したハイブリッドアーキテクチャである。定量的評価の結果、従来のNaive RAGと比較して、事実の正確性（Factual Correctness）で $+75\%$、回答の正確性（Answer Correctness）で $+16\%$ の改善が示された。手法の特徴として、エンティティベースの拡張により、密な検索（dense retrieval）で発生しやすい「lost in the middle」現象を緩和し、意味的類似性を損なうことなく矛盾した出力を低減している。本研究の限界として、コーパスが42の規制に限定されていること、KGが遡及的妥当性を考慮しない即時更新を前提としていること、および評価がRAGASによるLLMベースのヒューリスティックに依存しており、法務専門家による人間による検証が欠如していることが挙げられる。今後の展望として、GraphSAGEやGraph Transformersを用いたコンテキストサブグラフのスコアリング、ストリーミング・インジェクションによるリアルタイム更新、およびエネルギー消費量や計算コストを削減するためのパラメータプルーニングの検討が示されている。
本研究で提案された KGRAG は、LLM の意味表現と知識グラフ（KG）による明示的な構造情報を組み合わせることで、AI ベースの法務システムの信頼性を向上させるハイブリッドな RAG アーキテクチャである。本手法は、法規制の急速な変化に対応しつつ、透明性、追跡可能性、および技術的な厳密さを確保することを目的としている。本論文では、研究のさらなる発展を促進するために、実装コード、データセット、および評価プロトコルを公開している。なお、本セクションは結論部分であり、具体的な数値結果や詳細なアルゴリズムの比較は含まれていない。