従来のRAGはドキュメントを独立したセグメントとして扱うため、階層的な法的概念や複雑なマルチホップ推論が困難である。また、既存のGraphRAGを法務分野に適用する場合、事実・規則・原則といった多粒度な構造を捉えられない「平坦なグラフ構造」の問題や、検索された文脈を検証せずにLLMに渡す「検証不可能な推論」という課題がある。本研究では、刑事事実 $f$ と被告人 $d$ から罪名 $c$ を予測するタスクを対象とし、知識組織化 $\mathcal{G} = \text{org}(\mathcal{D})$、知識検索 $\mathcal{R} = \text{ret}(\mathcal{G}, f, d)$、判断生成 $c = \mathcal{M}(f, d, \mathcal{R})$ の3段階で構成されるフレームワークを提案する。
本研究の主な貢献は、異種混合で多粒度な法的知識を構造化する「階層的法学グラフ（HierarGraph）」の導入と、検索・検証・統合を分担する「マルチエージェントシステム」の構築である。予備実験により、条文と事実を分離する階層的戦略が検索性能を $25.3\%$ 向上させること、および検証メカニズムの欠如が精度（$\text{ACC}$）や罰則期間の平均絶対誤差（$\text{MAE}$）を悪化させることを明らかにした。提案手法は、CAILおよびCMDLデータセットにおいて、既存のGraphRAGベースラインを6.3%から19.1%上回り、法務特化型LLMに対しても平均6.7%〜7.1%の性能向上を達成した。さらに、根拠に基づいた「Traceable Correct（追跡可能な正解）」の割合を大幅に増加させ、意思決定の透明性を確保している。
LegalGraphRAGは、3層のHierarGraphと3つのエージェントで構成される。HierarGraphは、判例やケースを繋ぐFact Graph $\mathcal{G}_{fact}$、法的本質を抽出し$k$-NNやLeidenアルゴリズムでコミュニティ化を行うOntology Graph $\mathcal{G}_{ont}$、および条文と解釈をDiagnostic Checklist $\mathcal{C}$で紐付けるRule Graph $\mathcal{G}_{rule}$からなる。推論プロセスでは、まずResearcherエージェントが $\mathcal{R}(q) = \mathcal{R}_{sem}(q) \cup \mathcal{R}_{com}(q) \cup \mathcal{R}_{cha}(q)$ という3つの演算子を用いて証拠を検索する。次に、Auditorエージェントが $\mathcal{G}_{rule}$ 内のチェックリストに基づき証拠の妥当性を検証・フィルタリングする。最後に、Adjudicatorエージェントが検証済みサブグラフから $\text{Judgment} = f(\mathcal{A}_{val}, \mathcal{C}_{val}, \mathcal{O}_{val})$ を導出する。バックボーンモデルにはQwen2-7Bが使用されている。
性能評価は、CAIL2018およびCMDLという2つの法的判決ベンチマークを用いて、AccuracyおよびMicro-F1スコアで行われた。比較対象には、QwenやInternLM等のオープンソースモデル、GPT-4o-mini、LegalやADAPT等の法務特化型手法、およびG-retrieverやHippoRAG2等のRAGベース手法が含まれる。アブレーション研究では、HierarGraphの除去により精度が7.2%低下し、Researcherエージェントの除去で4.0%、Auditorエージェントの除去で3.4%の精度低下が確認された。これにより、階層構造による粒度制御とマルチエージェントによる検証プロセスの重要性が実証された。
本手法は、法的推論を「検索」「検証」「統合」という透明性の高いパイプラインに変換し、SOTAを達成したが、いくつかの限界が存在する。現在は単一のテキスト入力に限定されており、監視カメラの映像や音声記録といった、事実検証に不可欠な視覚的・聴覚的なニュアンスを扱うことができない。今後は、Hierarchical Legal Knowledge Graphを拡張し、視覚的証拠を Fact Graph に埋め込むなどのマルチモーダルなノードを組み込むことで、クロスモーダルな推論を実現することが課題である。また、学習データに含まれる地域や性別に関する司法制度固有のバイアスを増幅させるリスクについても留意が必要である。
LegalGraphRAGは、異種混合で多粒度な知識（判例、条文、解釈）を含む法学ドメインにおいて、従来のGraphRAGが直面する抽象度の不一致や推論の不透明性を解決するためのフレームワークである。本手法は、法的なソースを階層的に整理することで適切な抽象レベルでの検索を可能にする「階層的法学グラフ（hierarchical legal graph）」と、信頼性の高い推論を実現する「マルチエージェントシステム」の2つの核となるコンポーネントを導入している。マルチエージェントシステムでは、候補となる証拠を検索するResearcher、検索された証拠の妥当性をソース文書に照らして厳密に検証するAuditor、そして検証済みの証拠を統合して最終的な判断を下すAdjudicatorが役割を分担する。広範な実験の結果、LegalGraphRAGは既存のGraphRAGベースラインを上回り、正確かつ信頼性の高い法的分析において最先端（state-of-the-art）の性能を達成している。
従来のRAGは、ドキュメントを独立したテキストセグメントとして扱うため、階層的な法的概念や複数文書にわたる複雑なマルチホップ推論が困難であるという課題がある。また、既存のGraphRAGを法務分野に直接適用する場合、事実の詳細、適用規則、抽象的な原則といった多粒度な階層構造を捉えられない「平坦なグラフ構造」の問題や、検索された文脈を検証せずにLLMに渡す「検証不可能な推論」という問題に直面する。本論文では、これらを解決するために、階層的な知識グラフとマルチエージェント推論を統合した「LegalGraphRAG」を提案する。具体的には、Ontology（オントロジー）、Fact（事実）、Rule（規則）の層からなる階層的法務グラフ（HierarGraph）を構築することで、歴史的事例、関連法規、司法解釈を効果的に分離・モデル化する。さらに、検索、検証、統合の透明なパイプラインを通じて、グラフに基づいた証拠に基づく推論を行うマルチエージェントシステムを導入し、解釈可能な意思決定を実現する。実験の結果、LegalGraphRAGは既存のGraphRAGベースラインや法務特化型言語モデルと比較して、正確かつ信頼性の高い法的分析において一貫して優れた性能を示すことが確認された。
本研究では、複雑な法的推論を、刑事事実の記述と被告人 $d$ が与えられた際に適用される罪名 $c$ を予測するオープンエンドな生成タスクとして定式化している。このタスクは、外部の法的知識を活用するRAG（Retrieval-Augmented Generation）フレームワークと統合されており、以下の3つの段階で構成される。まず、過去の判例や条文、解釈を含むオフラインコーパス $\mathcal{D}$ から、ドメイン特化型の法的知識グラフ $\mathcal{G}$ を構築する知識組織化段階 $\mathcal{G} = \text{org}(\mathcal{D})$ がある。次に、刑事事実と被告人からなるクエリ $(f, d)$ に対して、知識グラフ $\mathcal{G}$ から関連する証拠を抽出して文脈的参照 $\mathcal{R}$ を形成する知識検索段階 $\mathcal{R} = \text{ret}(\mathcal{G}, f, d)$ が行われる。最終的に、クエリと検索された証拠を用いて、生成LLM $\mathcal{M}$ が法的判断 $c$ を推論する判断生成段階 $c = \mathcal{M}(f, d, \mathcal{R})$ によってプロセスが完結する。
本セクションでは、法務という知識集約的かつ構造的に複雑なドメインにおいて、標準的なRAG手法が直面する課題を2つの予備実験を通じて明らかにしている。まず知識の粒度に関する調査では、全てのテキストセグメントを等価に扱う「Flat Strategy」が、表面的な意味の重複により高頻度な事実詳細を優先してしまう「粒度バイアス」が生じることを示し、条文と事実を分離する「Hierarchical Strategy」を用いることで検索性能が $25.3\%$ 向上することを確認した。次に生成品質に関する調査では、法的に妥当だが事実とは無関係なノイズを注入した実験により、標準的なRAGは文脈の純度に極めて敏感であり、検証メカニズムがない限り誤導的な情報と有効な証拠を区別できず、精度（$\text{ACC}$）や罰則期間の平均絶対誤差（$\text{MAE}$）が悪化することを実証した。これらの知見に基づき、本研究では粒度の衝突を解決するための階層的法務グラフ（HierarGraph）と、検索・検証・統合を担うマルチエージェント（Researcher, Auditor, Adjudicator）による証拠に基づく法務推論フレームワークを提案する。HierarGraphは、Fact Graph、Ontology Graph、およびRule Graphから構成され、異種混合な法的知識を構造化する。
LegalGraphRAGは、階層型知識グラフ（HierarGraph）とマルチエージェントシステムを用いた、証拠に基づく法的推論フレームワークである。HierarGraphは、判例、ケース、条文、罪状を繋ぐFact Graph $\mathcal{G}_{fact}$、法的本質を抽出して$k$-NNやLeidenアルゴリズムでコミュニティ化を行うOntology Graph $\mathcal{G}_{ont}$、および条文と司法解釈をDiagnostic Checklist $\mathcal{C}$で紐付けるRule Graph $\mathcal{G}_{rule}$の3層構造で構成される。推論プロセスは、ResearcherエージェントがSemantic Match Retrieval、Community Expansion Retrieval、Charge-Anchored Retrievalの3つの演算子の和 $\mathcal{R}(q) = \mathcal{R}_{sem}(q) \cup \mathcal{R}_{com}(q) \cup \mathcal{R}_{cha}(q)$ を用いて証拠を検索し、Auditorエージェントが$\mathcal{G}_{rule}$内のチェックリストに基づき証拠の妥当性を検証・フィルタリングし、最後にAdjudicatorエージェントが検証済みサブグラフから $\text{Judgment} = f(\mathcal{A}_{val}, \mathcal{C}_{val}, \mathcal{O}_{val})$ を導出する。本手法は、Qwen2-7Bをバックボーンモデルとして使用し、CAILおよびCMDLデータセットにおいて、従来のRAGや三段論法ベースの手法よりも高い信頼性と透明性を持つ推論を実現している。
本実験では、CAIL2018およびCMDLという2つの法的判決ベンチマークを用い、LegalGraphRAGの性能をAccuracyおよびMicro-F1スコアで評価している。比較対象として、QwenやInternLM等のオープンソースモデル、GPT-4o-mini等の高度なモデル、LegalやADAPT等の法務特化型手法、さらにG-retrieverやHippoRAG2等のRAGベース手法の4群を設定している。実験結果として、LegalGraphRAGは既存の強力なベースラインに対して6.3%から19.1%の精度向上を達成し、法務特化型LLMに対しても平均で6.7%〜7.1%上回る性能を示した。ケーススタディでは、従来のフラットなグラフ構造が法規の捕捉に失敗するのに対し、提案手法は階層的な知識構造により、根拠に基づいた「Traceable Correct（追跡可能な正解）」の割合を大幅に増加させ、意思決定の透明性を確保している。アブレーション研究の結果、階層的グラフ（HierarGraph）の除去は精度を7.2%低下させ、ResearcherエージェントおよびAuditorエージェントの除去はそれぞれ4.0%および3.4%の精度低下を招いており、階層構造による知識の粒度制御とマルチエージェントによる検証プロセスが性能の要であることが示された。
本研究では、法律分野における情報の異質性と推論の信頼性という課題を解決するため、証拠に基づいた法的推論フレームワークである LegalGraphRAG を提案した。本手法は、階層型知識グラフと協調型マルチエージェントシステムを統合することで、法的推論のプロセスを「検索（retrieval）」「検証（verification）」「統合（synthesis）」という透明性の高いパイプラインへと変換する。法的判決ベンチマークを用いた広範な実験の結果、LegalGraphRAG は既存手法を上回る SOTA（state-of-the-art）を達成し、複雑な法的分析において正確かつ信頼性の高い AI 実装を可能にすることを実証した。
LegalGraphRAGは、テキストベースの法的文書や法令の処理において高い能力を示す一方で、現在は単一のテキスト入力に限定されているという限界がある。実際の司法手続きでは、現場写真、監視カメラの映像、手書き文書、音声記録といった異種混合の証拠が存在するが、現行のフレームワークではこれらをテキストに書き起こす必要があり、事実検証に不可欠な視覚的・聴覚的なニュアンスが失われるリスクがある。例えば、監視映像における視覚的情報が「意図」と「過失」の区別において重要な役割を果たす場合、テキスト記述のみでは不十分となる可能性がある。今後の展望として、Hierarchical Legal Knowledge Graphを拡張し、視覚的証拠を Fact Graph に埋め込むなどのマルチモーダルなノードを組み込むことで、テキストの証言と視覚的証拠を照合するクロスモーダルな推論を実現することが期待される。
本研究はACLの倫理規定を遵守しており、実験にはCAIL2018、CMDL、JuDGE、LeCaRDv2といった公開ベンチマークおよび法規テキストを使用しているが、使用される裁判判決データは提供元によって被告や被害者の実名などの個人識別情報（PII）が匿名化・マスキング済みである。モデルの学習に用いる過去の判決データには、地域や性別に関する司法制度固有のバイアスが含まれ、モデルがそれを増幅させる可能性があることを認めているが、GraphRAGを用いることで根拠に基づいた解釈を可能にし、論理的推論能力の向上を図っている。LegalGraphRAGは、法曹専門家や研究者の判例検索および事実分析を支援する補助ツールとして設計されており、人間の裁判官や弁護士に代わるものや、実世界の司法シナリオにおける完全自動意思決定システムとして運用されることは意図されていない。モデルが出力する「懲役刑（prison term）」や「判決（judgment）」の予測値は、執行可能な判決ではなく、あくまで参照用の確率として扱うべきである。
本論文におけるLLMの用途は、文章の推敲および明瞭化のための文法エラーの修正に限定されている。具体的には、英語テキストの洗練、文法的な誤りの訂正、および文章の明瞭性の向上を目的として利用された。また、いくつかの表の初期的なフォーマット作成においてもLLMによる補助が行われている。著者らはモデルによるすべての提案を精査しており、最終的な内容の科学的な正確性と完全性については著者らが全責任を負うことが明記されている。