根拠に基づかない回答が重大な法的帰結を招く恐れのある法務分野を対象とする。英語のGDPRとフランス語の国内民法という2つの法務コーパスを用い、検索器と生成器を組み合わせた8つのRAGシステムを評価する。従来の評価は集計指標に留まるものが多かったが、本研究では質問カテゴリやユーザー属性による性能差、および検証可能な最小単位である主張レベルでの詳細な挙動を明らかにすることを目的とする。
既存のベンチマークがハルシネーションの集計的な評価に留まっていたのに対し、主張レベルでの密度（ハルシネーションの多さ）と深刻度（ハルシネーションの頻度）を分離して測定する詳細な分析枠組みを提示している。また、法律専門家が作成した独立した質問セットを用いて、観察されたハルシネーションのパターンがベンチマーク特有のものではなく、汎用的なものであることを検証した。
BM25またはE5の検索器と、GPT-4、GPT-5、Llama3-8B、Mixtral-8x7Bの4つの生成器を組み合わせた8つのシステムを評価対象とする。評価指標として、全主張のうちハルシネーションが含まれる割合を示す主張レベルのハルシネーション率（CL）と、少なくとも1つのハルシネーションを含む回答の割合を示す回答レベルのハルシネーション率（AL）を用いる。さらに、事実と明示的に矛盾する場合のみをカウントする厳格な指標（CLsおよびALs）を定義し、ハルシネーションの密度と頻度を測定する。
ClaimRAG-LAWベンチマークおよび専門家による142個の独立した質問セットを用いて検証を行った。結果、最も優れたBM25とGPT-5の組み合わせではハルシネーション率が8%から20%の範囲であったのに対し、Llama3-8Bベースのシステムでは回答の約半分に発生することが示された。また、誤った前提を含む質問（FP）では、多くのシステムが前提を鵜呑みにし、ハルシネーション率が高くなる傾向が確認された。ユーザー属性別では、法律専門家向けの質問よりも、市民向けの質問の方がハルシネーション率が高くなる傾向が見られた。
本研究は2つの法的ソースと8つのシステムに限定されており、他の法域や言語、モデルへの完全な一般化には課題がある。また、プロンプト、チャンク分割戦略、検索パラメータ、あるいは最新モデルのバージョンが与える影響は評価に含まれていない。誤った前提（FP）や期間・管轄指定（JT）などの質問カテゴリはサンプル数が少ないため、結果の安定性に影響を与える可能性がある。ハルシネーションの軽減には、検索精度の向上だけでなく、検索された証拠への忠実性の向上や、誤った前提を検証・拒絶する能力の強化が必要である。
本研究では、根拠に基づかない回答が重大な結果を招く恐れのある法務領域のRAGシステムにおいて、ハルシネーション（幻覚）の発生状況を詳細に分析している。英語のGDPRとフランス語の国内民法という2つの法務コーパスを用い、8つのRAGシステムを対象として、主張レベルおよび回答レベルでの評価を実施した。評価指標としてハルシネーションの密度と深刻度を測定し、質問のカテゴリやユーザーの属性による性能差を分析するとともに、法務専門家が作成した142個の独立した質問セットを用いて結果の妥当性を検証している。実験の結果、ハルシネーションは依然として蔓延しており、最も優れたシステムでも回答の10%未満、最悪のケースでは回答の約半分に達することが示された。特に、拒絶すべき誤った仮定を含む「誤った前提の質問（false-premise questions）」に対しては、ハルシネーションが発生する割合が高くなることが明らかになった。
法務分野における検索拡張生成（RAG）システムは、検索コンポーネントや生成コンポーネント、あるいはその相互作用に起因するハルシネーションのリスクを抱えており、既存研究では6回に1回の割合で誤った出力が生成されることが報告されています。本研究では、回答全体が誤っている割合を測る回答レベルの分析と、検証可能な最小単位の事実である「クレーム（主張）」単位でその密度や深刻度を測るクレームレベルの分析を組み合わせ、ハルシネーションの挙動を詳細に調査しています。実験では、BM25またはE5の検索器と、GPT-4、GPT-5、Llama3-8B、Mixtral-8x7Bの4つの生成器を組み合わせた8つの最新RAGシステムを対象に、英語のGDPRとフランス語の民法典のデータセットを用いて評価を行いました。その結果、ハルシネーションは全システムで蔓延しており、BM25とGPT-5の組み合わせでは回答の8%から20%に、Llama3-8Bベースのシステムでは回答の約半分に発生することが示されました。また、誤った前提を含む質問においてハルシネーションが特に発生しやすく、ユーザーの属性（専門家、公務員、市民）によっても発生率が異なることが明らかになりました。これらの傾向は、手動で作成された142個の独立した法務質問を用いた外部検証によっても再現されており、特定のベンチマークに依存しない一般的なパターンであることが確認されています。
ハルシネーション検出手法は、外部知識を用いないリファレンスフリー手法と、信頼できる根拠と比較するリファレンスベース手法に大別される。リファレンスフリー手法には、同一モデルによる複数の出力の整合性を測定するSelfCheckGPTや、LLMを事実整合性の判定器として用いる法務分野のアプローチがある。一方、本研究が属するリファレンスベース手法では、生成された回答を検証可能な個々の主張に分解し、根拠となる文書と照合する主張レベルの検証が主流である。具体的には、個々の主張を検証するFActScore、主張の抽出と含意関係の分析を組み合わせるFENICE、主張を主語・述語・目的語の三つ組として構造化しRAGに適応させたRefCheckerなどが存在する。法務分野の評価においては、LexGLUEやLegalBench-RAGなどの言語理解や推論能力を測るベンチマークから、LLeQAのようなRAGの事実信頼性に焦点を当てたものへと研究が移行している。最新のClaimRAG-LAWは、複数の管轄区域や言語、ユーザー属性を網羅した詳細な評価枠組みを提供するが、分析がハルシネーションの集計指標に留まっており、質問カテゴリやユーザー視点による挙動の違い、あるいはベンチマーク外への汎用性については検証されていない。
本研究では、法務分野のRAGシステムにおけるハルシネーション（幻覚）の実態を、GDPR（英語）と民法（フランス語）のデータセットからなるベンチマークClaimRAG-LAWを用いて評価しています。評価指標として、生成された全主張のうちハルシネーションが含まれる割合を示す主張レベルのハルシネーション率（CL）と、少なくとも1つのハルシネーションを含む回答の割合を示す回答レベルのハルシネーション率（AL）を定義し、さらに事実と明示的に矛盾する場合のみをカウントする厳格な指標（CLsおよびALs）を用いて、ハルシネーションの密度と頻度を分析しています。実験では、2種類の検索器（BM25、E5）と4種類の生成器（Llama3-8B、Mixtral-8x7B、GPT-4、GPT-5）を組み合わせた8つのシステムを対象としています。分析の結果、GPT系のシステムはCLとALの両方で低い値を示し、特にBM25とGPT-5の組み合わせが最も堅牢であることが示されました。一方で、Llama3-8B系のシステムはハルシネーション率が高く、特に誤った前提を含む質問（FP）に対しては、多くのシステムがその前提を鵜呑みにして回答を生成するという課題が明らかになりました。また、ハルシネーションの性質として、多くの回答にわずかな誤りが含まれるパターンよりも、少数の回答にハルシネーションが集中するパターンが多く見られ、回答に含まれる誤った主張の数は1つであることが支配的ですが、稀に多数の誤った主張を含む深刻なケースも存在することが確認されました。
第三者の法律専門家が作成したGDPRと民法に関する計142問の質問を用いて検証した結果、GPTベースのシステムが最も低く、Llama3-8Bベースのシステムが最も高いハルシネーション率を示すという、既存のベンチマークと同様の傾向が確認された。カテゴリ別の分析では、誤った前提を含む質問において回答レベルのハルシネーション率が高くなる傾向があり、多くのシステムが誤った前提を拒絶せずに受け入れてしまうという、前提検証の重要性が示された。GPT-4とGPT-5の比較では、全体的なハルシネーション率は同程度であるものの、GPT-5は提供された証拠と直接矛盾する主張を生成する割合が低く、深刻なハルシネーションを回避する点で優れていることが示された。これらの結果は、法律分野のRAGシステムにおけるハルシネーションの軽減には、検索精度の向上だけでなく、検索された証拠への忠実性の向上や、誤った前提を含む質問に対する検証能力の強化が必要であることを示している。
本研究の内部妥当性は、使用したベンチマークであるClaimRAG-LAWの注釈や評価指標の正確性に依存しており、それらの誤りがハルシネーション率の分析に影響を及ぼす可能性がある。この脅威に対しては、専門家によって検証されたQAペアと標準化された評価パイプラインを用いることで、分析対象となるすべてのRAGシステム間での一貫した比較を確保している。外部妥当性については、対象がGDPRとCIVILという2つの法的ソースおよび8つのRAGシステムに限定されているため、他の法域、言語、検索器、あるいは基盤モデルに対して結果が一般化できない可能性があるが、異なる法域や言語、複数の検索器と生成器の組み合わせを評価することで部分的に緩和している。また、本分析はベンチマークの出力に基づいているため、異なるプロンプト、チャンク分割戦略、検索パラメータ、あるいは最新のモデルバージョンが与える影響については評価できていない。さらに、誤った前提に基づく質問や法域・時期に特化した質問といった一部のカテゴリはサンプル数が比較的少ないため、それらの結果の安定性に影響を与える可能性がある。
本研究では、GDPRおよびCIVILという2つの法的コーパスを用いて、8種類の法的RAG（検索拡張生成）システムにおけるハルシネーションの微細な分析を行いました。回答レベルおよび主張レベルの両面から評価した結果、ハルシネーションは依然として継続的な課題であることが示されました。ハルシネーションの発生率はシステム構成によって大きく異なり、BM25とGPT-4を組み合わせた最も堅牢な構成から、生成された回答の約半分でハルシネーションが発生するLlama3-8Bベースの構成まで、幅広い範囲に及びます。ハルシネーションの多くは、回答全体にわたる広範な誤りではなく、回答内の一部に含まれる根拠のない孤立した主張という形態をとっています。また、事実の想起や誤った前提に基づく質問、および非専門家ユーザーによるクエリにおいてハルシネーションが発生しやすい傾向があり、質問のカテゴリやユーザーの属性によって挙動が大きく異なることが判明しました。これらの知見は、専門家が作成した独立した質問セットを用いた検証によって、特定のベンチマークに依存しない一般的な傾向であることが示されています。