本研究は、Retrieval-Augmented Generation (RAG) において、生成された回答の各トークンが検索されたドキュメントに忠実であるかを判定する課題に取り組んでいる。従来のSelf-consistencyやPrompt-basedな手法は、推論コストやプロンプト設計への依存が課題であった。CORTEXは、クローズドなLLM $\mathcal{M}$ が生成した回答 $A$ に対し、内部表現にアクセス可能なオープンウェイトLLM $\mathcal{M}_{ow}$ を事後解析モデルとして用いる。これにより、生成プロセスを変更することなく、トークン単位でのハルシネーション検出を可能にしている。
本研究の主な貢献は、参照情報の有無による内部表現の対照的な変化を捉える新しい特徴量設計と、スパンの一貫性を高める平滑化手法の提案である。具体的には、参照文献の影響を直接的に捉える「参照誘発デルタ表現」と、先行トークンからの伝播を分離する「文脈残差特徴量」を導入した。また、ハルシネーションが連続する性質を利用した「ラベル永続性平滑化（label-persistence smoothing）」により、局所的なノイズを低減している。実験では、RAGTruthおよびHalluRAGの2つのベンチマークにおいて、既存の5つのベースラインを上回る性能を達成した。
CORTEXは、以下の3つの主要ステップで構成される。まず、参照文献を含む入力 $x_{ref}$ と含まない入力 $x_{no\_ref}$ から得られる各トークンの最終層表現 $\mathbf{h}_t^{ref}$ と $\mathbf{h}_t^{no\_ref}$ の差分 $\Delta \mathbf{h}_t = \mathbf{h}_t^{ref} - \mathbf{h}_t^{no\_ref}$ を算出する。次に、先行するトークンを介した間接的な影響を排除するため、アテンション重み $a_{t,j}^{ref}$ を用いた文脈媒介影響 $\sum_{j<t} a_{t,j}^{ref} \Delta \mathbf{h}_j$ を差し引いた文脈残差 $R_t = \Delta \mathbf{h}_t - \sum_{j<t} a_{t,j}^{ref} \Delta \mathbf{h}_j$ を定義する。これらの特徴量をMLP分類器 $f_{\theta}$ に入力し、クラス不均衡対策として重み付けされたバイナリクロスエントロピー損失を用いて学習を行う。最後に、隣接ラベルの持続性を制御するパラメータ $\lambda$ を用いた局所適合項 $P(y_t, y_{t-1} | s_t, s_{t-1})$ を定義し、前向き・後ろ向きアルゴリズムにより事後確率 $\hat{s}_t = \sum_{\mathbf{y}} y_t P(\mathbf{y} | \mathbf{s})$ を計算する平滑化ステップを適用する。
評価は、RAGTruthおよびHalluRAGの2つのベンチマークを用い、Llama-3.1-8B-Instruct、Qwen3-8B、Mistral-7B-Instruct-v0.2の3つのLLMを対象に行った。指標にはAverage Precision (AP) および Area Under the ROC Curve (AUROC) を使用し、NLL、SAPLMA、LLM-Check、ICR Probe、RAGLensの5つのベースラインと比較した。結果として、CORTEXはすべての設定において最高の性能を達成した。アブレーション解析により、コンテキスト残差 $\mathcal{R}$ が偽陽性を抑制し、ラベル永続性平滑化がハルシネーション領域の一貫性を高めることが実証された。また、回答レベルの評価においても、トークンレベルの最大スコアを集約する戦略により、競争力のある性能を示した。
CORTEXは実用的なポストホック手法であるが、いくつかの限界が存在する。第一に、RAG設定を前提としているため、参照文献が存在しないLLMの内部知識に基づく主張の検証には適していない。第二に、解析モデルとして内部表現にアクセス可能なオープンウェイトLLMを必要とするため、検出精度は選択したモデルの能力に依存する。第三に、学習にはスパンレベルの詳細なアノテーションが必要であり、データの不足が課題である。今後の展望として、トークンレベルの信頼性信号を、バイアスや毒性、プライバシーリスクなどの安全性チェックと統合する手法の検討が挙げられる。
CORTEXは、Retrieval-Augmented Generation (RAG) におけるトークンレベルのハルシネーション検出手法であり、検索されたドキュメントに根拠を持つトークンは、そうでないトークンよりもドキュメントの影響を強く受けるという直感に基づいている。具体的には、検索ドキュメントがある場合とない場合のLLMの内部表現を比較することで、ドキュメントによる影響度を捉える。単に各トークンの即時的な感度を見るだけでなく、先行するトークンを通じて伝播するドキュメント根拠情報の蓄積も活用することで、既に文脈に吸収された情報の誤検知を抑制している。さらに、ハルシネーションのラベルが連続するスパンで持続する傾向をモデル化する後処理の平滑化ステップを導入し、局所的なノイズを低減してスパンの一貫性を高めている。2つのRAGベンチマークと3つのLLMを用いた実験により、各コンポーネントが性能向上に寄与し、トークンレベルの検出精度を大幅に改善することが示された。
本研究では、RAG（Retrieval-Augmented Generation）におけるトークン単位のハルシネーション検出手法であるCORTEXを提案している。CORTEXは、参照情報がある場合とない場合の同一回答に対する内部表現の差分を比較する「対照的な反事実的視点」に基づき、忠実なトークンは参照情報の提供によって一貫した表現の変化を示すという直感を利用して、トークンレベルのデルタ特徴量を抽出する。さらに、参照情報の効果が先行する回答トークンを通じて間接的に伝播することを考慮し、アテンションパターンと組み合わせた「コンテキスト残差特徴量」を導入することで、間接的に根拠付けられたトークンと根拠のないトークンを区別し、偽陽性を低減する。また、ハルシネーションのラベルが隣接するトークン間で持続するという性質を利用した「ラベル永続性平滑化（label-persistence smoothing）」を導入することで、局所的なノイズを抑制し、スパン単位の注釈構造に適応させている。2つのRAGベンチマークと3つのLLMを用いた実験により、CORTEXがトークンレベルの検出性能を大幅に向上させることが示されており、APIベースのクローズドモデルを含む任意のLLMに適用可能な実用的なポストホック手法として位置付けられている。
本研究では、パラメータや内部表現にアクセスできないクローズドウェイトLLM $\mathcal{M}$ が生成した回答 $A$ に対し、質問 $Q$ との整合性を評価するトークンレベルのハルシネーション検出を扱う。内部表現が取得できない $\mathcal{M}$ の代わりに、内部表現へのアクセスが可能なオープンウェイトLLM $\mathcal{M}_{ow}$ を事後解析モデルとして利用する。具体的には、質問と回答を連結した入力 $X = [Q; A]$ を $\mathcal{M}_{ow}$ に入力し、回答の各トークン $a_i$ ($i=1, \dots, n$) に対応する内部表現 $h_i$ を抽出する。ハルシネーション検出タスクは、各トークンに対して、ハルシネーションを示すラベル $y_i=1$ または忠実であることを示すラベル $y_i=0$ を推定することである。本設定は、検索されたリファレンスに基づき回答の忠実性が求められるRAG（Retrieval-Augmented Generation）アプリケーションを想定している。
CORTEXは、RAGにおけるトークンレベルのハルシネーション検出を行うpost-hocフレームワークであり、参照文献の有無による内部表現の変化を利用する。まず、参照文献を含む入力 $x_{ref}$ と含まない入力 $x_{no\_ref}$ から得られる各回答トークンの最終層の表現を $\mathbf{h}_t^{ref}$ および $\mathbf{h}_t^{no\_ref}$ としたとき、その差分である $\Delta \mathbf{h}_t = \mathbf{h}_t^{ref} - \mathbf{h}_t^{no\_ref}$ を「参照誘発デルタ表現」として定義し、トークンが参照文献によってどのように文脈化されるかを捉える。次に、Chain-of-Thoughtのような推論過程において、先行するトークンを介して伝播する参照文献の影響を分離するため、アテンション重み $a_{t,j}^{ref}$ を用いた文脈媒介影響 $\sum_{j<t} a_{t,j}^{ref} \Delta \mathbf{h}_j$ を差し引いた「文脈残差」 $R_t = \Delta \mathbf{h}_t - \sum_{j<t} a_{t,j}^{ref} \Delta \mathbf{h}_j$ を導入する。これらの特徴量をMLP分類器 $f_{\theta}$ に入力して生のハルシネーションスコア $s_t = \sigma(f_{\theta}(\cdot))$ を算出するが、クラス不均衡対策としてバイナリクロスエントロピー損失に重み付けを行う。最後に、人間によるアノテーションがスパン単位であることを考慮し、隣接するラベルの持続性を制御するパラメータ $\lambda$ を用いた「ラベル持続性平滑化（Label-Persistence Smoothing）」を適用する。この平滑化は、生のスコアに基づく信頼度とラベルの連続性を組み合わせた局所適合項 $P(y_t, y_{t-1} | s_t, s_{t-1})$ を定義し、前向き・後ろ向きアルゴリズムを用いて事後確率 $\hat{s}_t = \sum_{\mathbf{y}} y_t P(\mathbf{y} | \mathbf{s})$ を効率的に計算することで、ノイズを抑えたスパン一貫性のあるスコアを得る。
本研究では、RAGにおけるトークンレベルのハルシネーション検出手法であるCORTEXを、RAGTruthおよびHalluRAGの2つのベンチマークを用いて評価している。実験にはLlama-3.1-8B-Instruct、Qwen3-8B、Mistral-7B-Instruct-v0.2の3つのLLMを使用し、トークンレベルの評価指標としてAverage Precision (AP) および Area Under the ROC Curve (AUROC) を用いて、NLL、SAPLMA、LLM-Check、ICR Probe、RAGLensといった5つのベースラインと比較している。CORTEXは、参照情報の有無による同一トークンの内部表現の対比から信号を抽出する手法であり、RAGTruthにおける人間による詳細なアノテーション、およびHalluRAGにおける文レベルのアノテーションから派生した擬似ラベルの両方において、すべての設定で最高の性能を達成した。回答レベルの評価においては、CORTEXは回答レベルの教師信号を使用せず、トークンレベルの最大スコアを回答スコアとして採用する集約戦略をとっているが、回答レベルの検出においてもベースラインに対して競争力のある性能を示した。アブレーション解析の結果、コンテキスト残差 $\mathcal{R}$ は先行する文脈を介した間接的な接地による偽陽性を抑制し、ラベル永続性平滑化（label-persistence smoothing）は局所的に不安定なスコアパターンを抑制してハルシネーション領域をより一貫して特定することが確認された。
LLMにおけるハルシネーション問題は、RAG（Retrieval-Augmented Generation）によって軽減されるものの、依然として根拠のない、あるいは不整合な出力が生成される課題が残っている。既存の検出手法には、Self-consistencyのように複数回の生成結果を比較する手法や、LLMを判定器として用いるPrompt-basedな手法があるが、これらはプロンプト設計への依存や追加の推論コストが課題となる。一方で、次トークン分布の不確実性や、Transformerの中間表現、AttentionやFFNのスペクトル特徴、Sparse Autoencoder（SAE）を用いた解析など、モデル内部の信号を利用する研究も進んでいる。本研究で提案するCORTEXは、単一の内部状態を解析する従来手法とは異なり、参照情報がある場合とない場合の内部表現を比較することでハルシネーションを検出する。さらに、孤立したノイズを低減し、スパン単位のハルシネーション注釈と予測をより良く一致させるために、label-persistence smoothingを導入している。
本研究では、RAGにおけるトークンレベルのハルシネーション検出手法として、参照情報の有無による内部表現の変化を分析するCORTEXを提案している。CORTEXは、同一の回答に対して参照情報がある場合とない場合の内部表現を比較し、その差分をトークンレベルのデルタ特徴量としてエンコードする。この特徴量にアテンションパターンを組み合わせることで文脈を介した参照の影響を捉え、さらにラベル永続性平滑化（label-persistence smoothing）を用いることで、スパンの一貫性を保ちつつ局所的なノイズを低減している。実験の結果、CORTEXはトークンレベルのベースラインを大幅に上回り、単純なスコア集計によって回答レベルでも競争力のある性能を達成した。また、アブレーション解析により、アテンションに基づく文脈的残差とラベル永続性平滑化の両方が有効であることが確認された。本手法は、クローズドなLLMの出力をオープンウェイトのLLMを用いて事後的に解析するため、生成プロセスを変更せずに信頼性を評価できる実用的なアプローチである。
CORTEXはRAG設定を前提としており、生成された回答を評価するための参照文献の存在を仮定しているため、LLMのパラメータ知識のみから生成された主張の検証には適していない。この制約は、承認された文書のみに基づいた回答が求められるエンタープライズ向けのカスタマーサポート等の制御された用途には適しているが、参照文献に明示されていない有用な情報まで根拠なしと判定してしまう可能性がある。また、手法の性質上、隠れ状態やアテンション重みなどの内部表現にアクセス可能なオープンウェイトLLMを解析モデルとして必要とするため、検出の品質は選択したモデルの能力に依存する。さらに、学習には詳細な教師データが必要であるが、RAGTruthのようなスパンレベルの人間によるアノテーションは依然として不足しており、限られたアノテーション資源下での監督学習の改善が今後の課題である。
CORTEXは、RAGシステムの生成出力において根拠のないトークンを特定することで、信頼性評価を支援することを目的としている。本手法は、ユーザーが幻覚（hallucination）に基づいた情報に依存するリスクを低減するが、予測は確率的なものであるため、偽陽性（false positives）や偽陰性（false negatives）が含まれる可能性があり、事実の正確性を保証するものではない。そのため、高リスクな領域では人間によるレビューや追加の検証が必要であり、検出結果を過信して生成出力を実際よりも信頼できるものとして提示するリスクについても注意を要する。また、CORTEXの設計範囲は参照文献に基づいた生成における根拠の有無の検出に限定されており、真実性、公平性、あるいは社会的危害といった広範な概念を判定するものではない。今後の課題として、トークンレベルの信頼性信号を、バイアス、毒性、プライバシーリスク、およびドメイン固有の安全性チェックを含む他の安全策とどのように統合していくかが挙げられる。