RAGシステムでは、検索器が回答生成に直接寄与する証拠を提示できるかが重要となる。従来の検索評価はトピックの関連性に重点を置いており、生成器が求める「回答を支える証拠」としての有用性を十分に反映できていない。この評価指標の乖離が、検索器の最適化、最適なシステムの選択、生成される回答の品質予測、および証拠のフィルタリングといった下流工程の意思決定において、どの程度信頼できる信号となるかが課題である。
検索評価を「回答支持（answer-support）」という、回答に寄与する証拠の有無に焦点を当てた指標に置き換えた際の影響を、検索器の比較、学習、システム選択、品質予測、証拠フィルタリングという5つの異なる役割を通じて包括的に検証した。また、ある用途で有効な評価信号が、それに基づく次の推論や決定を必ずしも正当化できないという「妥当性の構成問題（validity-composition problem）」を提起した。
大規模言語モデルを用いて、検索された各パッセージを自己完結的な主張に分解し、それらが情報ニーズに対する回答を支えているかを0から3の段階で評価する「回答支持」指標を定義した。この信号を用いて、以下のプロセスを検証した。まず、従来の関連性に基づく評価と回答支持に基づく評価で検索器のランキングがどう変化するかを確認する。次に、回答支持の度合いに応じて負例の重み付けを変えた検索器の学習効果、特定の生成指示条件下でのシステム選択、最小二乗法を用いた回答品質の予測、および回答支持の基準でパッセージをフィルタリングして生成器に与える介入効果を評価した。
5つのベンチマーク（BEIRおよびTREC-DLのデータセット）を用い、従来の関連性に基づく順位と回答支持に基づく順位の相関（Kendallのタウ）が0.378から0.746の範囲であることを示した。TREC RAG 2025を用いた実験では、網羅性を重視する生成指示（Coverage-Disciplined）条件下では回答支持に基づくシステム選択が回答品質を向上させたが、標準的な指示（Standard Grounded）では向上しなかった。また、18のトピックを用いた交差検証では、回答支持スコアによる回答品質の予測は未知のトピックに対して頑健ではなく、すべての線形および非線形モデルにおいて予測誤差がベースラインを上回る結果となった。
回答支持指標は、検索順位を変化させ、人間が認識する証拠を特定できるものの、検索器の学習改善や未知のトピックに対する品質予測には必ずしも寄与しない。評価の有用性は、生成器が証拠を扱う方法、最終的な回答を評価するモデルの特性、およびパッセージ集合としての網羅性や冗長性といった要素に依存する。したがって、RAGの評価手法は、単に測定する概念が適切であるかだけでなく、その指標を用いて下そうとする具体的な比較、決定、予測、あるいは実験的結論に対して個別に妥当性を検証する必要がある。
本研究は、検索拡張生成（RAG）において、単なるトピックの関連性ではなく、生成を支援する証拠（エビデンス）が含まれているかという観点での検索評価が、下流タスクの意思決定にどの程度有用であるかを調査しています。5つの検索ベンチマークとTREC RAG 2025の設定を用い、回答支援信号を「検索器の比較」「検索訓練やシステム選択の指針」「回答品質の予測」「生成器への証拠フィルタリング」という4つの役割で検証しました。その結果、この信号は検索順位を変化させるものの、検索器の訓練を確実に改善するわけではなく、システム選択における利点も生成器への指示内容に依存することが示されました。また、検索スコアによる回答品質の予測は未知のトピックに対して頑健ではなく、証拠に基づくフィルタリングは有用な証拠を含む文書を優先的に保持するものの、それによって最終的な回答の質が向上するかについては評価者によって結論が分かれました。以上の結果から、検索評価を生成に必要な証拠に近づけることだけでは、あらゆる下流用途において評価の信頼性が高まるわけではなく、評価手法はそれが支えようとする具体的な比較や決定の種類に応じて評価されるべきであると結論付けています。
RAG（検索拡張生成）において、単なるトピックの関連性ではなく、回答の根拠となる証拠を重視する検索評価指標の有用性を検証しています。本研究では、回答支援に特化した評価信号が、検索器の比較、学習、システム選択、回答品質の予測、そしてRAGシステム全体の改善判断といった、一連の下流の意思決定にどこまで波及するかを調査しました。実験の結果、回答支援を考慮した評価は検索器の比較結果を変化させるものの、その信号を用いた学習が検索性能を確実に向上させたり、未知のトピックに対する回答品質を頑健に予測したりするわけではないことが示されました。また、人間による評価で証拠の質が向上していることが確認された場合でも、回答の品質評価に用いるモデルによって、介入の効果に関する結論が異なるという現象も確認されました。これらの知見から、ある用途で有効な評価信号が、それに基づく次の推論や決定を必ずしも正当化できないという「妥当性の構成問題（validity-composition problem）」を提起しています。結論として、評価指標の妥当性は、測定しようとする概念だけでなく、その指標を用いて下そうとする具体的な意思決定に対して検証される必要があります。
RAGにおける証拠に基づいた検索は、単なるトピックの関連性を超えて、回答に寄与する有用な情報を特定することを目指している。既存研究では、検索結果が生成に与える影響を評価するeRAGや、生成への限界的な寄与度を用いて再ランキングを改善するUplift-RAGのように、下流タスクを意識した信号が検索の向上に役立つことが示されている。しかし、検索の質が必ずしも生成の質を決定するわけではなく、生成器がノイズや不完全な証拠を扱う能力に依存することや、検索の有用性と最終的な回答の品質は別物であることも指摘されている。測定理論の観点からは、ある指標が証拠の区別を捉えられることと、その指標が最適化の目的関数やシステム選択の基準、あるいは回答品質の予測因子として有効であることは別問題であり、それぞれの用途について個別に検証する必要がある。また、LLMを用いた評価においては、評価者間の合意形成だけでなく、システムへの介入が有効であったかという実質的な結論の安定性が重要となる。本研究は、証拠評価の改善が、具体的にどのような下流の意思決定を支援するのかという未解決の問いに取り組む。
本研究では、検索されたパッセージが単に同じトピックを扱っているだけでなく、情報ニーズへの回答に直接寄与するかを判定する「回答支持（answer support）」という指標を用いる。具体的には、大規模言語モデルを用いて各パッセージを自己完結的な個別の主張に分解し、それらの主張が回答を支えているかを0から3の段階で評価する。この評価信号は、検索器の評価、システムの選択、回答品質の代理指標としてのスコア構築、あるいは生成器に渡す証拠の選別といった異なる用途に活用できる。しかし、ある用途で有効な評価信号が、それに基づいた次の推論や決定を必ずしも正当化するとは限らないという「妥当性構成問題（validity-composition problem）」が存在する。本研究では、回答支持に基づく評価が検索器のランキングを変化させるか、検索器の最適化や選択の基盤として機能するか、回答品質を予測できるか、そして証拠の質を向上させた際にシステム全体の改善を確実に結論付けられるか、という4つの観点から検証を行う。
本セクションでは、検索結果の評価基準を従来のトピック関連性から、回答を裏付ける証拠の有無へと変更した際に、検索システムの順位付けがどのように変化するかを検証しています。BEIRおよびTREC-DLの5つのデータセットを用い、初段検索器と再ランキング器を組み合わせた複数のシステムを評価した結果、評価基準の変更によってシステム間の順位が大幅に入れ替わることが示されました。関連性に基づく順位と証拠に基づく順位の相関を示すKendallのタウは0.378から0.746の範囲であり、5つのデータセットのうち4つでトップのシステムが変化しています。この順位変動は、単に正解ラベルが減少することによるものではなく、特定のシステムが「回答を裏付ける証拠」を含む文書に依存している度合い（exposure）がシステム間で大きく異なる場合に顕著となります。例えばTREC-COVIDでは、システム間でこの依存度の差が33.9ポイントに達しており、このようなシステム特有の不一致が順位の逆転を引き起こしています。この傾向は、GPT-4.1やLlama-3-8Bといった異なるLLMを評価者として用いた場合でも一貫して観察され、評価基準の変更が検索システムの性能評価に決定的な影響を与えることが明らかになりました。
回答の根拠となる証拠の有無を考慮した評価（answer-support-aware evaluation）が、下流タスクの性能向上に寄与するかを検証しています。まず、検索器の学習にこの信号を用いる実験では、証拠が不十分な負例に重みを付ける手法を検討しましたが、従来の関連性のみに基づく手法と比較してnDCG@10の有意な向上は見られませんでした。次に、TREC RAG 2025のデータセットを用い、評価指標に基づいて最適な検索器を選択する実験を行いました。標準的な指示（Standard Grounded）を用いた生成条件下では、証拠を重視した評価基準で検索器を選択しても、下流の回答品質であるstrict_vital_scoreは向上しませんでした。しかし、より広範な情報の網羅や根拠の明示を求める指示（Coverage-Disciplined）を用いた条件下では、証拠を重視した選択によって回答品質が有意に向上し、最良の検索器を選べなかった場合の損失であるselection regretも減少しました。以上の結果から、証拠を考慮した評価信号の有用性は、指標単体の性質ではなく、生成器が証拠をどのように扱うかというパイプライン全体の設計に依存することが示されました。
本セクションでは、回答の根拠となる証拠を考慮した検索スコアが、未知のトピックに対して回答の品質を予測できるかを検証しています。18のトピックと11のシステムを用い、従来の検索有効性指標と回答の根拠を考慮した指標、およびその両方を用いて回答品質を予測する最小二乗回帰モデルを構築し、1トピックを除いた交差検証によって汎化性能を評価しました。実験の結果、標準的なグラウンディング条件下では、従来の指標および回答の根拠を考慮した指標のいずれも、未知のトピックにおける回答品質の予測に寄与せず、交差検証における予測誤差はベースラインよりも大きいことを示す負の値となりました。この傾向は、線形モデルだけでなく、3次スプライン回帰や単調増加アイソトニック回帰を用いた非線形モデルにおいても一貫しており、回答の根拠を考慮したスコアが回答品質の頑健な予測因子にはならないことが示されました。以上の結果から、検索段階の評価指標が回答の根拠とより良く整合したとしても、それが直ちに未知のトピックに対する回答品質の予測や、あらゆる生成条件下でのシステム選択の妥当性を保証するわけではないという、評価の妥当性と構成に関する問題が明らかになりました。
本セクションでは、検索された文脈を回答に寄与する証拠（answer-supporting evidence）に基づいてフィルタリングする介入が、生成される回答の品質を向上させるかを検証している。実験では、検索器を固定した状態で、回答に寄与しない文脈を除去し、代わりに寄与する文脈を補充することで、コンテキストの質を変化させる手法を用いている。この介入の効果を比較するため、元の関連度、検索順位、文の長さが類似した文をランダムに除去する対照群を設定している。人間による検証の結果、GPT-4を用いたフィルタリングは、人間が認識する証拠の境界を捉えており、回答に寄与する証拠を優先的に保持できることが示された。しかし、生成された回答の品質評価においては、評価器によって結果が大きく異なることが判明した。Qwenを用いた評価では、重要な情報の支持率を示す指標において介入による改善が見られたが、Claudeを用いた評価では改善が確認されなかった。この結果は、証拠の質を向上させることが必ずしも全ての評価指標において回答の改善として現れるわけではなく、下流タスクの妥当性が回答の評価方法に強く依存することを浮き彫りにしている。
RAGにおける評価指標の有用性は単一の性質ではなく、評価基準、比較対象のシステム、後続の生成プロセス、および評価が目的とする意思決定との相互作用によって決まる相対的なものである。本研究で検証した回答支持（Answer support）という指標は、人間が認識する根拠を特定しシステムの順序を変化させるものの、検索モデルの学習改善や未知のトピックに対する回答品質の予測には必ずしも寄与しない。評価基準の変更がもたらす影響は、基準と関連性の不一致の量だけでなく、その不一致が比較対象のシステム間でどのように分布しているかにも依存する。また、同じ検索基準と選択手順を用いても、生成器への指示が標準的な根拠に基づく生成か、あるいは網羅性を重視する生成かによって、回答品質の向上に結びつくかどうかが異なる。さらに、個々のパッセージが回答を支持しているかという評価は、パッセージ集合としての網羅性、冗長性、補完性、およびコンテキスト予算といった要素を考慮できていないという限界がある。したがって、評価の妥当性検証は、指標が意味のある概念を捉えているかだけでなく、モデル選択や最適化といった本来の用途において、意図した意思決定を正しく支援できるかという観点で行われるべきである。
本研究では、回答の根拠を考慮した検索評価の利点が、RAGパイプラインの以降の工程においてどこまで波及するかを調査しました。検索の比較、学習、システムの選定、予測、および根拠への直接的な介入という複数の観点から検証した結果、その有用性は自動的には継承されないことが明らかになりました。回答の根拠を重視する評価は、検索結果の結論を変化させ、人間がより回答に寄与すると判断する根拠を特定できますが、その下流での価値は、下される意思決定の内容、生成器による根拠の利用方法、および最終的な回答の評価方法に依存します。著者らは、ある用途において意味のある評価が、それに基づいて構築される次の推論や意思決定を自動的に正当化するわけではないという現象を、妥当性の構成問題（validity-composition problem）と定義しました。したがって、RAGの評価がシステムの開発や導入を導く役割を強める中で、評価信号がパイプラインを通じて伝播すると仮定するのではなく、その信号が支援しようとする特定の用途に対して妥当性を確立することが不可欠です。
本研究では公開されている情報検索ベンチマークを使用しており、個人のプライバシーに関わるデータや実ユーザーへの展開は含まれていない。人間によるアノテーションは、検索された文章の証拠としての価値を判断することに限定されている。解析の多くが大規模言語モデルによる判定に依存しているため、モデル特有のバイアスや系統的な誤差が混入する可能性があるが、これに対しては判定器の頑健性の評価や、中心となる証拠介入に対する独立した人間による検証を行うことで対処している。広範な観点からは、自動化されたRAGの評価指標を意思決定に対して中立なものとして扱うことへの警鐘を鳴らしており、これらの指標がシステムの選択や最適化、展開の指針となる場合、指標の誤差が重大なエンジニアリング上の決定へと波及するリスクがある。したがって、責任あるRAG評価を実現するためには、評価器の選択に関する透明性の確保、意図した用途に対する検証、および評価手順の再現可能な報告が重要な防護策になると述べている。