拡散言語モデル（DLM）を用いた視覚的検索拡張生成（Visual RAG）において、検索される証拠の数を増やすことが必ずしも精度向上に繋がらないという問題がある。検索候補を増やすと回答に必要なページが含まれる確率は高まるが、複数の証拠間に意味的な矛盾がある場合、回答の正確性が低下する。これは、並列的なデノイジング過程において、各位置の予測が異なる視覚的ソースを組み合わせてしまい、どちらのソースにも基づかない根拠のない回答に確率が割り当てられる「ソース一貫性の喪失」に起因する。
既存のVisual RAG研究は、検索候補のプールを拡大しても、矛盾する情報源がDLMの並列デノイジングにおいてどのように相互作用するかを十分に解明できていなかった。本研究は、追加の候補が既存の文脈に対して有益であるか、あるいは有害であるかを、デコード前の初期状態から判断する文脈依存的な証拠採用の枠組みを提示した。これにより、検索候補のプールサイズと、実際に生成器へ渡すコンテキストサイズを分離して管理することを可能にした。
提案手法であるEntropy-Based Candidate Filter (ECF) は、学習を必要としない証拠採用フレームワークである。まず、ページ全体とレイアウトから抽出された領域を組み合わせ、複数の粒度を持つ証拠ユニットを構築する。次に、候補の意味的な寄与と、入力サイズの変化による構造的な影響を分離するため、候補と同じ形状を持ちながら意味情報のみを排除した空白コンテキストとの差分を用いて、回答ブロックの予測エントロピーの変化（エントロピー利得）を算出する。最終的な選択では、検索順位に基づく事前分布とこの利得を組み合わせ、最も順位の高い候補を保持した上で、追加の候補を最大1つまで適応的に採用する。
3種類のマルチモーダルDLMと、5つの視覚的QAベンチマークを用いて評価を行った。評価指標には回答の正解率、検索結果に回答が含まれる割合を示すRecall@、および採用された文脈内に回答根拠が含まれる割合を示すAnswer-page usageを用いた。実験の結果、ECFは固定された上位k個の入力を与える手法と比較して、回答精度を平均で2.62パーセントポイント向上させた。また、LLaDA2.0-Uniを用いた場合、既存の他の学習不要な手法と比較しても平均で2.37パーセントポイントの精度向上を記録した。アブレーション解析では、レイアウトに基づくスライシングとエントロピーに基づくフィルタリングを組み合わせることで、固定された上位1個の入力と比較して正解率が9.72パーセントポイント向上することが示された。
本手法は、検索候補のプールを拡大することが、デノイジング前に証拠を適切に選別できるかという「検索予算」の問題であることを示唆している。ECFの計算コストは候補数に対して線形に増加するが、デコードの全工程ではなく最初のステップのフォワードパスのみを利用する。本手法は、検索候補のプールが拡大しても精度が安定して推移することを確認している。
拡散言語モデル（DLM）を用いた視覚的検索拡張生成（RAG）において、検索される証拠の数を増やすことは回答の網羅性を高める一方で、全ての証拠を無条件に生成器へ渡すと、意味的な衝突によって回答精度が低下するという問題がある。この現象は、並列的なデノイジング過程において、位置ごとに提案される内容が互いに矛盾する視覚的ソースを組み合わせてしまい、根拠のない回答を生成してしまうソース一貫性の喪失によって引き起こされる。この干渉はデコード前の最初のステップにおける回答ブロックの分布ですでに確認できるため、デコード前に証拠を評価することが可能である。これに基づき、学習を必要としない手法として、複数の粒度を持つ証拠ユニットを構成し、空白制御を用いたブロック信頼度と検索順位を組み合わせて追加すべき証拠を特定するEntropy-Based Candidate Filter（ECF）を提案する。3つのマルチモーダルDLMと5つの視覚的QAベンチマークを用いた実験では、ECFは固定された上位k個の入力を用いる手法と比較して、回答精度を平均で2.62パーセントポイント向上させた。
拡散言語モデル（DLM）を用いた視覚的検索拡張生成（Visual RAG）において、検索される証拠の数を増やすことが必ずしも精度向上に繋がらないという「可用性と精度のミスマッチ」を指摘している。実験の結果、検索候補の数が増えると回答に必要な証拠の網羅率は向上するものの、回答の正確性は低下することが示された。この現象は、複数の証拠間に意味的な矛盾がある場合に、並列デノイジング過程における未解決の回答位置が複数の証拠間で共有されることで、どちらの証拠にも基づかない回答に確率が割り当てられてしまう「ソース一貫性の喪失」に起因する。この問題に対処するため、提案手法であるEntropy-Based Candidate Filter（ECF）は、追加の候補を導入した際のデノイジングの第一段階におけるブロックエントロピーの変化を評価し、得られる条件付きの信頼度利得に基づいて証拠の採用を制御する。さらに、文書内の局所的な情報を捉えるためのマルチグラニュラリティ証拠構築を組み合わせることで、検索候補のプールサイズと最終的なコンテキストサイズを分離して管理する。5つの視覚的QAベンチマークと3つのマルチモーダルDLMを用いた評価において、ECFは固定数の証拠を用いる手法と比較して平均で2.62パーセントポイントの精度向上を達成している。
不完全な証拠に基づくVisual RAGの研究では、ページ単位の検索や融合、あるいはクエリに関連する領域を細粒度に特定する手法が提案されており、無関係なコンテンツや配置の不備が生成品質を低下させることが指摘されています。拡散言語モデルを用いたRAGにおいては、反復的なデノイジング過程で複数の位置を同時に更新するため、デノイジングの順序や位置間の依存関係が挙動に影響を与えます。既存のDLM-RAG手法は、デノイジング中に証拠をどのように利用または更新するかを扱っていますが、どの視覚的候補を初期のマスクされたコンテキストに含めるべきか、あるいは互いに矛盾する情報源がどのように相互作用するかについては解明されていません。適応的な証拠選択に関する研究では、モデルの出力分布に対する情報利得を証拠の有用性と定義する手法もありますが、これらは個々の候補の有用性に基づいて上位のサブセットを選択するにとどまっています。本研究は、既存の視覚的証拠が既に存在する状況下で、追加の候補が依然として有益であるか、あるいはコンテキストの拡張を拒否すべきかという、文脈依存的な証拠の採用問題に取り組むものです。
拡散言語モデル（DLM）を用いた視覚的RAGにおいて、検索された証拠の増加が精度低下を招く要因を、ソースの一貫性の喪失という観点から分析しています。DLMは、未解決のマスク位置を並列に更新する位置ごとの提案手法を用いますが、複数の検索結果が異なる回答を支持する競合状態にある場合、各位置の決定が共通のソース選択を維持できず、複数のソースからトークンを継ぎ接ぎした「ハイブリッドな回答」に確率質量が割り当てられてしまいます。理論的な解析により、競合するソースの幅が増すほど、このハイブリッドな回答に割り当てられる確率質量は厳密に増加し、正解のソースへの依存関係を失うことでサンプリングのリスクが増大することが示されています。実験では、競合するページが存在する場合、最初のデノイジングステップにおける回答ブロックの精度が65.0から41.1へと大幅に低下することを確認しており、この問題は回答の生成が始まる前の初期段階ですでに発生しています。これらの結果は、検索された候補の可用性を高めつつ、デノイジング中の有害な視覚的露出を抑えるために、デノイジングの前に証拠の採用を制御する必要があることを示唆しています。
Entropy-Based Candidate Filter (ECF)は、拡散言語モデル（DLM）における視覚的根拠の提示量を、情報の粒度とコンテキスト構成の観点から制御する手法である。まず、ページ全体やレイアウトから抽出された領域を用いて多粒度な証拠ユニットを構築し、デコード前に回答ブロックの予測エントロピーを用いて各候補の影響を評価する。この際、候補の意味的な寄与と入力サイズの変化による構造的な影響を分離するため、候補と同じ形状を持ちながら意味情報のみを排除した空白コンテキストとの差分を用いて、エントロピー利得を算出する。この利得が正であることは、競合する情報源の不確実性を減少させ、誤った情報源への依存やサンプリングリスクを低減させることを意味する。最終的な選択では、検索順位に基づく事前分布とこの利得を組み合わせ、最も順位の高い候補を保持した上で、追加の候補を最大1つまで採用する。本手法は学習を必要とせず、任意の視覚的検索器と組み合わせ可能であり、評価には完全なデノイジング過程ではなく最初のステップのフォワードパスのみを用いるため、計算コストは候補数に対して線形に増加する。
本実験では、提案手法であるECFを3種類の拡散言語モデル（DLM）バックエンドを用いて、チャートや密な文書に関する5つの視覚的QAベンチマークで評価しています。評価指標には回答の正解率のほか、回答を含むページが検索結果に含まれる割合を示すRecall@や、採用された文脈内に回答根拠が含まれる割合を示すAnswer-page usageを用いています。実験の結果、ECFは既存の学習不要な代替手法と比較して、各データセットで平均2.37パーセントポイント高い正解率を記録し、単に証拠の数を減らしているだけではないことが示されました。また、検索候補のプールサイズを拡大した場合でも、固定数の入力を与える手法とは対照的に、ECFは正解率を安定して維持できることが確認されました。アブレーション解析では、レイアウトに基づいたスライシングとエントロピーに基づく候補のフィルタリングという2つの要素が、それぞれ独立して正解率を約4パーセントポイント向上させ、両者を組み合わせることで9.72パーセントポイントの大幅な向上を実現することが明らかになりました。
視覚的拡散言語モデルを用いたRAGにおいて、検索候補のプールを拡大することは回答の利用可能性を高める一方で、すべての候補を無条件に受け入れると、候補間の視覚的依存関係が失われ、根拠のない回答に確率が割り当てられることで精度が低下する可能性がある。この干渉は回答生成の初期段階で発生することを確認しており、デコード前に証拠を評価することが重要となる。提案手法であるECFは、多粒度な証拠構築と、空白制御および順位を考慮した採用プロセスを組み合わせることで、候補内のノイズを低減し、最終的なデノイジング工程に進む候補を制限する。5つの視覚的QAベンチマークと3つのマルチモーダル拡散言語モデルを用いた実験では、ECFは固定された上位入力を用いる手法に対して平均で2.62パーセントポイントの精度向上を達成し、候補プールが拡大しても性能が安定している。これらの知見は、検索プールのサイズを、デノイジングの前に証拠を適切に選別できるかという「検索予算」として捉え直すべきであることを示している。