従来のRAGは「全ての知識はテキストに還元可能である」という仮定に基づいているが、これは物体数え上げや空間的関係の特定といった視覚的タスクにおいて限界がある。本研究では、画像や動画、複雑なレイアウトを持つドキュメントを扱うためのMultimodal RAGのアーキテクチャを調査対象としている。具体的には、VLM（Vision-Language Model）の弱点を補うための構造化手法や、複数のエージェントによる推論プロセス、単一の共有表現空間への投影手法などが検討されている。また、既存の検索メカニズムの設計と比較して、クエリの分解を含む「クエリ理解」が依然として重要なボトルネックであることも指摘している。
本論文は、Multimodal RAGにおける主要な4つのフレームワーク（Scene-Graph-Augmented RAG, HM-RAG, VLM2Vec-V2, RAG-Anything）の設計思想と性能を体系的に比較・分析した。Scene-Graph RAGがVG-150データセットにおいて、物体カテゴリ認識で約108%、関係性特定で213%のRecall向上を実現することを示した。また、HM-RAGがScienceQAにおいて93.73%の精度を達成し、人間を上回る性能を示すことを報告している。さらに、VLM2Vec-V2が2Bのパラメータ数で7Bモデルを凌駕する汎用性を持つことや、RAG-Anythingが長文ドキュメントにおいて既存手法を13ポイント以上上回ることを明らかにした。
分析対象となる手法は多岐にわたる。Scene-Graph RAGは、Faster-RCNNを用いて物体検出を行い、カテゴリ、バウンディングボックス、個数、および$3 \times 3$のグリッドに基づく空間位置情報を $subject\text{-}predicate\text{-}object$ 形式で構造化する。HM-RAGは、BLIP-2による記述生成と文書テキストの照合を行う前処理に加え、Decomposition Agent、Multi-Source Retrieval Agent、Decision Agentからなる3層のマルチエージェント階層を用いる。VLM2Vec-V2は、Qwen2-VLをバックボーンとし、InfoNCE損失関数とLoRA（rank 16）を用いて画像・動画・視覚文書を単一の共有空間に埋め込む。RAG-Anythingは、VLMでエンティティ化したアンカーノードを持つ知識グラフと、NERおよび関係抽出によるテキストグラフを融合する「Dual Knowledge Graph Construction」を採用し、Structural navigationとSemantic matchingを組み合わせたハイブリッド検索を行う。
実験では、多様なベンチマークが用いられている。Scene-Graph RAGの評価にはVG-150が使用され、特にAUG（航空写真）においてカテゴリRecallが470%以上、関係性Recallが3,200%以上向上するという極めて高い数値が記録された。HM-RAGはScienceQAで93.73%の精度を達成し、アブレーション研究ではDecision Agentの除去により精度が10.82ポイント低下することが確認された。VLM2Vec-V2はMMEB-V2の78タスクにおいて平均58.0を記録し、視覚的ドキュメント検索で65.4を達成した。RAG-AnythingはDocBenchで63.4%を記録し、100ページを超える長文において既存手法を13ポイント以上上回る性能を示した。
調査の結果、シーングラフや知識グラフのような構造化された知識表現は、生のコンテンツに対するフラットな埋め込み類似度よりも有意に優れた検索結果をもたらすことが示された。しかし、いくつかの課題も浮き彫りになっている。既存手法には、視覚情報よりもテキスト情報が優先される検索バイアス、グラフ構築に伴う計算コストの増大、および結合セルを含む非標準的なドキュメントレイアウトへの対応不足が存在する。また、ビデオにおける時間的推論の困難さや、ドメイン外データへの汎化性能の不足も共通の課題である。今後の研究方向として、レイアウト認識型パース、適応的なクエリ分解、スケーラブルなグラフ構築、および外部APIやコード実行を行うエージェント型アーキテクチャとの統合が重要であると結論付けている。
本論文は、従来のRAGが前提とする「全ての知識はテキストに還元可能である」という仮定の限界を指摘し、画像、動画、図表などの多様なモダリティを扱うMultimodal RAGの動向を調査している。具体的には、物体数え上げや空間的関係の特定といったVLMの弱点を補うために構造化されたシーングラフを用いる手法、複雑なクエリを分解し、構造化データ・非構造化テキスト・Webから並列的に情報を収集する3層のマルチエージェント階層（HM-RAG）を用いる手法、画像や動画を単一の共有表現空間に投影する統一埋め込みモデル（VLM2Vec）を用いる手法、そしてクロスモーダルな関係性とテキスト意味論の両方を捉える二重知識グラフを構築する手法（RAG-Anything）の4つのフレームワークを分析している。研究の結果、構造化された知識表現と明示的なクロスモーダル・アライメントの組み合わせが最も一貫した性能向上をもたらすことが示されている。一方で、検索メカニズムの設計と比較して、クエリの分解を含む「クエリ理解」が依然として重要なボトルネックであることが明らかになった。
本セクションでは、RAGの発展経緯と主要なアーキテクチャの分類が詳述されている。グラフベースの検索では、GraphRAGが知識グラフを用いて多段階のセマンティック依存関係を明示的に表現し、LightRAGが局所的・全域的な検索を使い分けることで再現率を向上させ、HippoRAGが海馬の機能を模倣して長文における概念の想起を支援している。視覚言語モデルの文脈では、CLIPによる対照学習を用いた共有埋め込み空間の構築や、ColPaliによるドキュメントページを画像として扱うマルチベクトル遅延相互作用（late interaction）の手法が、レイアウト情報の損失を防ぐ有効な手段として挙げられている。また、マルチエージェント手法として、モデルの不確実性に基づき検索をトリガーするFLAREや、反復的な検索・合成を行うPaperQAが提案されている。評価指標については、ScienceQAやMMEB-V2などのベンチマークが、単一のモダリティでの性能が他モダリティへの汎化を保証しないという課題を浮き彫りにしている。さらに、Scene-Graph-Augmented RAGの構成要素として、Faster-RCNNを用いて物体検出を行い、カテゴリ、バウンディングボックス、個数、および$3 \times 3$のグリッドに基づく空間位置情報を構造化して抽出する手法が示されている。
本セクションでは、4つの異なるマルチモーダルRAGフレームワークが提案されている。第一のフレームワークは、物体と述語の関係を $subject\text{-}predicate\text{-}object$ の形式で構造化し、GloVeと視覚的特徴を統合してベクトルストアに格納することで、直接的な画像知覚よりも検証可能な構造的事実を言語モデル（Qwen-2-72B-Instruct）に提供する手法である。第二のHM-RAGは、BLIP-2による記述生成と文書テキストの照合による前処理を行い、Decomposition Agentによるクエリ分解、Multi-Source Retrieval Agentによるベクトル・グラフ・Webの並列検索、そしてDecision AgentによるROUGE-LやBLEUを用いた評価とGPT-4oによる統合を行う3層エージェント構成をとる。第三のVLM2Vec-V2は、Qwen2-VLをバックボーンとし、InfoNCE損失関数とLoRA（rank 16）を用いた学習により、画像・動画・視覚文書を単一の共有表現空間に埋め込むことを目的としており、MMEB-V2ベンチマークによってその汎用性が評価される。第四のRAG-Anythingは、あらゆるコンテンツを原子的な単位に分解してモダリティタグを付与するユニバーサル・ドキュメント・パースを用い、2つの補完的な知識グラフと密ベクトル検索を組み合わせたハイブリッドな検索メカニズムによって、モダリティ間の構造的知識の断片化を解消しようとするものである。
RAG-Anythingは、非テキスト要素（図、表、数式）をVLMで記述・エンティティ化してアンカーノードとする知識グラフと、テキストからNERおよび関係抽出で構築したグラフを、共通エンティティの整列により融合する「Dual Knowledge Graph Construction」を採用している。検索プロセスでは、グラフの近傍探索による「Structural navigation」と、埋め込みベクトルを用いた「Semantic matching」を組み合わせたハイブリッド検索を行い、融合スコアリング関数によって再ランク付けを行う。実験では、Scene-Graph RAGがVG-150データセットにおいて、GPT-4o等のベースラインに対し、物体カテゴリ認識で約108%、関係性の特定で213%のRecall向上を示し、特にAUG（航空写真）ではカテゴリRecallが470%以上、関係性Recallが3,200%以上向上するという顕著な成果を上げた。また、HM-RAGはScienceQAにおいて93.73%の精度を達成し、既存のマルチモーダルモデルや人間を上回る性能を示した。HM-RAGのアブレーション研究では、Decision Agentの除去が精度を10.82ポイント低下させており、証拠の統合（evidence synthesis）が性能向上の主要因であることが示されている。
VLM2Vec-V2は、2Bのパラメータ数でありながらMMEB-V2の78タスクにおいて平均58.0を記録し、7BのGME-7Bを0.2ポイント上回る性能を示しており、特にドキュメント特化型データを用いた学習により視覚的ドキュメント検索で65.4という高いスコアを達成している。RAG-AnythingはDocBenchで63.4%を記録し、100ページを超える長文ドキュメントでは既存手法を13ポイント以上上回る性能を見せる一方、デュアルグラフ構造をチャンクベースの検索に置き換えると精度が3.4%低下する。調査されたフレームワークの比較分析によれば、シーングラフや知識グラフのような構造化された知識表現は、生のコンテンツに対するフラットな埋め込み類似度よりも有意に優れた検索結果をもたらす。しかし、既存手法には、視覚情報よりもテキスト情報が優先される検索バイアス、グラフ構築に伴う計算コストの増大、および結合セルを含む非標準的なドキュメントレイアウトへの対応不足といった課題が残されている。
本セクションでは、マルチモーダルRAGにおける現在の課題と将来の研究方向性が論じられている。既存の4つのフレームワークには、ビデオにおける時間的推論の困難さ、ドメイン外データへの汎化性能の不足、および共通の評価プロトコルの欠如という共通の課題が存在する。将来の研究方向として、不規則な表構造に対応するレイアウト認識型パース、視覚的証拠を重視する学習目標、適応的なクエリ分解、スケーラブルなグラフ構築、ビデオの時間的表現、および標準化された評価プロトコルの確立が挙げられている。さらに、静的な知識ベースの検索に留まらず、外部APIやコード実行を行うエージェント型アーキテクチャとの統合が重要な展望として示されている。結論として、シーングラフや知識グラフのような構造化された知識表現と、明示的なクロスモーダル・アライメントの導入が、フラットなベクトル検索を凌駕する性能を得るための極めて重要な設計指針であることが強調されている。