既存のMM-RAGは、粗い粒度のアライメントに依存しているため、複雑なマルチホップ推論を必要とするタスクにおいて、モダリティ間や文書間の詳細な依存関係を捉えきれず、ハルシネーションを引き起こす課題がある。具体的には、詳細な視覚情報の統合によるグラフの肥大化とノイズの混入、静的なグラフ構造によるクエリへの適応不足、および異種エビデンス間の構造的融合の欠如が問題となる。本研究は、クエリに対して関連する証拠のサブセット $\mathcal{D}_{sub}$ を検索し、マルチモーダル大規模言語モデル（MLLM）を用いて回答 $y$ を生成するシステムを対象とする。
本研究の新規性は、グローバルなルーティングを行うマクログラフと、詳細な局所的証拠の検証を行うマイクログラフを分離した二層構造のマルチモーダル知識グラフ（MMKG）を導入した点にある。従来のベクトルマッチング手法が捉えきれなかった、視覚的実体と事実的主張の明示的な関係性を構造的に扱えるようにしている。また、単にノードスコアを算出するだけでなく、GNNの順伝播プロセスから動的計画法を用いて最適な推論パスを抽出するパスデコーディング機構を設計した点も、先行研究との大きな差分である。
知識を、文書間のトポロジーを扱うマクログラフ $\mathcal{G}_{macro}$ と、文書内の詳細な検証を行うマイクログラフ $\mathcal{G}_{micro}$ に分離して構築する。まず、クエリから生成された制約グラフ $\mathcal{G}_{pattern}$ に基づき、マイクログラフに対して近似的なサブグラフマッチングを行い、マッチングコスト $C(\phi, \psi) = \sum_{v \in \mathcal{V}_{pattern}} d(v, \psi(v)) + \sum_{r \in \mathcal{R}_{pattern}} d(r, \psi(r))$ を最小化することで詳細な証拠を抽出する。次に、抽出されたエンティティを初期状態 $h_v^{(0)}$ として、NBFNetをバックボーンとするGNNを用いてマクログラフ上でメッセージパッシングを行い、各ノードの関連度スコア $s_v$ を算出する。メッセージ関数は $m_{uv}^{(l)} = \text{DistMult}(h_u^{(l-1)}, r_{uv}, h_v^{(l-1)})$ を用い、ノード状態は $h_v^{(l)} = \text{Update}(\text{sum}(\{m_{uv}^{(l)} \mid u \in \mathcal{N}(v)\})) $ によって更新される。最終的な文書ランキングは、テキスト/表のスコア $s_{text}$ と、マイクログラフの検証結果で調整された視覚スコア $s_{vis}'$ を用いて $\max(s_{text}, s_{vis}')$ により決定される。さらに、GNNのメッセージパッシングの軌跡から局所フロー確率 $P_{uv}^{(l)} = \text{softmax}(\frac{m_{uv}^{(l)} \cdot h_v^{(l)}}{\tau})$ を計算し、動的計画法を用いて最適な推論パスを復元してMLLMに注入する。
MMQA、WebQA、ScienceQAの3つのベンチマークを用いて、Qwen3-VL-4Bおよび8Bをバックボーンとして評価を行った。MMQAにおいて、本手法はEMスコア44.20%を達成し、最強のベースラインに対して7%の絶対的な向上を示した。ScienceQAでは平均精度90.99%を記録し、特に画像サブセットで91.52%の精度を得ている。検索性能では、MMQAの$\text{Top-}1$および$\text{Top-}5$のリコールにおいて、既存のMMGraphRAGを大幅に上回る。効率性については、MMGraphRAGの平均クエリレイテンシが約40.5秒であるのに対し、本手法は0.44秒というサブ秒単位の応答速度を実現している。アブレーション研究では、マクログラフの除去によりMMQAのリコールが61.9%から21.8%へ、マイクログラフの除去によりWebQAのリコールが18.2%低下することが確認された。
本手法は、マクロな推論とミクロな視覚的検証を分離することで、知識の構造的な接続性の維持と検索ノイズの軽減を両立させている。構造化されたパスをMLLMに提供することで、モデルが暗黙的に行うべき推論の負荷を軽減できる点が大きな利点である。ただし、本研究の枠組みは、マクログラフとマイクログラフの両方が適切に構築されていることを前提としている。今後の課題として、より複雑なマルチモーダル構造への適応や、さらなる推論の効率化が考えられる。
DualG-MRAGは、マルチモーダル検索拡張生成（MM-RAG）における複雑なマルチホップ推論の困難さを解決するために、マクロ推論とマイクロマッチングを分離した二層構造のフレームワークを提案している。本手法は、グローバルなトポロジーに基づくルーティングを行うマクログラフと、詳細な局所的証拠の検証を行うマイクログラフを構築することで、グラフの肥大化や検索ノイズ、および重要な局所情報の欠落というトレードオフを解消する。検索プロセスは、GNN Retrieverを用いたクエリ駆動型のメッセージパッシングとして定式化されており、異種混合な証拠ソース間での動的な関連性伝播を可能にしている。さらに、生成モデルに対して構造的なガイダンスを与えるため、孤立したドキュメントチャンクをそのまま入力するのではなく、GNNの順伝播から明示的な推論パスを抽出する動的計画法によるデコーディングメカニズムを導入している。広範な実験の結果、本手法は証拠の再現率（evidence recall）と複雑な質問応答（QA）の精度において、既存のベースラインを上回る性能を示すことが確認されている。
既存のマルチモーダル検索拡張生成（MM-RAG）は、粗い粒度のアライメントに依存しているため、複雑なマルチホップ推論を必要とするタスクにおいて、モダリティ間や文書間の詳細な依存関係を捉えきれず、ハルシネーションを引き起こす課題がある。本研究では、マクロレベルの推論とミクロレベルのマッチングを分離するDualG-MRAGを提案し、詳細な視覚情報の統合によるグラフの肥大化とノイズの混入、静的なグラフ構造によるクエリへの適応不足、および異種エビデンス間の構造的融合の欠如という3つの課題を解決する。具体的には、グローバルなルーティングとローカルな視覚的検証を分離する二層構造のマルチモーダル知識グラフ（MMKG）を導入し、クエリ駆動型のグラフニューラルネットワーク（GNN）を用いて、クエリの意図に応じた動的なメッセージパッシングとエビデンス収集を実現する。さらに、GNNの順伝播プロセスから動的計画法を用いて最適な推論パスを抽出するパスデコーディング機構を設計することで、断片的な検索結果を構造化された推論チェーンへと変換し、後続のマルチモーダル大規模言語モデル（MLLM）の認知負荷を軽減する。マルチホップ推論のベンチマークを用いた実験により、提案手法は既存のベースラインと比較して、文書の再現率および最終的な質問応答（QA）の精度を共に向上させることが示されている。
従来のマルチモーダルRAGは、対照学習や共通の表現空間を用いてモダリティ間の意味的ギャップを埋める手法が主流であるが、潜在空間における近接性に基づくベクトルマッチングに依存しているため、視覚的実体と表内の事実的主張を結びつけるような明示的な関係性の依存関係を捉えることが困難である。知識グラフ（KG）を活用して構造的な根拠を提供しようとする試みもあるが、画像パッチを細粒度でマッピングするとグラフの規模と計算複雑性が増大し、逆に粗粒度な実体に頼ると重要な情報が失われるという粒度と効率のトレードオフが存在する。また、既存のグラフベースの検索手法は、情報の伝播ルールがユーザーのクエリに応じた推論要件に適応できず、マクロな推論とミクロな証拠の局在化を分離できていない。さらに、グラフニューラルネットワーク（GNN）を用いたRAG研究は、主にテキストデータに焦点を当てており、画像や表のようなヘテロジニアスな構造への対応が限定的である。加えて、既存のGNNベースの手法は出力として孤立したノードスコアを算出するにとどまり、複雑なマルチホップ推論の経路を明示的かつ読み取り可能な形式で抽出・統合する体系的なメカニズムを欠いている。
知識グラフ（KG）は、エンティティの集合 $\mathcal{E}$ と関係の集合 $\mathcal{R}$ を持つ有向関係グラフ $\mathcal{G} = (\mathcal{E}, \mathcal{R})$ として定義され、その基本単位は事実を表すトリプル $(e_1, r, e_2)$ である。マルチモーダル検索拡張生成（MM-RAG）システムにおいて、ユーザーのクエリとテキスト、画像、表などの異種データを含む大規模なマルチモーダルコーパスが与えられたとき、システムは関連する証拠のサブセット $\mathcal{D}_{sub}$ を検索する。その後、パラメータ $\theta$ で表されるマルチモーダル大規模言語モデル（MLLM）が、条件付き確率 $P(y \mid q, \mathcal{D}_{sub}; \theta)$ を最大化するように、回答 $y$ を自己回帰的に生成する。
DualG-MRAGは、マルチモーダル知識を、文書間のトポロジーを扱うMacro Graph $\mathcal{G}_{macro} = (\mathcal{E}, \mathcal{R})$ と、文書内の詳細な検証を行うMicro Graph $\mathcal{G}_{micro} = (\mathcal{V}_{micro}, \mathcal{R}_{micro}, \mathcal{P})$ に分離して構築するフレームワークである。推論プロセスでは、まずクエリから生成された制約グラフ $\mathcal{G}_{pattern}$ に基づき、Micro Graphに対して近似的なサブグラフマッチングを行い、マッチングコスト $C(\phi, \psi) = \sum_{v \in \mathcal{V}_{pattern}} d(v, \psi(v)) + \sum_{r \in \mathcal{R}_{pattern}} d(r, \psi(r))$ を最小化する候補を特定することで、詳細な証拠を抽出する。次に、抽出されたエンティティを初期状態 $h_v^{(0)}$ として、NBFNetをバックボーンとするGNNを用いてMacro Graph上でメッセージパッシングを行い、各ノードの関連度スコア $s_v$ を算出する。この際、メッセージ関数は $m_{uv}^{(l)} = \text{DistMult}(h_u^{(l-1)}, r_{uv}, h_v^{(l-1)})$ を用い、ノード状態は $h_v^{(l)} = \text{Update}(\text{sum}(\{m_{uv}^{(l)} \mid u \in \mathcal{N}(v)\})) $ によって更新される。最終的な文書ランキングは、テキスト/表のスコア $s_{text}$ と、Micro Graphの検証結果で調整された視覚スコア $s_{vis}'$ を用いて $\max(s_{text}, s_{vis}')$ により決定される。さらに、GNNのメッセージパッシングの軌跡から、局所フロー確率 $P_{uv}^{(l)} = \text{softmax}(\frac{m_{uv}^{(l)} \cdot h_v^{(l)}}{\tau})$ を計算し、動的計画法を用いて最適な推論パスを復元することで、構造化された証拠としてMLLMに注入する。
DualG-MRAGは、マルチモーダルなマルチホップQAにおいて、マクログラフによる大域的な推論とマイクログラフによる局所的なマッチングを分離する手法である。実験では、MMQA、WebQA、ScienceQAの3つのベンチマークを用い、Qwen3-VL-4Bおよび8Bをバックボーンとして、既存のベクトルマッチング型やグラフ強化型RAGと比較評価を行った。MMQAにおいて、本手法はEMスコア44.20%を達成し、最強のベースラインに対して7%の絶対的な向上を示したほか、ScienceQAでは平均精度90.99%を記録し、特に画像サブセット（91.52%）や高度な科学問題（G7-12）において高い堅牢性を証明した。検索性能に関しては、MMQAの$\text{Top-}1$および$\text{Top-}5$のリコールにおいて、既存のグラフ強化手法であるMMGraphRAGを大幅に上回る結果を得ている。効率性の面では、MMGraphRAGの平均クエリレイテンシが約40.5秒であるのに対し、DualG-MRAGは0.44秒と、サブ秒単位の応答速度を維持しながら深い推論性能を実現している。アブレーション研究により、マクログラフの除去はMMQAのリコールを61.9%から21.8%へ激減させ、マイクログラフの除去はWebQAのリコールを18.2%低下させることから、両グラフの役割が不可欠であることが示された。
本研究では、マクロな推論とミクロな視覚的検証を両立させるために、知識表現をマクロ推論グラフとミクロ照合グラフへと分離する、二層構造のマルチモーダルRAGフレームワークであるDualG-MRAGを提案している。この手法は、知識の構造的な接続性を維持しつつ、検索に伴うノイズを軽減することを目的としている。検索プロセスは、グラフニューラルネットワーク（GNN）を用いたクエリ駆動型のメッセージ伝播メカニズムとして定式化されており、さらに明示的なパスデコーディングアルゴリズムを組み合わせることで、下流のマルチモーダル大規模言語モデル（MLLM）に対して一貫した推論鎖を提供する。このような構造化されたパスの提供により、MLLMが暗黙的に行うべき推論の負荷を軽減している。広範な実験の結果、DualG-MRAGは既存のベースライン手法を上回る性能を示すことが確認された。