従来のRAGは非構造化テキストに依存しており、複雑な推論においてノイズや情報の断片化が課題となっていた。知識グラフを用いたKG-RAGは構造化データにより高い忠実度を実現するが、既存研究はテキストのみに限定されており、画像や表を含むマルチモーダルな情報を扱うMKG-RAGの体系的な研究やベンチマークは存在しなかった。本研究では、クエリ $q$、マルチモーダル知識グラフ $\mathcal{G}$、リトリーバー $\text{Retriever}$、およびマルチモーダルLLM $\text{MLLM}$ を用いて、応答 $a$ を生成するタスク $\text{MKG-RAG}(q, \mathcal{G}, \text{Retriever}, \text{MLLM}) \to a$ を定義し、その評価基盤を構築した。
本研究の主な貢献は、MKG-RAGシステムの限界を診断するための体系的なベンチマーク「MKG-RAG-Bench」を提案したことである。このベンチマークは、異種モダリティの組み合わせに対応する「Heterogeneous Retrieval」、モダリティや抽象度が異なる要素間の「Multimodal KG-Graph–Query Alignment」、および生成モデルの事前知識に依存しない「Benchmark Utility」という3つの主要課題に対処している。LLMを用いたキュレーションパイプラインにより、低有用な知識のフィルタリングと、構造的に根拠のあるクエリ生成を実現した。また、検索プロセスを独立した評価対象として分離することで、検索の質が最終的な生成結果に与える影響を定量的に示した。
データ構築は、(1) LLMによる情報の有用性フィルタリング、(2) 三つ組 $(h, r, t)$ に対する relation masking または tail masking による不完全性のシミュレーション、(3) GPT-5を用いたハイブリッドな質問合成、の3段階で行われる。質問は、テキストのみのモードと、頭部エンティティの画像を参照する $[Image]$ を含む画像接地型の2モードで生成される。評価では、追加学習を行わない training-free な設定を採用し、リトリーバーを Text-only、Fusion-based、Captioning-based、Reranking-based の4カテゴリに分類して比較する。検索評価には $NDCG$、$\text{Precision}$、$\text{Recall}$ を用い、生成評価には $\text{Exact Match (EM)}$、$\text{F1}$、$\text{Contains}$、$\text{BLEU-1}$ を用いて、RAG-free（RAGを用いない状態）と比較検証を行う。
一般ドメインの MarKG に基づく MKG-RAG-Bench-G と、医療ドメインの MedMKG に基づく MKG-RAG-Bench-M の2つの設定で実験を行った。検索評価の結果、テキストクエリに対してマルチモーダルなトリプレットを加えても性能向上は限定的であり、検索空間における「モダリティ・ギャップ」が確認された。視覚的根拠を必要とするマルチモーダルクエリにおいては、Captioning-based 手法は情報損失により性能が低下するが、Fusion-based や Reranking-based の手法が有効であることが示された。生成評価では、生成性能が検索品質に強く依存することが示され、特に専門性の高い医療ドメインでは、微細な視覚的差異を識別するために Reranking 手法が大きな恩恵をもたらすことが実証された。
予備分析により、既存のマルチモーダル知識グラフを単純に組み合わせるだけでは、知識源・検索目的・下流タスク間の不整合（misalignment）が生じ、RAG-free よりも性能が低下する場合があることが明らかになった。これは、タスクに不可欠な知識の欠如や、無関係な知識のノイズ注入が原因である。本ベンチマークは、マルチモーダルな信号を効果的に活用することがエンドツーエンドの性能向上に不可欠であることを示唆しており、今後はグラフを考慮したドメイン適応型のマルチモーダル・リトリーバル手法や、構造化知識のマルチモーダル生成への統合に関する研究が重要となる。
本研究では、マルチモーダル知識グラフを用いた検索拡張生成（MKG-RAG）における検索性能を評価するためのクロスドメイン・ベンチマークである「MKG-RAG-Bench」を提案している。このベンチマークは、一般ドメインと医療ドメインの2つのマルチモーダル知識グラフから構築されており、LLMベースのキュレーションパイプラインを用いて、低有用な知識のフィルタリング、厳密な教師あり学習を可能にする構造的に根拠のあるクエリ生成、および多様なモダリティ構成の網羅を実現している。評価においては、検索プロセスを独立した主要な評価対象として分離しており、検索の質が最終的な生成結果に強く影響することを実験的に示している。既存の非構造化コーパス向けのリトリーバーでは、マルチモーダル知識の異質性やモダリティ間のアライメントの困難さに対応できないという課題に対し、本ベンチマークはMKG-RAGシステムの限界を診断するための体系的な基盤を提供する。
従来のRAGは非構造化テキストに依存しており、複雑な推論においてノイズや断片化が課題となるが、知識グラフを用いたKG-RAGは構造化データにより高い忠実度を実現する。しかし、既存のKG-RAGはテキストのみに限定されており、画像や表を含むマルチモーダルな情報を扱うMKG-RAG（Multimodal KG-RAG）の体系的な研究やベンチマークは存在しない。本研究では、クエリ $q$、マルチモーダル知識グラフ $\mathcal{G}$、リトリーバー $\text{Retriever}$、およびマルチモーダルLLM $\text{MLLM}$ を用いて、応答 $a$ を生成するタスク $\text{MKG-RAG}(q, \mathcal{G}, \text{Retriever}, \text{MLLM}) \to a$ を定義し、初のベンチマークである「MKG-RAG-Bench」を提案する。このベンチマークは、異種モダリティの組み合わせ（テキストのみ、画像のみ、または両方）に対応する「Heterogeneous Retrieval」、モダリティや抽象度が異なるクエリとグラフ要素間の「Multimodal KG-Graph–Query Alignment」、および生成モデルの事前知識に依存しない「Benchmark Utility」という3つの主要な課題に対処するように設計されている。構築パイプラインでは、LLMを用いて高有用なトリプレットを選択し、ヒューリスティックな戦略を用いてクエリとのアライメントを確保することで、リトリーバーの性能とMLLMのグラウンディング品質の両方を包括的に評価可能にしている。
本セクションでは、既存のM-RAG（非構造化マルチモーダル文書を対象）やKG-RAG（テキストベースの知識グラフを対象）とは異なり、エンティティや関係性、クロスモーダルな接続が明示的にモデル化されたマルチモーダル知識グラフ（MKG）から、異種モダリティを統合したサブグラフを特定するMKG-RAGの独自性を定義している。評価対象となるリトリーバーは、テキストのみを用いるText-only、共有表現空間を用いるFusion-based、画像をキャプションに変換するCaptioning-based、および多段階パイプラインを用いるReranking-basedの4つのカテゴリに分類され、本研究では公平性を期すため、追加学習を行わないtraining-freeな設定で事前学習済み重みを用いて評価を行う。予備分析として、MedMKGを用いてVQA-RADおよびSLAKEベンチマークで実験を行った結果、マルチモーダル・リトリーバーはText-onlyよりも優れているものの、RAGを用いない（RAG-free）状態よりも性能が低下するという結果が得られた。この性能低下の要因として、タスクに不可欠な知識がMKG内に欠如していること、およびタスクに無関係な知識がノイズとして注入されることによる、知識源・検索目的・下流タスク間の不整合（misalignment）が挙げられている。以上の分析から、既存のマルチモーダル知識グラフと下流タスクを単純に組み合わせる手法には限界があり、検索、知識源、および評価目的を明示的に整合させた専用のMKG-RAGベンチマークが必要であることが示されている。
MKG-RAG-Benchは、一般ドメインのMarKGと医療ドメインのMedMKGという2つのマルチモーダル知識グラフ（MKG）から構築された、クロスドメインのベンチマークである。データ構築パイプラインは、(1) LLMを用いた情報の有用性フィルタリング、(2) 三つ組（triplet）の構成要素を隠蔽する制御された不完全性のシミュレーション、(3) ハイブリッドな質問合成、の3段階で構成される。不完全性のシミュレーションでは、三つ組 $(h, r, t)$ に対して、関係を隠蔽する relation masking または尾部エンティティを隠蔽する tail masking を行い、頭部エンティティ $h$ を意味的なアンカーとして保持することで、マルチモーダルな接地（grounding）を容易にしている。質問合成では、GPT-5を用いて、テキストのみの質問と、頭部エンティティの画像を参照する $[Image]$ を含む画像接地型の質問の2モードで自然言語のクエリを生成する。評価指標として、合成された質問に対応する元の三つ組を正解ターゲットとする検索タスクと、隠蔽された要素を正解とする生成タスクの両方をサポートしており、検索と生成の各段階を厳密に評価可能である。統計的には、MarKGに基づくMKG-RAG-Bench-Gではクエリ数が三つ組数を上回るのに対し、MedMKGに基づくMKG-RAG-Bench-Mでは、臨床エンティティの接続パターンが重複しやすいため、三つ組数に対してクエリ数が少なくなるという構造的特性が見られる。
MKG-RAG-Benchの評価では、訓練不要（training-free）の設定に基づき、検索（retrieval）と生成（generation）の両タスクを、クエリのモダリティと候補トリプレットの範囲を組み合わせた5つの設定（$S1$〜$S5$）で検証している。検索評価では、CLIPエンコーダを用いた共有表現空間上でのコサイン類似度に基づき、$NDCG$、$\text{Precision}$、$\text{Recall}$を指標として、テキストのみの検索器、融合型、キャプションベース、リランキング型、およびランダムなベースラインを比較している。実験の結果、テキストクエリに対してマルチモーダルなトリプレットを加えても性能向上は限定的であり、検索空間における「モダリティ・ギャップ」の存在が示された。また、視覚的根拠を必要とするマルチモーダルクエリでは、キャプションベースの手法は情報損失により性能が低下する一方、融合型やリランキング型のマルチモーダル検索器が有効であることが確認された。生成評価では、GPT-5を生成モデルとし、$\text{Exact Match (EM)}$、$\text{F1}$、$\text{Contains}$、$\text{BLEU-1}$を用いて、RAGなし（RAG-free）と比較した有用性を測定している。生成性能は検索品質に強く依存しており、特に専門性の高い医療ドメイン（MKG-RAG-Bench-M）では、微細な視覚的差異を識別するためにリランキング手法がより大きな恩恵をもたらすことが明らかになった。
本研究は、MKG-RAG（Multimodal Knowledge Graph-Augmented Generation）における進展が、適切なベンチマークの欠如により、リトリーバル（検索）コンポーネントの評価が不十分であるという課題を指摘している。この課題を解決するため、2つのマルチモーダル知識グラフと整合性の取れたQAデータセットで構成される、クロスドメインの評価ベンチマークである MKG-RAG-Bench を提案する。このベンチマークは、LLMを用いたキュレーションパイプラインを通じて、低有用な知識をフィルタリングし、多様なモダリティ構成を体系的にカバーすることで、制御可能かつ現実的なリトリーバル評価を可能にしている。代表的なリトリーバー群を用いた広範な実験の結果、リトリーバル過程においてマルチモーダルな信号を効果的に活用することは、エンドツーエンドの性能向上において極めて重要である一方、依然として困難な課題であることが示された。MKG-RAG-Bench は、グラフを考慮したドメイン適応型のマルチモーダル・リトリーバル手法や、構造化知識のマルチモーダル生成への統合に関する今後の研究を促進するための基盤を提供する。