マルチモーダル大規模言語モデル（MLLM）は、学習知識の古さに起因するハルシネーションや、長い入力における証拠の活用不足といった課題を抱えている。これに対し、MMKGを用いたRAGは構造化された知識を利用するが、既存手法の多くは各モダリティを独立して処理した後に融合するパイプラインを採用している。そのため、視覚情報の抽出やモダリティ融合の過程でテキストによる文脈が限定的にしか活用されず、画像とテキストの間に意味的な乖離が生じることが課題となっている。
本研究の新規性は、視覚要素に対して局所的および大域的な範囲の両方から補完的なテキスト文脈を付与する、CEMMKG構築フレームワークを提案した点にある。従来の、画像の周囲にあるテキストチャンクのみを用いる限定的な手法とは異なり、意味的に関連する情報を異なる詳細度（多粒度）で捉える設計を行っている。これにより、視覚要素とテキスト情報の間の意味的なつながりを強化し、モダリティ間の効果的なアライメントを実現している。
CEMMKGは、視覚要素に対して「局所コンテキスト」と「グローバルコンテキスト」の2種類のテキスト情報を構築する。局所コンテキストは、画像の周囲のテキストに加え、その要素を明示的に参照している文や、それらを含む段落、およびLLMによって生成された要約など、異なる粒度の情報から構成される。グローバルコンテキストは、文書全体の要約を提供する。MMKGの構築プロセスにおいて、これらのコンテキストは2つの段階で利用される。まず、画像からグラフを生成する段階（Image2Graph）では、視覚要素の理解を深めるためにコンテキストを注入する。次に、モダリティ融合の段階では、画像由来のエンティティとテキスト由来のエンティティを正確に対応付けるため、局所コンテキストをガイドとして利用する。
視覚情報への依存度が高く、文書内の離れた場所にある証拠を必要とするVisionHeavyデータセットを用い、MMGraphRAGおよびRAG-Anythingを比較手法として評価した。評価指標には厳密な精度（strict accuracy）とソフト精度（soft accuracy）を用いた。実験の結果、MMGraphRAGにおいて、グローバルな要約と参照文による局所コンテキストを組み合わせる構成が最も高い性能を示した。また、RAG-Anythingにおいても、参照文をコンテキストとして追加することで、ソフト精度が36.18%から41.12%へと向上した。
過剰に長いコンテキストは、モデルが証拠を効果的に活用する能力を低下させる可能性がある。今後の課題として、ビデオやオーディオといった他のモダリティへの拡張や、異なるモダリティの組み合わせにおける最適な文脈定義の探求が挙げられる。
既存のマルチモーダル知識グラフ（MMKG）を用いたRAG手法は、異なるモダリティを独立して処理した後に融合する傾向があり、視覚情報の抽出や知識融合の過程でテキストによる文脈が十分に活用されず、画像とテキストの間に意味的な乖離が生じるという課題がある。本研究では、この問題を解決するために、各画像に対して局所的および大域的な範囲の両方から補完的なテキスト文脈を付与する、文脈強化型MMKG（CEMMKG）の構築フレームワークを提案する。局所的な文脈は、画像の周囲にあるテキストだけでなく、意味的に関連する文も含めて構成され、さらに詳細度の異なるレベルで情報を捉えるための多粒度設計が導入されている。大域的な文脈は、文章全体の要約を提供することで、画像に対する広範な理解を支援する。視覚中心のデータセットを用いた実験の結果、CEMMKGは文脈情報を効果的に活用してMMKGベースのRAG性能を向上させることが示されており、異なるRAG手法に対しても広く適用可能である。
マルチモーダル大規模言語モデル（MLLM）は、学習知識の古さなどに起因するハルシネーションの課題を抱えており、外部知識を活用する検索拡張生成（RAG）がその解決策として期待されています。既存のグラフRAGはテキスト中心の知識グラフに依存しており、画像や表などのマルチモーダル情報を十分に活用できていないという課題があります。最新のマルチモーダル知識グラフ（MMKG）を用いた手法においても、各モダリティを個別に処理してから統合する手法が主流であり、視覚要素と文書内の離れた場所に存在するテキストとの間の文脈関係を見落とす傾向があります。本研究では、視覚要素に対して局所的な文脈と大域的な文脈の両方を考慮する、多粒度文脈強化型MMKG構築フレームワークであるCEMMKGを提案します。CEMMKGは、視覚要素に対して適切なテキスト文脈を設計し、MMKG構築の異なる段階でそれらを柔軟に活用することで、モダリティ間の効果的なアライメントを実現します。MMLongBench-Docから抽出した視覚中心のデータセットを用いた実験により、CEMMKGがMMKGベースのRAGの性能を向上させ、他の手法にも適用可能であることが示されました。
マルチモーダル大規模言語モデル（MLLM）は、視覚エンコーダと大規模言語モデルを結合することで画像とテキストの共同推論を可能にするが、入力画像と矛盾する情報を生成するハルシネーションの問題や、長い入力の中間にある証拠を十分に活用できない課題がある。マルチモーダルRAGは、画像や図表などの情報を生成の根拠として利用する手法であり、視覚的なレイアウトを保持する手法や、文書をテキストに変換して検索する手法が存在する。しかし、これらは独立した単位のスコアに基づくフラットな検索に依存しており、情報の関係性を明示的にモデル化できていない。グラフRAGは構造を利用して情報の断片化を防ぐが、既存のマルチモーダルグラフRAGの多くは、視覚グラフとテキストグラフを独立に作成して後に融合させる手法をとっている。そのため、視覚要素に付随する文脈が情報の関連性ではなく位置的な近接性によって選択され、視覚要素とテキスト情報の間の意味的なつながりを十分に捉えられないという課題がある。本研究では、視覚的なオブジェクトや関係性を明示的にモデル化できるノードベースのマルチモーダル知識グラフ（MMKG）に着目し、視覚情報の処理におけるテキスト文脈の体系的な設計を行う。
マルチモーダル知識グラフ（MMKG）に基づくRAGは、テキストや画像などの複数のモダリティにわたる知識源をサポートする手法であり、ドキュメントから抽出されたエンティティの集合と関係の集合を用いてMMKGを構築し、ユーザーのクエリに対して関連する知識を検索して大規模言語モデル等に提供します。既存の手法では、テキストベースのグラフと画像ベースのグラフを個別に構築した後、モダリティ融合モジュールを用いて、同一の対象を示すエンティティを特定・ペアリングすることで統合を行います。しかし、画像ベースのグラフ構築は、視覚情報をエンティティや関係に変換する際に情報損失が発生しやすいという課題があります。また、図表の意味を理解するために不可欠なテキストによる文脈情報の活用も、画像周辺のテキストチャンクを用いる限定的なものに留まっています。本研究では、画像要素に関連する意味的に重要なテキスト文脈がドキュメントの他の部分に分散している可能性に着目し、各視覚要素に対して包括的なテキスト文脈を定義・活用することで、高品質なMMKGを構築する問題に取り組みます。具体的には、与えられたマルチモーダルドキュメントと視覚要素の集合に対し、いかにして意味のあるテキスト文脈を確立し、視覚ベースのグラフ構築およびモダリティ融合のプロセスに効果的に組み込むかを焦点としています。
CEMMKGは、文書内の視覚要素を理解し、マルチモーダル知識グラフ（MMKG）を構築するためのフレームワークです。本手法では、視覚要素に対して「局所コンテキスト」と「グローバルコンテキスト」という2種類のテキスト情報を構築します。局所コンテキストは、視覚要素の周囲にあるテキストや、その要素を明示的に参照している文、参照文を含む段落、およびそれらを大規模言語モデル（LLM）で要約した情報のいずれかから、適切な粒度を選択して構成されます。一方、グローバルコンテキストは、文書のアブストラクトまたは文書全体の要約から構成され、文書全体の主題を捉えます。MMKGの構築は2段階で行われ、第1段階の画像からグラフへの変換プロセスでは、視覚要素の深い理解を促すために局所とグローバルの両方のコンテキストを注入します。第2段階のモダリティ融合プロセスでは、画像由来のエンティティとテキスト由来のエンティティの対応付けを正確に行うため、より焦点の絞られた局所コンテキストのみをガイドとして利用します。
本研究では、マルチモーダル知識グラフ（MMKG）を用いたRAGの性能を向上させる手法であるCEMMKGの有効性を、視覚情報への依存度が高いVisionHeavyデータセットを用いて検証しています。実験では、MMGraphRAGおよびRAG-Anythingをバックボーンとし、直接推論や既存のMMKGベースRAGと比較を行っています。評価指標には、回答から抽出された正解に基づく厳密な精度（strict accuracy）と、ソフト精度（soft accuracy）が用いられています。実験の結果、ドキュメントレベルのグローバルな文脈に加えて、参照文をローカルな文脈として追加する構成が、MMGraphRAGにおいて最も高い性能を達成しました。一方で、参照段落をそのまま追加するとソフト精度が低下することから、単に文脈量を増やすのではなく、情報の粒度と密度を適切に制御し、視覚コンテンツと密接に整合させることが重要であることが示されました。また、CEMMKGは図、表、チャートといった視覚要素の種類によって最適な文脈設計が異なることも明らかになり、RAG-Anythingに対しても、参照文を追加することでソフト精度が向上するなど、異なる手法への汎用性も確認されました。
本研究では、マルチモーダル知識グラフ（MMKG）を用いたGraphRAGの構築において、テキストによる文脈情報の役割を体系的に調査し、フレームワークであるCEMMKGを提案している。CEMMKGは、視覚情報の処理およびモダリティの融合の両段階においてテキスト文脈を定義・活用する手法であり、異なる粒度の局所的な文脈と、文書レベルの表現に基づく広域的な文脈という補完的な観点から視覚要素に対するテキスト文脈を設計している。多様な文脈構成を用いた実験の結果、適切に設計されたテキスト文脈がMMKGベースのRAGの性能を効果的に向上させることが示された。また、CEMMKGは異なるMMKGベースのRAG手法にも適用可能であり、その汎用性が示されている。本研究の知見は、マルチモーダルGraphRAGのためのMMKG構築において、文脈情報を明示的に考慮し活用することの重要性を強調するものである。
本研究は、マルチモーダル知識グラフの構築を支援するために、テキストの文脈情報をどのように定義し活用するかを検討するものである。すべての実験は、公開されているモデルおよびデータセットを用いて実施されている。本研究の手法や結果から生じる重大な倫理的問題や、社会への負の影響は認められない。