対象は、テキスト、図表、表、レイアウトが複雑に混在する長大なマルチモーダル文書である。従来のRAG（検索拡張生成）では、視覚情報をテキストに変換して扱う手法や、エンティティ間の二項的なペア（1対1の接続）のみを扱うグラフ構造に依存していた。そのため、図表とそのキャプション、周辺の記述が一体となって意味を成すような高次の依存関係が断片化され、ページを跨ぐ文脈や視覚的な構造情報を正確に保持・検索できないという困難があった。
既存手法がエンティティ間のペア関係のみをモデル化するのに対し、複数の要素を一つの集合として扱うハイパーエッジを導入し、高次のグループ意味論をネイティブに表現する点に新規性がある。また、ページ境界によって分断される知識を補完するために、全ページを再構成する冗長な手法ではなく、特定のアンカーを起点として局所的に構造を更新する効率的な精緻化メカニズムを提案している。
まず、テキスト、ページ全体の画像、および局所的な画像パッチを統合したPage-level Multi-modal Unit（PMU）を用いてデータを入力する。インデックス構築は二段階で行われる。第一段階では、各ページからエンティティ（頂点）とそれらの高次な相関（ハイパーエッジ）を抽出して統合する。第二段階では、ページを跨ぐ境界にあるアンカーノードを特定し、その1ホップ近傍の文脈を用いて局所的なハイパーグラフ構造を再構成する。検索時は、頂点に紐付いたエンティティを辿る経路と、ハイパーエッジに紐付いた関係性を辿る経路の二系統を同時に実行し、統合された構造化証拠パッケージを生成する。
文書全体の理解を問うGlobal QAと、ページ単位の精度を問うLocal QAの2つのタスクで評価した。比較対象はGraphRAG、HyperRAG、MegaRAGである。評価指標には、網羅性、多様性、エンパワーメント、総合力の4観点を用いた。実験の結果、Hyper-M2RAGは既存手法を上回り、特にマルチモーダルなデータセットにおいて高い勝率を記録した。また、HyperRAGと比較して、TechReportでは2,078個、TechSlidesでは19,093個のハイパーエッジを構築しており、より多くのハイパーエッジを構築できていることが示された。
アンカー駆動型の精緻化は、全ページを再処理する手法に比べて計算コストを抑えつつ知識の断絶を防ぐ設計となっている。
提案手法であるHyper-M2RAGは、テキスト、画像、表などの異種エンティティ間における高次な相関関係を捉えるため、マルチモーダル・ハイパーグラフ表現学習を導入している。この手法では、ハイパーエッジを統一的な意味的コンテナとして用いることで、点対点のモデリングを超えた多方向の関連性をカプセル化する。また、ページ境界による意味の断片化を軽減するため、アンカー駆動型増分精緻化メカニズムを導入している。これは、ページを跨ぐアンカーとなるノードを特定し、その1ホップ近傍の文脈を用いて局所的なハイパートポロジーを再構成する手法である。このアプローチは、全ページを再構成する手法とは異なり、計算コストを抑えつつページ間の知識のギャップを埋めることを目的としている。マルチモーダルなベンチマークデータセットを用いた評価の結果、Hyper-M2RAGは検索精度と生成の整合性の両面において、既存の手法を上回る性能を示している。
従来のマルチモーダルRAGは、視覚情報をテキストに変換して扱う手法や、エンティティ間の二項関係のみを扱うグラフ構造に依存しており、図表やキャプション、周辺テキストなどが複雑に絡み合う高次な依存関係を断片化してしまう課題がある。本研究では、テキスト、画像、表などの異種要素を頂点とし、それらが共同で意味を構成するグループをハイパーエッジで結ぶハイパーグラフ構造を用いるHyper-M2RAGを提案する。この手法により、二項関係の近似ではなく、視覚的文脈やレイアウト構造を保持した高次な意味単位での検索が可能になる。また、長大な文書においてページを跨いで出現するエンティティをアンカーとして特定し、その周辺の近傍領域のみを局所的に再構成するアンカー駆動型外科的リファインメントを導入することで、計算コストを抑えつつ構造的な曖昧さを解消する。実験の結果、Hyper-M2RAGは複雑な文書におけるマルチモーダル検索と回答の質を向上させるとともに、長文読解における効率性においても優れた性能を示すことが確認された。
従来のRAGは平坦化されたチャンクの検索に依存するため、長距離の依存関係の把握が困難です。GraphRAGやLightRAGのようなグラフ強化型アプローチは、エンティティ間の関係を抽出してマルチホップ推論を改善しますが、これらは二項的なペアの関連性に限定されます。これに対し、HyperRAGは複数の頂点を同時に接続するハイパーエッジを導入することで高次のグループ意味論をモデル化し、CogRAGは認知科学に着想を得たハイパーグラフ構造によって適応的な推論を強化しています。しかし、これらの手法はテキストベースの高次モデリングには優れているものの、複雑なマルチモーダルレイアウトにおける視覚情報の扱いに課題があります。RAG-AnythingやMegaRAGなどの既存のマルチモーダルRAG研究は、視覚要素とテキスト要素が混在するレイアウトからの検索を試みていますが、画像は検索後の補助的なものとして扱われるか、キャプションのような情報の欠落を伴うテキストのみのインデックスに依存しており、元の構造的なレイアウトが崩壊して情報の減衰や視覚的な死角が生じています。本研究は、高次の構造的・視覚的な完全性を統一されたハイパーグラフ内で保持する、ネイティブなマルチモーダル・インデックス作成パラダイムを提案します。
マルチモーダルな長文ドキュメントに基づく質問応答（Doc-QA）は、クエリと異種モダリティを含むドキュメントから包括的な回答を生成することを目的とする。Hyper-M2RAGフレームワークでは、ドキュメントをマルチモーダル・ハイパーグラフとして構造化しており、これは正規化された意味的エンティティの集合である頂点と、高次の関係性を捉えるハイパーエッジの集合で構成される。ハイパーエッジは、同一ページ内のペアおよびグループ間の関連性を表すものと、アンカー駆動のリファインメントを通じて再構築されたページを跨ぐ潜在的な依存関係を表すものに分類される。検索プロセスは、記号的なハイパーグラフとベクトル空間の両方に対して二重の経路でアライメントを行う写像関数として定義される。この戦略により、頂点に紐付けられたエンティティの証拠と、ハイパーエッジが示す関係性の文脈の両方を統合した検索が可能となる。
Hyper-M2RAGは、断片的なマルチモーダル文書を、高次のハイパーグラフ・インデックスへと統合する手法を提案している。まず、データの取り込み単位として、テキスト、ページ全体の画像、および図表などの局所的な画像パッチを組み合わせたPage-level Multi-modal Unit (PMU) を定義し、視覚的なレイアウト情報と詳細な証拠を同時に保持する。インデックス構築は、ページ単位でエンティティ、ペアの関係、および高次の相関を抽出する初期段階と、ページを跨ぐ長距離の依存関係を補完する洗練段階の二段階で行われる。洗練段階では、複数のページに頻出するエンティティをクロスページ・アンカーとして特定し、そのアンカーに接続するハイパーエッジと頂点の集合からなる局所的なサブグラフに対して、新たな関連性を合成する処理を行う。検索プロセスでは、ユーザーのクエリを詳細なエンティティキーワードと抽象的なテーマキーワードに分解し、頂点に紐付いたエンティティ検索と、ハイパーエッジに紐付いた関係性検索の二つの経路を同時に実行する。最終的に、正規化されたエンティティ、高次のハイパーエッジ、およびそれらに同期したマルチページの情報を含む構造化された証拠パッケージを生成し、これに基づきモデルが推論を行う。
Hyper-M2RAGの性能を評価するため、文書全体の理解を問うGlobal QAと、ページやスライド単位の粒度で精度を問うLocal QAの2つのタスクで実験が行われました。Global QAでは、テキストのみのデータセットと、図表が密集したマルチモーダルデータセットを用い、LLMによって自動生成されたクエリで評価しています。評価の際は、回答の提示順序によるバイアスを排除するために、回答のペアを入れ替えて評価しその結果を平均する戦略を採用し、網羅性、多様性、エンパワーメント、総合力の4つの観点で比較を行いました。実験の結果、Hyper-M2RAGは既存のグラフベース手法を上回り、特にマルチモーダルな環境において、レイアウトを考慮したハイパーエッジが視覚要素とテキストを効果的に結びつけることで、高い勝率を記録しました。Local QAにおいても、技術文書のデータセットにおいて既存のマルチモーダルRAGを上回る精度を達成しています。アブレーション研究および構造解析の結果から、マルチモーダル情報の抽出とアンカー駆動型の精緻化の両方が、他の手法よりも大幅に多い高次ハイパーエッジの構築と、精度の向上に不可欠であることが示されました。
本研究では、複雑で情報密度の高い技術文書に対応するため、従来の二項グラフから高次のハイパーグラフ構造へと転換した、新しいマルチモーダル検索拡張生成フレームワークであるHyper-M2RAGを提案している。この手法は、レイアウトを考慮したハイパーエッジ構築とアンカー駆動型の洗練メカニズムを統合することで、表や図などの視覚的要素を単なる孤立した入力としてではなく、テキストの文脈とトポロジー的に整合した状態で統一的な意味空間に配置することを可能にしている。検索戦略においては、頂点にアンカーを置いたエンティティ検索と、ハイパーエッジによる関係性検索という二つの経路を用いることで、詳細な証拠と全体的な主題を両立させている。4つの異なるドメインを用いた実験の結果、Hyper-M2RAGは既存の最先端手法を上回り、特にマルチモーダルなシナリオにおいて多様性とエンパワーメントの指標で大幅な向上を達成した。