本研究は、既存のチャートRAGベンチマークが表データに偏っていることや、チャート間の意味的接続が脆弱で論理的な不整合（subject-mismatch等）が生じやすいという課題に対処するものである。従来のChartMRAGは意味的類似性に依存するため推論パスの信頼性に欠け、既存のMulti-hop Question Generation (MHQG) 手法もホップ数増加に伴う情報損失やセマンティック・ドリフト（意味の漂流）といったスケーラビリティの課題を抱えている。これに対し、本研究はチャート内のエンティティと関係性を情報の粒度に応じて層状に抽出する階層型KGと、構造認識型サンプリングを用いることで、論理的に一貫したマルチホップなQA生成を可能にする。
第一に、情報の粒度 $l \in \{1, \dots, L\}$ に基づいてエンティティを整理する「階層的チャート知識グラフ（Hierarchical Chart KG）」の構築手法を提案している。第二に、意味的コヒーレンスとレベル遷移を制御するサンプリング方策を用いて、564のマルチホップQAインスタンスからなる「ChartWalker-Bench」を構築した。第三に、複雑な推論においてコンテキストのオーバーフローを回避するため、問題を部分観測マルコフ決定過程（POMDP）として定式化したVLMベースの検索エージェント「ChartWalker Agent」を提案している。最後に、実験を通じて、既存の静的なRAGパラダイムが複雑な推論において限界があること、およびPPOを用いたエージェント学習が有効であることを示した。
階層型KGの構築では、VLMを用いてエンティティを抽出し、同一レベル内の関係性を示すintra-level edgeと、レベル間の遷移を示すinter-level edgeからなるマルチグラフ $\mathcal{G} = (\mathcal{E}, \mathcal{R})$ を形成する。QA生成のためのパスサンプリングでは、修正PageRankでアンカーエンティティを選択した後、以下のサンプリング方策を用いる：$P(e_{t+1} | e_t, \mathcal{P}_t) \propto \text{sim}(e_{t+1}, \mathcal{P}_t) \cdot \exp(\alpha \cdot \mathbb{I}(\text{level transition}))$。ChartWalker Agentは、現在のエンティティ、隣接エンティティ、関係性、および過去の履歴を観測として受け取るPOMDPとして設計されている。エージェントの最適化には、非連結のPPOロールアウトと、時間差学習で推定された利得を各アクションに割り当てるアドバンテージ割り当てスキームが採用されている。
ChartWalker-Bench（806枚のチャート、564組のQAペア）を用い、BM25、Dense embedding、VL-embedding、およびHippoRAG等の手法を比較評価した。検索性能において、VL-Embeddingは $\text{R@}10$ で $71.87\%$ を達成し、HippoRAGは知識グラフ上の伝播によりFact CheckやComplex Reasoningで高い性能を示した。生成性能では、最強の構成でも $\text{Cor@}10$ は $65\%$ に留まり、特にComplex Reasoningは $51\%$ と最も困難であった。また、3Bの軽量VLMを用いた実験では、静的なパイプラインが検索予算の増加に伴いノイズで性能低下するのに対し、PPOによるAgent学習は知識グラフの探索を通じて証拠獲得能力を向上させ、静的な手法を上回る精度を達成した。
実験結果は、現在のVLMがマルチチャート間の複雑な定量的検索および推論において、依然として大きな限界を抱えていることを示している。特にComplex Reasoningサブセットでは、平均3.12のソースチャートと5.14の推論ホップを必要とし、既存の静的なRAGでは対応が困難であることが明らかになった。本研究の提案するエージェント型アプローチは、反復的な証拠取得を通じてこの課題を緩和できるが、今後はマルチモーダル埋め込みのさらなる強化や、より高度なエージェント型推論の構築が不可欠である。
本研究では、既存のベンチマークが表データに偏っていることや、チャート間の意味的な接続が脆弱で論理的な不整合（subject-mismatch等）が生じやすいという課題に対し、階層型知識グラフ（Hierarchical KG）を用いた新しいクロスチャートRAGフレームワーク「ChartWalker」を提案している。提案手法は、チャート内のエンティティと関係性を情報の粒度に応じて層状に抽出する階層型KG構築法と、パスに沿って意味的な連続性を強制する構造認識型サンプリングアルゴリズムの2つの革新的な要素から構成される。このフレームワークにより、複数のチャートを跨ぎつつも論理的に一貫した推論パスを合成し、それを教師信号としてマルチホップなQAペアを生成することが可能となる。構築されたベンチマーク「ChartWalker-Bench」は、4つのクエリタイプを含む564のマルチホップQAインスタンスで構成されている。実験の結果、主要なRAGパラダイムを用いた最高性能のモデルでも正解率は64%に留まり、特に複雑な推論クエリでは正解率が30%を下回るという結果が得られ、マルチステップの定量的検索・推論における現在のVLMの限界が示された。
Chart RAG の研究は、従来のテーブル QA から、VLM を用いてグラフの特徴量から直接推論を行う手法へと進化しており、さらに大規模コーパスから関連テーブルを検索する Table RAG や、複数のテーブルを扱う cross-table 設定へと発展している。本研究に最も近い ChartMRAG は、cross-chart RAG タスクをベンチマークする初期の試みであるが、意味的類似性に依存しているため推論パスが不整合になりやすく、信頼性に課題がある。一方、Multi-hop Question Generation (MHQG) は、知識グラフ上のパスのホップ数を用いて難易度を制御したり、階層的な推論ツリーに分解したりすることで、複数コンテキストにわたる多段階推論を促す手法が提案されている。しかし、既存の MHQG 手法は、ホップ数が増加するにつれて情報損失やセマンティック・ドリフト（意味の漂流）が発生するというスケーラビリティの課題を抱えており、マルチモーダル設定において意味のあるクロスモーダルな接地（grounding）を欠く問題がある。
ChartWalker-Benchは、多様な粒度のクエリと論理的に整合した根拠（rationale）を備えた、チャートRAG（Retrieval-Augmented Generation）のためのベンチマークである。本手法では、まずチャート内のエンティティを情報の粒度レベル $l \in \{1, \dots, L\}$ に基づいて階層的に整理した「階層的チャート知識グラフ（Hierarchical Chart KG）」を構築する。グラフ構築において、エンティティはVLMを用いて抽出され、同一レベル内の関連性を示すintra-level edgeと、レベル間の意味的進行を示すinter-level edgeからなるマルチグラフ $\mathcal{G} = (\mathcal{E}, \mathcal{R})$ が形成される。QA生成の際は、接続数とソースの多様性 $s(e)$ を考慮した修正PageRankを用いてアンカーエンティティを選択し、意味的コヒーレンスとレベル遷移を制御するサンプリング方策 $P(e_{t+1} | e_t, \mathcal{P}_t) \propto \text{sim}(e_{t+1}, \mathcal{P}_t) \cdot \exp(\alpha \cdot \mathbb{I}(\text{level transition}))$ に基づいてパスをサンプリングする。最終的に、806枚のチャートから構築されたグラフを用い、自動検証を経て564組のQAペア（Fact Check, Manipulation, Analysis, Complex Reasoningの4種）が生成された。実験の結果、Complex Reasoningサブセットは平均で3.12のソースチャートと5.14の推論ホップを必要とし、高い推論複雑度を持つことが示されている。
既存の静的なRAGパイプラインは、複雑なマルチホップ推論において精度が著しく低下し、最大10個のソースチャートを検索しても正解率が51%に留まり、多くの場合30%を下回るという課題がある。これに対し、ChartWalker Agentは、チャートのエンティティと関係性から構築された知識グラフ（KG）上を探索し、証拠を反復的に取得するVLMベースの検索エージェントとして設計されている。本手法では、コンテキストのオーバーフローやクレジット割り当ての不安定性を回避するため、問題を部分観測マルコフ決定過程（POMDP）として定式化し、現在のエンティティ、隣接エンティティ、関係性、および過去の検索履歴を要約した情報を環境の観測としてエージェントに提供する。エージェントは各ターンで行動空間 $\mathcal{A}$ から行動を選択し、期待割引報酬を最大化することを目的として、VLMによってパラメータ化された方策に基づき学習を行う。最適化には、非連結のPPOロールアウトと、時間差学習を用いて推定されたターンレベルの利得を各アクションのトークンに一様に割り当てるアドバンテージ割り当てスキームが採用されている。
本実験では、ChartWalker-BenchにおけるクロスチャートRAGタスクの性能を、検索（Retrieval）と生成（Generation）の観点から評価している。検索性能の評価指標には $\text{Recall@}k$ ($\text{R@}k$) を用い、生成性能にはLLM-as-a-judgeを用いた正解率 $\text{Correctness@}k$ ($\text{Cor@}k$) を用いて、BM25、Dense embedding、Vision-Language (VL) embeddingなどのPlain RAG、およびRagAnythingやHippoRAGなどのGraph-based RAGを比較している。実験結果として、VL-Embeddingが $\text{R@}10$ で $71.87\%$ という高い平均リコールを達成し、マルチモーダルな表現の重要性を示した一方、HippoRAGは知識グラフ上の伝播により、特にFact CheckやComplex Reasoningにおいてテキストのみの検索を大きく上回る性能を示した。生成段階では、最強の構成でも $\text{Cor@}10$ は $65\%$ に留まり、特にComplex Reasoningが $51\%$ と最も困難なサブセットであることが確認された。また、軽量なVLM（3B）では検索予算を増やすとコンテキスト制限やノイズにより性能が低下する傾向があるが、PPOを用いたAgent学習により、知識グラフの探索を通じた証拠獲得能力が向上し、静的なパイプラインを上回る精度を達成した。
本論文では、階層型知識グラフ（Hierarchical Knowledge Graphs）と構造を考慮したサンプリングを活用することで、複雑なマルチホップ推論パスを生成するCross-Chart RAGのための新しいフレームワークおよびベンチマークであるChartWalkerを提案している。ChartWalker-Benchを用いた評価の結果、既存のVision-Language Modelsはマルチチャート分析において困難に直面しており、静的な検索手法の限界が明らかになった。この課題を解決するために、グラフに基づいた反復的な証拠取得を行うChartWalker-Agentを提案し、その有効性を実証している。本研究はマルチモーダルRAGの発展に向けた厳密な基盤を提供するものであり、今後の展望として、マルチモーダル埋め込みの強化や複雑なチャート分析のためのエージェント型推論の向上が挙げられている。
本研究は機械学習の分野を前進させることを目的としており、その成果が社会に与え得る潜在的な影響については、本論文において特に強調すべき特定の懸念事項は存在しないと述べている。