従来のRAG（Retrieval-Augmented Generation）システムにおけるドキュメント・チャンキングは、テキスト抽出後のルールベースやスライディングウィンドウ方式に依存しており、表、図、図解、およびページ境界を跨ぐ構造といったマルチモーダル要素のセマンティックな一貫性を保持できない。本研究は、LMMを活用してPDFドキュメントを構成可能なページバッチ単位で処理し、バッチ間での文脈保持（cross-batch context preservation）を行うことで、構造的完全性を維持する手法を対象としている。評価には、Gemini-2.5-Proをチャンキングモデル、GPT-4.1を要約モデルとして用いた、新しいマルチモーダル・ドキュメント・チャンキング評価用ベンチマークを開発して使用している。
本研究の主な貢献は、LMMを用いたマルチモーダルなバッチ処理フレームワークによる、高度なドキュメント・チャンキング手法の提案である。この手法は、複数ページにわたる表のヘッダー情報や、脚注と表のセルを結ぶ相互参照、および手順の順序性を正確に維持することを可能にする。実験の結果、提案手法は従来のバニラなRAGシステムと比較して、チャンクの品質およびダウンストリームのRAG性能の両面で定量的な改善を示した。また、従来の固定サイズチャンキングと比較して約5倍のチャンクを生成することで、特定の関連情報を精密に抽出できる粒度の向上を実現している。
ドキュメントをページ数 $N$ の集合 $\mathcal{P} = \{p_1, \dots, p_N\}$ と定義し、バッチサイズ $B$ に基づいて $M = \lceil N/B \rceil$ 個のバッチ $\mathcal{B}_i$ に分割する。各バッチに対して前バッチの文脈 $C_{i-1}$ を用いて $C_i = \text{LMM}(\mathcal{B}_i, C_{i-1})$ としてコンテキストを維持しながらチャンクを生成する。チャンク生成では、粒度と効率のバランスを最適化するため、Level 1（タイトル）、Level 2（主要セクション）、Level 3（特定のサブトピック）の3レベルの階層的見出し構造を強制する。各チャンクには `[CONTINUES]True/False/Partial[/CONTINUES]` という継続フラグを付与し、後処理での結合を可能にする。検索フェーズでは、クエリ $q$ に対し、埋め込み関数 $f$ を用いたコサイン類似度 $\text{sim}(f(q), f(c_j)) = \frac{f(q) \cdot f(c_j)}{\|f(q)\| \|f(c_j)\|}$ に基づき、上位 $K$ 個のチャンク $\mathcal{C}_{top\text{-}K}$ を選択する。
Gemini-2.5-Proを用いた4ページ単位のバッチ処理フレームワークを構築し、技術マニュアル、財務報告書、研究論文などの多様なドメインの文書を用いて評価を行った。RAGシステムは、OpenAIの`text-embedding-3-small`による埋め込み、Elasticsearchを用いたベクトルデータベース、および $k=10$ のtop-k類似度検索で構成されている。回答生成にはGPT-4.1、評価にはGPT-4.1-miniを使用し、事実抽出、表を跨ぐ分析、手順の理解、複数セクションにわたる推論、構造的理解の5つの観点から評価を実施した。評価指標として、GPT-4.1-miniによる精度（Accuracy）を用いたエンドツーエンドの性能評価と、チャンクの意味的一貫性や構造保存性を確認するための定性的な手動分析を組み合わせて検証している。
提案手法は、複数ページにわたる表の整合性や階層構造の維持において大幅な改善を示すが、いくつかの限界が存在する。特に、8〜9ページ以上にわたる極めて複雑な表では、現在のLMMでも列の整列や意味的関係を一貫して維持することが困難である。また、複雑なフローチャートや多層的な技術図面、詳細な統計チャートの正確な抽出には、現在のマルチモーダル能力を超えるドメイン固有の理解が必要となる。計算コストの面では、ドキュメントの複雑さやバッチサイズが増大するにつれて処理時間が大幅に増加するため、リアルタイムアプリケーションへの適用には課題が残る。今後の展望として、コンテンツ密度に基づいた適応的なバッチサイズ決定や、標準的なPDFベンチマークデータセットの構築が挙げられている。
本研究は、従来のテキストベースのチャンキング手法が、複雑な文書構造、複数ページにわたる表、埋め込まれた図、およびページ境界を越える文脈依存性の処理に苦慮しているという課題に対し、大規模マルチモーダルモデル（LMM）を活用した新しいマルチモーダル・ドキュメント・チャンキング手法を提案している。提案手法は、PDFドキュメントを構成可能なページバッチ単位で処理し、バッチ間での文脈保持（cross-batch context preservation）を行うことで、複数ページにまたがる表や視覚的要素、手順的なコンテンツの正確な処理を可能にする。内部ベンチマークデータセットを用いた評価の結果、提案手法は従来のバニラなRAGシステムと比較して、チャンクの品質およびダウンストリームのRAG性能の両面で定量的な改善を示した。定性的な分析においても、文書の構造的整合性と意味的な一貫性がより高度に維持されていることが確認されている。
従来のRAGシステムにおけるドキュメント・チャンキングは、テキスト抽出後のルールベースやスライディングウィンドウ方式に依存しており、表や図、図解、ページを跨ぐ構造といった複雑なマルチモーダル要素のセマンティックな一貫性や構造的関係を保持できないという課題がある。本研究では、LMM（Large Multimodal Models）を用いてPDFドキュメントを構成可能なバッチ単位で処理し、バッチ境界を跨いでも文脈の連続性を維持する新しいチャンキング手法を提案する。この手法は、複雑なレイアウトや視覚的要素の処理、バッチ境界におけるセマンティックな連続性の確保、および表構造や手順書などの構造的完全性の維持を目的としている。評価においては、Gemini-2.5-Proをチャンキングモデル、GPT-4.1を要約モデルとして用いた新しいマルチモーダル・ドキュメント・チャンキング評価用ベンチマークを開発し、多様なドキュメントにおけるダウンストリームのRAG性能を用いて検証を行っている。
従来のRAGシステムにおけるチャンキング手法には、固定長による意味的境界の喪失、文単位による構造の無視、段落単位による複雑なレイアウトへの対応不足、およびテキストのみに依存するセマンティック・チャンキングの限界といった課題が存在する。これに対し、マルチモーダル文書理解の分野では、Vision Transformerを用いたレイアウト解析や、LayoutLM、InternVLといった大規模視覚言語モデルによる構造把握、さらには表抽出や図表のキャプション生成技術が進展している。RAGの最適化に関しては、密ベクトル検索やハイブリッド検索、クエリ拡張、リランキング、マルチホップ推論、およびVision-RAGのようなマルチモーダル活用が研究されてきた。しかし、マルチモーダルな理解を用いて、RAGの根幹であるチャンキングプロセスそのものを改善しようとする試みは、既存文献において依然として大きな空白領域となっている。
本手法は、従来のテキストのみのチャンキングが抱える、複数ページにわたる表や図、階層構造の断片化といった課題を解決するため、LMM（Large Multimodal Model）を用いたマルチモーダルなバッチ処理フレームワークを提案している。ドキュメントをページ数 $N$ の集合 $\mathcal{P} = \{p_1, \dots, p_N\}$ と定義し、バッチサイズ $B$ に基づいて $M = \lceil N/B \rceil$ 個のバッチ $\mathcal{B}_i$ に分割し、各バッチに対して前バッチの文脈 $C_{i-1}$ を用いて $C_i = \text{LMM}(\mathcal{B}_i, C_{i-1})$ としてコンテキストを維持しながらチャンクを生成する。チャンク生成においては、経験的分析に基づき、粒度と効率のバランスが最適とされる3レベルの階層的見出し構造（Level 1: タイトル、Level 2: 主要セクション、Level 3: 特定のサブトピック）を強制し、手順の保存や表の整合性維持といったコンテンツ保存ルールを適用する。また、各チャンクには `[CONTINUES]True/False/Partial[/CONTINUES]` という継続フラグを付与することで、後処理におけるセマンティックな結合を可能にしている。検索フェーズでは、クエリ $q$ に対して、埋め込み関数 $f$ を用いたコサイン類似度 $\text{sim}(f(q), f(c_j)) = \frac{f(q) \cdot f(c_j)}{\|f(q)\| \|f(c_j)\|}$ に基づき、上位 $K$ 個のチャンク $\mathcal{C}_{top\text{-}K}$ を選択する。
本手法のシステムアーキテクチャは、PDFの分割を行うPDF Processor、Gemini-2.5-Pro等のLMMと通信するMultimodal Interface、バッチ間の文脈や見出し階層を維持するContext Manager、モデルの応答からチャンクを抽出・検証するChunk Processor、そしてベクトル検索用のDatabase Integrationの5つのコンポーネントで構成される。モデルには、複雑なレイアウトや視覚的要素の理解に長けたGemini-2.5-Proを採用し、出力構造の決定論的な一貫性を確保するために、温度パラメータを低く設定（$\text{temperature} \approx 0$）している。プロンプトエンジニアリングにおいては、優先順位付きのチャンキング指示、見出し階層の具体例、表や複数ページにわたる手順への特殊な処理指示、および前バッチの情報を統合するためのガイドラインを組み込んでいる。このプロンプト設計は、表構造やページを跨ぐ手続き的コンテンツといったエッジケースに対応するため、反復的な改善プロセスを経て最適化されている。
本実験では、提案するVision-Guided ChunkingがRAGパイプラインの性能に与える影響を評価するため、Gemini-2.5-Proを用いた4ページ単位のバッチ処理フレームワークを構築し、文書構造や表の整合性を維持したチャンク生成を行う。RAGシステムは、OpenAIの`text-embedding-3-small`による埋め込みとElasticsearchを用いたベクトルデータベース、および$k=10$のtop-k類似度検索で構成され、回答生成にはGPT-4.1、評価にはGPT-4.1-miniを使用する。評価データセットは、技術マニュアル、財務報告書、研究論文など、多層的な見出し構造（Document Title > Section Heading > Subsection Heading）や複数ページにわたる表、図表を含む多様なドメインの文書で構成されている。クエリは、事実抽出、表を跨ぐ分析、手順の理解、複数セクションにわたる推論、構造的理解の5つの観点から、手動で作成された現実的なものが用いられる。評価指標として、GPT-4.1-miniを自動ジャッジとした精度（Accuracy）によるエンドツーエンドの性能評価に加え、チャンクの意味的一貫性や構造保存性を確認するための定性的な手動分析が組み合わされている。
本手法によるチャンク生成は、従来のテキストのみの手法と比較して、意味的な一貫性と構造の保持において大幅な改善を示しており、特に複数ページにわたる表のヘッダー情報の保持や、脚注と表のセルを結ぶ相互参照、規制遵守セクションにおける手順の順序性、および複雑な文書内の階層構造を正確に維持できる。RAGシステム全体の評価では、提案手法を用いた場合に精度が向上し、GPT-4o-miniによる評価でも、回答の正確性、完全性、および構造的一貫性が向上することが確認された。従来のVanillaなパース手法が固定サイズ制約により少ないチャンク数しか生成できないのに対し、提案手法は約5倍のチャンクを生成しており、この粒度の向上により、不適切な情報を含む巨大なテキストブロックではなく、特定の関連情報を精密に抽出することが可能となっている。さらに、階層的な見出し構造とコンテキスト保持メカニズムにより、チャンクの観測可能性（observability）とシステムの説明可能性が向上している。
今後の展望として、図表や複雑な図、数式の理解を深化させる高度なマルチモーダル統合の研究が挙げられ、最新のマルチモーダルアーキテクチャの活用による性能向上が期待される。実用性を高めるためのスケーラビリティと最適化の観点では、ドキュメントの複雑さやコンテンツ密度に基づいた適応的なバッチサイズ決定を含む、効率的なバッチ処理戦略や計算コストの削減、リアルタイム処理能力の追求が示唆されている。また、本研究の評価プロセスを通じて、ドキュメント理解タスクにおける信頼性と包括性を備えた標準的なPDFベンチマークデータセットが不足していることが明らかになり、その構築が重要な課題として特定されている。
本手法は従来のチャンキング手法に対して大幅な改善を示すものの、いくつかの課題が残されている。特に、8〜9ページ以上にわたる極めて複雑な表を処理する場合、現在のLMMでは広範な構造にわたって列の整列や意味的関係を一貫して維持することが困難である。また、複雑なフローチャートや多層的な技術図面、詳細な統計チャートなどの図表については、現在のマルチモーダル能力を超えるドメイン固有の理解が必要となるため、正確な抽出と記述に課題がある。さらに、ドキュメントの複雑さやバッチサイズが増大するにつれて計算コストと処理時間が大幅に増加するため、リアルタイムアプリケーションへの適用が制限される可能性がある。加えて、本手法の有効性は基盤となるLMMの視覚能力に依存しており、その性能はモデルアーキテクチャによって異なり、かつ急速に進化し続けている。
本研究では、従来のテキストのみの手法を大幅に改善する、LMM（Large Multimodal Models）を用いたバッチ処理とコンテキスト保持に基づく新しいマルチモーダルなドキュメントチャンキング手法を提案している。この手法は、複雑なドキュメント構造、複数ページにわたるコンテンツ、および視覚的要素を適切に処理することで、意味的な一貫性と構造的な完全性を維持することに成功している。多様なドキュメントタイプを用いた体系的な評価により、提案手法の汎用性と堅牢性が検証されており、単なるテキスト抽出を超えた包括的なドキュメント理解を実現している。マルチモーダルモデルの性能向上とコスト低減に伴い、本手法は実用的なRAGアプリケーションにおいて重要性が増すと期待される。本研究は、情報検索システムにおけるドキュメント理解の新たな道を切り開き、マルチモーダルRAGアーキテクチャの将来の研究に向けた基盤を提供するものである。
本セクションは、本研究に関連する先行研究の文献リストであり、RAG（Retrieval-Augmented Generation）、マルチモーダル理解、および文書解析に関する広範な研究を網羅している。具体的には、Lewis et al. [2020] によるRAGの基礎概念や、Karpukhin et al. [2020] によるDense Passage Retrieval (DPR) などの検索手法、Carbonell & Goldstein [1998] による多様性に基づく再ランキング手法（MMR）が挙げられている。文書理解の文脈では、LayoutLM [2020] や LayoutLMv2 [2021] といった視覚的レイアウトを活用した事前学習モデル、および DocVQA [2021] などのデータセットが参照されている。また、Vision Transformer (ViT) [2020] や InternVL [2024b] といった視覚基盤モデル、さらには最新のマルチモーダル大規模言語モデル (MLLM) に関するサーベイ [2023] も含まれている。これらは、提案手法が既存の検索・生成フレームワークおよび視覚的文書解析技術に基づいていることを示している。