金融分野におけるLLM活用は、ハルシネーションによる法的・金銭的リスクや、膨大な報告書による情報過多が大きな課題となっている。既存のRAG研究は、埋め込みモデルの最適化や知識グラフの活用などを行っているが、表形式データの処理能力や数値計算、およびRAGパイプライン全体への体系的なメタデータ統合が不十分である。本研究は、企業提出書類（PDF、半構造化ドキュメント、表形式データ）を構造を維持した中間表現に変換し、メタデータを戦略的に活用するマルチエージェント型フレームワークを構築することで、これらの課題解決を図る。
本研究の主な貢献は、メタデータの体系的な統合と、実務的なシナリオに基づくエンドツーエンドの評価プロセスを確立した点にある。アブレーション研究により、メタデータの統合、テーブルを考慮したチャンキング、およびエージェント型ワークフローが金融RAGの主要な実現要因であることを特定した。また、FinanceBenchにおいて89.3%という高い精度を達成し、既存のベースラインを上回る性能を示した。さらに、4名の金融アナリストによる定性的評価を通じて、実用的な展開に不可欠な「較正された信頼」「包括的なデータ統合」「専門知識のパーソナライゼーション」という3つの重要要因を導出した。
MimirRAGは、Action Design Research (ADR) に基づくBuilding, Intervention, and Evaluation (BIE) の反復サイクルを用いて開発された。システムは5つのエージェントで構成される：1) Extractorが文書冒頭から企業名等のメタデータを抽出し、2) Plannerが複雑なクエリをサブクエリに分解し、3) SearchがメタデータフィルタリングとReciprocal Rank Fusion (RRF) を用いて上位 $K$ 個のチャンクを特定、4) Validatorが取得情報の妥当性を検証し、不十分な場合は最大3回のリトライを実行、5) Writerが`<source>`タグを用いたインライン引用を含む回答を生成する。前処理では、Doclingを用いてPDFをMarkdownに変換し、Chonkieによる再帰的チャンキングと、テーブルの断片化を防ぐための最大3600文字までの結合処理を行う。
性能評価は、FinanceBenchベンチマークと、デンマークの大手銀行に所属する4名の金融アナリストによる混合研究法を用いて行われた。GPT-4.1を用いたフル構成（Mimir, 10）は82.7%の精度を達成し、FinanceBenchのOracle性能（85%）に迫る結果を得た。また、GPT-4.1-miniを用いた構成では、精度1%あたりの相対コストが$0.026$と高いコスト効率を示した。専門家評価（Iteration 1）では、Microsoft CopilotとのA/Bテストにおいて、関連性（$+1.0$）や有用性（$+0.6$）などの全5指標でMimirRAGがCopilotを上回った。Iteration 2の定量評価では、システムの透明性（平均 $4.25$）、時間節約（平均 $4.00$）、有用性・信頼性（共に平均 $3.75$）と高いスコアを記録した。
本研究により、メタデータフィルタリングを伴う階層的検索は、平均取得ドキュメント数を14.23から2.02へと大幅に削減し、ノイズを最小化することが示された。Validatorエージェントの導入は、無関係な情報の除去を通じて精度を4.7%向上させた。一方で、テーブルの断片化や数値推論のエラーが課題として残っており、これに対し`sympy`を用いたCalculatorツールの導入が検討されている。本研究の限界として、FinanceBenchの公開サブセットのみを用いた評価、OpenAIモデルへの依存、PDFからの構造復元におけるOCRエラー、および小規模な専門家サンプルによる検証の一般化の難しさが挙げられる。今後の展望として、金融特化型埋め込みモデルの微調整や、ライブニュース等のデータソースの統合が示唆されている。
MimirRAG（Metadata-Integrated Multi-Agent Information Retrieval）は、金融ドキュメントからの信頼性の高い情報抽出を実現するために設計された、マルチエージェント型のRAGフレームワークである。本手法は、構造を維持したPDFパース、テーブルを考慮したチャンキング（table-aware chunking）、メタデータ抽出、クエリプランニングとハイブリッド検索を伴うエージェントベースの検索、検証、および数値推論をサポートするコンテキスト依存型の生成からなるモジュール式パイプラインで構成される。アブレーション研究により、メタデータの統合、テーブルを考慮したチャンキング、およびエージェント型ワークフローの3点が、効果的な金融RAGにおける主要な技術的実現要因であることが特定された。FinanceBenchを用いた定量的評価において、MimirRAGは89.3%の精度を達成し、元のベンチマークのベースラインを上回る性能を示した。また、4名の金融アナリストによる定性的評価では、実用的な展開には、較正された信頼（calibrated trust）、包括的なデータ統合、およびユーザーのパーソナライゼーションが必要であることが示唆されている。
金融分野におけるLLMの活用は、ハルシネーションによる法的・金銭的リスクや、膨大な報告書による情報過多が課題となっている。本研究では、メタデータの戦略的活用に焦点を当てたマルチエージェントRAGフレームワーク「MimirRAG」を提案し、企業提出書類（PDF、半構造化ドキュメント、表形式データを含む）を構造を維持した中間表現に変換して処理する。MimirRAGは、pre-retrieval、retrieval、generation、orchestrationの各段階で構成される5エージェントのモジュール型アーキテクチャを採用しており、FinanceBenchベンチマークにおいて89.3%の精度を達成した。アブレーション研究により、企業名、レポート種別、日付などの構造化されたメタデータが検索精度を向上させることが示されている。また、4名の専門アナリストによる定性的評価を通じて、ドメインに適したチャンキングやメタデータ駆動のターゲット検索、透明性による信頼の校正など、精度とユーザビリティを向上させる5つの設計原則を導出した。最終的に、RAGツールのワークフローへの統合には、技術的性能だけでなく、校正された信頼、包括的なデータ統合、および専門知識のパーソナライズされた拡張という3つの要因が重要であることを明らかにしている。
本セクションでは、FinBERTのようなドメイン特化型モデルから、エージェント型フレームワークへと進化する金融分野におけるRAG研究の動向が概説されている。既存研究は、埋め込みモデルの最適化、要素ベースのチャンキング、クエリ拡張、知識グラフ（KG）を用いたハイブリッド検索、Chain-of-Thought（CoT）の導入など多岐にわたるが、表形式データや数値計算の処理能力、および高い計算コストが共通の課題として挙げられている。特に、メタデータの活用については、ドキュメント選択やフィルタリングに限定的な利用に留まっており、RAGパイプライン全体への体系的な統合やその影響に関する調査が不足している。また、多くの研究がコンポーネント単位の最適化や検索指標に集中しており、FinanceBench等のベンチマークを用いたエンドツーエンドの評価や、金融アナリストによる定性的な検証が不十分であるという限界が指摘されている。これに対し、本研究はメタデータの体系的な統合、実用的なシナリオに基づくエンドツーエンド評価、および専門家による検証を通じて、これらのギャップを埋めることを目的としている。
本研究では、Action Design Research (ADR) を中心的なフレームワークとして採用し、Building, Intervention, and Evaluation (BIE) の反復サイクルを通じて MimirRAG プロトタイプを開発・洗練させる手法をとっている。研究プロセスは、問題定式化（Stage 1）、BIEサイクルによる反復開発（Stage 2）、リフレクションと学習（Stage 3）、および設計原則の定式化（Stage 4）の4段階で構成される。評価においては、FinanceBench を用いたベンチマークテストと、デンマークの大手銀行に所属する4名の金融アナリストによる実務的なフィードバックを統合した混合研究法が用いられている。具体的には、Iteration 1 ではシニアアナリスト（P1）との半構造化インタビューや Copilot との A/B サーベイを通じて、Iteration 2 では P1 のフィードバックに基づいたプライベートノート機能の統合や、他の3名のアナリスト（P2, P3, P4）への拡大評価を実施した。このプロセスにより、数値推論やテーブルパースといった技術的弱点、およびワークフローへの統合におけるユーザビリティの課題を特定し、金融RAGシステムのための実践的な設計原則の導出を目指している。
MimirRAGは、Extractor, Planner, Search, Validator, Writerの5つのエージェントで構成される、モジュール式のマルチエージェントRAGフレームワークである。Pre-retrieval段階では、Doclingを用いてPDFをMarkdown形式に変換し、Chonkieによる再帰的チャンキングと、テーブルの断片化を防ぐための最大3600文字までの結合処理を行う。Extractorエージェントは、文書の冒頭1024トークンからタイトルや企業名などのメタデータを抽出し、LanceDBを用いてベクトル検索とBM25による全文検索を組み合わせたハイブリッド検索を可能にする。Retrieval段階では、Plannerエージェントが複雑なクエリをサブクエリに分解し、SearchエージェントがメタデータフィルタリングとReciprocal Rank Fusion (RRF) を用いて上位 $K$ 個のチャンクを特定する。Validatorエージェントは、取得されたチャンクが質問に回答可能かを検証し、不十分な場合はクエリの再構成を伴うリトライを最大3回まで実行する。Post-retrieval段階では、Writerエージェントが、`<source>`タグで構造化されたチャンクとメタデータを基に、インライン引用を含む最終回答を生成する。
本実験では、金融データ検索のためのマルチエージェントRAGフレームワーク「MimirRAG」の性能を、OpenAIのGPT-4o、GPT-4.1、GPT-4.1-mini、GPT-o4-miniを用いて評価している。Azure Container Apps上にデプロイされたシステムは、FastAPI、LanceDB、SQLiteを用いて構築され、実験ではPlanner、Search、Validator、Writerの各エージェントの役割やメタデータフィルタリングの効果をアブレーションスタディによって検証した。第1イテレーションの結果、GPT-4.1を用いたフル構成（Mimir, 10）は82.7%の精度を達成し、FinanceBenchのOracle性能（85%）に迫る成果を示した。また、GPT-4.1-miniを用いた構成では、精度1%あたりの相対コストが$0.026$と極めて高いコスト効率を実現している。検索分析では、メタデータフィルタリングの導入により、GPT-4.1-mini (Mimir, 10) のHit@1が0.65（No Meta構成の0.53と比較）へと向上し、検索対象ドキュメント数の削減と精度向上が確認された。一方で、エラー分析からは、テーブルがチャンク間で分割されることによる情報の欠落や、数値計算における推論エラーが課題として特定されており、これらを解決するために第2イテレーションでは`sympy`を用いたCalculatorツールの導入が検討されている。
本セクションでは、金融アナリストによる反復的な専門家評価プロセスが詳述されている。第1段階（Iteration 1）では、1名の専門家（P1）がMicrosoft Copilot（GPT-4oベース）とのA/Bテストを実施し、MimirRAGは関連性（$+1.0$）や有用性（$+0.6$）などの全5指標においてCopilotを上回る平均スコアを記録した。このフィードバックに基づき、個人の研究ノートを管理・照会できる「Notes Integration Feature」が開発され、第2段階（Iteration 2）では評価者が4名（P1-P4）に拡大された。定量評価の結果、システムの透明性（平均 $4.25$）、時間節約の可能性（平均 $4.00$）、情報検索の有用性および信頼性（共に平均 $3.75$）において高い評価を得た。定性的な分析では、ノート検索やシステム速度が評価された一方で、表やグラフの抽出精度、ドキュメントレベルの制御、およびライブニュース等のデータ統合範囲の拡大が課題として特定された。結論として、信頼性の構築には構造化データを含む一貫した性能が不可欠であり、プロフェッショナルな期待に応えるためにはデータ処理能力のさらなる向上が求められている。
MimirRAGの反復的な改善プロセスと評価結果に関する考察では、まずIteration 1において、メタデータフィルタリングを伴う階層的検索が精度を76.0%まで向上させ、Hit@1を0.65へと改善するとともに、平均取得ドキュメント数を14.23から2.02へと大幅に削減し、ノイズを最小化したことが示された。また、Validatorエージェントの導入は、類似度指標のみでは捉えきれない無関係な情報の除去を通じて精度を4.7%向上させ、PlannerやWriterに強力なモデル（o4-mini等）を割り当てる手法も3%の精度向上に寄与した。Iteration 2では、数値推論と表の断片化問題に対処するため、計算機ツールの導入と「Chonkie Chunker」による表認識型チャンキングを採用し、GPT-4o-miniを用いた場合の精度を79.3%から84.7%（20 chunks時）へと引き上げた。専門家による検証では、信頼の構築、包括的なデータ統合、および「Notes Integration」によるパーソナライゼーションの重要性が示唆されたが、一方でFinanceBenchの評価における不整合や、LLMベースのJudgeエージェントによる評価の限界も指摘されている。本研究の限界として、FinanceBenchの公開サブセットのみを用いた評価、OpenAIモデルへの依存、PDFからの構造復元におけるOCR等のエラー、および小規模な専門家サンプルによる検証の一般化の難しさが挙げられる。
本研究では、金融アナリストのワークフローを支援するために、モジュール化されたマルチエージェント・アーキテクチャを持つRAGフレームワーク「MimirRAG」を提案し、その有効性を検証した。MimirRAGは、堅牢な前処理（pre-retrieval）、高度なエージェント型検索（agentic retrieval）、およびドメイン特化型の生成プロセスを統合しており、金融情報の検索タスクにおいて高い有効性を示す。設計原則として、ドメインに適したチャンキング、メタデータの統合、検証を伴う階層的検索、および信頼性とワークフローへのシームレスな統合の重要性が明らかになった。専門家による評価の結果、システムの採用には、較正された信頼（calibrated trust）の確立、包括的なデータ統合、および専門知識のパーソナライズされた拡張が不可欠であることが示された。今後の課題として、金融コーパスに特化した埋め込みモデルやリランカーの微調整、ライブデータソース（ニュースや財務報告書等）の統合、および文脈を考慮した自然な生成機能の実現が挙げられる。また、現実のアナリストのワークフローを反映した、マルチドキュメント・シナリオや広範な推論能力を評価できる新たなベンチマークの構築も必要である。
本論文における生成AIの使用は、綴り、文法、句読点、およびフォーマットの校正のみに限定されており、概念的、技術的、あるいは学術的な内容（図、参考文献、コードを含む）には一切使用されていない。倫理的承認、資金提供、およびデータの利用可能性については、該当事項なし（Not applicable）とされている。著者間の競合する利益や個人的な関係は存在しないことが宣言されている。著者らの貢献として、MagnusとWilmerは手法、形式的分析、調査、ソフトウェア、可視化、および原稿執筆を担当し、Somnath、Mansoor、Mikkelは概念化、監督、リソース、および査読・編集を担当している。