本研究は、逐次的な推論を行うAgentic RAG（Retrieval-Augmented Generation）システムにおいて、各エージェントの推論段階で発生する不確実性がどのようにシステム全体の信頼性に影響するかを明示的にモデル化することを目的としている。従来の単一ノードの評価ではなく、Planner、Evaluator、Generatorといった各コンポーネントが生成する補完的な不確実性信号を統合するアーキテクチャを構築している。具体的には、部分観測マルコフ決定過程（POMDP）の概念に基づき、ノードレベルの不確実性をシステム全体の解釈可能な信頼度へと結合する。評価対象として、マルチホップ推論を必要とするStrategyQAおよびHotpotQAの2つのベンチマークを用いている。
本研究の主な貢献は、Agentic RAGのワークフロー全体における不確実性の蓄積を定量化するための、ベイズネットワークを用いた伝播モデルを導入した点にある。これにより、どの推論段階がシステム全体の失敗に最も寄与しているかを特定することが可能となる。実験を通じて、推論の複雑さが増すほど、個別のノード信号を統合するベイズ的なアプローチが有効であることを示した。また、Wasserstein距離を用いた意味的逸脱（Semantic Divergence）とトークンレベルのエントロピー、Generatorの自己評価を組み合わせた、多角的な不確実性指標の統合手法を提示している。
提案手法は、各ノードの不確実性を算出するために複数の指標を用いる。まず、トークンレベルのエントロピー $\mathcal{H}_{token} = -\frac{1}{L} \sum_{t=1}^{L} \log P(x_t | x_{<t})$ を計算し、正規化された対数確率として利用する。次に、決定された出力分布と再サンプリングされた分布間のワッサースタイン距離を埋め込み空間上で算出することで、固有不確実性（IU）を推定する。これらの信号を、Planner $\mathcal{T}_{pl}$、Evaluator $\mathcal{T}_{ev}$、Generator $\mathcal{T}_{ge}$ 等のノードからなるベイズネットワーク（BN）に投入する。BNの構造において、最終的な判定ノード（Overall）は決定論的なORゲートとしてモデル化されており、いずれかのノードが閾値 $0.5$ を超える不確実性（FAIL）を示した場合、システム全体をFAILと判定する。
GPT-3.5-TurboおよびGPT-4.1-Nanoを用い、ReAct手法に基づくパイプラインで評価を行った。実験設定では、Planner/Generatorのtemperatureを0.2、Evaluatorを0.8とし、各ステップのサンプル数 $n=10$ とした。評価指標にはAUROC、AUARC、ECE（Expected Calibration Error）、Brier Scoreを用いた。結果として、HotpotQAではOverall BNがUPropのベースラインに匹敵するAUROCを示し、AUARCにおいても最高値を記録するなど、複雑な推論において高い有効性が確認された。一方でStrategyQAでは、不確実性の過大評価や、信頼性の低い上流ノードの信号が全体の性能を低下させる現象が観察された。
本手法は、不確実性が蓄積するマルチホップ推論において極めて有望であるが、いくつかの限界も明らかになった。現在の決定論的なORゲートモデルは、失敗確率を過大評価する保守的な挙動を示すため、安全性が重視される産業用途には適している可能性があるが、精度面での課題も残る。また、Generatorの自己評価 $P(\text{True})$ が系統的な保守性を持つ点や、ノードごとの信頼性の違いを動的に適応できない点が挙げられる。今後の改善策として、学習可能な抑制パラメータを持つNoisy-ORモデルの導入や、Isotonic Regressionによる事後較正が提案されている。将来的には、洋上風力発電（OSW）の保守意思決定支援などの、より実用的な産業ドメインでの検証が期待される。
本研究は、マルチステップの推論を行うAgentic RAGシステムの信頼性を確保するため、Planner、Evaluator、Generatorの各段階から得られる不確実性信号をベイズネットワーク（BN）を通じて伝播させ、システム全体の不確実性と失敗の潜在的なノードを推定するフレームワークを提案している。各段階の信号は、意味的な乖離（semantic divergence）およびGeneratorによる自己評価から導出され、これらをBNで統合することで、ワークフロー全体における不確実性の蓄積をモデル化する。評価実験はStrategyQAおよびHotpotQAデータセットを用い、GPT-3.5-TurboおよびGPT-4.1-Nanoをモデルとして、AUROC、AUARC、ECE、Brier Scoreを用いて識別能、選択的予測、および較正性を検証している。結果として、マルチホップ推論の過程で不確実性が蓄積するHotpotQAにおいてベイズ伝播がより効果的であることが示された一方、StrategyQAでは較正の不備や上流信号の信頼性不足による限界が露呈した。本研究は、Agentic RAGのモニタリング手法としてベイズ不確実性伝播の有望性を示す予備的な検討であり、今後は洋上風力発電（OSW）の保守意思決定支援などの産業ドメインでの検証が課題である。
本研究は、Agentic RAG（Retrieval-Augmented Generation）パイプラインにおいて、計画、検索、評価といった逐次的な推論段階を通じて不確実性がどのように伝播するかを明示的にモデル化することを目的としている。提案手法は、Planner、Evaluator、Generatorの各エージェントが生成する補完的な不確実性信号を統合する、軽量な不確実性認識モニタリングアーキテクチャである。具体的には、ノードレベルの不確実性推定値を、システム全体の解釈可能な信頼度推定値へと結合するためにベイズネットワーク（BN）を用いた伝播モデルを導入しており、どの推論段階がシステム全体の不確実性に最も寄与しているかを特定することが可能である。本研究では、StrategyQAおよびHotpotQAのマルチホップ質問回答ベンチマークを用い、GPT-3.5-TurboおよびGPT-4.1-Nanoを用いた概念実証的な評価を行っている。評価指標には、AUROC（Area Under the Receiver Operating Characteristic Curve）、AUARC（Area Under the Accuracy-Rejection Curve）、ECE（Expected Calibration Error）、およびBrier Scoreが用いられ、ベイズ不確実性伝播の有効性と限界が検証されている。
本手法は、Agentic RAGパイプラインを部分観測マルコフ決定過程（POMDP）としてモデル化し、ベイズネットワーク（BN）を用いて不確実性の伝播を定量化する。不確実性の指標として、まずトークンレベルのエントロピー（Naive Entropy）を用い、生成されたシーケンスの長さ $L$ に対して正規化された対数確率 $\mathcal{H}_{token} = -\frac{1}{L} \sum_{t=1}^{L} \log P(x_t | x_{<t})$ を計算し、これをBNの事前確率をパラメータ化するための局所的な信頼度推定値として利用する。次に、反復的な検索プロセスにおける「意味的逸脱（Semantic Divergence）」を導入しており、これはUPropフレームワークの概念を拡張したもので、決定された出力分布と再サンプリングされた出力分布の間のワッサースタイン距離を、埋め込み空間上の投影を用いて算出することで、各ノードにおける固有不確実性（IU）を推定する。BNの構造において、ワークフローの各段階（Planner $\mathcal{T}_{pl}$、Evaluator $\mathcal{T}_{ev}$、Generator $\mathcal{T}_{ge}$ 等）はノードとして定義され、各ノードの不確実性状態は条件付き確率表（CPT）を通じて伝播される。本研究では、最終的な判定ノード（Overall）のCPTを決定論的なORゲートとしてモデル化しており、パイプライン内のいずれかのノードが閾値 $0.5$ を超える不確実性（FAIL）を示した場合、全体の出力もFAILとなる。この簡略化されたモデルにより、Agentic RAGにおける不確実性の蓄積がハルシネーションやコンファブレーションの検出に有効であるかを検証している。
本研究では、StrategyQAおよびHotpotQAの2つのマルチホップ推論ベンチマークを用い、ReAct手法に基づくエージェント型RAGパイプラインにおけるベイズ不確実性伝播の有効性を評価している。実験設定では、GPT-3.5-TurboおよびGPT-4.1-Nanoを使用し、Planner/Generatorのtemperatureを0.2、Evaluatorを0.8に設定、各ステップのサンプル数 $n=10$ とした。AUROCの結果、StrategyQAではGeneratorが最も強い不確実性信号を示す一方、HotpotQAでは全ノードがランダム以上の識別能を持ち、Overall BNがUPropのベースラインに匹敵する性能を示すことから、推論の複雑さが増すほどベイズ的な不確実性の統合が有効であることが示された。AUARCによる選択的予測の評価では、HotpotQAにおいてOverall BNが最高値を示し、複数ステージにわたる不確実性の結合が複雑な推論において重要であることが示唆された。較正性能については、ECEおよびBrier Scoreの分析から、StrategyQAではOverall BNが失敗確率を過大評価する傾向がある一方、HotpotQAではタスクの難易度が不確実性推定とより良く一致し、確率的な精度が大幅に向上することが確認された。
本評価実験では、Bayesian Network (BN) による不確実性の伝播が、タスクの複雑性と各ノードの信頼性に依存することを示している。HotpotQAのような複数段階の推論を要する複雑なタスクでは、BNは個々のパイプラインノードよりも優れた性能を示し、不確実性が蓄積する過程で伝播させることに高い価値があることが確認された。一方で、StrategyQAのような比較的単純なタスクでは、PlannerやEvaluatorといった信頼性の低いノードの信号が、決定論的なORゲートによってGeneratorの信号と同等に扱われることで、全体の予測性能を低下させる現象が見られた。また、識別性能（Discrimination）と較正性能（Calibration）の間にはトレードオフが存在し、現在の決定論的ORゲートは失敗確率を過大評価する保守的な挙動を示すが、これは安全性が重視される産業用途には適している可能性がある。本手法の限界として、ノードごとの信頼性に適応できない点、Generatorの自己評価信号 $P(\text{True})$ が系統的な保守性を持つ点、およびWikipediaを用いた環境が特定の産業ドメイン（OSWメンテナンス等）とは異なる点が挙げられており、改善策として学習可能な抑制パラメータを持つNoisy-ORモデルの導入や、Isotonic Regression等による事後較正が提案されている。
本研究では、Wasserstein意味的ダイバージェンスと $P(\text{True})$ 自己評価から導出されるノードごとの不確実性信号をベイジアンネットワーク（BN）を通じて伝播させ、システム全体の信頼度を推定する軽量な不確実性認識型Agentic RAGフレームワークを提案した。StrategyQAおよびHotpotQAベンチマークを用いたGPT-3.5-TurboとGPT-4.1-Nanoによる評価では、AUROC、AUARC、ECE、Brier Scoreを用いて性能を検証しており、不確実性が複数の推論段階を経て蓄積される真のマルチホップ推論タスクにおいて、ベイジアン不確実性伝播が最も効果的であることを示した。実験結果によれば、Generatorノードの $P(\text{True})$ 自己評価が最も強力な個別の不確実性信号を提供する一方で、パイプラインの各段階の不確実性を組み合わせることで、より困難なベンチマークにおける全体的な性能が向上することが確認された。本手法の限界として、決定論的なORゲートの使用、保守的な $P(\text{True})$ キャリブレーション、および産業用データではなく汎用的な質問応答ベンチマークでの評価に留まっている点が挙げられる。今後の展望として、適応的なベイジアン構造の検討、キャリブレーション技術の改善、およびOSWメンテナンス意思決定支援シナリオを含むドメイン特化型の検索コーパスを用いた検証が予定されている。
本研究で使用されたデータセットはすべて公開されており、研究の再現性を確保するために、Agentic RAGパイプライン、ベイズネットワークの推論スクリプト、および評価用ノートブックを含むすべてのコードが GitHub（https://github.com/LouisDonaldson/BN-Uncertainty-Propagation.git）にて公開されている。