マルチホップ推論を必要とする検索拡張生成（RAG）において、初期の検索失敗が後続の推論に悪影響を及ぼすエラー伝播が課題となっている。従来の最終回答の正誤のみを報酬とする手法では、報酬が疎であることに加え、中間段階の検索ミスや推論の誤りを検知できない。また、既存のプロセスベースの手法も、各ステップを最終回答との整合性のみで評価するため、不適切な検索結果から偶然正しい回答に至った場合に、誤ったプロセスを正解として学習してしまう問題がある。
従来のプロセス報酬モデル（PRM）は数学的推論などの形式的論理に特化しており、RAGにおける「論理的妥当性」と「検索された文書への接地性」の両方を検証できていなかった。本研究は、推論の論理的な正しさだけでなく、検索された根拠に基づく事実的な妥当性を同時に評価する生成的なPRMを導入した点が新規である。これにより、誤ったプロセスを経て正解に到達する「偽の成功」を排除し、検索と推論の依存関係を考慮した精緻なステップレベルの信号を提供できる。
提案手法は二段階のプロセスで構成される。第一段階では、生成と検索を交互に行う思考の連鎖を用いて推論軌跡をサンプリングし、各ステップに正誤ラベルと根拠（rationale）を付与したデータセットを構築して、これらを出力する生成型PRMを学習させる。第二段階では、PRMを用いた価値木探索（VTS）を行う。この探索では、UCB（Upper Confidence Bound）に基づく選択とバックプロパゲーションを用い、最終的なF1スコアに深さによる割引を適用したものと、PRMによるステップごとの正誤予測を組み合わせた報酬関数によって、各ノードの価値を推定する。この探索を通じて、価値の高いステップを「選択」、低いステップを「拒絶」とする選好ペアを構築し、ステップレベルの直接選好最適化（DPO）によって方策モデルを学習する。
5つの質問応答ベンチマークを用いた実験の結果、PRO-Stepは平均で34.5 EMおよび44.1 F1を記録し、既存の強化学習ベースやヒューリスティックな手法を上回る精度を達成した。特に複雑なマルチホップタスクにおいて、最終回答のみを報酬とするSearch-R1に対し、2WikiMultiHopQAでは9.2 EM、Bamboogleでは29.2 EMの差をつけて改善した。また、5,000問のシード質問を用いた学習により、Search-R1が約17万の訓練インスタンスを必要としたのに対し、高いサンプル効率を実現している。
本手法の限界として、プロセス報酬モデルのラベル生成に用いたモデル（QwQ-32B）の品質に依存する点が挙げられる。また、MuSiQueデータセットにおいて特定の既存手法に僅かに及ばないケースがあり、これはクローズドソースのモデルを使用せず、比較対象よりも少ない学習データ量を選択したことによるトレードオフである。さらに、PRMのフィードバックに基づいた軌跡の再生成を試みたところ、推論時の自然な検索・推論パターンから逸脱することで、逆に性能が低下するという課題も確認された。今後の課題として、再生成された軌跡のスタイル乖離を適切に扱う手法の検討が挙げられる。
検索拡張生成（RAG）におけるマルチホップ推論では、初期段階の検索失敗が後続のステップに悪影響を及ぼすエラー伝播が課題となるが、従来の報酬最適化は最終回答のみを評価するため、中間過程の誤りを検出できない。既存のプロセスベースの手法も、各ステップを最終回答との整合性のみで評価するため、不適切な検索結果から偶然正しい回答に至った場合でも誤ったプロセスを報酬してしまう問題がある。提案手法であるPRO-Stepは、各ステップの論理的な妥当性と証拠に基づく根拠の両面を評価する生成的なプロセス報酬モデル（PRM）を導入する。このPRMを用いて価値木探索を行い、妥当なステップと欠陥のあるステップを対比させた選好ペアを構築し、ステップレベルの直接選好最適化（DPO）によって方策を学習させる。単一およびマルチホップの質問応答データセットを用いた5つのベンチマーク実験において、PRO-Stepは平均的な完全一致（EM）およびF1スコアにおいて最高精度を達成した。
従来のRAG（検索拡張生成）は、検索後に生成を行う線形なワークフローに従うため、反復的な検索やクエリの再構成を必要とする多段階推論タスクへの対応が困難である。既存の強化学習を用いた手法は、最終的な回答の正誤のみを報酬とするため、初期段階の検索ミスが後の推論に波及しても検知できず、報酬が疎であることから学習の収束に多くのデータを要するという課題がある。本研究では、推論の各ステップにおける論理的な妥当性と、検索された文書に基づく事実的な根拠の両方を評価するフレームワークであるPRO-Stepを提案する。この手法は、推論と検索が交互に行われる思考の連鎖を用いて、各ステップの正誤ラベルと根拠を生成するGenerative PRMの訓練、および価値木探索（VTS）によって構築したステップレベルの選好ペアに基づき、直接選好最適化（DPO）を用いて方策モデルを訓練する二段階のプロセスで構成される。実験の結果、PRO-Stepは単一ホップおよびマルチホップの質問応答ベンチマークにおいて、評価した手法の中で最も高い平均完全一致（EM）およびF1スコアを達成した。
従来のRAG（検索拡張生成）は、固定された情報をプロンプトに付与する手法から、不確実性に基づいた検索や動的なクエリ再構成、推論と検索を交互に行う手法へと発展してきた。強化学習を用いた枠組みでは最終回答の正誤を報酬とする手法が成果を上げているが、報酬が疎であり、中間的な検索や推論の質に対する信号が得られないという課題がある。ステップ単位の報酬を用いる手法も存在するが、それらは依然として最終回答の正誤に基づいて中間ステップを評価しており、不適切な検索が偶然正しい回答を導いた場合のような誤った成功を排除できない。プロセス報酬モデル（PRM）は数学的推論などの分野でステップごとの検証により性能を向上させてきたが、既存研究は論理的な検証が容易な形式的推論に集中しており、推論と外部検索が交互に行われるRAG環境における、論理的妥当性と検索された根拠への接地性の両方を検証する課題には対応できていない。提案手法であるPRO-Stepは、推論の論理的妥当性と検索された根拠への接地性の両方を評価する生成型PRMを導入することで、検索と推論の依存関係を考慮したステップレベルの信号を提供し、好みのペア構築と方策最適化のための価値木探索を導く。
PRO-Stepは、検索拡張生成（RAG）において事実に基づいた推論を強化するための2段階のフレームワークである。第1段階では、モデルが思考プロセスの中で検索クエリを生成し、検索結果を文脈に組み込む生成と検索の交互サイクルを用いて、HotpotQAとMuSiQueの事例から推論軌跡をサンプリングし、プロセス教師ありデータセットを構築する。このデータセットに対し、QwQ-32Bを用いて各ステップの正誤ラベルと根拠を付与し、DeepSeek-R1-Distill-8Bを初期値として、根拠と正誤ラベルの両方を出力する生成型プロセス報酬モデル（PRM）を学習させる。第2段階では、PRMを用いた価値木探索を採用し、UCBに基づく選択とバックプロパゲーションを用いて各ノードの価値を推定する。この探索では、最終的なF1スコアに深さによる割引を適用したものと、PRMによるステップごとの正誤予測を組み合わせた報酬を用いることで、誤った推論を経て正解に至る「偽の成功」を排除する。最後に、この探索によって得られた、価値関数の値が高いステップを「選択」、低いステップを「拒絶」とするペアを用いて、ステップレベルの直接選好最適化（DPO）を行い、モデルのポリシーを最適化する。
PRO-Stepは、検索拡張生成（RAG）において、プロセス報酬モデル（PRM）を用いて推論の各ステップを最適化する手法である。5つのベンチマークを用いた実験の結果、PRO-Stepは平均で34.5 EMおよび44.1 F1を記録し、既存の強化学習ベースの手法やヒューリスティックな手法を上回る性能を示した。本手法のPRMは、論理的な妥当性と検索された証拠の根拠を同時に評価するため、誤った推論が偶然正しい回答を導く「偽陽性」を効果的に排除でき、特に複雑なマルチホップ推論において高い精度を実現する。最適化戦略の比較では、正解と不正解のステップを対照させるDPOが、SFTやKTOよりも優れた性能を示し、プロセスレベルの学習には対照的な信号が不可欠であることが確認された。また、取得するドキュメント数や検索ステップ数を増やすことで性能が向上することに加え、異なるモデル規模やモデルファミリーに対しても高い汎用性を持つことが示された。さらに、初期の検索で必要な証拠が得られなかった場合でも、後のステップで情報を補完して正解に到達する回復力においても、結果のみを報酬とする手法より優れていることが実証された。
本研究では、マルチホップ推論におけるエラーの伝播を抑制するため、プロセスレベルの監督をRAGに統合するフレームワークであるPRO-Stepを提案する。この手法は、中間ステップの論理的な妥当性と証拠に基づく根拠付けの両方を評価する生成的なプロセス報酬モデルを訓練し、それを用いてVTSにより、最終的な回答が正解であっても誤った推論過程を含む不適切な軌跡を明示的に排除することで、ステップレベルの選好ペアを構築する。これらの選好ペアを用いて、生成と検索が交互に行われるプロセスにおける方策モデルをDPOによって最適化する。5つのQAベンチマークを用いた実験の結果、PRO-Stepは中間推論の欠陥を改善し、平均EMおよびF1スコアにおいて最高精度を達成した。本手法は、報酬が最終結果のみに与えられる疎な報酬の限界を緩和し、マルチホップQAタスクにおけるきめ細かな方策最適化を実現する有効なアプローチである。
本研究の限界として、まずプロセス報酬モデルのラベル生成に用いたQwQ-32Bの信頼性が挙げられるが、Claude Opus 4.7との比較監査により、系統的なバイアスなく高い一致率が示されており、再現性を確保するための選択として妥当性が確認されている。手法の性能については、MuSiQueデータセットにおいてStepSearchに対し1.3 EMの差が生じており、これはクローズドソースのモデルを教師とせず、より小規模なデータセットで学習を行ったことによるトレードオフである。Bamboogleデータセットはテスト事例が125件と少ないため統計的な信頼性に欠けるが、検定の結果、ReasonRAGとの差は統計的にノイズと区別できない範囲に留まっている。また、プロセス報酬モデルのフィードバックに基づいた軌跡の再生成を試みたところ、平均で10.7 EMおよび9.8 F1の性能低下を招いた。これは、再生成された軌跡が推論時の自然な探索および推論のパターンから逸脱しており、既存の出力マージンによるフィルタリングではそのスタイルの乖離を検出できないことが原因である。
本研究で提案するPRO-Stepは、大規模言語モデルにおける検索拡張型推論を最適化するためのフレームワークである。実験に使用したHotpotQA、MuSiQue、2WikiMultiHopQA、PopQA、Bamboogleのすべてのデータセットは、研究目的で公開されているベンチマークであり、学習データもこれら既存のデータセットのみから構成されているため、個人を特定できる情報の収集や処理は行われていない。本手法は、大規模言語モデルに固有のリスクである、残存するハルシネーションや情報の陳腐化といった問題以外の新たなリスクを導入するものではない。実用化にあたっては、適切な人間による監視を適用することが推奨される。なお、論文執筆におけるAIの利用は、文法および言語の校閲のみに限定されている。