エージェント数の増加に伴い計算複雑性が指数関数的に増大する、従来の集中型マルチエージェント経路探索（MAPF）の課題に対処する。対象は、限られた視野（FOV）しか持たない部分観測環境下で動作する複数のエージェントである。入力として自身の周囲のグリッド情報と目標への方向・距離を受け取り、出力として上下左右への移動または停止という離散的なアクションを行う。従来の分離型手法は解の完全性を欠き、結合型手法は大規模システムへの適用が困難であるという問題がある。
集中型エキスパートプランナーによるデモンストレーションを模倣学習に取り入れることで、通信なしに他者の動きがチーム全体に与える影響を考慮した協調行動を実現した。学習された単一のポリシーは、エージェント数や環境の次元に依存せず適用可能なスケーラビリティを持つ。また、自身の行動が他者の進行を妨げているかを予測する出力を学習に組み込むことで、従来の分散型手法では困難だった協調の質を向上させた。
非同期アドバンテージ・アクター・クリティック（A3C）アルゴリズムを拡張し、強化学習と模倣学習をエピソードごとにランダムに切り替えて適用するハイブリッド方式を採用している。ネットワークは、畳み込み層と最大プーリング層で処理する局所的な観測情報と、目標への方向・距離情報を結合し、長短期記憶（LSTM）層へと渡す構造を持つ。報酬設計では、目標到達までの時間最小化、衝突回避に加え、他者の到達を10ステップ以上遅延させた場合に適用されるブロッキング・ペナルティを導入している。さらに、行動クローニングの損失関数と方策勾配法の損失関数を併用し、学習の安定化を図っている。
グリッドワールドにおいて、CBS、ODrM*、ORCAといった既存手法と比較評価を行った。環境条件は、ワールドサイズ10から160、障害物密度0%から50%、エージェント数4から1024の範囲で設定されている。実験の結果、障害物のない160×160の広大な環境では、100エージェントを超える規模でも高い成功率を維持し、集中型プランナーを上回った。障害物密度の低い中規模環境の512エージェント条件下では、60%以上の成功率を記録した。また、実機とシミュレーションが混在する工場モデルの実験では、エージェントあたりの計画時間がGPU使用時で0.1秒未満、CPU使用時でも0.2秒未満という低遅延を実現した。
障害物が非常に高密度な小規模環境においては、ODrM*などの既存手法に比べ成功率が低下する傾向がある。また、学習時に経験していない80以上の大きなワールドサイズでは成功率が著しく低下するが、ゴールまでの距離情報を一定値で制限することで改善が可能である。現在の手法は、エージェントが自身の行動によって他者の経路を明示的に調整するような、より高度な協調行動を学習させる余地が残されている。
PRIMALは、強化学習と模倣学習を組み合わせることで、エージェントが明示的な通信を行わずに暗黙的な協調を行いながら、部分観測環境下でオンラインに経路を計画できる分散型ポリシーを学習するフレームワークである。従来の集中型マルチエージェント経路探索（MAPF）プランナーは、エージェント数の増加に伴い計算複雑性が指数関数的に増大するため、大規模なロボット運用や、ノイズや不確実性に対応するためのリアルタイムな再計算が困難であるという課題がある。本手法では、強化学習によって個々のエージェントの効率的な経路を学習させると同時に、集中型エキスパートプランナーによるデモンストレーションを模倣学習させることで、他者の位置がチーム全体に与える影響を考慮した動きを学習させる。学習された共通の単一エージェント用ポリシーは、エージェント数や環境の次元を問わず、任意の数のエージェントに適用できるスケーラビリティを持つ。実験では、最大1024エージェントが存在するランダムな環境において既存の最先端MAPFプランナーと比較して成功率を評価しており、さらに実機とシミュレーションを組み合わせた工場の模倣環境を用いた検証も行っている。
既存のマルチエージェント経路計画手法には、個々のエージェントの経路を優先順位に従って決定する分離型と、全エージェントの結合構成空間を探索する結合型の課題がある。分離型は低次元の探索空間を用いるため、解ける問題すべてを見つけ出す完全性を欠く一方、結合型は次元の呪いにより大規模なシステムへの適用が困難である。本研究では、エキスパートである中央集権型プランナーであるODrM*からの模倣学習を用いることで、明示的な通信を必要とせず、部分観測環境下でもエージェント間に協調行動を実現する手法を提案する。各エージェントの観測空間は、自身の周囲に限定された視野に基づくグリッド形式であり、障害物、近傍エージェント、近傍エージェントの目標地点、および自身の目標地点（視野内にある場合）をバイナリ行列のチャネルとして保持する。さらに、視野外にある目標地点の情報として、目標への方向を示す単位ベクトルとユークリッド距離を常に取得することで、部分観測による制約を補完している。エージェントの行動空間は、上下左右の4方向への移動または停止からなる離散的なアクションで構成される。
報酬設計では、エージェントが目標に到達するまでの時間を最小化させるため、目標上にいない状態での各ステップの移動に対して負の報酬を与え、移動よりも待機に対してより大きなペナルティを課すことで探索を促しています。エージェント同士の衝突には負の報酬を与え、全エージェントが同時に目標に到達した場合には正の報酬を与えます。学習の安定化のため、無効な行動を選択する対数尤度を最小化する損失関数を導入し、さらに学習中のエージェントが直前のステップと同じ位置に戻ることを防ぐことで、効率的な探索を支援しています。ネットワーク構成は、局所的な観測情報と目標への方向および距離の情報を個別に処理し、それらを結合した後に長短期記憶（LSTM）層へと渡す構造を採用しています。具体的には、観測情報は3x3のカーネルを用いた畳み込み層と最大プーリング層を組み合わせたネットワークで処理され、目標情報は全結合層で処理されます。このネットワークは、方策、価値、および他のエージェントの進行を妨げているかどうかを判定する「ブロッキング」特徴量の複数の出力を持ち、非同期アドバンテージ・アクター・クリティック（A3C）アルゴリズムに基づいて学習が行われます。
本手法は、強化学習（RL）と模倣学習（IL）を組み合わせたマルチエージェント学習により、協調的な経路探索を実現する。協調を促すため、あるエージェントが目標地点に留まることで他のエージェントの到達を10ステップ以上遅延させた場合に、報酬関数に大きなペナルティを課すブロッキング・ペナルティを導入している。学習プロセスでは、各エピソードの開始時にRLまたはILのどちらを用いるかをランダムに決定するハイブリッド方式を採用している。具体的には、エキスパートのデモンストレーションに基づく行動クローニングの損失関数と、標準的な方策勾配法による損失関数を併用することで、学習の安定化と高速化を図っている。また、エージェントが自身の行動がブロッキングに該当するかを予測する出力を学習させることで、ペナルティの理由を暗黙的に理解させる仕組みを備えている。環境設定においては、エージェント間の相互作用を増やすため、環境のサイズと障害物の密度を、より小さく密集した設定が選ばれやすい分布からサンプリングしている。
PRIMALの実験では、グリッドワールドにおいてCBS、ODrM*、ORCAといった既存のマルチエージェント経路計画手法との比較が行われました。環境設定として、ワールドサイズは10から160、障害物密度は0%から50%の範囲、エージェント数は4から1024まで多様な条件下で評価されています。学習時のパラメータとして、割引率0.95、エピソード長256、バッチサイズ128を用い、各エピソードの50%の確率でエキスパートによるデモンストレーションを提示しています。実験の結果、PRIMALは障害物密度が低い環境では非常に優れた性能を示しますが、共同行動が必要となる高密度な環境では既存のプランナーに劣る傾向があります。また、PRIMALは部分観測性を前提としているため、視野内のエージェント数が増加すると性能が低下する性質があります。さらに、学習時に経験していない80以上の大きなワールドサイズでは成功率が著しく低下しますが、エージェントの状態に含まれるゴールまでの距離を一定値で制限することで、大きな環境における成功率を大幅に改善できることが示されました。
PRIMALは、分散型強化学習と中央集権的なエキスパートプランナーからの模倣学習を組み合わせた、マルチエージェント経路計画手法である。障害物のない広大な環境における実験では、中央集権型プランナーがエージェント数の増加に伴う計算量の増大により困難に直面する一方で、PRIMALは1024エージェント規模でもほぼ完璧な成功率を維持し、高いスケーラビリティを示した。障害物密度の低い中規模環境においても、PRIMALは512エージェントの条件下で60%以上の成功率を維持し、他のプランナーを上回る性能を発揮した。一方で、障害物が非常に高密度な小規模環境では、ODrM*などの手法に比べ成功率が低下する傾向があるが、多くのエージェントを迅速に目標へ到達させる能力を持つ。実機とシミュレーションが混在する環境を用いた検証では、エージェントあたりの計画時間がGPU使用時で0.1秒未満、CPU使用時でも0.2秒未満という低いオンライン計算時間を実現した。
提供されたテキストには要約に必要な情報が含まれていません。