対象は、障害物、エージェント、目標をセル上に配置した2次元4近傍グリッド環境におけるMAPFである。各エージェントは、上下左右への移動または現在位置での待機を選び、他のエージェントや障害物との衝突を避けながら目標へ向かう。一回限りのMAPFでは、開始位置から目標位置までの衝突のない経路を求め、全エージェントが到達するまでの時間などを抑える。生涯型MAPFでは、エージェントが目標に到達すると直ちに次の目標を割り当てられ、継続的に処理を行うため、単位時間あたりの到達目標数が重要になる。従来の結合型計画はエージェント数に伴う計算負荷が大きく、分離型計画は衝突回避、デッドロック回避、頻繁な再計画を同時に扱うことが難しい。
PRIMAL2は、低密度で疎な環境を対象とした従来のPRIMALを、高密度で構造化された倉庫型環境と生涯型MAPFへ拡張した研究である。新規性は、狭い通路への進入、通路内での進行、対向エージェントとの譲り合いなどに関する行動規則を、暗黙の協調を形成する学習対象として組み込んだ点にある。局所観測に通路構造や他エージェントの将来位置に関する情報を加え、規則学習、専門家経路の模倣学習、環境のランダム化を組み合わせている。さらに、分散学習を高速化する訓練コードを整備し、大規模なチームを扱える実装基盤を示した。
各エージェントは、自身を中心とする限定された正方形の視野から、障害物、他エージェント、その目標、自身の目標を観測する。自身の目標への方向と距離、視野内の各セルから目標までの経路距離、単独計画から予測した近隣エージェントの将来位置も入力に含める。さらに、通路の端点、進入判断が必要なセル、通路の占有や遮断状態を表す情報を利用し、狭い通路で衝突や行き詰まりを招く進入を避ける。方策は移動または待機を局所情報から選び、中央の全体計画を毎回実行せずに各エージェントがオンラインで経路を更新する。学習では、通常の方策と価値の学習に加え、望ましい通路行動を教師あり損失で促し、中央計画器の行動を模倣させ、異なる地図、密度、チーム構成を含む環境で方策を訓練する。
評価は、一回限りのMAPFと生涯型MAPFのシミュレーションで実施された。比較対象は、最適計画器CBSH-RCT、限定的な非最適性を許す中央集権型計画器ODrM*、従来の分散学習手法PRIMALであり、PRIMAL2の学習構成を変更した変種も調べている。一回限りのMAPFでは、全エージェントが目標に到達するまでの時間と成功率を主な指標とし、生涯型MAPFでは単位時間あたりの目標到達数、すなわちスループットを評価した。チーム規模、世界サイズ、エージェント密度、通路長を組み合わせ、計画器には同じテストシナリオを与えた。抜粋で確認できる最大規模は2048エージェントであり、その他の範囲、制限時間、性能差の多くの具体的数値は取得した本文では確認できない。
本手法は、各エージェントが完全な環境状態や直接通信を利用せず、限定された局所視野から判断するという前提に依存する。通路の端点や交通規則が意味を持つ構造化環境では共有規則が協調に役立つが、自由空間や異なる構造の環境で同じ規則が有効とは限らない。計画範囲が短い場合、遠方の状況を予測できず、短期的にはよい移動が将来のデッドロックにつながる可能性がある。今後の課題として、より強力な再帰型ネットワーク、強化学習と模倣学習の比率の体系的検討、近年のオフポリシー学習法の利用が挙げられている。
MAPFは、空港管理、倉庫自動化、監視、捜索救難など、多数のロボットを同時運用する応用で必要となる基盤技術である。現実の配送センターや工場では、ロボットは一つの目標に到達して停止するのではなく、次の作業目標を継続的に受け取る。こうした運用では、単一の経路の最適化だけでなく、タスク到達の処理量、再計画の速さ、ロボット数に対する拡張性が重要になる。特に狭い通路と高い交通密度が存在すると、個々のロボットの合理的な移動だけでは集団全体の流れを維持しにくい。
一回限りのMAPFでは、全エージェントをそれぞれの目標へ衝突なく移動させ、全体の到達時間や経路長を評価する。生涯型MAPFでは、到達済みのエージェントへ新しい目標が割り当てられ続けるため、有限の一回計画ではなく、変化する目標に対する連続的な経路生成が必要になる。全エージェントの状態を同時に扱う中央計画は、チーム規模が大きくなると探索空間と計算量が急増する。逆に各エージェントが独立に動くと、狭い通路での対向、進入順序、停止位置の相互作用によって衝突やデッドロックが生じる。
局所観測は、単純な占有情報だけでなく、目標までの距離、近隣エージェントの予測位置、通路の端点と進入判断点、通路の占有・遮断状態を含む複数の情報チャネルで構成される。通路の構造を明示することで、エージェントが同じ狭い領域へ同時に進入する状況や、通路内での不用意な方向転換を抑える。行動の有効性を別に判定する学習要素により、衝突や事前に定めた通路規則に反する移動の選択を減らす。待機は許容されるため、規則を守るために複数時刻その場に留まることもできる。
実験では、密度、チーム規模、世界サイズ、通路長を変えた一回限りのMAPFと生涯型MAPFを扱った。中央集権型の最適・準最適計画器、従来のPRIMAL、PRIMAL2を比較し、通路規則を学習しない構成や通路情報を観測から除いた構成も調べた。分散方策の評価では、全エージェントの完全成功に加えて、大部分のエージェントが目標に到達した場合を捉える補助的な成功判定も用いられた。抜粋では、個々の地図サイズ、密度、チーム規模の全範囲、訓練時間、各比較条件の正確な数値は確認できない。
低密度で通路が短い環境では、比較した計画器はいずれも高い成功率を示し、性能差は小さかった。小規模チームでは中央集権型計画器とPRIMAL2の性能は概ね近く、中規模チームの一部の成功率指標では中央集権型計画器がPRIMAL2を上回った。一方、チーム規模が大きくなるとPRIMAL2が中央集権型計画器を上回る傾向を示し、従来のPRIMALも中規模および大規模チームで上回った。生涯型MAPFでは中央集権型計画器に近いスループットを達成し、通路規則を学習しない変種との比較では、大規模チームほど規則学習の効果が大きかった。
PRIMAL2は、高密度で通路制約の強い環境において、局所情報だけから各エージェントがオンラインに経路を計画する分散学習枠組みとして提案された。通路に関する共有規則を学習することで、明示的な通信なしに個別の行動から協調的な集団挙動を形成できることが示された。結果は、従来のPRIMALからの改善、既存計画器に対する競争的な性能、リアルタイム再計画、および最大2048エージェントへの拡張性を報告している。
抜粋では、実験結果の多くが図や補足資料への参照として示され、性能曲線、具体的なチーム規模、密度、時間制限、性能差の詳細は確認できない。評価対象はシミュレーションであり、実ロボットのセンサ誤差、動的障害物、機器故障、通信障害の影響は取得した本文では確認できない。局所視野と構造化された通路情報、事前に定めた行動規則への依存があるため、非構造的な環境への一般化は本文抜粋から検証できない。学習方策は探索器の完全性や最適性を保証するものではなく、デッドロックや失敗を理論的に排除できない。
本研究の重要性は、全体状態を用いる中央計画の計算負荷と、独立計画による協調不足の間を、学習された移動規則で埋めようとした点にある。継続的に新しい作業を受け取る倉庫ロボット群では、全体計画を頻繁に解き直さずに局所判断を更新できることが実用上重要である。大規模チームで通路の流れを整え、明示的な通信なしにスループットを維持する設計は、分散ロボットシステムとMAPDの研究に示唆を与える。
倉庫搬送、配送センター、工場内物流など、狭い通路と継続的な目標割り当てを含むMAPF・MAPD研究者に適している。局所観測型のマルチエージェント強化学習、中央計画器を用いた模倣学習、共有規則による暗黙の協調に関心がある読者にも有用である。反対に、最適性や完全性の形式的保証、実機での安全性、センサ不確実性、非構造的環境への一般化を主目的とする場合は、探索ベースの中央計画や保証付き手法と併読するのが適切である。