対象は、格子状環境上で複数のエージェントが障害物や他エージェントとの衝突を避けながら、各自の目標へ到達するマルチエージェント経路探索である。港湾、空港、倉庫など、多数の移動ロボットが同時に動く応用が背景にある。中央集権型手法は全体情報を利用できる一方、エージェント数が増えると計算量と計画時間が大きくなり得る。分散型手法は大規模環境に適するが、局所情報だけではエージェント間の協調が不足し、成功率や効率が低下する可能性がある。
中心的な提案は、Independent Q-Learningを基礎にした協調的報酬整形法CoRSである。あるエージェントの行動が近隣エージェントへ与える影響を評価し、その相互作用を報酬へ組み込むことで、個別報酬の最大化だけでは得にくい協調を促す。協調を学習時の報酬へ導入しながら、実行時は分散的な方針を維持できる点が、複雑な通信機構を用いる既存手法との差として位置づけられる。論文は、CoRSをDHCの学習へ組み合わせたCoRS-DHCを、複数の既存プランナと比較している。
MAPFを部分観測のマルチエージェント強化学習として扱い、各エージェントは局所観測に基づいて行動を選ぶ。環境は4近傍の格子移動を採用し、エージェントは視野を持ち、最大二つの最近傍エージェントと通信できると記述されている。基本報酬は、目標へ向かう移動、目標から離れる移動、目標上または目標外での停止、衝突、終了に異なる値を与える。CoRSは、近隣の行動や状態との関係を考慮して報酬を調整し、他者の通行を妨げたり衝突したりする方策を抑制する。既存のネットワーク構造を用い、事前に得た方策ネットワークからファインチューニングすることで学習を進める。
実験は標準的なMAPF環境で行われ、学習ではカリキュラム方式により、単一エージェントの簡単な課題からエージェント数または環境サイズを増やす課題へ段階的に移行する。最終的な学習対象は10エージェントで、エピソードの最大ステップ数は256、最大学習ステップ数は500,000とされる。評価では障害物密度0.3の各シナリオに200個のテストケースを用い、成功率、平均ステップ数、メイクスパンを比較した。CoRS-DHCはDHC、DCC、PRIMALなどの既存手法と比較され、DCCの複雑な通信機構に対してCoRSは学習時の報酬整形だけを追加する。
報告された結果では、CoRS-DHCはDHC単独よりすべてのテストセットで優れ、高密度な64エージェントおよび128エージェントの設定では成功率を20%以上改善したとされる。平均ステップ数も、40×40および80×80の双方で、表に示されたエージェント数についてCoRS-DHCの方がDHCより短い。DCCと比べると、64エージェントの格子を除くシナリオでメイクスパンは同程度または短く、成功率は大半のシナリオで上回ったと報告される。一方、近隣の行動に報酬が依存すると学習安定性や収束方策の効率を損なう可能性があり、報酬整形の一般化範囲や失敗条件は抜粋から十分には確定できない。
MAPFでは、複数エージェントの衝突のない経路を求める。研究分野では、全体情報を使う中央集権型と、各エージェントが局所情報で動く分散型が大きな分類として扱われる。MARLは大規模シナリオで分散方策を学習する手段として有望だが、分散学習・分散実行では全体情報の不足により自己中心的な行動が生じやすい。CTDE、DTDE、IQL、DHC、DCC、PRIMALなどの関係は本文で概説されるが、提示抜粋には各手法の完全なアルゴリズム詳細はない。
IQLのような分散的な学習では、エージェントが自分の報酬を優先し、他エージェントの経路を塞いだり衝突したりすることがある。MAPFでは局所的に合理的な行動でも全体の通行を阻害するため、協調不足が成功率と効率を低下させる。CoRSは、こうした局所方策と全体的な通行性能のずれを報酬設計で小さくすることを目指す。
CoRSはエージェントの近隣への影響を報酬へ組み込む報酬整形であり、実行時の複雑な通信を主たる仕組みとしない。本文は、近傍半径が無限に近づく場合に、既存研究の近隣報酬と等価になると述べる。報酬表では、目標へ向かう移動はマイナス0.070、目標から離れる移動はマイナス0.075、目標上での停止は0、目標外での停止はマイナス0.075、衝突はマイナス0.5、完了は3である。提示文では、CoRSの厳密な数式、仮定の内容、近隣影響の計算法は欠落しており、そこは確定できない。
学習には16個の独立環境を並列利用し、経験を共有バッファへ集め、GPU上の学習器が方策を更新した。バッチサイズは192、系列長は20で、学習率は途中で半減され、最大500,000ステップまで訓練されたと記述される。テストでは40×40と80×80のマップ、4から128までのエージェント数、障害物密度0.3が用いられ、各シナリオは200ケースである。使用ハードウェアはIntel i5-13600KFとNvidia RTX2060 6Gである。
平均ステップ数について、40×40では4エージェントでDHCが64.15、CoRS-DHCが50.36、64エージェントで179.69と151.02だった。80×80では4エージェントで114.69と92.14、64エージェントで183.44と153.06だった。128エージェントを含む40×40の比較では、DHCが213.75、CoRS-DHCが193.50と報告される。成功率については、高エージェント密度の設定で20%以上の改善が述べられるが、抜粋には全シナリオの成功率一覧はない。
論文は、CoRSがMAPF向けMARLに協調性を加える報酬整形法だと結論づける。CoRS-DHCはDHCより成功率と経路効率を改善し、DCCに対しても多くの条件で同等以上の性能を示したとされる。著者は、この考え方を他のマルチエージェント強化学習環境へ拡張することを今後の方向として挙げる。
近隣の行動へ報酬を依存させることは、学習の安定性や収束後の方策効率を損なう可能性がある。提示された抜粋は、CoRSの詳細な仮定、計算コスト、乱数によるばらつき、統計的有意性、未知のマップへの一般化を確立していない。通信範囲、視野、マップ形状などの設定依存性も、抜粋だけでは十分に評価できない。したがって、報告された優位性をすべてのMAPF環境へ外挿することはできない。
本研究の意義は、分散実行のスケーラビリティを保ちながら、報酬設計によってエージェント間協調を促そうとした点にある。DCCのような複雑な通信機構を導入せず、既存のDHC型ネットワークに適用できるため、実装上の負担を抑えた比較的簡潔な方向性を示す。特に多数エージェントで成功率が改善するという報告は、大規模ロボット群の経路計画に関心を持つ研究者に有用である。
分散MARL、MAPF、報酬設計、協調行動学習を研究する読者に適している。大規模なエージェント数での成功率と、通信機構の複雑さとのトレードオフを調べたい人にも向く。CoRSの完全な定式化や再現条件を必要とする読者は、提示抜粋だけでは不足するため、論文本文の詳細確認が必要である。