6Gネットワークやデジタルツインが活用される高度な自動化環境において、複数のエージェントが衝突を避けながら目的地へ到達する経路探索問題を対象とする。従来の経路探索手法では、通信環境の動的な変化が考慮されておらず、通信品質の低下によるデータ通信の遮断が発生する可能性がある。本研究では、通信品質とエージェント間の協調を同時に考慮する必要がある、分散型部分観測マルコフ決定過程としてこの問題を定式化する。
従来の経路探索手法に対し、通信品質を示すSINR（信号対干渉雑音比）を観測情報に組み込み、通信の安定性と移動効率を両立させた点に新規性がある。また、集中学習・分散実行（CTDE）パラダイムにおいて、エージェントが自身のコピーと協力できない問題を解決するため、高優先度エージェントの計画経路のみを観測する非対称優先度ベースの観測手法を導入した。これにより、エージェント間の優先度の差を利用した効率的な協調学習を可能にしている。
非同期なアクター・ラーナー構造を採用し、CTDEパラダイムに基づき、複数のアクターが収集した経験を中央のラーナーが統合して学習を行う。学習にはDouble DQN、優先度付き経験再生（PER）、重要度サンプリング（IS）を用いる。エージェントの観測は、障害物、他エージェントの位置、高優先度エージェントの計画経路、および正規化されたSINRマップからなる空間テンソルと、目標への相対座標等を含む特徴量ベクトルで構成される。報酬設計には、ゴール到達報酬、衝突ペナルティ、A*距離に基づくポテンシャルベースの報酬整形、および通信品質に基づくペナルティを組み合わせる。さらに、環境の複雑さを段階的に高めるカリキュラム学習を用いて学習を制御する。
倉庫環境でのシミュレーションにおいて、11時間の訓練の結果、推論成功率はエピソード5,000付近で90%の閾値を突破し、平均ステップ数は初期の約450から約100へと減少した。MovingAIベンチマークを用いたLaCAM*との比較では、256エージェントを超える大規模なシナリオにおいても、高い成功率と優れた解の長さ（makespan）を維持した。通信ブラックアウトが発生する条件下での検証では、PANAMAは高いSINRと堅牢性を維持する一方で、通信カバレッジを優先した経路選択によりmakespanが増大するという結果が得られた。
経路の短縮（makespanの最小化）と、良好な通信品質（SINR）の維持との間には明確なトレードオフが存在する。また、複雑な環境下でエージェント数をさらに増大させるための既存ベンチマークが不足していることが課題である。今後の課題として、異種エージェントの混在環境への対応や、エージェントによる遅延耐性ネットワーク（DTN）への統合が挙げられる。
PANAMAは、デジタルツイン・エコシステムにおけるマルチエージェント経路探索（MAPF）を目的とした、ネットワークの状態を考慮する新しいマルチエージェント強化学習（MARL）フレームワークである。この手法は、優先度の非対称性（Priority Asymmetry）を取り入れることで、アプリケーション提供者とネットワーク提供者の間の動的な相互作用に対応している。学習においては、集中学習・分散実行（CTDE）フレームワークと非同期的なアクター・ラーナー構造を採用しており、学習の加速とエージェントによる自律的なタスク実行を両立させている。シミュレーション実験の結果、PANAMAは既存のベンチマークと比較して、経路探索の精度、速度、およびスケーラビリティにおいて優れた性能を示すことが確認された。本手法は、ネットワークを意識した意思決定とマルチエージェントの協調を統合することで、複雑な実環境における自動化システムのレジリエンス向上に寄与するものである。
高度な自動化を実現するEmbodied AIにおいて、6Gネットワークによる通信やセンシング、および複雑な環境での検証を可能にするデジタルツイン（DT）の活用が期待されている。本研究では、ネットワークプロバイダーとアプリケーションプロバイダー間におけるデータ公開の課題に対し、DTをデータ公開の緩衝地帯として機能させるエコシステムを提案する。このエコシステムでは、人間、ロボット、ネットワークなどの実世界のエンティティに対応するDTが相互作用し、制御機能やデータ処理機能を持つデジタルツインネットワーク（DTN）を動的に構築する。提案手法であるPANAMAは、協調的なマルチエージェント経路探索（MAPF）問題を、分散型部分観測マルコフ決定過程（Dec-POMDP）として定式化し、集中学習・分散実行（CTDE）パラダイムを用いて解く。学習時にエージェントが自身のコピーと協力できない問題を解決するため、観測情報を非対称にする非対称優先度ベース観測を導入している。PANAMAは、ネットワークの制約を考慮したネットワーク認識型のアルゴリズムであり、既存のベンチマークと比較して、学習効率とスケーラビリティの両面で優れた性能を示す。
本システムモデルは、デジタルツイン（DT）エコシステムにおけるマルチエージェント経路探索を、分散型部分観測マルコフ決定過程（Dec-POMDP）として定式化しています。ネットワーク環境は、基地局の送信電力、アンテナ利得、および3GPPのUrban Micro環境に基づくパスロスを用いた物理層モデルによって表現され、各エージェントは受信信号強度が最大となるセクターからサービスを受けます。エージェントの通信品質は、他セクターからの干渉とノイズを考慮した信号対干渉雑音比（SINR）によって決定され、このSINRを標準的な変調符号化方式（MCS）のルックアップテーブルに基づいて正規化した値が、エージェントの観測情報として提供されます。エージェントの観測空間は、視野内の静的障害物、他エージェントの位置、高優先度エージェントの計画経路、および正規化されたSINRマップの4チャネルからなる空間テンソルと、目標への相対座標やA*経路のウェイポイントを含む特徴量ベクトルで構成されます。行動空間は離散的な移動アクションであり、複数のエージェントが同一セルに移動しようとする衝突が発生した場合は、優先度の低いエージェントがその場に留まるという解決メカニズムが適用されます。
PANAMAは、中央集中型学習・分散実行（CTDE）アーキテクチャを採用したマルチエージェント強化学習フレームワークであり、非同期なアクター・ラーナー構造によってスケーラビリティを確保している。学習には過大評価バイアスを抑制するDouble DQNを用い、TD誤差に基づき重要な遷移を優先的に抽出する優先度付き経験再生（PER）と、サンプリングの偏りを補正する重要度サンプリング（IS）を組み合わせて学習効率を高めている。ネットワークの安定化のため、ターゲットネットワークの更新にはPolyak平均によるソフトアップデートを用い、最適化にはAdamWと勾配クリッピングを適用している。また、エージェント数やマップの複雑さを段階的に増やすカリキュラム学習を導入しており、成功率が事前に定義された閾値を超えた段階で次のステージへ移行する。環境設定では、デッドロックを回避するために、エージェントのゴールまでのA*距離に基づく動的な優先度システムと、高優先度エージェントの計画経路のみを観測する非対称な観測空間を導入している。報酬設計には、ゴール到達時の報酬、衝突や時間経過へのペナルティに加え、A*距離の変化に基づくポテンシャルベースの報酬整形（PBRS）、高優先度エージェントの経路を占有した際のペナルティ、および通信品質（SINR）に基づくネットワークペナルティが含まれる。
PANAMAフレームワークは、倉庫や部屋の特性を反映した環境パラメータを用いて、カリキュラム学習スケジュールに従い11時間の訓練を実施した結果、訓練成功率が1.0に向かって着実に上昇し、推論成功率もエピソード5,000付近で卒業閾値である90%を迅速に突破した。エージェントが協調を学習するにつれて、問題解決に必要な平均ステップ数は初期の約450ステップから、約100ステップまで大幅に減少して安定した。MovingAIベンチマークを用いた比較実験では、ネットワーク認識なしの条件下でLaCAM*と比較した際、256エージェントを超えるシナリオにおいても高い成功率を維持し、解の長さ（makespan）においてもLaCAM*を上回ることで、PANAMAの優れた汎用性とスケーラビリティが示された。ネットワーク認識の有無に関する検証では、通信が不可能になるブラックアウト事象を考慮した際、PANAMAは混雑したシナリオでも高い信号対干渉雑音比（SINR）とブラックアウトに対する堅牢性を維持する一方で、良好な通信カバレッジを確保するための経路選択により、makespanが増大するというトレードオフの関係が確認された。
PANAMAは、経路選択と通信品質の維持との間にトレードオフが存在すること、および複雑な環境下でエージェント数を増大させるためのベンチマークが不足していることを明らかにしました。混雑したシナリオにおいては、信号対干渉雑音比（SINR）を維持し、通信断絶を防ぐためのネットワーク認識の重要性が示されています。これらの知見は、アクセスポイントとネットワークパートナー間の安全でプライバシーを保護したデータ交換を可能にする、6G以降のデジタルツイン・エコシステム向けネットワーク設計に寄与します。今後の展望として、PANAMAを異種エージェントに対応させることや、エージェントによる遅延耐性ネットワーク（DTN）へ統合することが計画されています。