【要約】吊り荷Yaw制御システムの開発 #06-2：可変目標Yaw制御モデルを学習する [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者が吊り荷のYaw角を広範囲で制御しようとした際、段階的に難易度を上げるカリキュラム学習が機能しない問題に直面した。学習範囲を広げるたびに、以前習得したはずの小角度での制御が崩れる現象が発生した。主な課題は以下の通りである。
- ・新しい角度を学習すると、既習の小角度での制御に失敗する。
- ・Replay Buffer内の経験が、学習が進むにつれて特定の角度に偏る。
- ・Actorが要求する指令と、環境側の制約による適用指令に乖離が生じる。
- ・「小角度＝容易」という前提が、物理的な挙動と一致しない。
// Approach
開発者は、人為的な難易度設定を排除し、全目標を同時に学習するFull Range方式を採用した。これにより、特定の角度に依存しない汎用的な方策獲得を目指した。具体的な手法は以下の通りである。
- ・目標角を3つの層に分け、各層から均等にサンプリングする層化サンプリングを導入。
- ・Actor/Criticの更新時に、環境側の制約（Projection）を適用し、指令の乖離を抑える。
- ・探索ノイズの影響を除去するため、決定論的な評価（deterministic evaluation）を定期的に実施。
- ・成功率だけでなく、低出力での制御品質（quality_success）を基準にBest Actorを選定。
// Result
H鋼を用いた実験において、550,000 stepで全37目標の物理的成功と制御品質の達成を確認した。これにより、1つのモデルで広範囲のYaw角を低出力で制御できることが実証された。
- ・最終的な目標Yaw角誤差は2.3°、平均絶対制御量は0.048を記録。
- ・学習の進行に伴い性能が変動するため、評価に基づいたBest Actorを保存する運用を確立。
- ・全目標で成功したモデルをチェックポイントとして保存する体制を構築。
Senior Engineer Insight
> 物理制御における強化学習の難所が凝縮されている。特に「カリキュラム学習の罠」と「評価の厳格化」は極めて実戦的だ。小角度ほど制御が繊細になるという物理的特性を見落とすと、モデルは破綻する。また、学習の進行と性能が必ずしも正比例しないため、ステップ数ではなく、決定論的な評価に基づくモデル選定が運用上不可欠である。