【要約】SO101をGR00T N1.6で学習から実機を用い推論動作まで確認した話し。 [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
- ・GR00Tの重いモデル実装とLeRobotの実機制御機能の共存。
- ・ローカルGPU（RTX 5070ti）での学習におけるメモリ不足（OOM）。
- ・推論処理による制御周期（FPS）の不安定化。
- ・安全制御（max_relative_target）が強すぎると、モデルの意図した動きを阻害するリスク。
// Approach
1.**分散プロセス構成**: GR00TをZMQサーバ、LeRobotをクライアントとして分離。
2.**データ変換**: LeRobotの観測データをGR00T形式へ、GR00Tのraw actionをSO101形式へ変換。
3.**通信実装**: ZMQとmsgpackを使用。numpy配列は
.npy bytesとしてシリアライズ。4.**学習環境**: Google ColabのA100を活用し、
lerobot-recordで収集したデータでfine-tuning。5.**安全制御**:
ensure_safe_goal_position()により、目標位置の急激な変化を制限。// Result
SO101実機での推論動作を確認。タスク「Green the black cube」に対し、50エピソードの学習で一定の精度を達成。ただし、推論待ちによる制御の隙間（Open-loop実行）が精度への課題として残る。
Senior Engineer Insight
> モデルの依存関係を実機側から切り離す設計は、開発効率と保守性の観点で極めて優秀である。エッジ側を軽量なZMQクライアントに留めることで、ハードウェア制約を回避している。ただし、推論待ちが制御ループを止める構造は、高精度な動作において致命的な遅延を生む。実戦投入には、推論スレッドと制御スレッドを分離し、action bufferを介した非同期制御へのアップグレードが不可欠である。また、安全制御パラメータとモデルの出力特性の整合性確認も重要となる。