Booster Gym ile Pekiştirmeli Öğrenme: Isaac Gym Eğitimi, MuJoCo Doğrulama, Gerçek Robota Aktarım

booster_gym, eğitimden dağıtıma uzanan tam bir hattı bir depoda toplar. README'nin öne çıkardığı dört özellik: eğitim, değerlendirme ve dağıtımı kapsayan uçtan uca akış; simülasyon ile gerçek arasındaki farkı azaltan ayar ve teknikler; değiştirilebilir ortam ve algoritmalar; Booster T1 için hazır yapılandırma. Çatıyı anlatan makale arXiv'de 2506.15132 numarasıyla yayımlandı. Depo Ekim 2026 itibarıyla GitHub'da yaklaşık 305 yıldıza sahip.

README'deki kurulum adımları:

1. Python 3.8 ile bir conda ortamı oluşturun.
2. CUDA destekli PyTorch kurun (README: numpy 1.21.6, pytorch 2.0, pytorch-cuda 11.8).
3. Isaac Gym Preview 4 paketini NVIDIA'nın sitesinden indirip isaacgym/python klasöründe pip install -e . ile kurun; libpython3.8 bulunamazsa conda ortamının etkinleştirme betiğine LD_LIBRARY_PATH ayarını ekleyin.
4. pip install -r requirements.txt ile kalan bağımlılıkları kurun.

Isaac Gym, CUDA uyumlu bir NVIDIA GPU ister. Eğitim bilgisayarını robotun kendisinden ayrı planlayın: robot üzerindeki hesaplama birimi politikayı çalıştırmak içindir, binlerce paralel ortamla eğitim için masaüstü ya da sunucu GPU'su gerekir.

1. Eğitim. Ayarlar envs/<görev>.yaml dosyasından okunur; günlükler ve modeller logs/<tarih-saat>/ altına yazılır.

python train.py --task=T1

Komut satırından ezilebilen başlıca ayarlar: --num_envs (ortam sayısı), --headless (pencere açmadan), --checkpoint (-1 en son model), --sim_device ve --rl_device (ör. cuda:0), --seed, --max_iterations. İlerleme TensorBoard ile izlenir; Weights & Biases da desteklenir ve yapılandırmadan kapatılabilir.

2. Simülasyon içi test. Politika eğitimdeki ortamda çalıştırılır, video videos/ klasörüne kaydedilir:

python play.py --task=T1 --checkpoint=-1

3. Çapraz simülasyon (sim2sim). Politikanın başka bir fizik motorunda da çalıştığı MuJoCo'da sınanır:

python play_mujoco.py --task=T1 --checkpoint=-1

4. Dışa aktarma ve dağıtım (sim2real). Model .pth biçiminden JIT ile optimize edilmiş .pt biçimine aktarılır; ardından deploy klasöründeki betikle önce Webots'ta, sonra aynı betikle gerçek robotta çalıştırılır:

python export_model.py --task=T1 --checkpoint=-1
python deploy.py --config=T1.yaml

deploy.py'nin --net argümanı SDK haberleşmesi için ağ arayüzünü belirler (varsayılan 127.0.0.1). Gerçek robotta çalıştırmadan önce robot PREP moda alınıp zemine dengeli konur; programı kapatmadan önce yeniden PREP moda dönülür.

Yeni nesil hat booster_train deposunda. README'ye göre depo standart Isaac Lab proje yapısını izler, IsaacLab 2.3.2 ve Isaac Sim 5.1.0 ile test edilmiştir ve BeyondMimic hareket izleme çatısının Booster robotlarına uyarlanmış halini içerir; desteklenen platformlar T2, T1 ve K1. Hareket verileri booster_assets deposundan gelir ve bir dönüştürme betiğiyle CSV'den NPZ biçimine çevrilir.

python scripts/list_envs.py
python scripts/rsl_rl/train.py --task=<GÖREV> --headless --device cuda:0
python scripts/rsl_rl/play.py --task=<GÖREV> --checkpoint=<YOL>

play.py, eğitilmiş politikayı gerçek robota dağıtım için TorchScript ve ONNX biçimlerinde logs/rsl_rl/ altındaki exported klasörüne aktarır. Booster Gym T1 yürüyüşü için hazır gelirken booster_train, K1 dahil üç gövdede hareket izleme görevleriyle çalışmak isteyen ekipler için daha uygun başlangıçtır.

booster_deploy, aynı politika kodunu MuJoCo'da (sim2sim) ve gerçek Booster robotunda (sim2real) çalıştıran hafif bir dağıtım çatısı; birçok tasarımını Isaac Lab'den alır. README'deki ön koşullar: gerçek robot için güncel robot yazılımı (sürüm alt sınırı README'de), robotta hazır gelen Python 3.10+ ve booster_interface'li ROS 2, yerel simülasyon için isteğe bağlı MuJoCo.

python scripts/deploy.py --list
python scripts/deploy.py --task <GÖREV> --mujoco
# robotta, SSH ile:
source /opt/booster/BoosterRos2Interface/install/setup.bash
python scripts/deploy.py --task <GÖREV>

Kontrol noktası dosyasının uzantısı çıkarım altyapısını seçer: .pt, .jit ve .torchscript için TorchScript, .onnx için ONNX Runtime. README'deki önemli bir not: paralel tahrikli eklemlerde sönümleme (Kd) değeri doğrudan motora gönderildiği için eğitim simülatöründeki değer kullanılmamalı, motor tarafı için yeniden hesaplanmalıdır.

İkisi farklı üreticilerin farklı depolarıdır ve robotları arasında politika doğrudan taşınmaz. Booster Gym, Booster T1 (booster_train ile T2, T1 ve K1) için hazır gelir; Isaac Gym'de eğitim, MuJoCo'da sim2sim ve Webots ile dağıtım öncesi doğrulama akışını izler. Unitree tarafındaki pekiştirmeli öğrenme akışı Unitree robotları için yazılmıştır; onu RL Gym sayfamızda ve Go2 pekiştirmeli öğrenme rehberinde anlattık. Kavramlar (paralel ortam, alan rastgeleleştirme, sim2sim, sim2real) ortaktır; bir laboratuvarda öğrenilen yöntem ötekinde de işe yarar.

T1 üzerinde çalıştırılan müşteri örnekleri arasında UC Berkeley'in FastTD3 pekiştirmeli öğrenme algoritması, Carnegie Mellon'un FALCON çatısı ve Purdue Üniversitesi'nin masa tenisi çalışması yer alıyor (Booster'ın müşteri örnekleri listesi). RoboCup'ta T1 ve K1 kullanan ekipler de vuruş ve yürüyüş politikalarını bu araçlarla geliştiriyor; ayrıntılar insansı futbol robotu rehberinde.

Robotlar.org, Booster Robotics'in Türkiye Yetkili Distribütörüdür. T1 ve K1 teslimatlarında Booster Gym ve booster_train kurulumu, eğitim bilgisayarı yapılandırması, sim2sim ve sim2real aktarım eğitimi Türkiye'de yerinde verilir; 1 yıl garanti ve yetkili servis kapsama dahildir. GPU iş istasyonu, güvenlik askısı ve deney alanı planlaması için robotik eğitim laboratuvarı kurulumu rehberine, SDK tarafı için Booster SDK rehberine, sipariş adımları için Booster satın alma rehberine bakın.