Hugging Face'ta Stable-Baselines3 Kullanımı

stable-baselines3, PyTorch içinde pekiştirmeli öğrenme algoritmalarının güvenilir bir uygulama setidir.

Hub'da Stable-Baselines3'ü Keşfetme

Stable-Baselines3 modellerini modeller sayfasının solundaki filtreleme özelliğini kullanarak bulabilirsiniz.

Hub'daki tüm modeller, kullanışlı özelliklerle birlikte gelir:

1. Açıklama, eğitim yapılandırması ve daha fazlasını içeren otomatik olarak oluşturulmuş bir model kartı.
2. Keşfedilebilirliği artırmaya yardımcı olan meta etiketler.
3. Diğer modellerle karşılaştırma için değerlendirme sonuçları.
4. Ajanınızın performansını izleyebileceğiniz bir video widget'ı.

Kütüphaneyi yükleyin

stable-baselines3 kütüphanesini yüklemek için iki paket yüklemeniz gerekir:

• stable-baselines3: Stable-Baselines3 kütüphanesi.
• huggingface-sb3: Hub'dan Stable-baselines3 modellerini yüklemek ve yüklemek için ek kod.

pip install stable-baselines3
pip install huggingface-sb3

Mevcut modelleri kullanma

Hub'dan bir modeli load_from_hub işlevini kullanarak kolayca indirebilirsiniz

checkpoint = load_from_hub(
    repo_id="sb3/demo-hf-CartPole-v1",
    filename="ppo-CartPole-v1.zip",
)

İki parametre tanımlamanız gerekir:

• --repo-id: İndirmek istediğiniz Hugging Face deposunun adı.
• --filename: İndirmek istediğiniz dosya.

Modellerinizi paylaşma

Modellerinizi iki farklı işlev kullanarak kolayca yükleyebilirsiniz:

1. package_to_hub(): Hub'a tam repoyu itmeden önce modeli kaydetmek, değerlendirmek, bir model kartı oluşturmak ve ajanınızın bir yeniden oynatma videosunu kaydetmek için kullanılır.

package_to_hub(model=model, 
               model_name="ppo-LunarLander-v2",
               model_architecture="PPO",
               env_id=env_id,
               eval_env=eval_env,
               repo_id="ThomasSimonini/ppo-LunarLander-v2",
               commit_message="Test commit")

Yedi parametre tanımlamanız gerekir:

• --model: eğitilmiş modeliniz.
• --model_architecture: modelinizin mimarisi adı (DQN, PPO, A2C, SAC…).
• --env_id: ortamın adı.
• --eval_env: ajanı değerlendirmek için kullanılan ortam.
• --repo-id: Oluşturmak veya güncellemek istediğiniz Hugging Face deposunun adı. <your huggingface username>/<the repo name> biçimindedir.
• --commit-message.
• --filename: Hub'a göndermek istediğiniz dosya.

2. push_to_hub(): bir dosyayı Hub'a basitçe gönderir

push_to_hub(
    repo_id="ThomasSimonini/ppo-LunarLander-v2",
    filename="ppo-LunarLander-v2.zip",
    commit_message="Added LunarLander-v2 model trained with PPO",
)

Üç parametre tanımlamanız gerekir:

• --repo-id: Oluşturmak veya güncellemek istediğiniz Hugging Face deposunun adı. <your huggingface username>/<the repo name> biçimindedir.
• --filename: Hub'a göndermek istediğiniz dosya.
• --commit-message.

Ek kaynaklar

• Hugging Face Stable-Baselines3 belgeleri
• Stable-Baselines3 belgeleri