Accelerate documentation
Buradan Başlayın!
Başlangıç
Eğitimler
Genel BakışKodunuza Accelerate ekleyinÇalıştırma süreciTPU eğitimiAccelerate betiklerini başlatmaJupyter Defterlerinden Dağıtık Eğitimi Başlatma
Nasıl yapılır kılavuzları
Accelerate
Buradan Başlayın!Model bellek tahminleyicisiModel kuantizasyonuDeney izleyicileriProfil OluşturucuKontrol Noktası AlmaSorun GidermeÖrnek Hayvanat Bahçesi
Eğitim
Gradyan biriktirmeYerel SGDDüşük hassasiyetli (FP8) eğitimDeepSpeedDeepSpeed ile birden fazla model kullanmaDDP İletişim KancalarıTamamen Parçalı Veri ParalelliğiMegatron-LMAmazon SageMakerApple M1 GPU'larıIntel CPUIntel GaudiDerleme
Çıkarım
Kavramlar ve temeller
Accelerate'in dahili mekanizmasıBüyük modelleri belleğe yüklemeDağıtık kurulumlar arasında performans karşılaştırmasıİşleri çalıştırma ve ertelemeGradyan senkronizasyonuFSDP ve DeepSpeedFSDP1 ve FSDP2Bağlam paralelliğiDizi paralelliğiDüşük hassasiyetli eğitim yöntemleriTPU'lar üzerinde eğitim
Referans
HızlandırıcıDurumlu sınıflarKomut SatırıDataLoader'lar, Optimizer'lar, Scheduler'larDeneysel izleyicilerBaşlatıcılarDeepSpeed yardımcı programlarıKayıt TutmaBüyük modellerle çalışmaKwargs işleyicileriFP8Yardımcı işlevler ve sınıflarMegatron-LM yardımcı programlarıTamamen Parçalı Veri Paralelliği yardımcı programları
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
Buradan Başlayın!
Belirli bir Accelerate özelliğini öğrenmeye başlamanıza ve bu özelliği nasıl kullanacağınızı anlamanıza yardımcı olması için lütfen aşağıdaki interaktif aracı kullanın! Bu araç, size bir kod farkı (code diff), ne olduğunu açıklayan bir açıklama ve dokümantasyon içinde daha fazla keşfetmeniz için bazı faydalı bağlantılar sağlayacaktır!
Çoğu kod örneği, Accelerate'yi bir şekilde entegre etmeden önce aşağıdaki python kodundan başlar:
for batch in dataloader:
optimizer.zero_grad()
inputs, targets = batch
inputs = inputs.to(device)
targets = targets.to(device)
outputs = model(inputs)
loss = loss_function(outputs, targets)
loss.backward()
optimizer.step()
scheduler.step()