Accelerate

Accelerate adalah pustaka yang memungkinkan kode PyTorch yang sama dijalankan di berbagai konfigurasi distribusi hanya dengan menambahkan empat baris kode! Singkatnya, pelatihan dan inferensi berskala besar menjadi sederhana, efisien, dan mudah beradaptasi.

+ from accelerate import Accelerator
+ accelerator = Accelerator()

+ model, optimizer, training_dataloader, scheduler = accelerator.prepare(
+     model, optimizer, training_dataloader, scheduler
+ )

  for batch in training_dataloader:
      optimizer.zero_grad()
      inputs, targets = batch
      inputs = inputs.to(device)
      targets = targets.to(device)
      outputs = model(inputs)
      loss = loss_function(outputs, targets)
+     accelerator.backward(loss)
      optimizer.step()
      scheduler.step()

Dibangun di atas torch_xla dan torch.distributed, Accelerate menangani pekerjaan berat, sehingga Anda tidak perlu menulis kode khusus untuk beradaptasi dengan platform-platform ini. Konversi basis kode yang ada untuk memanfaatkan DeepSpeed, melakukan fully sharded data parallelism, dan memiliki dukungan otomatis untuk pelatihan mixed-precision!

Untuk mendapatkan gambaran yang lebih baik tentang proses ini, pastikan untuk melihat Tutorial!

Kode ini kemudian dapat dijalankan di sistem mana pun melalui antarmuka CLI Accelerate:

accelerate launch {my_script.py}