Pelatihan PyTorch yang Dipercepat di Mac

Dengan rilis PyTorch v1.12, pengembang dan peneliti dapat memanfaatkan GPU Apple silicon untuk pelatihan model yang jauh lebih cepat. Hal ini membuka kemampuan untuk menjalankan alur kerja machine learning seperti prototyping dan fine-tuning secara lokal, langsung di Mac. Metal Performance Shaders (MPS) dari Apple sebagai backend untuk PyTorch memungkinkan hal ini dan dapat digunakan melalui perangkat baru "mps". Hal ini akan memetakan graf komputasi dan primitif pada kerangka kerja MPS Graph serta kernel yang dioptimalkan yang disediakan oleh MPS. Untuk informasi lebih lanjut, silakan merujuk ke dokumen resmi Introducing Accelerated PyTorch Training on Mac dan MPS BACKEND.

Manfaat Pelatihan dan Inferensi menggunakan Chip Apple Silicon

1. Memungkinkan pengguna untuk melatih jaringan atau ukuran batch yang lebih besar secara lokal
2. Mengurangi latensi pengambilan data dan memberikan akses langsung GPU ke seluruh penyimpanan memori karena arsitektur memori terpadu. Oleh karena itu, meningkatkan kinerja end-to-end.
3. Mengurangi biaya yang terkait dengan pengembangan berbasis cloud atau kebutuhan akan GPU lokal tambahan.

Prasyarat: Untuk menginstal torch dengan dukungan mps, silakan ikuti artikel medium yang bagus ini GPU-Acceleration Comes to PyTorch on M1 Macs.

Cara kerjanya secara bawaan

Fitur ini diaktifkan secara bawaan pada mesin MacOs dengan GPU Apple Silicon yang mendukung MPS. Untuk menonaktifkannya, berikan flag --cpu pada perintah accelerate launch atau jawab pertanyaan yang sesuai saat mengisi kuesioner accelerate config.

Anda dapat langsung menjalankan skrip berikut untuk mengujinya pada mesin Apple Silicon yang mendukung MPS:

accelerate launch /examples/cv_example.py --data_dir images

Beberapa hal yang perlu diperhatikan

1. Setup terdistribusi gloo dan nccl tidak berfungsi dengan perangkat mps. Artinya, saat ini hanya satu GPU dari tipe perangkat mps yang dapat digunakan.

Terakhir, harap diingat bahwa Accelerate hanya mengintegrasikan backend MPS, sehingga jika Anda memiliki masalah atau pertanyaan terkait penggunaan backend MPS, silakan ajukan masalah di PyTorch GitHub.