Hugging Face's logo

Transformers documentation

DeepSpeed

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

DeepSpeed

DeepSpeed, Zero Redundancy Optimizer (ZeRO) altyapısıyla çalışır ve çok büyük modelleri bir GPU üzerinde eğitmek ve sığdırmak için kullanılan bir optimizasyon kütüphanesidir. Birden fazla ZeRO aşamasında kullanılabilir; her aşama, optimizör durumunu, gradyanları ve parametreleri bölerek ve CPU veya NVMe'ye aktarımı (offloading) etkinleştirerek GPU bellek tasarrufunu kademeli olarak artırır. Trainer sınıfıyla entegre olan DeepSpeed için kurulumun büyük bölümü sizin için otomatik olarak halledilir.

Ancak, Trainer olmadan DeepSpeed kullanmak istiyorsanız, Transformers bir HfDeepSpeedConfig sınıfı sağlar.

Learn more about using DeepSpeed with Trainer in the DeepSpeed guide.

HfDeepSpeedConfig

sınıf transformers.integrations.HfDeepSpeedConfig

< >

( config_file_or_dict )

Parametreler

  • config_file_or_dict (Union[str, Dict]) — DeepSpeed yapılandırma dosyasının yolu veya sözlüğü.

Bu nesne bir DeepSpeed yapılandırma sözlüğü içerir ve zero aşaması gibi öğeler için hızlıca sorgulanabilir.

Bu nesnenin bir weakref'i, Trainer nesnesi gibi nesnelerin kullanılamadığı alanlardan (ör. from_pretrained ve _get_resized_embeddings) yapılandırmaya erişilebilmesi için modülün küresel değişkenlerinde saklanır. Bu nedenle, program çalışmaya devam ederken bu nesnenin canlı kalması önemlidir.

Trainer bunun yerine HfTrainerDeepSpeedConfig alt sınıfını kullanır. Bu alt sınıf, "auto" gibi özel yer tutucu değerleri değiştirerek yapılandırmayı TrainingArguments değerleriyle senkronize etme mantığına sahiptir. Bu özel mantık olmadan DeepSpeed yapılandırması hiçbir şekilde değiştirilmez.

Update on GitHub

←Trainer ExecuTorch→