Accelerate documentation
Registro
Primeiros passos
Tutoriais
Visão geralAdicione o Accelerate ao seu códigoProcesso de execuçãoTreinamento em TPUIniciando scripts do AccelerateIniciando o treinamento distribuído a partir de Jupyter Notebooks
Guias de como fazer
Accelerate
Comece Aqui!Estimador de memória do modeloQuantização de modelosRastreadores de experimentosProfilerCheckpointingSolução de problemasExemplo Zoo
Treinamento
Acúmulo de gradienteLocal SGDTreinamento de baixa precisão (FP8)DeepSpeedUsando múltiplos modelos com DeepSpeedGanchos de Comunicação DDPParalelismo de Dados Totalmente FragmentadoMegatron-LMAmazon SageMakerGPUs Apple M1CPU IntelIntel GaudiCompilação
Inferência
Conceitos e fundamentos
Mecanismo interno do AccelerateCarregando modelos grandes na memóriaComparando o desempenho em configurações distribuídasExecutando e adiando jobsSincronização de gradientesFSDP vs DeepSpeedFSDP1 vs FSDP2Paralelismo de contextoParalelismo de sequênciaMétodos de treinamento de baixa precisãoTreinamento em TPUs
Referência
AceleradorClasses com estadoA Linha de ComandoDataLoaders, Optimizers, SchedulersRastreadores de experimentosLançadoresUtilitários do DeepSpeedRegistroTrabalhando com modelos grandesHandlers de KwargsFP8Funções e classes utilitáriasUtilitários do Megatron-LMUtilitários de Paralelismo de Dados Totalmente Fragmentados
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
Registro
Consulte o guia de solução de problemas ou o exemplo abaixo para aprender como usar o logger do Accelerate.
accelerate.logging.get_logger
< source >( name: strlog_level: str | None = None )
Retorna um logging.Logger para name que pode lidar com multiprocessamento.
Se um log deve ser chamado em todos os processos, passe main_process_only=False Se um log deve ser chamado em todos os processos e em ordem, passe também in_order=True
Exemplo:
>>> from accelerate.logging import get_logger
>>> from accelerate import Accelerator
>>> logger = get_logger(__name__)
>>> accelerator = Accelerator()
>>> logger.info("My log", main_process_only=False)
>>> logger.debug("My log", main_process_only=True)
>>> logger = get_logger(__name__, log_level="DEBUG")
>>> logger.info("My log")
>>> logger.debug("My second log")
>>> array = ["a", "b", "c", "d"]
>>> letter_at_rank = array[accelerator.process_index]
>>> logger.info(letter_at_rank, in_order=True)