Accelerate documentation
Registro
Primeros pasos
Tutoriales
ResumenAgrega Accelerate a tu códigoProceso de ejecuciónEntrenamiento en TPULanzamiento de scripts de AccelerateIniciar el entrenamiento distribuido desde Jupyter Notebooks
Guías de uso
Accelerate
¡Empieza aquí!Estimador de memoria del modeloCuántica de modelosSeguimiento de experimentosProfilerCheckpointingSolución de problemasZoo de ejemplos
Entrenamiento
Acumulación de gradientesLocal SGDEntrenamiento de baja precisión (FP8)DeepSpeedUso de varios modelos con DeepSpeedGanchos de comunicación de DDPParalelismo de datos totalmente fragmentadoMegatron-LMAmazon SageMakerGPUs Apple M1CPU de IntelIntel GaudiCompilación
Inferencia
Conceptos y fundamentos
Mecanismo interno de AccelerateCarga de modelos grandes en memoriaComparación del rendimiento en configuraciones distribuidasEjecución y diferimiento de trabajosSincronización de gradientesFSDP frente a DeepSpeedFSDP1 frente a FSDP2Paralelismo de contextoParalelismo de secuenciaMétodos de entrenamiento de baja precisiónEntrenamiento en TPUs
Referencia
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
Registro
Consulte la guía de solución de problemas o el ejemplo siguiente para aprender a usar el registrador de Accelerate.
accelerate.logging.get_logger
< source >( name: strlog_level: str | None = None )
Devuelve un logging.Logger para name que puede manejar la multiprocesación.
Si un registro debe llamarse en todos los procesos, pase main_process_only=False. Si un registro debe llamarse en todos los procesos y en orden, pase también in_order=True.
Ejemplo:
>>> from accelerate.logging import get_logger
>>> from accelerate import Accelerator
>>> logger = get_logger(__name__)
>>> accelerator = Accelerator()
>>> logger.info("My log", main_process_only=False)
>>> logger.debug("My log", main_process_only=True)
>>> logger = get_logger(__name__, log_level="DEBUG")
>>> logger.info("My log")
>>> logger.debug("My second log")
>>> array = ["a", "b", "c", "d"]
>>> letter_at_rank = array[accelerator.process_index]
>>> logger.info(letter_at_rank, in_order=True)