Accelerate documentation
Resumen
Primeros pasos
Tutoriales
ResumenAgrega Accelerate a tu códigoProceso de ejecuciónEntrenamiento en TPULanzamiento de scripts de AccelerateIniciar el entrenamiento distribuido desde Jupyter Notebooks
Guías de uso
Accelerate
¡Empieza aquí!Estimador de memoria del modeloCuántica de modelosSeguimiento de experimentosProfilerCheckpointingSolución de problemasZoo de ejemplos
Entrenamiento
Acumulación de gradientesLocal SGDEntrenamiento de baja precisión (FP8)DeepSpeedUso de varios modelos con DeepSpeedGanchos de comunicación de DDPParalelismo de datos totalmente fragmentadoMegatron-LMAmazon SageMakerGPUs Apple M1CPU de IntelIntel GaudiCompilación
Inferencia
Conceptos y fundamentos
Mecanismo interno de AccelerateCarga de modelos grandes en memoriaComparación del rendimiento en configuraciones distribuidasEjecución y diferimiento de trabajosSincronización de gradientesFSDP frente a DeepSpeedFSDP1 frente a FSDP2Paralelismo de contextoParalelismo de secuenciaMétodos de entrenamiento de baja precisiónEntrenamiento en TPUs
Referencia
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
Resumen
Bienvenido a los tutoriales de Accelerate. Estas guías introductorias te ayudarán a ponerte al día en el trabajo con Accelerate. Aprenderás a modificar tu código para que funcione de forma fluida con la API, a lanzar tu script correctamente y mucho más.
Estos tutoriales suponen un conocimiento básico de Python y familiaridad con el marco de trabajo PyTorch.
Si tienes alguna pregunta sobre Accelerate, no dudes en unirte y consultar a la comunidad en nuestro foro.
Update on GitHub