Accelerate documentation
개요
시작하기
튜토리얼
가이드
Accelerate
학습
그라디언트 축적Local SGD낮은 정밀도(FP8) 학습DeepSpeedDeepSpeed를 사용하여 여러 모델 사용DDP 통신 훅Fully Sharded Data ParallelMegatron-LMAmazon SageMakerApple M1 GPUIntel CPUIntel Gaudi컴파일
추론
개념 및 기본 사항
Accelerate의 내부 메커니즘메모리에 대형 모델 로드분산 환경 간 성능 비교작업 실행 및 지연Gradient 동기화FSDP과 DeepSpeedFSDP1과 FSDP2컨텍스트 병렬성시퀀스 병렬성저정밀도 학습 방법TPU에서 학습
참고
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
개요
Accelerate 튜토리얼에 오신 것을 환영합니다. 이 입문 가이드는 Accelerate를 다루는 데 필요한 지식을 빠르게 익히는 데 도움이 됩니다. 코드를 수정하여 API와 원활하게 작동하도록 하는 방법, 스크립트를 올바르게 실행하는 방법 등을 배울 수 있습니다.
이 튜토리얼은 Python에 대한 기본적인 지식과 PyTorch 프레임워크에 대한 익숙함을 전제로 합니다.
Accelerate에 대한 질문이 있으시면 포럼에 참여하여 커뮤니티에 질문해 주세요.
Update on GitHub