Accelerate documentation
概要
はじめに
チュートリアル
ハウツーガイド
Accelerate
学習
勾配の累積Local SGD低精度 (FP8) トレーニングDeepSpeedDeepSpeedで複数のモデルを使用するDDP通信フックFully Sharded Data ParallelMegatron-LMAmazon SageMakerApple M1 GPUIntel CPUIntel Gaudiコンパイル
推論
コンセプトと基礎
Accelerate の内部メカニズム大規模モデルをメモリに読み込む分散環境間のパフォーマンス比較ジョブの実行と遅延勾配の同期FSDPとDeepSpeedFSDP1とFSDP2コンテキスト並列性シーケンス並列性低精度トレーニング手法TPUでのトレーニング
リファレンス
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
概要
Accelerateのチュートリアルへようこそ!これらの入門ガイドは、Accelerateの扱いに慣れるお手伝いをします。 コードを修正してAPIとシームレスに動作させる方法、スクリプトを正しく起動する方法、 さらにそのほかのことも学べます!
これらのチュートリアルでは、Pythonの基本的な知識とPyTorchフレームワークへの慣れを前提としています。
Accelerateに関するご質問がございましたら、ぜひフォーラムに参加してコミュニティに問い合わせてください。
Update on GitHub