Accelerate documentation
Логирование
Начало работы
Учебные материалы
ОбзорДобавление Accelerate в ваш кодПроцесс выполненияОбучение на TPUЗапуск скриптов AccelerateЗапуск распределённого обучения из Jupyter Notebooks
Руководства
Accelerate
Начните здесь!Оценщик памяти моделиКвантование моделейТрекеры экспериментовПрофилировщикСоздание контрольных точекУстранение неполадокПримеры Zoo
Обучение
Накопление градиентовЛокальный SGDОбучение с низкой точностью (FP8)DeepSpeedИспользование нескольких моделей с DeepSpeedDDP Communication HooksПолностью шардированная параллельная обработка данныхMegatron-LMAmazon SageMakerApple M1 GPUsIntel CPUIntel GaudiКомпиляция
Вывод
Концепции и основы
Внутренний механизм AccelerateЗагрузка больших моделей в памятьСравнение производительности в распределённых конфигурацияхВыполнение и откладывание заданийСинхронизация градиентовFSDP и DeepSpeedFSDP1 и FSDP2Параллелизм контекстаПараллелизм последовательностейМетоды обучения с низкой точностьюОбучение на TPU
Справочник
УскорительКлассы с состояниемКомандная строкаDataLoaders, Оптимизаторы, ПланировщикиСистемы отслеживания экспериментовЗапускУтилиты DeepSpeedЛогированиеРабота с большими моделямиОбработчики аргументов KwargsFP8Вспомогательные функции и классыУтилиты Megatron-LMУтилиты полностью шардированного параллелизма данных
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
Логирование
См. руководство по устранению неполадок или пример ниже, чтобы узнать, как использовать логгер Accelerate.
accelerate.logging.get_logger
< source >( name: strlog_level: str | None = None )
Возвращает logging.Logger для name, который может обрабатывать многопоточность.
Если лог должен вызываться на всех процессах, передайте main_process_only=False. Если лог должен вызываться на всех процессах и в определённом порядке, также передайте in_order=True.
Пример:
>>> from accelerate.logging import get_logger
>>> from accelerate import Accelerator
>>> logger = get_logger(__name__)
>>> accelerator = Accelerator()
>>> logger.info("My log", main_process_only=False)
>>> logger.debug("My log", main_process_only=True)
>>> logger = get_logger(__name__, log_level="DEBUG")
>>> logger.info("My log")
>>> logger.debug("My second log")
>>> array = ["a", "b", "c", "d"]
>>> letter_at_rank = array[accelerator.process_index]
>>> logger.info(letter_at_rank, in_order=True)