Начните здесь!

Пользуйтесь интерактивным инструментом ниже, чтобы начать изучение конкретного функционала Accelerate и научиться им пользоваться! Он предоставит вам diff кода, объяснение того, что происходит, а также полезные ссылки для дальнейшего изучения документации!

Большинство примеров кода начинаются со следующего кода на Python перед интеграцией Accelerate тем или иным способом:

for batch in dataloader:
    optimizer.zero_grad()
    inputs, targets = batch
    inputs = inputs.to(device)
    targets = targets.to(device)
    outputs = model(inputs)
    loss = loss_function(outputs, targets)
    loss.backward()
    optimizer.step()
    scheduler.step()