Sortie d'évaluation (contient toujours des étiquettes), à utiliser pour calculer les métriques.

Fonction utilitaire pour un comportement reproductible lors de l'entraînement distribué. Voir https://pytorch.org/docs/stable/notes/randomness.html pour pytorch

Fonction utilitaire pour un comportement reproductible afin de définir la graine dans random, numpy, torch (si installé).

Décorateur pour faire attendre tous les processus de l'entraînement distribué que chaque local_master fasse quelque chose.

Classe interne qui se contente d’appeler la liste de rappels dans l’ordre.

Cette sous-classe de argparse.ArgumentParser utilise les annotations de type des dataclasses pour générer les arguments.

The class is designed to play well with the native argparse. In particular, you can add more (non-dataclass backed) arguments to the parser after initialization and you’ll get the output back after parsing as an additional namespace. Optional: To create sub argument groups use the _argument_group_name attribute in the dataclass.

Cette classe de débogage aide à détecter et à comprendre où le modèle commence à prendre des valeurs très grandes ou très petites, et plus important encore, où apparaissent des éléments de poids et d'activation nan ou inf.

Il existe 2 modes de fonctionnement :

1. Détection de sous-débordement/débordement (par défaut)
2. Suivi des valeurs absolues minimales/maximales par lot spécifique sans détection

Mode 1 : Détection de sous-débordement/débordement

debug_overflow = DebugUnderflowOverflow(model)

puis lancez l’entraînement comme d’habitude et si nan ou inf est détecté dans au moins un des éléments de poids, d’entrée ou de sortie, ce module lèvera une exception et affichera max_frames_to_save images menant à cet événement, chaque image signalant

1. le nom de module entièrement qualifié suivi du nom de la classe dont forward a été exécuté
2. la valeur minimale et maximale absolue de tous les éléments pour les poids de chaque module, ainsi que les entrées et la sortie

Par exemple, voici l’en-tête et les dernières images du rapport de détection pour google/mt5-small exécuté en fp16

Detected inf/nan during batch_number=0
Last 21 forward frames:
abs min  abs max  metadata
[...]
                  encoder.block.2.layer.1.DenseReluDense.wi_0 Linear
2.17e-07 4.50e+00 weight
1.79e-06 4.65e+00 input[0]
2.68e-06 3.70e+01 output
                  encoder.block.2.layer.1.DenseReluDense.wi_1 Linear
8.08e-07 2.66e+01 weight
1.79e-06 4.65e+00 input[0]
1.27e-04 2.37e+02 output
                  encoder.block.2.layer.1.DenseReluDense.wo Linear
1.01e-06 6.44e+00 weight
0.00e+00 9.74e+03 input[0]
3.18e-04 6.27e+04 output
                  encoder.block.2.layer.1.DenseReluDense T5DenseGatedGeluDense
1.79e-06 4.65e+00 input[0]
3.18e-04 6.27e+04 output
                  encoder.block.2.layer.1.dropout Dropout
3.18e-04 6.27e+04 input[0]
0.00e+00      inf output

On peut voir ici que T5DenseGatedGeluDense.forward a produit des activations de sortie dont la valeur absolue maximale était d’environ 62,7K, ce qui est très proche de la limite supérieure de 64K de fp16. Dans le frame suivant, nous avons Dropout qui renormalise les poids après avoir mis à zéro certains éléments, ce qui pousse la valeur absolue maximale au-delà de 64K, et nous obtenons un dépassement.

Comme vous pouvez le constater, ce sont les images précédentes qu’il faut examiner lorsque les nombres commencent à devenir très grands pour les nombres fp16.

Le suivi est effectué dans un hook avant, qui est appelé immédiatement après l'achèvement de forward.

debug_overflow = DebugUnderflowOverflow(model, max_frames_to_save=100)

Pour valider que vous avez correctement configuré cette fonctionnalité de débogage et que vous comptez l’utiliser lors d’un entraînement susceptible de prendre des heures, exécutez-la d’abord avec le traçage normal activé pour quelques lots, comme expliqué dans la section suivante.

Mode 2. Suivi des valeurs absolues minimales/maximales par lot spécifique sans détection

Le deuxième mode de fonctionnement est le traçage par lot, avec la fonctionnalité de détection du sous-débordement/débordement désactivée.

Supposons que vous souhaitiez surveiller les valeurs absolues minimales et maximales de tous les ingrédients de chaque appel forward d'un

debug_overflow = DebugUnderflowOverflow(model, trace_batch_nums=[1, 3])

Et maintenant, les lots complets 1 et 3 seront tracés en utilisant le même format que celui expliqué ci-dessus. Les lots sont indexés à partir de 0.

Cela est utile si vous savez que le programme commence à se comporter de manière inattendue après un certain numéro de lot, car vous pouvez alors avancer directement à cet endroit.

Arrêt anticipé :

debug_overflow = DebugUnderflowOverflow(model, trace_batch_nums=[1, 3], abort_after_batch_num=3)

Cette fonctionnalité est principalement utile en mode de traçage, mais vous pouvez l'utiliser dans n'importe quel mode.

Performance :

Comme ce module mesure les valeurs absolues min/`max de chaque poids du modèle à chaque passe avant, il ralentira l’entraînement. Pensez donc à le désactiver une fois les besoins de débogage satisfaits.