Diffusers documentation
EDMEulerScheduler
EDMEulerScheduler
La formulation de Karras du planificateur Euler (Algorithme 2) issue de l'article Elucidating the Design Space of Diffusion-Based Generative Models de Karras et al. Il s'agit d'un planificateur rapide qui peut souvent générer de bons résultats en 20 à 30 étapes. Le planificateur est basé sur l'implémentation originale k-diffusion de Katherine Crowson.
EDMEulerScheduler
classe diffusers.EDMEulerScheduler
< source >( sigma_min: float = 0.002sigma_max: float = 80.0sigma_data: float = 0.5sigma_schedule: typing.Literal['karras', 'exponential'] = 'karras'num_train_timesteps: int = 1000prediction_type: typing.Literal['epsilon', 'v_prediction'] = 'epsilon'rho: float = 7.0final_sigmas_type: typing.Literal['zero', 'sigma_min'] = 'zero' )
Paramètres
- sigma_min (
float, facultatif, par défaut0.002) — Amplitude minimale du bruit dans le plan de sigma. Cette valeur a été fixée à 0.002 dans l'article EDM [1] ; une plage raisonnable est [0, 10]. - sigma_max (
float, facultatif, valeur par défaut80.0) — Amplitude maximale du bruit dans le plan de sigma. Cette valeur a été fixée à 80.0 dans l’article EDM [1] ; une plage raisonnable est [0.2, 80.0]. - sigma_data (
float, facultatif, par défaut0.5) — L'écart-type de la distribution des données. Cette valeur est fixée à 0,5 dans l'article EDM [1]. - sigma_schedule (
Literal["karras", "exponential"], facultatif, par défaut"karras") — Plan de sigma pour calculer lessigmas. Par défaut, nous utilisons le plan introduit dans l'article EDM (https://huggingface.co/papers/2206.00364). Le plan"exponential"a été intégré dans ce modèle : https://huggingface.co/stabilityai/cosxl. - num_train_timesteps (
int, facultatif, par défaut1000) — Le nombre d'étapes de diffusion pour entraîner le modèle. - prediction_type (
Literal["epsilon", "v_prediction"], facultatif, par défaut"epsilon") — Type de prédiction de la fonction du planificateur."epsilon"prédit le bruit du processus de diffusion, et"v_prediction"(voir la section 2.4 de l’article Imagen Video). - rho (
float, facultatif, valeur par défaut7.0) — Le paramètre rho utilisé pour le calcul de l’ordonnancement des sigmas de Karras, qui est fixé à 7.0 dans l’article EDM [1]. - final_sigmas_type (
Literal["zero", "sigma_min"], facultatif, par défaut"zero") — La valeur finale desigmapour le calendrier de bruit pendant le processus d'échantillonnage. Si"sigma_min", le sigma final est identique au dernier sigma du calendrier d'entraînement. Si"zero", le sigma final est fixé à 0.
Implémente le planificateur Euler dans la formulation EDM telle que présentée dans Karras et al. 2022 [1].
[1] Karras, Tero, et al. “Elucidating the Design Space of Diffusion-Based Generative Models.” https://huggingface.co/papers/2206.00364
Ce modèle hérite de SchedulerMixin et ConfigMixin. Consultez la documentation de la classe parente pour les méthodes génériques que la bibliothèque implémente pour tous les planificateurs, telles que le chargement et l'enregistrement.
add_noise
< source >( original_samples: Tensornoise: Tensortimesteps: Tensor ) → torch.Tensor
Paramètres
- original_samples (
torch.Tensor) — Les échantillons originaux auxquels du bruit sera ajouté. - noise (
torch.Tensor) — Le tenseur de bruit à ajouter aux échantillons d'origine. - timesteps (
torch.Tensor) — Les timesteps auxquels ajouter du bruit, déterminant le niveau de bruit à partir de l'ordonnancement.
Retourne
torch.Tensor
Les échantillons bruités avec un bruit ajouté mis à l'échelle selon le calendrier des pas de temps.
Ajouter du bruit aux échantillons d'origine selon le calendrier de bruit aux pas de temps spécifiés.
index_for_timestep
< source >( timestep: typing.Union[float, torch.Tensor]schedule_timesteps: typing.Optional[torch.Tensor] = None ) → int
Paramètres
- timestep (
floatoutorch.Tensor) — La valeur de timestep à rechercher dans le planning. - schedule_timesteps (
torch.Tensor, facultatif) — Le calendrier des timesteps à explorer. SiNone, utiliseself.timesteps.
Retourne
int
L'indice de la pas de temps dans le planning. Pour la toute première étape, renvoie le deuxième indice si plusieurs correspondances existent, afin d'éviter de sauter un sigma lors d'un démarrage en cours de planning (par exemple, pour l'image-vers-image).
Trouver l'index d'une étape de temps donnée dans le calendrier des étapes de temps.
precondition_inputs
< source >( sample: Tensorsigma: typing.Union[float, torch.Tensor] ) → torch.Tensor
Préconditionner l'échantillon d'entrée en le mettant à l'échelle selon la formulation EDM.
precondition_noise
< source >( sigma: typing.Union[float, torch.Tensor] ) → torch.Tensor
Préconditionner le niveau de bruit en appliquant une transformation logarithmique.
precondition_outputs
< source >( sample: Tensormodel_output: Tensorsigma: typing.Union[float, torch.Tensor] ) → torch.Tensor
Paramètres
- sample (
torch.Tensor) — Le tenseur d'échantillon d'entrée. - model_output (
torch.Tensor) — La sortie directe du modèle de diffusion appris. - sigma (
floatoutorch.Tensor) — La valeur actuelle de sigma (niveau de bruit).
Retourne
torch.Tensor
L'échantillon débruité calculé en combinant la connexion de contournement et le facteur d'échelle de sortie.
Préconditionner les sorties du modèle selon la formulation EDM.
scale_model_input
< source >( sample: Tensortimestep: typing.Union[float, torch.Tensor] ) → torch.Tensor
Mettre à l'échelle l'entrée du modèle de débruitage pour correspondre à l'algorithme d'Euler. Assure l'interchangeabilité avec les planificateurs qui doivent mettre à l'échelle l'entrée du modèle de débruitage en fonction de l'étape temporelle actuelle.
set_begin_index
< source >( begin_index: int = 0 )
Définit l'index de début pour le planificateur. Cette fonction doit être exécutée depuis le pipeline avant l'inférence.
set_timesteps
< source >( num_inference_steps: int = Nonedevice: typing.Union[str, torch.device] = Nonesigmas: typing.Union[list[float], torch.Tensor, NoneType] = None )
Paramètres
- num_inference_steps (
int, facultatif) — Le nombre d'étapes de diffusion utilisées lors de la génération d'échantillons avec un modèle pré-entraîné. - device (
stroutorch.device, facultatif) — L'appareil vers lequel les timesteps doivent être déplacés. SiNone, les timesteps ne sont pas déplacés. - sigmas (
torch.Tensor | list[float], facultatif) — Sigmas personnalisés à utiliser pour le processus de débruitage. S'ils ne sont pas définis, le comportement par défaut lorsquenum_inference_stepsest passé sera utilisé.
Définit les pas de temps discrets utilisés pour la chaîne de diffusion (à exécuter avant l'inférence).
étape
< source >( model_output: Tensortimestep: typing.Union[float, torch.Tensor]sample: Tensors_churn: float = 0.0s_tmin: float = 0.0s_tmax: float = infs_noise: float = 1.0generator: typing.Optional[torch.Generator] = Nonereturn_dict: bool = Truepred_original_sample: typing.Optional[torch.Tensor] = None ) → EDMEulerSchedulerOutput or tuple
Paramètres
- model_output (
torch.Tensor) — La sortie directe du modèle de diffusion appris. - timestep (
floatoutorch.Tensor) — L'étape discrète actuelle dans la chaîne de diffusion. - sample (
torch.Tensor) — Une instance actuelle d'un échantillon créé par le processus de diffusion. - s_churn (
float, facultatif, par défaut0.0) — La quantité de stochastique à ajouter à chaque étape. Des valeurs plus élevées ajoutent plus de bruit. - s_tmin (
float, facultatif, par défaut0.0) — Seuil minimal de sigma en dessous duquel aucun bruit n'est ajouté. - s_tmax (
float, facultatif, par défautfloat("inf")) — Le seuil de sigma maximal au-delà duquel aucun bruit n'est ajouté. - s_noise (
float, facultatif, par défaut1.0) — Facteur d'échelle pour le bruit ajouté à l'échantillon. - generator (
torch.Generator, facultatif) — Générateur de nombres aléatoires pour la reproductibilité. - return_dict (
bool, facultatif, par défautTrue) — Indique s'il faut retourner un EDMEulerSchedulerOutput ou un tuple. - pred_original_sample (
torch.Tensor, facultatif) — L'échantillon débruité prédit à partir d'une étape précédente. S'il est fourni, la recomputation est ignorée.
Retourne
EDMEulerSchedulerOutput ou tuple
Si return_dict est True, un EDMEulerSchedulerOutput est
retourné, sinon un tuple est retourné dont le premier élément est le tenseur de l'échantillon précédent et le
deuxième élément est le tenseur de l'échantillon original prédit.
Prédit l'échantillon de l'étape temporelle précédente en inversant l'EDS. Cette fonction propage le processus de diffusion à partir des sorties du modèle appris (le plus souvent le bruit prédit).
EDMEulerSchedulerOutput
classe diffusers.schedulers.scheduling_edm_euler.EDMEulerSchedulerOutput
< source >( prev_sample: Tensorpred_original_sample: typing.Optional[torch.Tensor] = None )
Paramètres
- prev_sample (
torch.Tensorde forme(batch_size, num_channels, height, width)pour les images) — Échantillon calculé(x_{t-1})de l'étape temporelle précédente.prev_sampledoit être utilisé comme entrée du modèle suivante dans la boucle de débruitage. - pred_original_sample (
torch.Tensorde forme(batch_size, num_channels, height, width)pour les images) — L'échantillon débruité prédit(x_{0})basé sur la sortie du modèle à l'étape temporelle actuelle.pred_original_samplepeut être utilisé pour prévisualiser la progression ou pour le guidage.
Classe de sortie pour la sortie de la fonction step du planificateur.