Diffusers documentation

EDMDPMSolverMultistepScheduler

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

EDMDPMSolverMultistepScheduler

EDMDPMSolverMultistepScheduler es una formulación de Karras de DPMSolverMultistepScheduler, un programador multipaso de DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps y DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models de Cheng Lu, Yuhao Zhou, Fan Bao, Jianfei Chen, Chongxuan Li y Jun Zhu.

DPMSolver (y la versión mejorada DPMSolver++) es un solver de alto orden dedicado y rápido para ecuaciones diferenciales ordinarias de difusión, con garantía de orden de convergencia. Empíricamente, el muestreo con DPMSolver de solo 20 pasos puede generar muestras de alta calidad, y puede generar muestras bastante buenas incluso en 10 pasos.

EDMDPMSolverMultistepScheduler

clase diffusers.EDMDPMSolverMultistepScheduler

< >

( sigma_min: float = 0.002sigma_max: float = 80.0sigma_data: float = 0.5sigma_schedule: typing.Literal['karras', 'exponential'] = 'karras'num_train_timesteps: int = 1000prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction'] = 'epsilon'rho: float = 7.0solver_order: int = 2thresholding: bool = Falsedynamic_thresholding_ratio: float = 0.995sample_max_value: float = 1.0algorithm_type: typing.Literal['dpmsolver++', 'sde-dpmsolver++'] = 'dpmsolver++'solver_type: typing.Literal['midpoint', 'heun'] = 'midpoint'lower_order_final: bool = Trueeuler_at_final: bool = Falsefinal_sigmas_type: typing.Literal['zero', 'sigma_min'] = 'zero' )

Parámetros

  • sigma_min (float, opcional, valor predeterminado 0.002) — Magnitud mínima de ruido en la programación de sigma. Esto se estableció en 0.002 en el artículo de EDM [1]; un rango razonable es [0, 10].
  • sigma_max (float, opcional, valor predeterminado 80.0) — Magnitud máxima del ruido en la programación de sigma. En el artículo de EDM [1] se estableció en 80.0; un rango razonable es [0.2, 80.0].
  • sigma_data (float, opcional, valor predeterminado 0.5) — La desviación estándar de la distribución de datos. En el artículo EDM [1], este valor se establece en 0.5.
  • sigma_schedule (str, opcional, valor predeterminado karras) — Programa para calcular los sigmas. De forma predeterminada, se utiliza el programa introducido en el artículo EDM (https://huggingface.co/papers/2206.00364). Otro valor aceptable es “exponential”. El programa exponencial se incorporó en este modelo: https://huggingface.co/stabilityai/cosxl.
  • num_train_timesteps (int, por defecto 1000) — El número de pasos de difusión para entrenar el modelo.
  • prediction_type (str, defaults to epsilon, optional) — Prediction type of the scheduler function; can be epsilon (predicts the noise of the diffusion process), sample (directly predicts the noisy sample) or v_prediction` (see section 2.4 of Imagen Video paper).
  • rho (float, opcional, valor predeterminado 7.0) — El parámetro rho en la programación de sigma de Karras. Este se estableció en 7.0 en el artículo de EDM [1].
  • solver_order (int, por defecto 2) — El orden de DPMSolver, que puede ser 1 o 2 o 3. Se recomienda usar solver_order=2 para muestreo guiado y solver_order=3 para muestreo incondicional.
  • thresholding (bool, por defecto False) — Si se debe utilizar el método de “umbral dinámico”. No es adecuado para modelos de difusión en el espacio latente, como Stable Diffusion.
  • dynamic_thresholding_ratio (float, valor predeterminado 0.995) — La proporción para el método de umbral dinámico. Solo es válido cuando thresholding=True.
  • sample_max_value (float, por defecto 1.0) — El valor umbral para el umbral dinámico. Solo es válido cuando thresholding=True y algorithm_type="dpmsolver++".
  • algorithm_type (str, por defecto dpmsolver++) — Tipo de algoritmo para el solver; puede ser dpmsolver++ o sde-dpmsolver++. El tipo dpmsolver++ implementa los algoritmos del artículo DPMSolver++. Se recomienda usar dpmsolver++ o sde-dpmsolver++ con solver_order=2 para muestreo guiado, como en Stable Diffusion.
  • solver_type (str, por defecto midpoint) — Tipo de solver para el solver de segundo orden; puede ser midpoint o heun. El tipo de solver afecta ligeramente a la calidad de la muestra, especialmente con un número pequeño de pasos. Se recomienda usar solvers midpoint.
  • lower_order_final (bool, por defecto True) — Si se deben usar solutores de orden inferior en los pasos finales. Solo es válido para < 15 pasos de inferencia. Esto puede estabilizar el muestreo de DPMSolver para pasos < 15, especialmente para pasos <= 10.
  • euler_at_final (bool, por defecto False) — Si se debe utilizar el método de Euler en el paso final. Es un equilibrio entre la estabilidad numérica y la riqueza de detalle. Esto puede estabilizar el muestreo de la variante SDE de DPMSolver para un número pequeño de pasos de inferencia, pero a veces puede resultar en un desenfoque.
  • final_sigmas_type (str, por defecto "zero") — El valor final de sigma para el plan de ruido durante el proceso de muestreo. Si es "sigma_min", el sigma final es el mismo que el último sigma del plan de entrenamiento. Si es zero, el sigma final se establece en 0.

Implementa DPMSolverMultistepScheduler en la formulación EDM presentada en Karras et al. 2022 [1]. EDMDPMSolverMultistepScheduler es un solver de alto orden dedicado y rápido para ecuaciones diferenciales ordinarias de difusión.

[1] Karras, Tero, et al. “Elucidating the Design Space of Diffusion-Based Generative Models.” https://huggingface.co/papers/2206.00364

Este modelo hereda de SchedulerMixin y ConfigMixin. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos los programadores, como la carga y el guardado.

add_noise

< >

( original_samples: Tensornoise: Tensortimesteps: Tensor ) → torch.Tensor

Parámetros

  • original_samples (torch.Tensor) — Las muestras originales a las que se les añadirá ruido.
  • noise (torch.Tensor) — El tensor de ruido que se añadirá a las muestras originales.
  • timesteps (torch.Tensor) — Los pasos de tiempo en los que se añade ruido, determinando el nivel de ruido a partir de la programación.

Devuelve

torch.Tensor

Las muestras ruidosas con ruido añadido escalado según la programación de pasos de tiempo.

Añade ruido a las muestras originales según el programa de ruido en los pasos de tiempo especificados.

convert_model_output

< >

( model_output: Tensorsample: Tensor ) → torch.Tensor

Parámetros

  • model_output (torch.Tensor) — La salida directa del modelo de difusión aprendido.
  • sample (torch.Tensor) — Una instancia actual de una muestra creada por el proceso de difusión.

Devuelve

torch.Tensor

La salida del modelo convertido.

Convierte la salida del modelo al tipo correspondiente que necesita el algoritmo DPMSolver/DPMSolver++. DPM-Solver está diseñado para discretizar una integral del modelo de predicción de ruido, y DPM-Solver++ está diseñado para discretizar una integral del modelo de predicción de datos.

> El algoritmo y el tipo de modelo están desacoplados. Puede usar DPMSolver o DPMSolver++ tanto para modelos de predicción de ruido como para modelos de predicción de datos.

dpm_solver_first_order_update

< >

( model_output: Tensorsample: Tensornoise: typing.Optional[torch.Tensor] = None ) → torch.Tensor

Parámetros

  • model_output (torch.Tensor) — La salida directa del modelo de difusión aprendido.
  • sample (torch.Tensor) — Una instancia actual de una muestra creada por el proceso de difusión.
  • noise (torch.Tensor, opcional) — El tensor de ruido que se añadirá a las muestras originales.

Devuelve

torch.Tensor

El tensor de muestra en el paso de tiempo anterior.

Un paso para el DPMSolver de primer orden (equivalente a DDIM).

index_for_timestep

< >

( timestep: typing.Union[int, torch.Tensor]schedule_timesteps: typing.Optional[torch.Tensor] = None ) → int

Parámetros

  • timestep (int o torch.Tensor) — El timestep para el que se debe encontrar el índice.
  • schedule_timesteps (torch.Tensor, opcional) — El calendario de pasos de tiempo en el que buscar. Si es None, usa self.timesteps.

Devuelve

int

El índice del paso de tiempo en la programación.

Encuentra el índice para un paso de tiempo dado en la programación.

multistep_dpm_solver_second_order_update

< >

( model_output_list: typing.List[torch.Tensor]sample: Tensornoise: typing.Optional[torch.Tensor] = None ) → torch.Tensor

Parámetros

  • model_output_list (list[torch.Tensor]) — Las salidas directas del modelo de difusión aprendido en los pasos de tiempo actuales y posteriores.
  • sample (torch.Tensor) — Una instancia actual de una muestra creada por el proceso de difusión.
  • noise (torch.Tensor, opcional) — El tensor de ruido que se añadirá a las muestras originales.

Devuelve

torch.Tensor

El tensor de muestra en el paso de tiempo anterior.

Un paso para el DPMSolver multipaso de segundo orden.

multistep_dpm_solver_third_order_update

< >

( model_output_list: listsample: Tensor ) → torch.Tensor

Parámetros

  • model_output_list (list[torch.Tensor]) — Las salidas directas del modelo de difusión aprendido en los pasos de tiempo actuales y posteriores.
  • sample (torch.Tensor) — Una instancia actual de una muestra creada por el proceso de difusión.

Devuelve

torch.Tensor

El tensor de muestra en el paso de tiempo anterior.

Un paso para el DPMSolver multipaso de tercer orden.

precondition_inputs

< >

( sample: Tensorsigma: typing.Union[float, torch.Tensor] ) → torch.Tensor

Parámetros

  • sample (torch.Tensor) — Tensor de muestra de entrada para precondicionar.
  • sigma (float o torch.Tensor) — El valor actual de sigma (nivel de ruido).

Devuelve

torch.Tensor

La muestra de entrada escalada.

Precondicione la muestra de entrada escalándola según la formulación de EDM.

precondition_noise

< >

( sigma: typing.Union[float, torch.Tensor] ) → torch.Tensor

Parámetros

  • sigma (float o torch.Tensor) — El valor de sigma (nivel de ruido) a precondicionar.

Devuelve

torch.Tensor

El valor de ruido precondicionado calculado como 0.25 * log(sigma).

Precondicione el nivel de ruido aplicando una transformación logarítmica.

precondition_outputs

< >

( sample: Tensormodel_output: Tensorsigma: typing.Union[float, torch.Tensor] ) → torch.Tensor

Parámetros

  • sample (torch.Tensor) — El tensor de muestra de entrada.
  • model_output (torch.Tensor) — La salida directa del modelo de difusión aprendido.
  • sigma (float o torch.Tensor) — El valor actual de sigma (nivel de ruido).

Devuelve

torch.Tensor

La muestra desruidada calculada combinando la conexión de salto y la escalada de salida.

Precondiciona las salidas del modelo según la formulación de EDM.

scale_model_input

< >

( sample: Tensortimestep: typing.Union[float, torch.Tensor] ) → torch.Tensor

Parámetros

  • sample (torch.Tensor) — El tensor de muestra de entrada.
  • timestep (float o torch.Tensor) — El paso de tiempo actual en la cadena de difusión.

Devuelve

torch.Tensor

Una muestra de entrada escalada.

Escala la entrada del modelo de desruido para que coincida con el algoritmo de Euler. Garantiza la interoperabilidad con los programadores que necesitan escalar la entrada del modelo de desruido en función del paso temporal actual.

set_begin_index

< >

( begin_index: int = 0 )

Parámetros

  • begin_index (int, por defecto 0) — El índice inicial del programador.

Establece el índice inicial para el programador. Esta función debe ejecutarse desde la tubería antes de la inferencia.

set_timesteps

< >

( num_inference_steps: int = Nonedevice: typing.Union[str, torch.device, NoneType] = None )

Parámetros

  • num_inference_steps (int) — El número de pasos de difusión utilizados al generar muestras con un modelo preentrenado.
  • device (str o torch.device, opcional) — El dispositivo al que deben moverse los timesteps. Si es None, los timesteps no se mueven.

Establece los pasos discretos utilizados para la cadena de difusión (para ejecutarse antes de la inferencia).

paso

< >

( model_output: Tensortimestep: typing.Union[int, torch.Tensor]sample: Tensorgenerator: typing.Optional[torch.Generator] = Nonereturn_dict: bool = True ) → SchedulerOutput or tuple

Parámetros

  • model_output (torch.Tensor) — La salida directa del modelo de difusión aprendido.
  • timestep (int) — El paso de tiempo discreto actual en la cadena de difusión.
  • sample (torch.Tensor) — Una instancia actual de una muestra creada por el proceso de difusión.
  • generator (torch.Generator, opcional) — Un generador de números aleatorios.
  • return_dict (bool) — Indica si se debe devolver un SchedulerOutput o una tuple.

Devuelve

SchedulerOutput o tuple

If return_dict is True, SchedulerOutput is returned, otherwise a tuple is returned where the first element is the sample tensor.

Predice la muestra del paso de tiempo anterior invirtiendo la EDE. Esta función propaga la muestra con el DPMSolver de múltiples pasos.

SchedulerOutput

clase diffusers.schedulers.scheduling_utils.SchedulerOutput

< >

( prev_sample: Tensor )

Parámetros

  • prev_sample (torch.Tensor de forma (batch_size, num_channels, height, width) para imágenes) — Muestra calculada (x_{t-1}) del paso de tiempo anterior. prev_sample debe usarse como entrada del modelo en el bucle de desruido.

Clase base para la salida de la función step de un programador.

Update on GitHub