Diffusers documentation
DDPMScheduler
DDPMScheduler
Denoising Diffusion Probabilistic Models (DDPM), de Jonathan Ho, Ajay Jain y Pieter Abbeel, propone un modelo de difusión con el mismo nombre. En el contexto de la biblioteca 🤗 Diffusers, DDPM se refiere tanto al programador de desruido discreto del artículo como a la pipeline.
El resumen del artículo es:
Presentamos resultados de alta calidad en la síntesis de imágenes utilizando modelos probabilísticos de difusión, una clase de modelos de variables latentes inspirados en consideraciones de la termodinámica de no equilibrio. Nuestros mejores resultados se obtienen entrenando sobre un límite variacional ponderado diseñado según una nueva conexión entre los modelos probabilísticos de difusión y el denoising score matching con dinámica de Langevin, y nuestros modelos admiten de forma natural un esquema de descompresión progresiva con pérdida que puede interpretarse como una generalización de la decodificación autoregresiva. En el conjunto de datos no condicionado CIFAR10, obtenemos una puntuación Inception de 9.46 y una puntuación FID del estado del arte de 3.17. En LSUN 256x256, obtenemos una calidad de muestra similar a la de ProgressiveGAN. Nuestra implementación está disponible en este URL de https.
DDPMScheduler
clase diffusers.DDPMScheduler
< source >( num_train_timesteps: int = 1000beta_start: float = 0.0001beta_end: float = 0.02beta_schedule: typing.Literal['linear', 'scaled_linear', 'squaredcos_cap_v2', 'sigmoid'] = 'linear'trained_betas: numpy.ndarray | list[float] | None = Nonevariance_type: typing.Literal['fixed_small', 'fixed_small_log', 'fixed_large', 'fixed_large_log', 'learned', 'learned_range'] = 'fixed_small'clip_sample: bool = Trueprediction_type: typing.Literal['epsilon', 'sample', 'v_prediction'] = 'epsilon'thresholding: bool = Falsedynamic_thresholding_ratio: float = 0.995clip_sample_range: float = 1.0sample_max_value: float = 1.0timestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'leading'steps_offset: int = 0rescale_betas_zero_snr: bool = False )
Parámetros
- num_train_timesteps (
int, por defecto1000) — El número de pasos de difusión para entrenar el modelo. - beta_start (
float, por defecto0.0001) — El valor inicial debetapara la inferencia. - beta_end (
float, por defecto0.02) — El valor final debeta. - beta_schedule (
"linear","scaled_linear","squaredcos_cap_v2"o"sigmoid", por defecto"linear") — El plan de betas, un mapeo desde un rango de betas a una secuencia de betas para dar pasos al modelo. - trained_betas (
np.ndarray, opcional) — Un array de betas para pasar directamente al constructor sin usarbeta_startybeta_end. - variance_type (
"fixed_small","fixed_small_log","fixed_large","fixed_large_log","learned"o"learned_range", por defecto"fixed_small") — Recorta la varianza al añadir ruido a la muestra desruidada. - clip_sample (
bool, por defectoTrue) — Recorta la muestra predicha para la estabilidad numérica. - clip_sample_range (
float, por defecto1.0) — La magnitud máxima para el recorte de muestras. Solo es válido cuandoclip_sample=True. - prediction_type (
"epsilon","sample", or"v_prediction", defaults to"epsilon") — Prediction type of the scheduler function; can beepsilon(predicts the noise of the diffusion process),sample(directly predicts the noisy sample) orv_prediction` (see section 2.4 of Imagen Video paper). - thresholding (
bool, por defectoFalse) — Si se debe utilizar el método de “umbral dinámico”. No es adecuado para modelos de difusión en el espacio latente, como Stable Diffusion. - dynamic_thresholding_ratio (
float, por defecto0.995) — La proporción para el método de umbral dinámico. Solo es válido cuandothresholding=True. - sample_max_value (
float, por defecto1.0) — El valor umbral para el umbral dinámico. Solo es válido cuandothresholding=True. - timestep_spacing (
"linspace","leading"o"trailing", por defecto"leading") — La forma en que deben escalarse los timesteps. Consulte la Tabla 2 de Common Diffusion Noise Schedules and Sample Steps are Flawed para obtener más información. - steps_offset (
int, por defecto0) — Un desplazamiento que se suma a los pasos de inferencia, tal como lo requieren algunas familias de modelos. - rescale_betas_zero_snr (
bool, por defectoFalse) — Si se deben reescalar los betas para tener un SNR terminal cero. Esto permite al modelo generar muestras muy brillantes y oscuras en lugar de limitarse a muestras con un brillo medio. Relacionado de forma laxa con--offset_noise.
DDPMScheduler explora las conexiones entre el denoising score matching y el muestreo por dinámica de Langevin.
Este modelo hereda de SchedulerMixin y ConfigMixin. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos los programadores, como la carga y el guardado.
add_noise
< source >( original_samples: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor
Parámetros
- original_samples (
torch.Tensor) — Las muestras originales a las que se les añadirá ruido. - noise (
torch.Tensor) — El ruido que se añadirá a las muestras. - timesteps (
torch.IntTensor) — Los pasos de tiempo que indican el nivel de ruido para cada muestra.
Devuelve
torch.Tensor
Las muestras ruidosas.
Añada ruido a las muestras originales según la magnitud del ruido en cada paso temporal (este es el proceso de difusión hacia adelante).
get_velocity
< source >( sample: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor
Calcule la predicción de velocidad a partir de la muestra y el ruido según la fórmula de velocidad.
previous_timestep
< source >( timestep: int ) → int or torch.Tensor
Calcule el paso de tiempo anterior en la cadena de difusión.
scale_model_input
< source >( sample: Tensortimestep: int | None = None ) → torch.Tensor
Garantiza la interoperabilidad con los programadores que necesitan escalar la entrada del modelo de desruido en función del paso temporal actual.
set_timesteps
< source >( num_inference_steps: int = Nonedevice: typing.Union[str, torch.device] = Nonetimesteps: list[int] | None = None )
Parámetros
- num_inference_steps (
int, opcional) — El número de pasos de difusión utilizados al generar muestras con un modelo preentrenado. Si se usa,timestepsdebe serNone. - device (
strotorch.device, opcional) — El dispositivo al que deben moverse los timesteps. Si esNone, los timesteps no se mueven. - timesteps (
list[int], opcional) — Pasos de tiempo personalizados para admitir un espaciado arbitrario entre los pasos de tiempo. Si esNone, se utiliza la estrategia de espaciado de pasos de tiempo predeterminada, que es un espaciado igual entre los pasos de tiempo. Si se pasatimesteps,num_inference_stepsdebe serNone.
Establece los pasos discretos utilizados para la cadena de difusión (para ejecutarse antes de la inferencia).
paso
< source >( model_output: Tensortimestep: intsample: Tensorgenerator: typing.Optional[torch.Generator] = Nonereturn_dict: bool = True ) → DDPMSchedulerOutput or tuple
Parámetros
- model_output (
torch.Tensor) — La salida directa del modelo de difusión aprendido. - timestep (
int) — El paso de tiempo discreto actual en la cadena de difusión. - sample (
torch.Tensor) — Una instancia actual de una muestra creada por el proceso de difusión. - generator (
torch.Generator, opcional) — Un generador de números aleatorios. - return_dict (
bool, por defectoTrue) — Si se devuelve un DDPMSchedulerOutput o unatuple.
Devuelve
DDPMSchedulerOutput o tuple
If return_dict is True, DDPMSchedulerOutput is returned, otherwise a
tuple is returned where the first element is the sample tensor.
Predice la muestra del paso de tiempo anterior invirtiendo el SDE. Esta función propaga el proceso de difusión a partir de las salidas del modelo aprendido (con mayor frecuencia, el ruido predicho).
DDPMSchedulerOutput
clase diffusers.schedulers.scheduling_ddpm.DDPMSchedulerOutput
< source >( prev_sample: Tensorpred_original_sample: typing.Optional[torch.Tensor] = None )
Parámetros
- prev_sample (
torch.Tensorde forma(batch_size, num_channels, height, width)para imágenes) — Muestra calculada(x_{t-1})del paso de tiempo anterior.prev_sampledebe usarse como entrada del modelo en el bucle de desruido. - pred_original_sample (
torch.Tensorde forma(batch_size, num_channels, height, width)para imágenes) — La muestra desruidada predicha(x_{0})basada en la salida del modelo del paso de tiempo actual.pred_original_samplese puede usar para previsualizar el progreso o para la guía.
Clase de salida para la función step del programador.