AutoencoderKLHunyuanVideo

El modelo de autoencoder variacional (VAE) 3D con pérdida KL utilizado en HunyuanVideo, que fue introducido en HunyuanVideo: A Systematic Framework For Large Video Generative Models por Tencent.

El modelo se puede cargar con el siguiente fragmento de código.

from diffusers import AutoencoderKLHunyuanVideo

vae = AutoencoderKLHunyuanVideo.from_pretrained("hunyuanvideo-community/HunyuanVideo", subfolder="vae", dtype=torch.float16)

AutoencoderKLHunyuanVideo

clase diffusers.AutoencoderKLHunyuanVideo

< source >

( in_channels: int = 3out_channels: int = 3latent_channels: int = 16down_block_types: tuple = ('HunyuanVideoDownBlock3D', 'HunyuanVideoDownBlock3D', 'HunyuanVideoDownBlock3D', 'HunyuanVideoDownBlock3D')up_block_types: tuple = ('HunyuanVideoUpBlock3D', 'HunyuanVideoUpBlock3D', 'HunyuanVideoUpBlock3D', 'HunyuanVideoUpBlock3D')block_out_channels: tuple = (128, 256, 512, 512)layers_per_block: int = 2act_fn: str = 'silu'norm_num_groups: int = 32scaling_factor: float = 0.476986spatial_compression_ratio: int = 8temporal_compression_ratio: int = 4mid_block_add_attention: bool = True )

Un modelo VAE con pérdida KL para codificar videos en latentes y decodificar representaciones latentes en videos. Introducido en HunyuanVideo.

Este modelo hereda de ModelMixin. Consulta la documentación de la clase superior para sus métodos genéricos implementados para todos los modelos (como la descarga o el guardado).

decode

< source >

( z: Tensorreturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple

Parámetros

z (torch.Tensor) — Lote de entrada de vectores latentes.
return_dict (bool, opcional, valor predeterminado True) — Si se debe devolver un ~models.vae.DecoderOutput en lugar de una tupla simple.

Devuelve

~models.vae.DecoderOutput o tuple

If return_dict is True, a ~models.vae.DecoderOutput is returned, otherwise a plain tuple is returned.

Decodificar un lote de imágenes.

enable_tiling

< source >

Parámetros

tile_sample_min_height (int, opcional) — La altura mínima requerida para que una muestra se separe en mosaicos a lo largo de la dimensión de altura.
tile_sample_min_width (int, opcional) — El ancho mínimo requerido para que una muestra se separe en mosaicos a lo largo de la dimensión de ancho.
tile_sample_min_num_frames (int, opcional) — El número mínimo de fotogramas necesarios para que una muestra se separe en mosaicos a lo largo de la dimensión de fotogramas.
tile_sample_stride_height (int, opcional) — La cantidad mínima de solapamiento entre dos mosaicos verticales consecutivos. Esto garantiza que no se produzcan artefactos de mosaico a lo largo de la dimensión de altura.
tile_sample_stride_width (int, opcional) — La separación entre dos mosaicos horizontales consecutivos. Esto garantiza que no se produzcan artefactos de mosaico a lo largo de la dimensión de ancho.
tile_sample_stride_num_frames (int, opcional) — La distancia entre dos mosaicos de fotogramas consecutivos. Esto garantiza que no se produzcan artefactos de mosaico a lo largo de la dimensión de fotogramas.

Habilita la decodificación de VAE por mosaicos. Cuando esta opción está habilitada, el VAE dividirá el tensor de entrada en mosaicos para calcular la decodificación y la codificación en varios pasos. Esto es útil para ahorrar una gran cantidad de memoria y para permitir el procesamiento de imágenes más grandes.

encode

< source >

( x: Tensorreturn_dict: bool = True )

Parámetros

x (torch.Tensor) — Lote de entrada de imágenes.
return_dict (bool, opcional, valor predeterminado True) — Si se debe devolver un ~models.autoencoder_kl.AutoencoderKLOutput en lugar de una tupla simple.

Codifica un lote de imágenes en latentes.

forward

< source >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → ~models.vae.DecoderOutput or tuple

Parámetros

sample (torch.Tensor) — Muestra de entrada.
sample_posterior (bool, opcional, por defecto False) — Si se muestrea de la posterior.
return_dict (bool, opcional, valor predeterminado True) — Indica si se debe devolver un DecoderOutput en lugar de una tupla simple.
generator (torch.Generator, opcional) — Un torch.Generator para hacer que la muestreo sea determinista.

Devuelve

~models.vae.DecoderOutput o tuple

Si return_dict es True, se devuelve un ~models.vae.DecoderOutput, de lo contrario se devuelve una tuple simple.

tiled_decode

< source >

( z: Tensorreturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple

Parámetros

z (torch.Tensor) — Lote de entrada de vectores latentes.
return_dict (bool, opcional, valor predeterminado True) — Indica si se debe devolver un ~models.vae.DecoderOutput en lugar de una tupla simple.

Devuelve

~models.vae.DecoderOutput o tuple

If return_dict is True, a ~models.vae.DecoderOutput is returned, otherwise a plain tuple is returned.

Decodificar un lote de imágenes usando un decodificador por mosaicos.

tiled_encode

< source >

( x: Tensor ) → torch.Tensor

Parámetros

x (torch.Tensor) — Lote de entrada de videos.

Devuelve

torch.Tensor

La representación latente de los videos codificados.

Codifica un lote de imágenes usando un codificador por mosaicos.

DecoderOutput

clase diffusers.models.autoencoders.vae.DecoderOutput

< source >

( sample: Tensorcommit_loss: typing.Optional[torch.FloatTensor] = None )

Parámetros

sample (torch.Tensor de forma (batch_size, num_channels, height, width)) — La muestra de salida decodificada de la última capa del modelo.

Salida del método de decodificación.

Update on GitHub

Diffusers

AutoencoderKLHunyuanVideo