Hugging Face's logo

Diffusers documentation

AutoencoderKLLTX2Video

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AutoencoderKLLTX2Video

LTX-2 中使用的带 KL 损失的 3D 变分自编码器（VAE）模型由 Lightricks 提出。

可以使用以下代码片段加载该模型。

from diffusers import AutoencoderKLLTX2Video

vae = AutoencoderKLLTX2Video.from_pretrained("Lightricks/LTX-2", subfolder="vae", dtype=torch.float32).to("cuda")  # or "mps", "xpu", "cpu"

AutoencoderKLLTX2Video

class diffusers.AutoencoderKLLTX2Video

< >

( in_channels: int = 3out_channels: int = 3latent_channels: int = 128block_out_channels: tuple = (256, 512, 1024, 2048)down_block_types: tuple = ('LTX2VideoDownBlock3D', 'LTX2VideoDownBlock3D', 'LTX2VideoDownBlock3D', 'LTX2VideoDownBlock3D')decoder_block_out_channels: tuple = (256, 512, 1024)layers_per_block: tuple = (4, 6, 6, 2, 2)decoder_layers_per_block: tuple = (5, 5, 5, 5)spatio_temporal_scaling: bool | tuple[bool, ...] = (True, True, True, True)decoder_spatio_temporal_scaling: bool | tuple[bool, ...] = (True, True, True)decoder_inject_noise: bool | tuple[bool, ...] = (False, False, False, False)downsample_type: tuple = ('spatial', 'temporal', 'spatiotemporal', 'spatiotemporal')upsample_type: tuple = ('spatiotemporal', 'spatiotemporal', 'spatiotemporal')upsample_residual: bool | tuple[bool, ...] = (True, True, True)upsample_factor: tuple = (2, 2, 2)timestep_conditioning: bool = Falsepatch_size: int = 4patch_size_t: int = 1resnet_norm_eps: float = 1e-06scaling_factor: float = 1.0encoder_causal: bool = Truedecoder_causal: bool = Trueencoder_spatial_padding_mode: str = 'zeros'decoder_spatial_padding_mode: str = 'reflect'spatial_compression_ratio: int = Nonetemporal_compression_ratio: int = None )

参数

  • in_channels (int，默认为 3) — 输入通道数。
  • out_channels (int，默认为 3) — 输出通道数。
  • latent_channels (int，默认为 128) — 潜在通道的数量。
  • block_out_channels (tuple[int, ...]，默认为 (128, 256, 512, 512)) — 每个块的输出通道数。
  • spatio_temporal_scaling (tuple[bool, ...], defaults to (True, True, True, False)` — 是否应在该块中包含时空下采样。
  • layers_per_block (tuple[int, ...]，默认为 (4, 3, 3, 3, 4)) — 每个块中的层数。
  • patch_size (int，默认为 4) — 空间补丁的大小。
  • patch_size_t (int，默认为 1) — 时间维度的 patch 大小。
  • resnet_norm_eps (float，默认为 1e-6) — ResNet 归一化层的 Epsilon 值。
  • scaling_factor (float, 可选，默认为 1.0) — 使用训练集的第一个批次计算得出的训练后潜在空间的逐分量标准差。在训练扩散模型时，用于将潜在空间缩放至单位方差。在传入扩散模型之前，潜在变量会按公式 z = z * scaling_factor 进行缩放。在解码时，潜在变量会按公式 z = 1 / scaling_factor * z 缩放回原始尺度。更多细节请参阅 High-Resolution Image Synthesis with Latent Diffusion Models 论文的 4.3.2 节和 D.1 节。
  • encoder_causal (bool，默认为 True) — 编码器是否应以因果方式运行（即未来帧仅依赖于过去帧）。
  • decoder_causal (bool，默认为 False) — 解码器是否应以因果方式运行（即未来帧仅依赖于过去帧）。

一种带有 KL 损失的 VAE 模型，用于将图像编码为潜在表示，并将潜在表示解码为图像。在 LTX-2 中使用。

该模型继承自 ModelMixin。请查阅其父类文档，了解为所有模型实现的通用方法（例如下载或保存）。

decode

< >

( z: Tensortemb: typing.Optional[torch.Tensor] = Nonecausal: bool | None = Nonereturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple

参数

  • z (torch.Tensor) — 输入批次的潜在向量。
  • return_dict (bool，可选，默认为 True) — 是否返回 ~models.vae.DecoderOutput 而不是普通元组。

返回值

~models.vae.DecoderOutput 或 tuple

如果 return_dict 为 True，则返回 ~models.vae.DecoderOutput，否则返回普通的 tuple。

解码一批图像。

encode

< >

( x: Tensorcausal: bool | None = Nonereturn_dict: bool = True )

参数

  • x (torch.Tensor) — 输入图像批次。
  • return_dict (bool，可选，默认为 True) — 是否返回 ~models.autoencoder_kl.AutoencoderKLOutput 而不是普通元组。

将一批图像编码为潜在表示。

enable_tiling

< >

( tile_sample_min_height: int | None = Nonetile_sample_min_width: int | None = Nonetile_sample_min_num_frames: int | None = Nonetile_sample_stride_height: float | None = Nonetile_sample_stride_width: float | None = Nonetile_sample_stride_num_frames: float | None = None )

参数

  • tile_sample_min_height (int, 可选) — 样本在高度维度上被分割为多个 tile 所需的最小高度。
  • tile_sample_min_width (int, 可选) — 样本在宽度维度上被分割为多个 tile 所需的最小宽度。
  • tile_sample_stride_height (int, 可选) — 两个相邻垂直瓦片之间的最小重叠量。这用于确保在高度维度上不会产生瓦片伪影。
  • tile_sample_stride_width (int, 可选) — 两个相邻水平瓦片之间的步长。用于确保在宽度维度上不会产生瓦片拼接伪影。

启用分块 VAE 解码。启用此选项后，VAE 会将输入张量拆分为多个分块，分步执行解码和编码。这有助于节省大量内存，并支持处理更大的图像。

forward

< >

( sample: Tensortemb: typing.Optional[torch.Tensor] = Nonesample_posterior: bool = Falseencoder_causal: bool | None = Nonedecoder_causal: bool | None = Nonereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → ~models.vae.DecoderOutput or tuple

参数

  • sample (torch.Tensor) — 输入样本。
  • temb (torch.Tensor, 可选) — 用于条件化解码器的可选时间步嵌入张量。
  • sample_posterior (bool，可选，默认为 False) — 是否从后验分布中采样。
  • encoder_causal (bool, 可选) — 编码器是否应使用因果卷积。如果为 None，则回退到模型默认值。
  • decoder_causal (bool，可选) — 解码器是否应使用因果卷积。如果为 None，则回退到模型默认值。
  • return_dict (bool，可选，默认为 True) — 是否返回 DecoderOutput 而不是普通元组。
  • generator (torch.Generator，可选) — 用于使采样过程确定性的 torch.Generator。

返回值

~models.vae.DecoderOutput 或 tuple

如果 return_dict 为 True，则返回 ~models.vae.DecoderOutput，否则返回普通的 tuple。

tiled_decode

< >

( z: Tensortemb: typing.Optional[torch.Tensor]causal: bool | None = Nonereturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple

参数

  • z (torch.Tensor) — 输入批次的潜在向量。
  • return_dict (bool，可选，默认为 True) — 是否返回 ~models.vae.DecoderOutput 而不是普通元组。

返回值

~models.vae.DecoderOutput 或 tuple

如果 return_dict 为 True，则返回 ~models.vae.DecoderOutput，否则返回普通的 tuple。

使用分块解码器解码一批图像。

tiled_encode

< >

( x: Tensorcausal: bool | None = None ) → torch.Tensor

参数

  • x (torch.Tensor) — 输入的视频批次。

返回值

torch.Tensor

编码视频的潜在表示。

使用分块编码器对一批图像进行编码。

Update on GitHub

←AutoencoderKLLTX2Audio AutoencoderKLLTXVideo→