Hugging Face's logo

Diffusers documentation

LTXVideoTransformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LTXVideoTransformer3DModel

Model Diffusion Transformer untuk data 3D dari LTX diperkenalkan oleh Lightricks.

Model dapat dimuat dengan potongan kode berikut.

from diffusers import LTXVideoTransformer3DModel

transformer = LTXVideoTransformer3DModel.from_pretrained("Lightricks/LTX-Video", subfolder="transformer", dtype=torch.bfloat16).to("cuda")  # or "mps", "xpu", "cpu"

LTXVideoTransformer3DModel

kelas diffusers.LTXVideoTransformer3DModel

< >

( in_channels: int = 128out_channels: int = 128patch_size: int = 1patch_size_t: int = 1num_attention_heads: int = 32attention_head_dim: int = 64cross_attention_dim: int = 2048num_layers: int = 28activation_fn: str = 'gelu-approximate'qk_norm: str = 'rms_norm_across_heads'norm_elementwise_affine: bool = Falsenorm_eps: float = 1e-06caption_channels: int = 4096attention_bias: bool = Trueattention_out_bias: bool = True )

Parameter

  • in_channels (int, defaultnya 128) — Jumlah channel pada input.
  • out_channels (int, defaultnya 128) — Jumlah channel pada output.
  • patch_size (int, defaultnya 1) — Ukuran patch spasial yang akan digunakan di lapisan patch embedding.
  • patch_size_t (int, defaultnya 1) — Ukuran patch temporal yang digunakan di lapisan patch embedding.
  • num_attention_heads (int, defaultnya 32) — Jumlah head yang digunakan untuk multi-head attention.
  • attention_head_dim (int, defaultnya 64) — Jumlah saluran di setiap head.
  • cross_attention_dim (int, defaultnya 2048 ) — Jumlah saluran untuk kepala cross attention.
  • num_layers (int, defaultnya 28) — Jumlah lapisan blok Transformer yang akan digunakan.
  • activation_fn (str, defaultnya "gelu-approximate") — Fungsi aktivasi yang digunakan dalam feed-forward.
  • qk_norm (str, default "rms_norm_across_heads") — Lapisan normalisasi yang digunakan.

Model Transformer untuk data mirip video yang digunakan dalam LTX.

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensortimestep: LongTensorencoder_attention_mask: Tensornum_frames: int | None = Noneheight: int | None = Nonewidth: int | None = Nonerope_interpolation_scale: typing.Union[tuple[float, float, float], torch.Tensor, NoneType] = Nonevideo_coords: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True ) → torch.Tensor

Parameter

  • hidden_states (torch.Tensor dengan bentuk (batch_size, sequence_length, in_channels)) — hidden_states masukan.
  • encoder_hidden_states (torch.Tensor dengan bentuk (batch_size, sequence_len, embed_dims)) — Embedding kondisional (embedding yang dihitung dari kondisi input seperti prompt) yang akan digunakan.
  • timestep (torch.LongTensor) — Digunakan untuk menunjukkan langkah denoising.
  • encoder_attention_mask (torch.Tensor) — Mask yang diterapkan pada encoder_hidden_states selama attention.
  • num_frames (int, opsional) — Jumlah frame dalam video yang digunakan untuk menghitung rotary positional embeddings.
  • height (int, opsional) — Tinggi dari latent yang digunakan untuk menghitung rotary positional embeddings.
  • width (int, opsional) — Lebar dari latent yang digunakan untuk menghitung rotary positional embeddings.
  • rope_interpolation_scale (tuple dari float atau torch.Tensor, opsional) — Skala interpolasi yang digunakan oleh penanam posisi rotasi.
  • video_coords (torch.Tensor, opsional) — Koordinat video yang sudah dihitung sebelumnya dan digunakan oleh penanam posisi rotasi.
  • attention_kwargs (dict, opsional) — Kamus kwargs yang jika ditentukan akan diteruskan ke AttentionProcessor seperti yang didefinisikan di bawah self.processor dalam diffusers.models.attention_processor.
  • return_dict (bool, opsional, default True) — Apakah akan mengembalikan ~models.transformer_2d.Transformer2DModelOutput alih-alih tuple biasa.

Mengembalikan

torch.Tensor

Tensor output hasil denoising dengan bentuk (batch_size, sequence_length, out_channels).

Metode forward dari LTXVideoTransformer3DModel.

Transformer2DModelOutput

kelas diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parameter

  • sample (torch.Tensor dengan bentuk (batch_size, num_channels, height, width) atau (batch size, num_vector_embeds - 1, num_latent_pixels) jika Transformer2DModel bersifat diskrit) — Output hidden states yang dikondisikan pada input encoder_hidden_states. Jika diskrit, mengembalikan distribusi probabilitas untuk latent pixels yang tidak berisik.

Output dari Transformer2DModel.

Update on GitHub

←LTX2VideoTransformer3DModel Lumina2Transformer2DModel→