Hugging Face's logo

Diffusers documentation

LTXVideoTransformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LTXVideoTransformer3DModel

Lightricks tarafından LTX için 3B verilerde kullanılan bir Diffusion Transformer modeli tanıtıldı.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import LTXVideoTransformer3DModel

transformer = LTXVideoTransformer3DModel.from_pretrained("Lightricks/LTX-Video", subfolder="transformer", dtype=torch.bfloat16).to("cuda")  # or "mps", "xpu", "cpu"

LTXVideoTransformer3DModel

sınıf diffusers.LTXVideoTransformer3DModel

< >

( in_channels: int = 128out_channels: int = 128patch_size: int = 1patch_size_t: int = 1num_attention_heads: int = 32attention_head_dim: int = 64cross_attention_dim: int = 2048num_layers: int = 28activation_fn: str = 'gelu-approximate'qk_norm: str = 'rms_norm_across_heads'norm_elementwise_affine: bool = Falsenorm_eps: float = 1e-06caption_channels: int = 4096attention_bias: bool = Trueattention_out_bias: bool = True )

Parametreler

  • in_channels (int, varsayılan 128) — Girdideki kanal sayısı.
  • out_channels (int, varsayılan 128) — Çıktıdaki kanal sayısı.
  • patch_size (int, varsayılan 1) — Patch gömme katmanında kullanılacak uzamsal yamaların boyutu.
  • patch_size_t (int, varsayılan 1) — Yama gömme katmanında kullanılacak zamansal yamaların boyutu.
  • num_attention_heads (int, varsayılan 32) — Çok başlı dikkat (multi-head attention) için kullanılacak baş sayısı.
  • attention_head_dim (int, varsayılan 64) — Her baştaki kanal sayısı.
  • cross_attention_dim (int, varsayılan 2048 ) — Çapraz dikkat başlıkları için kanal sayısı.
  • num_layers (int, varsayılan 28) — Kullanılacak Transformer bloklarının katman sayısı.
  • activation_fn (str, varsayılan "gelu-approximate") — İleri beslemeli ağda kullanılacak aktivasyon fonksiyonu.
  • qk_norm (str, varsayılan "rms_norm_across_heads") — Kullanılacak normalizasyon katmanı.

LTX içinde kullanılan video benzeri veriler için bir Transformer modeli.

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensortimestep: LongTensorencoder_attention_mask: Tensornum_frames: int | None = Noneheight: int | None = Nonewidth: int | None = Nonerope_interpolation_scale: typing.Union[tuple[float, float, float], torch.Tensor, NoneType] = Nonevideo_coords: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True ) → torch.Tensor

Parametreler

  • hidden_states (torch.Tensor, şekli (batch_size, sequence_length, in_channels)) — Girdi hidden_states.
  • encoder_hidden_states (torch.Tensor, şekli (batch_size, sequence_len, embed_dims)) — Kullanılacak koşullu gömme değerleri (prompt gibi girdi koşullarından hesaplanan gömme değerleri).
  • timestep (torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • encoder_attention_mask (torch.Tensor) — Dikkat sırasında encoder_hidden_states uygulanan maske.
  • num_frames (int, isteğe bağlı) — Döner konumsal gömme hesaplamalarında kullanılan videodaki kare sayısı.
  • height (int, isteğe bağlı) — Döner konumsal gömme hesaplamak için kullanılan gizli katmanın yüksekliği.
  • width (int, isteğe bağlı) — Döner konumsal gömme hesaplamak için kullanılan gizli katmanın genişliği.
  • rope_interpolation_scale (tuple of float or torch.Tensor, isteğe bağlı) — Döner konumsal gömlemeler tarafından kullanılan interpolasyon ölçeği.
  • video_coords (torch.Tensor, isteğe bağlı) — Döner konumsal gömme (rotary positional embeddings) tarafından kullanılan önceden hesaplanmış video koordinatları.
  • attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.

Dönüş değeri

torch.Tensor

(batch_size, sequence_length, out_channels) biçimindeki gürültüsü azaltılmış çıktı tensörü.

LTXVideoTransformer3DModel ileri yöntemi.

Transformer2DModelOutput

sınıf diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parametreler

  • sample (torch.Tensor, şekli (batch_size, num_channels, height, width) veya Transformer2DModel ayrık (discrete) ise (batch size, num_vector_embeds - 1, num_latent_pixels)) — encoder_hidden_states girdisine koşullu gizli durum (hidden states) çıktısı. Ayrık (discrete) ise, gürültüsü kaldırılmış (unnoised) gizli (latent) pikseller için olasılık dağıtımlarını döndürür.

Transformer2DModel'nin çıktısı.

Update on GitHub

←LTX2VideoTransformer3DModel Lumina2Transformer2DModel→