Hugging Face's logo

Diffusers documentation

TransformerTemporalModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

TransformerTemporalModel

Model Transformer untuk data seperti video.

TransformerTemporalModel

kelas diffusers.TransformerTemporalModel

< >

( num_attention_heads: int = 16attention_head_dim: int = 88in_channels: int | None = Noneout_channels: int | None = Nonenum_layers: int = 1dropout: float = 0.0norm_num_groups: int = 32cross_attention_dim: int | None = Noneattention_bias: bool = Falsesample_size: int | None = Noneactivation_fn: str = 'geglu'norm_elementwise_affine: bool = Truedouble_self_attention: bool = Truepositional_embeddings: str | None = Nonenum_positional_embeddings: int | None = None )

Parameter

  • num_attention_heads (int, opsional, default 16) — Jumlah head yang digunakan untuk multi-head attention.
  • attention_head_dim (int, opsional, defaultnya 88) — Jumlah saluran di setiap head.
  • in_channels (int, opsional) — Jumlah channel pada input dan output (dinyatakan jika input bersifat kontinu).
  • num_layers (int, opsional, default 1) — Jumlah lapisan blok Transformer yang akan digunakan.
  • dropout (float, opsional, default 0.0) — Probabilitas dropout yang digunakan.
  • cross_attention_dim (int, opsional) — Jumlah dimensi encoder_hidden_states yang akan digunakan.
  • attention_bias (bool, opsional) — Konfigurasi apakah perhatian pada TransformerBlock harus memuat parameter bias.
  • sample_size (int, opsional) — Lebar dari gambar laten (dinyatakan jika input bersifat diskrit). Ini tetap selama pelatihan karena digunakan untuk mempelajari sejumlah position embeddings.
  • activation_fn (str, opsional, defaultnya "geglu") — Fungsi aktivasi yang digunakan dalam feed-forward. Lihat diffusers.models.activations.get_activation untuk fungsi aktivasi yang didukung.
  • norm_elementwise_affine (bool, opsional) — Mengonfigurasi apakah TransformerBlock harus menggunakan parameter affine elementwise yang dapat dipelajari untuk normalisasi.
  • double_self_attention (bool, opsional) — Konfigurasi apakah setiap TransformerBlock harus berisi dua lapisan self-attention.
  • positional_embeddings — (str, opsional): Jenis positional embeddings yang diterapkan ke input urutan sebelum digunakan.
  • num_positional_embeddings — (int, opsional): Panjang maksimum dari urutan tempat positional embeddings diterapkan.

Model Transformer untuk data seperti video.

forward

< >

( hidden_states: Tensorencoder_hidden_states: typing.Optional[torch.LongTensor] = Nonetimestep: typing.Optional[torch.LongTensor] = Noneclass_labels: LongTensor = Nonenum_frames: int = 1cross_attention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True ) → TransformerTemporalModelOutput or tuple

Parameter

  • hidden_states (torch.LongTensor dengan bentuk (batch size, num latent pixels) jika diskrit, torch.Tensor dengan bentuk (batch size, channel, height, width) jika kontinu) — Input hidden_states.
  • encoder_hidden_states ( torch.LongTensor dengan bentuk (batch size, encoder_hidden_states dim), opsional) — Embedding kondisional untuk lapisan cross attention. Jika tidak diberikan, cross-attention secara default menggunakan self-attention.
  • timestep ( torch.LongTensor, opsional) — Digunakan untuk menunjukkan langkah denoising. Timestep opsional yang diterapkan sebagai embedding di AdaLayerNorm.
  • class_labels ( torch.LongTensor dengan bentuk (batch size, num classes), opsional) — Digunakan untuk menunjukkan kondisioning label kelas. Label kelas opsional yang akan diterapkan sebagai embedding di AdaLayerZeroNorm.
  • num_frames (int, opsional, default 1) — Jumlah frame yang akan diproses per batch. Ini digunakan untuk membentuk ulang (reshape) hidden states.
  • cross_attention_kwargs (dict, opsional) — Kamus kwargs yang jika ditentukan akan diteruskan ke AttentionProcessor seperti yang didefinisikan di bawah self.processor dalam diffusers.models.attention_processor.
  • return_dict (bool, opsional, default True) — Apakah akan mengembalikan TransformerTemporalModelOutput daripada tuple biasa.

Mengembalikan

TransformerTemporalModelOutput atau tuple

Jika return_dict bernilai True, sebuah TransformerTemporalModelOutput akan dikembalikan, selain itu sebuah tuple di mana elemen pertama adalah tensor sampel.

Metode forward TransformerTemporal.

TransformerTemporalModelOutput

kelas diffusers.models.transformers.transformer_temporal.TransformerTemporalModelOutput

< >

( sample: Tensor )

Parameter

  • sample (torch.Tensor dengan bentuk (batch_size x num_frames, num_channels, height, width)) — Output hidden states yang dikondisikan pada input encoder_hidden_states.

Output dari TransformerTemporalModel.

Update on GitHub

←Transformer2DModel WanAnimate2Transformer3DModel→