Hugging Face's logo

Diffusers documentation

EasyAnimateTransformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

EasyAnimateTransformer3DModel

Model Diffusion Transformer untuk data 3D dari EasyAnimate diperkenalkan oleh Alibaba PAI.

Model dapat dimuat dengan potongan kode berikut.

from diffusers import EasyAnimateTransformer3DModel

transformer = EasyAnimateTransformer3DModel.from_pretrained("alibaba-pai/EasyAnimateV5.1-12b-zh", subfolder="transformer", dtype=torch.float16).to("cuda")  # or "mps", "xpu", "cpu"

EasyAnimateTransformer3DModel

kelas diffusers.EasyAnimateTransformer3DModel

< >

( num_attention_heads: int = 48attention_head_dim: int = 64in_channels: int | None = Noneout_channels: int | None = Nonepatch_size: int | None = Nonesample_width: int = 90sample_height: int = 60activation_fn: str = 'gelu-approximate'timestep_activation_fn: str = 'silu'freq_shift: int = 0num_layers: int = 48mmdit_layers: int = 48dropout: float = 0.0time_embed_dim: int = 512add_norm_text_encoder: bool = Falsetext_embed_dim: int = 3584text_embed_dim_t5: int = Nonenorm_eps: float = 1e-05norm_elementwise_affine: bool = Trueflip_sin_to_cos: bool = Truetime_position_encoding_type: str = '3d_rope'after_norm = Falseresize_inpaint_mask_directly: bool = Trueenable_text_attention_mask: bool = Trueadd_noise_in_inpaint_model: bool = True )

Parameter

  • num_attention_heads (int, defaultnya 48) — Jumlah head yang digunakan untuk multi-head attention.
  • attention_head_dim (int, defaultnya 64) — Jumlah saluran di setiap head.
  • in_channels (int, defaultnya 16) — Jumlah channel pada input.
  • out_channels (int, opsional, default 16) — Jumlah channel pada output.
  • patch_size (int, defaultnya 2) — Ukuran patch yang akan digunakan di lapisan patch embedding.
  • sample_width (int, defaultnya 90) — Lebar dari latens input.
  • sample_height (int, defaultnya 60) — Tinggi dari latents input.
  • activation_fn (str, defaultnya "gelu-approximate") — Fungsi aktivasi yang digunakan dalam feed-forward.
  • timestep_activation_fn (str, defaultnya "silu") — Fungsi aktivasi yang digunakan saat menghasilkan embedding timestep.
  • num_layers (int, defaultnya 30) — Jumlah lapisan blok Transformer yang akan digunakan.
  • mmdit_layers (int, defaultnya 1000) — Jumlah lapisan blok Multi Modal Transformer yang akan digunakan.
  • dropout (float, defaultnya 0.0) — Probabilitas dropout yang digunakan.
  • time_embed_dim (int, defaultnya 512) — Dimensi output dari embedding timestep.
  • text_embed_dim (int, defaultnya 4096) — Dimensi input dari text embeddings yang berasal dari text encoder.
  • norm_eps (float, defaultnya 1e-5) — Nilai epsilon yang digunakan dalam lapisan normalisasi.
  • norm_elementwise_affine (bool, defaultnya True) — Apakah akan menggunakan elementwise affine pada lapisan normalisasi.
  • flip_sin_to_cos (bool, defaultnya True) — Apakah akan membalik sin menjadi cos pada time embedding.
  • time_position_encoding_type (str, defaultnya 3d_rope) — Jenis encoding posisi waktu.
  • after_norm (bool, defaultnya False) — Flag untuk menerapkan normalisasi setelahnya.
  • resize_inpaint_mask_directly (bool, defaultnya True) — Flag untuk mengubah ukuran inpaint mask secara langsung.
  • enable_text_attention_mask (bool, defaultnya True) — Flag untuk mengaktifkan text attention mask.
  • add_noise_in_inpaint_model (bool, defaultnya False) — Flag untuk menambahkan noise di model inpaint.

Model Transformer untuk data seperti video di EasyAnimate.

forward

< >

( hidden_states: Tensortimestep: Tensortimestep_cond: typing.Optional[torch.Tensor] = Noneencoder_hidden_states: typing.Optional[torch.Tensor] = Noneencoder_hidden_states_t5: typing.Optional[torch.Tensor] = Noneinpaint_latents: typing.Optional[torch.Tensor] = Nonecontrol_latents: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = True )

Parameter

  • hidden_states (torch.Tensor dengan bentuk (batch_size, channels, num_frames, height, width)) — hidden_states masukan.
  • timestep (torch.LongTensor) — Digunakan untuk menunjukkan langkah denoising.
  • timestep_cond (torch.Tensor, opsional) — Embedding kondisional untuk timestep. Jika diberikan, embedding akan dijumlahkan dengan sampel yang melewati lapisan self.time_embedding untuk mendapatkan embedding timestep akhir.
  • encoder_hidden_states (torch.Tensor, opsional) — Embedding kondisional (embedding yang dihitung dari kondisi input seperti prompt) yang akan digunakan.
  • encoder_hidden_states_t5 (torch.Tensor, opsional) — Embedding kondisional tambahan yang dihitung dari encoder teks T5.
  • inpaint_latents (torch.Tensor, opsional) — Latents yang digabungkan ke hidden_states untuk varian inpainting dari model.
  • control_latents (torch.Tensor, opsional) — Latents yang digabungkan ke hidden_states untuk varian kontrol dari model.
  • return_dict (bool, opsional, default True) — Apakah akan mengembalikan ~models.transformer_2d.Transformer2DModelOutput alih-alih tuple biasa.

Metode forward dari EasyAnimateTransformer3DModel.

Transformer2DModelOutput

kelas diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parameter

  • sample (torch.Tensor dengan bentuk (batch_size, num_channels, height, width) atau (batch size, num_vector_embeds - 1, num_latent_pixels) jika Transformer2DModel bersifat diskrit) — Output hidden states yang dikondisikan pada input encoder_hidden_states. Jika diskrit, mengembalikan distribusi probabilitas untuk latent pixels yang tidak berisik.

Output dari Transformer2DModel.

Update on GitHub

←DiTTransformer2DModel ErnieImageTransformer2DModel→