Hugging Face's logo

Diffusers documentation

EasyAnimateTransformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

EasyAnimateTransformer3DModel

تم تقديم نموذج EasyAnimate لنموذج Diffusion Transformer للبيانات ثلاثية الأبعاد من Alibaba PAI.

يمكن تحميل النموذج باستخدام مقتطف الشيفرة التالي.

from diffusers import EasyAnimateTransformer3DModel

transformer = EasyAnimateTransformer3DModel.from_pretrained("alibaba-pai/EasyAnimateV5.1-12b-zh", subfolder="transformer", dtype=torch.float16).to("cuda")  # or "mps", "xpu", "cpu"

EasyAnimateTransformer3DModel

فئة diffusers.EasyAnimateTransformer3DModel

< >

( num_attention_heads: int = 48attention_head_dim: int = 64in_channels: int | None = Noneout_channels: int | None = Nonepatch_size: int | None = Nonesample_width: int = 90sample_height: int = 60activation_fn: str = 'gelu-approximate'timestep_activation_fn: str = 'silu'freq_shift: int = 0num_layers: int = 48mmdit_layers: int = 48dropout: float = 0.0time_embed_dim: int = 512add_norm_text_encoder: bool = Falsetext_embed_dim: int = 3584text_embed_dim_t5: int = Nonenorm_eps: float = 1e-05norm_elementwise_affine: bool = Trueflip_sin_to_cos: bool = Truetime_position_encoding_type: str = '3d_rope'after_norm = Falseresize_inpaint_mask_directly: bool = Trueenable_text_attention_mask: bool = Trueadd_noise_in_inpaint_model: bool = True )

المعاملات

  • num_attention_heads (int، القيمة الافتراضية 48) — عدد الرؤوس المستخدمة في الانتباه متعدد الرؤوس.
  • attention_head_dim (int، القيمة الافتراضية 64) — عدد القنوات في كل رأس.
  • in_channels (int)، القيمة الافتراضية 16 — عدد القنوات في المدخلات.
  • out_channels (int، اختياري، القيمة الافتراضية 16) — عدد القنوات في المخرجات.
  • patch_size (int، القيمة الافتراضية 2) — حجم البقع المستخدمة في طبقة تضمين البقع.
  • sample_width (int، القيمة الافتراضية 90) — عرض الكامنات المدخلة.
  • sample_height (int، القيمة الافتراضية 60) — ارتفاع الكامنات المدخلة.
  • activation_fn (str، القيمة الافتراضية "gelu-approximate") — دالة التنشيط المستخدمة في الشبكة العصبية الأمامية.
  • timestep_activation_fn (str، القيمة الافتراضية "silu") — دالة التنشيط المستخدمة عند توليد تضمينات خطوة الزمن.
  • num_layers (int، القيمة الافتراضية 30) — عدد طبقات كتل Transformer المستخدمة.
  • mmdit_layers (int، القيمة الافتراضية 1000) — عدد طبقات كتل Multi Modal Transformer المستخدمة.
  • dropout (float، القيمة الافتراضية 0.0) — احتمالية dropout المستخدمة.
  • time_embed_dim (int، القيمة الافتراضية 512) — البُعد الناتج لتضمينات خطوات الزمن.
  • text_embed_dim (int، القيمة الافتراضية 4096) — البُعد المدخل لتضمينات النص من مُشفِّر النص.
  • norm_eps (float، القيمة الافتراضية 1e-5) — قيمة الإيبسلون المستخدمة في طبقات التطبيع.
  • norm_elementwise_affine (bool, defaults to True) — Whether to use elementwise affine in normalization layers.
  • flip_sin_to_cos (bool، القيمة الافتراضية True) — ما إذا كان يجب عكس sin إلى cos في تضمين الوقت.
  • time_position_encoding_type (str)، القيمة الافتراضية 3d_rope) — نوع ترميز موضع الزمن.
  • after_norm (bool، القيمة الافتراضية False) — علامة لتطبيق التطبيع بعد ذلك.
  • resize_inpaint_mask_directly (bool، القيمة الافتراضية True) — علامة لتغيير حجم قناع inpaint مباشرة.
  • enable_text_attention_mask (bool، القيمة الافتراضية True) — علامة لتفعيل قناع الانتباه للنص.
  • add_noise_in_inpaint_model (bool, defaults to False) — Flag to add noise in inpaint model.

نموذج Transformer لبيانات تشبه الفيديو في EasyAnimate.

forward

< >

( hidden_states: Tensortimestep: Tensortimestep_cond: typing.Optional[torch.Tensor] = Noneencoder_hidden_states: typing.Optional[torch.Tensor] = Noneencoder_hidden_states_t5: typing.Optional[torch.Tensor] = Noneinpaint_latents: typing.Optional[torch.Tensor] = Nonecontrol_latents: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = True )

المعاملات

  • hidden_states (torch.Tensor من الشكل (batch_size, channels, num_frames, height, width)) — مدخلات hidden_states.
  • timestep (torch.LongTensor) — يُستخدم للإشارة إلى خطوة إزالة الضوضاء.
  • timestep_cond (torch.Tensor، اختياري) — تضمينات شرطية لخطوة الزمن. إذا تم توفيرها، سيتم جمع التضمينات مع العينات المارة عبر طبقة self.time_embedding للحصول على تضمينات خطوة الزمن النهائية.
  • encoder_hidden_states (torch.Tensor، اختياري) — تضمينات شرطية (تضمينات محسوبة من الشروط المدخلة مثل الأوامر النصية) للاستخدام.
  • encoder_hidden_states_t5 (torch.Tensor، اختياري) — تضمينات شرطية إضافية محسوبة من مُشفِّر نصوص T5.
  • inpaint_latents (torch.Tensor، اختياري) — كائنات مخفية (Latents) مدمجة مع hidden_states لتنويعات النموذج الخاصة بتعبئة الصور (inpainting).
  • control_latents (torch.Tensor، اختياري) — كائنات مخفية (Latents) مدمجة مع hidden_states لتنويعات التحكم في النموذج.
  • return_dict (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب إرجاع ~models.transformer_2d.Transformer2DModelOutput بدلاً من tuple عادي.

طريقة EasyAnimateTransformer3DModel الأمامية.

Transformer2DModelOutput

فئة diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

المعاملات

  • sample (torch.Tensor من الشكل (batch_size, num_channels, height, width) أو (batch size, num_vector_embeds - 1, num_latent_pixels) إذا كان Transformer2DModel منفصلاً) — مخرجات الحالات المخفية المشروطة على مدخل encoder_hidden_states. إذا كان منفصلاً، يعيد توزيعات الاحتمال للبكسلات الكامنة غير الملوثة.

مخرجات Transformer2DModel.

Update on GitHub

←DiTTransformer2DModel ErnieImageTransformer2DModel→