Hugging Face's logo

Diffusers documentation

ZImageTransformer2DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

ZImageTransformer2DModel

نموذج Transformer لبيانات تشبه الصور من Z-Image.

ZImageTransformer2DModel

فئة diffusers.ZImageTransformer2DModel

< >

( all_patch_size = (2,)all_f_patch_size = (1,)in_channels = 16dim = 3840n_layers = 30n_refiner_layers = 2n_heads = 30n_kv_heads = 30norm_eps = 1e-05qk_norm = Truecap_feat_dim = 2560siglip_feat_dim = Nonerope_theta = 256.0t_scale = 1000.0axes_dims = [32, 48, 48]axes_lens = [1024, 512, 512] )

forward

< >

( x: list[torch.Tensor, list[list[torch.Tensor]]]tcap_feats: list[torch.Tensor, list[list[torch.Tensor]]]return_dict: bool = Truecontrolnet_block_samples: dict[int, torch.Tensor] | None = Nonesiglip_feats: list[list[torch.Tensor]] | None = Noneimage_noise_mask: list[list[int]] | None = Nonepatch_size: int = 2f_patch_size: int = 1joint_attention_kwargs: dict[str, typing.Any] | None = None )

المعاملات

  • x (list من torch.Tensor أو list متداخلة من torch.Tensor) — كعوب الإدخال. قائمة مسطحة عند التشغيل في الوضع القياسي، أو قائمة متداخلة عند التشغيل في وضع omni.
  • t (torch.Tensor) — يُستخدم للإشارة إلى خطوة إزالة الضوضاء.
  • cap_feats (list من torch.Tensor أو list متداخلة من torch.Tensor) — تضمينات التسميات الشرطية (تضمينات محسوبة من الشروط المدخلة مثل الأوامر النصية) للاستخدام.
  • return_dict (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب إرجاع ~models.transformer_2d.Transformer2DModelOutput بدلاً من tuple عادي.
  • controlnet_block_samples (dict من int إلى torch.Tensor، اختياري) — خريطة من فهرس الكتلة إلى المصفوفة، حيث تُضاف إلى بقايا كتل المحوّل (transformer) إذا تم تحديدها.
  • siglip_feats (list من list من torch.Tensor، اختياري) — ميزات صور SigLIP اختيارية تُستخدم كشرط إضافي.
  • image_noise_mask (list of list of int, اختياري) — أقنعة ضوضاء لكل صورة، تُحدد الرموز الضوضائية مقابل الرموز النظيفة في وضع omni.
  • patch_size (int، اختياري، القيمة الافتراضية 2) — حجم البقعة المكانية المستخدمة لتقطيع الكامنات المدخلة.
  • f_patch_size (int، اختياري، القيمة الافتراضية 1) — حجم الباتش الزمني المستخدم لتقطيع الكامنات المدخلة.
  • joint_attention_kwargs (dict، اختياري) — قاموس kwargs. يُستخدم فقط إدخال scale لتغيير مقياس طبقات LoRA.

طريقة ZImageTransformer2DModel الأمامية.

التدفق: patchify -> t_embed -> x_embed -> x_refine -> cap_embed -> cap_refine -> [siglip_embed -> siglip_refine] -> build_unified -> main_layers -> final_layer -> unpatchify

patchify_and_embed

< >

( all_image: list[torch.Tensor]all_cap_feats: list[torch.Tensor]patch_size: intf_patch_size: int )

Patchify للوضع الأساسي: صورة واحدة لكل عنصر في الدفعة.

patchify_and_embed_omni

< >

( all_x: list[list[torch.Tensor]]all_cap_feats: list[list[torch.Tensor]]all_siglip_feats: list[list[torch.Tensor]]patch_size: intf_patch_size: intimages_noise_mask: list[list[int]] )

Patchify لوضع omni: صور متعددة لكل عنصر في الدفعة مع أقنعة ضوضاء.

Update on GitHub

←WanTransformer3DModel StableCascadeUNet→