Diffusers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

JoyImageEditPlusTransformer3DModel

يمكن تحميل النموذج باستخدام مقتطف الشيفرة التالي.

from diffusers import JoyImageEditPlusTransformer3DModel

transformer = JoyImageEditPlusTransformer3DModel.from_pretrained("jdopensource/JoyAI-Image-Edit-Plus-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

JoyImageEditPlusTransformer3DModel

فئة diffusers.JoyImageEditPlusTransformer3DModel

< source >

( patch_size: list = [1, 2, 2]in_channels: int = 16out_channels: int | None = Nonehidden_size: int = 3072num_attention_heads: int = 24text_dim: int = 4096mlp_width_ratio: float = 4.0num_layers: int = 20rope_dim_list: list = [16, 56, 56]rope_type: str = 'rope'theta: int = 256 )

المعاملات

patch_size (list، القيمة الافتراضية [1, 2, 2]) — حجم الباتش (Patch) لتقطيع المدخل الكامن (latent) على طول الأبعاد (t, h, w).
in_channels (int، القيمة الافتراضية 16) — عدد القنوات في المدخلات الكامنة.
out_channels (int، اختياري، القيمة الافتراضية None) — عدد القنوات في المخرجات. إذا لم يُحدد، تكون القيمة الافتراضية in_channels.
hidden_size (int، القيمة الافتراضية 3072) — أبعاد التمثيلات المخفية.
num_attention_heads (int، القيمة الافتراضية 24) — عدد رؤوس الانتباه.
text_dim (int، القيمة الافتراضية 4096) — أبعاد مخرج مُشفِّر النص.
mlp_width_ratio (float، القيمة الافتراضية 4.0) — نسبة بُعد MLP المخفي إلى hidden_size.
num_layers (int، القيمة الافتراضية 20) — عدد كتل الترانسفورمر ذات التدفق المزدوج.
rope_dim_list (list[int]، القيمة الافتراضية [16, 56, 56]) — الأبعاد الخاصة بالتضمينات الموضعية الدورانية ثلاثية الأبعاد على طول (t, h, w).
rope_type (str، القيمة الافتراضية "rope") — نوع التضمين الوضعي الدوّار.
theta (int، القيمة الافتراضية 256) — التردد الأساسي للتضمينات الدورانية.

JoyImage Edit Plus Transformer لتحرير الصور المتعددة.

يستخدم نهج patchify+padding حيث يتم تقسيم كل صورة مرجعية والضوضاء المستهدفة بشكل مستقل إلى بقع (patches) ثم دمجها في تسلسل مسطح من البقع. يدعم صوراً مرجعية بدقة متغيرة.

صيغة الإدخال: [B, max_patches, C, pt, ph, pw] (رقع محشوة بأبعاد 6).

forward

< source >

( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorencoder_hidden_states_mask: typing.Optional[torch.Tensor] = Noneshape_list: list = Nonereturn_dict: bool = True )

المعاملات

hidden_states — [B, max_patches, C, pt, ph, pw] - مدخل كامن مُقسَّم إلى رقعات.
timestep — [B] - خطوة الانتشار.
encoder_hidden_states — [B, L, D] - مخرجات مُشفِّر النص.
encoder_hidden_states_mask — [B, L] - قناع الانتباه لرموز النص.
shape_list — قائمة لكل عينة من tuples على شكل (t, h, w) لكل مكوّن (الهدف + المراجع).
return_dict — ما إذا كان يجب إرجاع قاموس (dict) أو مجموعة (tuple).

Transformer2DModelOutput

فئة diffusers.models.modeling_outputs.Transformer2DModelOutput

< source >

( sample: torch.Tensor )

المعاملات

sample (torch.Tensor من الشكل (batch_size, num_channels, height, width) أو (batch size, num_vector_embeds - 1, num_latent_pixels) إذا كان Transformer2DModel منفصلاً) — مخرجات الحالات المخفية المشروطة على مدخل encoder_hidden_states. إذا كان منفصلاً، يعيد توزيعات الاحتمال للبكسلات الكامنة غير الملوثة.

مخرجات Transformer2DModel.

Update on GitHub

←Ideogram4Transformer2DModel JoyImageEditTransformer3DModel→