Hugging Face's logo

Diffusers documentation

QwenImageTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

QwenImageTransformer2DModel

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import QwenImageTransformer2DModel

transformer = QwenImageTransformer2DModel.from_pretrained("Qwen/QwenImage-20B", subfolder="transformer", dtype=torch.bfloat16)

QwenImageTransformer2DModel

sınıf diffusers.QwenImageTransformer2DModel

< >

( patch_size: int = 2in_channels: int = 64out_channels: int | None = 16num_layers: int = 60attention_head_dim: int = 128num_attention_heads: int = 24joint_attention_dim: int = 3584guidance_embeds: bool = Falseaxes_dims_rope: tuple = (16, 56, 56)zero_cond_t: bool = Falseuse_additional_t_cond: bool = Falseuse_layer3d_rope: bool = False )

Parametreler

  • patch_size (int, varsayılan 2) — Girdi verisini küçük yamalar (patch) haline getirmek için yama boyutu.
  • in_channels (int, varsayılan 64) — Girdideki kanal sayısı.
  • out_channels (int, isteğe bağlı, varsayılan None) — Çıktıdaki kanal sayısı. Belirtilmezse, varsayılan olarak in_channels değerini alır.
  • num_layers (int, varsayılan 60) — Kullanılacak çift akışlı DiT bloklarının katman sayısı.
  • attention_head_dim (int, varsayılan 128) — Her dikkat başlığı için kullanılacak boyut sayısı.
  • num_attention_heads (int, varsayılan 24) — Kullanılacak dikkat başı sayısı.
  • joint_attention_dim (int, varsayılan 3584) — Ortak dikkat için kullanılacak boyut sayısı (encoder_hidden_states'in gömme/kanal boyutu).
  • guidance_embeds (bool, varsayılan False) — Modelin rehberlik damıtılmış (guidance-distilled) varyantı için rehberlik gömme (guidance embeddings) kullanılıp kullanılmayacağı.
  • axes_dims_rope (tuple[int], varsayılan (16, 56, 56)) — Döner konumsal gömme için kullanılacak boyutlar.

Qwen'de tanıtılan Transformer modeli.

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensor = Noneencoder_hidden_states_mask: Tensor = Nonetimestep: LongTensor = Noneimg_shapes: list[tuple[int, int, int]] | None = Noneguidance: Tensor = Noneattention_kwargs: dict[str, typing.Any] | None = Nonecontrolnet_block_samples = Noneadditional_t_cond = Nonereturn_dict: bool = True )

Parametreler

  • hidden_states (torch.Tensor, şekli (batch_size, image_sequence_length, in_channels)) — Girdi hidden_states.
  • encoder_hidden_states (torch.Tensor, şekli (batch_size, text_sequence_length, joint_attention_dim)) — Kullanılacak koşullu gömme değerleri (istekler gibi girdi koşullarından hesaplanan gömme değerleri).
  • encoder_hidden_states_mask (torch.Tensor, şekli (batch_size, text_sequence_length), isteğe bağlı) — Encoder gizli durumları için maske. Geçerli jetonlar için 1.0, dolgu jetonları için 0.0 değerleri beklenir. Dikkat işleyicisinde, dolgu jetonlarına dikkat edilmesini önlemek için kullanılır. Dikkatte eleman bazlı uygulandığından, maskenin herhangi bir desene sahip olabilir (yalnızca ardışık geçerli jetonların ardından dolgu gelmek zorunda değildir).
  • timestep ( torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • img_shapes (list[tuple[int, int, int]], isteğe bağlı) — RoPE hesaplama için görüntü şekilleri.
  • guidance (torch.Tensor, isteğe bağlı) — Koşullu üretim için yönlendirme tensörü.
  • attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.
  • controlnet_block_samples (isteğe bağlı) — Dönüştürücü bloklarına eklenecek ControlNet blok örnekleri.
  • additional_t_cond (torch.Tensor, isteğe bağlı) — Zaman adımı gömülmesine eklenen ek zaman adımı koşullandırması.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.

QwenTransformer2DModel ileri yöntemi.

Transformer2DModelOutput

sınıf diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parametreler

  • sample (torch.Tensor, şekli (batch_size, num_channels, height, width) veya Transformer2DModel ayrık (discrete) ise (batch size, num_vector_embeds - 1, num_latent_pixels)) — encoder_hidden_states girdisine koşullu gizli durum (hidden states) çıktısı. Ayrık (discrete) ise, gürültüsü kaldırılmış (unnoised) gizli (latent) pikseller için olasılık dağıtımlarını döndürür.

Transformer2DModel'nin çıktısı.

Update on GitHub

←QwenImage21Transformer2DModel RFD4ProteinaAutoencoder→