Hugging Face's logo

Diffusers documentation

AuraFlowTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AuraFlowTransformer2DModel

AuraFlow'dan görüntü benzeri veriler için bir Transformer modeli.

AuraFlowTransformer2DModel

sınıf diffusers.AuraFlowTransformer2DModel

< >

( sample_size: int = 64patch_size: int = 2in_channels: int = 4num_mmdit_layers: int = 4num_single_dit_layers: int = 32attention_head_dim: int = 256num_attention_heads: int = 12joint_attention_dim: int = 2048caption_projection_dim: int = 3072out_channels: int = 4pos_embed_max_size: int = 1024 )

Parametreler

  • sample_size (int) — Latent görüntülerin genişliği. Eğitim sırasında sabittir çünkü pozisyon gömme sayısı öğrenmek için kullanılır.
  • patch_size (int) — Girdi verisini küçük yamalar (patch) haline getirmek için kullanılan yama boyutu.
  • in_channels (int, isteğe bağlı, varsayılan 4) — Girdideki kanal sayısı.
  • num_mmdit_layers (int, isteğe bağlı, varsayılan 4) — Kullanılacak MMDiT Transformer bloklarının katman sayısı.
  • num_single_dit_layers (int, isteğe bağlı, varsayılan 32) — Kullanılacak Transformer bloklarının sayısı. Bu bloklar, birleştirilmiş görüntü ve metin temsillerini kullanır.
  • attention_head_dim (int, isteğe bağlı, varsayılan 256) — Her baştaki kanal sayısı.
  • num_attention_heads (int, isteğe bağlı, varsayılan 12) — Çok başlı dikkat (multi-head attention) için kullanılacak baş sayısı.
  • joint_attention_dim (int, isteğe bağlı) — Kullanılacak encoder_hidden_states boyutlarının sayısı.
  • caption_projection_dim (int) — encoder_hidden_states projeksiyonunda kullanılacak boyut sayısı.
  • out_channels (int, varsayılan 4) — Çıkış kanal sayısı.
  • pos_embed_max_size (int, varsayılan 1024) — Görsel latentlerden gömülecek en fazla konum sayısı.

AuraFlow'da (https://blog.fal.ai/auraflow/) tanıtılan 2B Transformer modeli.

forward

< >

( hidden_states: FloatTensorencoder_hidden_states: FloatTensor = Nonetimestep: LongTensor = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Parametreler

  • hidden_states (torch.FloatTensor, şekli (batch size, channel, height, width)) — Girdi hidden_states.
  • encoder_hidden_states (torch.FloatTensor of shape (batch size, sequence_len, embed_dims)) — Kullanılacak koşullu gömlemeler (giriş koşullarından, örneğin istemlerden hesaplanan gömlemeler).
  • timestep (torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.

AuraFlowTransformer2DModel ileri yöntemi.

fuse_qkv_projections

< >

( )

Füzyonlu QKV projeksiyonlarını etkinleştirir. Kendi dikkat (self-attention) modülleri için tüm projeksiyon matrisleri (yani sorgu, anahtar, değer) füzyonlanır. Çapraz dikkat (cross-attention) modülleri için anahtar ve değer projeksiyon matrisleri füzyonlanır.

> Bu API 🧪 deneyseldir.

unfuse_qkv_projections

< >

( )

Etkinleştirilmişse birleşik QKV projeksiyonunu devre dışı bırakır.

> Bu API 🧪 deneyseldir.

Update on GitHub

←AnyFlowTransformer3DModel BriaFibo2Transformer2DModel→