Hugging Face's logo

Diffusers documentation

GlmImageTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

GlmImageTransformer2DModel

[GlmImageTransformer2DModel] (TODO) içinden 2B veriler için bir Diffusion Transformer modeli.

GlmImageTransformer2DModel

sınıf diffusers.GlmImageTransformer2DModel

< >

( patch_size: int = 2in_channels: int = 16out_channels: int = 16num_layers: int = 30attention_head_dim: int = 40num_attention_heads: int = 64text_embed_dim: int = 1472time_embed_dim: int = 512condition_dim: int = 256prior_vq_quantizer_codebook_size: int = 16384 )

Parametreler

  • patch_size (int, varsayılan 2) — Patch gömme katmanında kullanılacak yamaların boyutu.
  • in_channels (int, varsayılan 16) — Girdideki kanal sayısı.
  • num_layers (int, varsayılan 30) — Kullanılacak Transformer bloklarının katman sayısı.
  • attention_head_dim (int, varsayılan 40) — Her baştaki kanal sayısı.
  • num_attention_heads (int, varsayılan 64) — Çok başlı dikkat (multi-head attention) için kullanılacak baş sayısı.
  • out_channels (int, varsayılan 16) — Çıktıdaki kanal sayısı.
  • text_embed_dim (int, varsayılan 1472) — Metin kodlayıcıdan gelen metin gömme girdi boyutu.
  • time_embed_dim (int, varsayılan 512) — Zaman adımı gömme çıktısının boyutu.
  • condition_dim (int, varsayılan 256) — Girdi SDXL tarzı çözünürlük koşullarının (original_size, target_size, crop_coords) gömme boyutu.
  • pos_embed_max_size (int, varsayılan 128) — Konumsal gömme (positional embeddings) çözünürlüğünün üst sınırı. Girdi yamalı (patched) latentlere eklenen H x W biçiminde dilimler bu sınırdan alınır; burada H ve W sırasıyla latent yükseklik ve genişliktir. 128 değeri, görüntü üretimi için desteklenen maksimum yükseklik ve genişliğin 128 * vae_scale_factor * patch_size => 128 * 8 * 2 => 2048 olduğunu ifade eder.
  • sample_size (int, varsayılan 128) — Girdi latentlerinin temel çözünürlüğü. Üretim sırasında yükseklik/genişlik belirtilmezse, çözünürlüğü belirlemek için bu değer kullanılır: sample_size * vae_scale_factor => 128 * 8 => 1024

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensorprior_token_id: Tensorprior_token_drop: Tensortimestep: LongTensortarget_size: Tensorcrop_coords: Tensorattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = Trueattention_mask: typing.Optional[torch.Tensor] = Nonekv_caches: diffusers.models.transformers.transformer_glm_image.GlmImageKVCache | None = Noneimage_rotary_emb: tuple[torch.Tensor, torch.Tensor] | list[tuple[torch.Tensor, torch.Tensor]] | None = None )

Parametreler

  • hidden_states (torch.Tensor, şekli (batch_size, in_channels, height, width)) — Girdi hidden_states.
  • encoder_hidden_states (torch.Tensor, şekli (batch_size, sequence_len, embed_dims)) — Kullanılacak koşullu gömme değerleri (prompt gibi girdi koşullarından hesaplanan gömme değerleri).
  • prior_token_id (torch.Tensor) — Önceki gömme (embedding) araması için token kimlikleri.
  • prior_token_drop (torch.Tensor) — Hangi önceki gömlemelerin düşürüleceğini (sıfırlanacağını) gösteren Boole maskesi.
  • timestep (torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • target_size (torch.Tensor) — Hedef görüntü boyutu koşullandırması.
  • crop_coords (torch.Tensor) — Kırpma koordinatları koşullandırması.
  • attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.
  • attention_mask (torch.Tensor, isteğe bağlı) — Dikkat skorlarına uygulanan maske.
  • kv_caches (GlmImageKVCache, isteğe bağlı) — Çıkarımı hızlandırmak için kullanılan önceden hesaplanmış anahtar/değer önbellekleri.
  • image_rotary_emb (tuple of torch.Tensor, opsiyonel) — Önceden hesaplanmış döner konumsal gömme (embedding) değerleri.

GlmImageTransformer2DModel ileri yöntemi.

Update on GitHub

←FluxTransformer2DModel HeliosTransformer3DModel→