Hugging Face's logo

Diffusers documentation

Lumina2Transformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Lumina2Transformer2DModel

Alpha-VLLM tarafından Lumina Image 2.0'da 3D video benzeri veriler için bir Diffusion Transformer modeli tanıtıldı.

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import Lumina2Transformer2DModel

transformer = Lumina2Transformer2DModel.from_pretrained("Alpha-VLLM/Lumina-Image-2.0", subfolder="transformer", dtype=torch.bfloat16)

Lumina2Transformer2DModel

sınıf diffusers.Lumina2Transformer2DModel

< >

( sample_size: int = 128patch_size: int = 2in_channels: int = 16out_channels: int | None = Nonehidden_size: int = 2304num_layers: int = 26num_refiner_layers: int = 2num_attention_heads: int = 24num_kv_heads: int = 8multiple_of: int = 256ffn_dim_multiplier: float | None = Nonenorm_eps: float = 1e-05scaling_factor: float = 1.0axes_dim_rope: tuple = (32, 32, 32)axes_lens: tuple = (300, 512, 512)cap_feat_dim: int = 1024 )

Parametreler

  • sample_size (int) — Latent görüntülerin genişliği. Eğitim sırasında sabittir çünkü pozisyon gömme sayısı öğrenmek için kullanılır.
  • patch_size (int, isteğe bağlı, (int, isteğe bağlı, varsayılan 2) — Görseldeki her yamanın boyutu. Bu parametre, modele beslenen yamaların çözünürlüğünü tanımlar.
  • in_channels (int, isteğe bağlı, varsayılan 4) — Modelin giriş kanal sayısı. Genellikle bu, giriş görüntülerindeki kanal sayısıyla eşleşir.
  • hidden_size (int, isteğe bağlı, varsayılan 4096) — Modeldeki gizli katmanların boyutluluğu. Bu parametre, modelin gizli temsillerinin genişliğini belirler.
  • num_layers (int, isteğe bağlı, varsayılan 32) — Modeldeki katman sayısı. Bu, sinir ağı derinliğini tanımlar.
  • num_attention_heads (int, isteğe bağlı, varsayılan 32) — Her dikkat katmanındaki dikkat başlarının sayısı. Bu parametre, kaç ayrı dikkat mekanizmasının kullanıldığını belirtir.
  • num_kv_heads (int, isteğe bağlı, varsayılan 8) — Dikkat mekanizmasındaki anahtar-değer başlarının sayısı, dikkat başlarının sayısından farklıysa. None ise, varsayılan olarak num_attention_heads değerini alır.
  • multiple_of (int, isteğe bağlı, varsayılan 256) — Gizli boyutun katı olması gereken bir çarpan. Bu, belirli donanım yapılandırmalarını optimize etmeye yardımcı olabilir.
  • ffn_dim_multiplier (float, isteğe bağlı) — İleri beslemeli ağın boyutluluğu için bir çarpan. None ise, model yapılandırmasına dayalı bir varsayılan değer kullanılır.
  • norm_eps (float, isteğe bağlı, varsayılan 1e-5) — Normalizasyon katmanlarında sayısal kararlılık için paydaya eklenen küçük bir değer.
  • scaling_factor (float, isteğe bağlı, varsayılan 1.0) — Modeldeki belirli parametrelere veya katmanlara uygulanan bir ölçekleme faktörü. Bu, modelin işlemlerinin genel ölçeğini ayarlamak için kullanılabilir.

Lumina2NextDiT: Transformer omurgalı bir difüzyon modeli.

forward

< >

( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorencoder_attention_mask: Tensorattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Parametreler

  • hidden_states (torch.Tensor, şekli (batch_size, in_channels, height, width)) — Girdi hidden_states.
  • timestep (torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • encoder_hidden_states (torch.Tensor, şekli (batch_size, sequence_len, embed_dims)) — Kullanılacak koşullu gömme değerleri (prompt gibi girdi koşullarından hesaplanan gömme değerleri).
  • encoder_attention_mask (torch.Tensor) — Dikkat sırasında encoder_hidden_states uygulanan maske.
  • attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.

Lumina2Transformer2DModel ileri yöntemi.

Transformer2DModelOutput

sınıf diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parametreler

  • sample (torch.Tensor, şekli (batch_size, num_channels, height, width) veya Transformer2DModel ayrık (discrete) ise (batch size, num_vector_embeds - 1, num_latent_pixels)) — encoder_hidden_states girdisine koşullu gizli durum (hidden states) çıktısı. Ayrık (discrete) ise, gürültüsü kaldırılmış (unnoised) gizli (latent) pikseller için olasılık dağıtımlarını döndürür.

Transformer2DModel'nin çıktısı.

Update on GitHub

←LTXVideoTransformer3DModel LuminaNextDiT2DModel→