Hugging Face's logo

Diffusers documentation

Flux2Transformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Flux2Transformer2DModel

Model Transformer untuk data seperti gambar dari Flux2.

Flux2Transformer2DModel

kelas diffusers.Flux2Transformer2DModel

< >

( patch_size: int = 1in_channels: int = 128out_channels: int | None = Nonenum_layers: int = 8num_single_layers: int = 48attention_head_dim: int = 128num_attention_heads: int = 48joint_attention_dim: int = 15360timestep_guidance_channels: int = 256mlp_ratio: float = 3.0axes_dims_rope: tuple = (32, 32, 32, 32)rope_theta: int = 2000eps: float = 1e-06guidance_embeds: bool = True )

Parameter

  • patch_size (int, defaultnya 1) — Ukuran patch untuk mengubah data input menjadi patch kecil.
  • in_channels (int, defaultnya 128) — Jumlah channel pada input.
  • out_channels (int, opsional, defaultnya None) — Jumlah channel pada output. Jika tidak ditentukan, defaultnya adalah in_channels.
  • num_layers (int, defaultnya 8) — Jumlah lapisan blok DiT dual stream yang akan digunakan.
  • num_single_layers (int, defaultnya 48) — Jumlah lapisan blok DiT single stream yang akan digunakan.
  • attention_head_dim (int, defaultnya 128) — Jumlah dimensi yang digunakan untuk setiap kepala perhatian (attention head).
  • num_attention_heads (int, defaultnya 48) — Jumlah attention heads yang akan digunakan.
  • joint_attention_dim (int, defaultnya 15360) — Jumlah dimensi yang digunakan untuk joint attention (dimensi embedding/channel dari encoder_hidden_states).
  • pooled_projection_dim (int, defaultnya 768) — Jumlah dimensi yang digunakan untuk proyeksi pooled.
  • guidance_embeds (bool, defaultnya True) — Apakah akan menggunakan guidance embeddings untuk varian model yang telah melalui guidance-distillation.
  • axes_dims_rope (tuple[int], defaultnya (32, 32, 32, 32)) — Dimensi yang digunakan untuk rotary positional embeddings.

Model Transformer yang diperkenalkan dalam Flux 2.

Referensi: https://blackforestlabs.ai/announcing-black-forest-labs/

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensor = Nonetimestep: LongTensor = Noneimg_ids: Tensor = Nonetxt_ids: Tensor = Noneguidance: Tensor = Nonejoint_attention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = Truekv_cache: Flux2KVCache | None = Nonekv_cache_mode: str | None = Nonenum_ref_tokens: int = 0ref_fixed_timestep: float = 0.0 )

Parameter

  • hidden_states (torch.Tensor dengan bentuk (batch_size, image_sequence_length, in_channels)) — hidden_states masukan.
  • encoder_hidden_states (torch.Tensor dengan bentuk (batch_size, text_sequence_length, joint_attention_dim)) — Embedding kondisional (embedding yang dihitung dari kondisi input seperti prompt) yang akan digunakan.
  • timestep (torch.LongTensor) — Digunakan untuk menunjukkan langkah denoising.
  • img_ids (torch.Tensor) — ID posisi gambar yang digunakan untuk menghitung embedding posisi rotasi.
  • txt_ids (torch.Tensor) — ID posisi teks yang digunakan untuk menghitung embedding posisi rotasi.
  • guidance (torch.Tensor, opsional) — Embedding skala panduan yang digunakan untuk varian model yang telah melalui distilasi panduan.
  • joint_attention_kwargs (dict, opsional) — Kamus kwargs yang jika ditentukan akan diteruskan ke AttentionProcessor seperti yang didefinisikan di bawah self.processor dalam diffusers.models.attention_processor.
  • return_dict (bool, opsional, default True) — Apakah akan mengembalikan ~models.transformer_2d.Transformer2DModelOutput alih-alih tuple biasa.
  • kv_cache (Flux2KVCache, opsional) — KV cache untuk token gambar referensi. Ketika kv_cache_mode adalah “extract”, cache baru dibuat dan dikembalikan. Ketika “cached”, cache yang diberikan digunakan untuk menyuntikkan ref K/V selama attention.
  • kv_cache_mode (str, opsional) — Salah satu dari “extract” (langkah pertama dengan token ref) atau “cached” (langkah-langkah berikutnya menggunakan K/V ref yang di-cache). Ketika None, jalur forward standar tanpa KV caching.
  • num_ref_tokens (int, defaultnya 0) — Jumlah token gambar referensi yang ditambahkan di depan hidden_states (hanya digunakan saat kv_cache_mode="extract").
  • ref_fixed_timestep (float, defaultnya 0.0) — Timestep tetap untuk modulasi token referensi (hanya digunakan saat kv_cache_mode="extract").

Metode forward dari Flux2Transformer2DModel.

Flux2Transformer2DModelOutput

kelas diffusers.models.transformers.transformer_flux2.Flux2Transformer2DModelOutput

< >

( sample: torch.Tensorkv_cache: Flux2KVCache | None = None )

Parameter

  • sample (torch.Tensor dengan bentuk (batch_size, num_channels, height, width)) — Output hidden states yang dikondisikan pada input encoder_hidden_states.
  • kv_cache (Flux2KVCache, opsional) — KV cache yang terisi untuk token gambar referensi. Hanya dikembalikan ketika kv_cache_mode="extract".

Output dari Flux2Transformer2DModel.

Update on GitHub

←ErnieImageTransformer2DModel Flux3Transformer2DModel→