Diffusers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

BriaTransformer2DModel

Model Transformer flux yang dimodifikasi dari Bria

BriaTransformer2DModel

kelas diffusers.BriaTransformer2DModel

< source >

( patch_size: int = 1in_channels: int = 64num_layers: int = 19num_single_layers: int = 38attention_head_dim: int = 128num_attention_heads: int = 24joint_attention_dim: int = 4096pooled_projection_dim: int = Noneguidance_embeds: bool = Falseaxes_dims_rope: list = [16, 56, 56]rope_theta = 10000time_theta = 10000 )

Parameter

patch_size (int) — Ukuran patch untuk mengubah data input menjadi patch kecil.
in_channels (int, opsional, default 16) — Jumlah channel pada input.
num_layers (int, opsional, default 18) — Jumlah lapisan blok MMDiT yang digunakan.
num_single_layers (int, opsional, default 18) — Jumlah lapisan blok DiT tunggal yang akan digunakan.
attention_head_dim (int, opsional, default 64) — Jumlah channel di setiap head.
num_attention_heads (int, opsional, default 18) — Jumlah head yang digunakan untuk multi-head attention.
joint_attention_dim (int, opsional) — Jumlah dimensi encoder_hidden_states yang akan digunakan.
pooled_projection_dim (int) — Jumlah dimensi yang digunakan saat memproyeksikan pooled_projections.
guidance_embeds (bool, defaultnya False) — Apakah akan menggunakan guidance embeddings.

Model Transformer yang diperkenalkan dalam Flux. Berdasarkan FluxPipeline dengan beberapa perubahan:

tidak ada embedding yang dipool
Kami menggunakan zero padding untuk prompt
Tidak ada guidance embedding karena ini bukan versi yang telah di-distil Referensi: https://blackforestlabs.ai/announcing-black-forest-labs/

forward

< source >

( hidden_states: Tensorencoder_hidden_states: Tensor = Nonepooled_projections: Tensor = Nonetimestep: LongTensor = Noneimg_ids: Tensor = Nonetxt_ids: Tensor = Noneguidance: Tensor = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = Truecontrolnet_block_samples = Nonecontrolnet_single_block_samples = None )

Parameter

hidden_states (torch.FloatTensor dengan bentuk (batch size, channel, height, width)) — hidden_states masukan.
encoder_hidden_states (torch.FloatTensor dengan bentuk (batch size, sequence_len, embed_dims)) — Embeddings kondisional (embeddings yang dihitung dari kondisi input seperti prompt) yang akan digunakan.
pooled_projections (torch.FloatTensor dengan bentuk (batch_size, projection_dim)) — Embedding yang diproyeksikan dari embedding kondisi input.
timestep ( torch.LongTensor) — Digunakan untuk menunjukkan langkah denoising.
img_ids (torch.Tensor) — ID posisi gambar yang digunakan untuk menghitung embedding posisi rotasi.
txt_ids (torch.Tensor) — ID posisi teks yang digunakan untuk menghitung embedding posisi rotasi.
guidance (torch.Tensor, opsional) — Embedding skala panduan yang digunakan untuk varian model yang telah melalui distilasi panduan.
controlnet_block_samples (list dari torch.Tensor, opsional) — Daftar tensor yang, jika ditentukan, akan ditambahkan ke residual dari blok transformer.
controlnet_single_block_samples (list dari torch.Tensor, opsional) — Daftar tensor yang, jika ditentukan, akan ditambahkan ke residual dari blok transformer tunggal.
attention_kwargs (dict, opsional) — Kamus kwargs yang jika ditentukan akan diteruskan ke AttentionProcessor seperti yang didefinisikan di bawah self.processor dalam diffusers.models.attention_processor.
return_dict (bool, opsional, default True) — Apakah akan mengembalikan ~models.transformer_2d.Transformer2DModelOutput alih-alih tuple biasa.

Metode forward dari BriaTransformer2DModel.

Update on GitHub

←BriaFiboTransformer2DModel ChromaTransformer2DModel→