Hugging Face's logo

Diffusers documentation

SanaTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SanaTransformer2DModel

Model Diffusion Transformer untuk data 2D dari SANA: Efficient High-Resolution Image Synthesis with Linear Diffusion Transformers diperkenalkan oleh NVIDIA dan MIT HAN Lab, oleh Enze Xie, Junsong Chen, Junyu Chen, Han Cai, Haotian Tang, Yujun Lin, Zhekai Zhang, Muyang Li, Ligeng Zhu, Yao Lu, Song Han.

Abstrak dari makalah tersebut adalah:

Kami memperkenalkan Sana, sebuah kerangka kerja teks-ke-gambar yang dapat menghasilkan gambar hingga resolusi 4096×4096 secara efisien. Sana dapat mensintesis gambar beresolusi tinggi dan berkualitas tinggi dengan keselarasan teks-gambar yang kuat pada kecepatan yang sangat cepat, dan dapat di-deploy pada GPU laptop. Desain intinya meliputi: (1) Autoencoder kompresi dalam: berbeda dengan AE tradisional yang hanya mengompresi gambar 8×, kami melatih AE yang dapat mengompresi gambar 32×, secara efektif mengurangi jumlah token laten. (2) Linear DiT: kami mengganti semua vanilla attention di DiT dengan linear attention, yang lebih efisien pada resolusi tinggi tanpa mengorbankan kualitas. (3) Text encoder hanya-decoder: kami mengganti T5 dengan LLM kecil modern hanya-decoder sebagai text encoder dan merancang instruksi manusia yang kompleks dengan in-context learning untuk meningkatkan keselarasan gambar-teks. (4) Pelatihan dan sampling yang efisien: kami mengusulkan Flow-DPM-Solver untuk mengurangi langkah sampling, dengan pelabelan dan seleksi caption yang efisien untuk mempercepat konvergensi. Akibatnya, Sana-0.6B sangat kompetitif dengan model difusi raksasa modern (misalnya Flux-12B), berukuran 20 kali lebih kecil dan 100+ kali lebih cepat dalam throughput yang diukur. Selain itu, Sana-0.6B dapat di-deploy pada GPU laptop 16GB, membutuhkan waktu kurang dari 1 detik untuk menghasilkan gambar beresolusi 1024×1024. Sana memungkinkan pembuatan konten dengan biaya rendah. Kode dan model akan dirilis secara publik.

Model dapat dimuat dengan potongan kode berikut.

from diffusers import SanaTransformer2DModel

transformer = SanaTransformer2DModel.from_pretrained("Efficient-Large-Model/Sana_1600M_1024px_BF16_diffusers", subfolder="transformer", dtype=torch.bfloat16)

SanaTransformer2DModel

kelas diffusers.SanaTransformer2DModel

< >

( in_channels: int = 32out_channels: int | None = 32num_attention_heads: int = 70attention_head_dim: int = 32num_layers: int = 20num_cross_attention_heads: int | None = 20cross_attention_head_dim: int | None = 112cross_attention_dim: int | None = 2240caption_channels: int = 2304mlp_ratio: float = 2.5dropout: float = 0.0attention_bias: bool = Falsesample_size: int = 32patch_size: int = 1norm_elementwise_affine: bool = Falsenorm_eps: float = 1e-06interpolation_scale: int | None = Noneguidance_embeds: bool = Falseguidance_embeds_scale: float = 0.1qk_norm: str | None = Nonetimestep_scale: float = 1.0 )

Parameter

  • in_channels (int, defaultnya 32) — Jumlah channel pada input.
  • out_channels (int, opsional, defaultnya 32) — Jumlah channel pada output.
  • num_attention_heads (int, defaultnya 70) — Jumlah head yang digunakan untuk multi-head attention.
  • attention_head_dim (int, defaultnya 32) — Jumlah saluran di setiap head.
  • num_layers (int, defaultnya 20) — Jumlah lapisan blok Transformer yang akan digunakan.
  • num_cross_attention_heads (int, opsional, defaultnya 20) — Jumlah head yang digunakan untuk cross-attention.
  • cross_attention_head_dim (int, opsional, defaultnya 112) — Jumlah channel di setiap head untuk cross-attention.
  • cross_attention_dim (int, opsional, defaultnya 2240) — Jumlah channel pada output cross-attention.
  • caption_channels (int, defaultnya 2304) — Jumlah channel dalam caption embeddings.
  • mlp_ratio (float, defaultnya 2.5) — Rasio ekspansi yang digunakan di lapisan GLUMBConv.
  • dropout (float, defaultnya 0.0) — Probabilitas dropout.
  • attention_bias (bool, defaultnya False) — Apakah akan menggunakan bias pada lapisan attention.
  • sample_size (int, defaultnya 32) — Ukuran dasar dari laten input.
  • patch_size (int, defaultnya 1) — Ukuran patch yang akan digunakan di lapisan patch embedding.
  • norm_elementwise_affine (bool, defaultnya False) — Apakah akan menggunakan afinitas elementwise pada lapisan normalisasi.
  • norm_eps (float, defaultnya 1e-6) — Nilai epsilon untuk lapisan normalisasi.
  • qk_norm (str, opsional, default None) — Normalisasi yang digunakan untuk query dan key.
  • timestep_scale (float, defaultnya 1.0) — Skala yang digunakan untuk timestep.

Model Transformer 2D yang diperkenalkan dalam keluarga model Sana.

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensortimestep: Tensorguidance: typing.Optional[torch.Tensor] = Noneencoder_attention_mask: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonecontrolnet_block_samples: tuple[torch.Tensor] | None = Nonereturn_dict: bool = True )

Parameter

  • hidden_states (torch.Tensor dengan bentuk (batch_size, in_channels, height, width)) — hidden_states masukan.
  • encoder_hidden_states (torch.Tensor dengan bentuk (batch_size, sequence_len, embed_dims)) — Embedding kondisional (embedding yang dihitung dari kondisi input seperti prompt) yang akan digunakan.
  • timestep (torch.LongTensor) — Digunakan untuk menunjukkan langkah denoising.
  • guidance (torch.Tensor, opsional) — Embedding skala panduan.
  • encoder_attention_mask (torch.Tensor, opsional) — Mask cross-attention yang diterapkan pada encoder_hidden_states.
  • attention_mask (torch.Tensor, opsional) — Mask self-attention yang diterapkan pada hidden_states.
  • attention_kwargs (dict, opsional) — Kamus kwargs yang jika ditentukan akan diteruskan ke AttentionProcessor seperti yang didefinisikan di bawah self.processor dalam diffusers.models.attention_processor.
  • controlnet_block_samples (tuple dari torch.Tensor, opsional) — Daftar tensor yang, jika ditentukan, akan ditambahkan ke residual blok transformer.
  • return_dict (bool, opsional, default True) — Apakah akan mengembalikan ~models.transformer_2d.Transformer2DModelOutput alih-alih tuple biasa.

Metode forward dari SanaTransformer2DModel.

Transformer2DModelOutput

kelas diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parameter

  • sample (torch.Tensor dengan bentuk (batch_size, num_channels, height, width) atau (batch size, num_vector_embeds - 1, num_latent_pixels) jika Transformer2DModel bersifat diskrit) — Output hidden states yang dikondisikan pada input encoder_hidden_states. Jika diskrit, mengembalikan distribusi probabilitas untuk latent pixels yang tidak berisik.

Output dari Transformer2DModel.

Update on GitHub

←RFD4ProteinaTransformer SanaVideoTransformer3DModel→