Parameter

• num_attention_heads (int, opsional, default 16) — Jumlah head yang digunakan untuk multi-head attention.
• attention_head_dim (int, opsional, default 72) — Jumlah channel di setiap head.
• in_channels (int, defaultnya 4) — Jumlah channel pada input.
• out_channels (int, opsional) — Jumlah channel pada output. Tentukan parameter ini jika jumlah channel output berbeda dari input.
• num_layers (int, opsional, default 28) — Jumlah lapisan blok Transformer yang digunakan.
• dropout (float, opsional, default 0.0) — Probabilitas dropout yang digunakan di dalam blok Transformer.
• norm_num_groups (int, opsional, default 32) — Jumlah grup untuk normalisasi grup di dalam blok Transformer.
• attention_bias (bool, opsional, default True) — Mengonfigurasi apakah perhatian pada blok Transformer harus memuat parameter bias.
• sample_size (int, defaultnya 32) — Lebar dari gambar laten. Parameter ini tetap selama pelatihan.
• patch_size (int, defaultnya 2) — Ukuran patch yang diproses oleh model, relevan untuk arsitektur yang bekerja pada data non-berurutan.
• activation_fn (str, opsional, default “gelu-approximate”) — Fungsi aktivasi yang digunakan dalam jaringan feed-forward di dalam blok Transformer.
• num_embeds_ada_norm (int, opsional, default 1000) — Jumlah embedding untuk AdaLayerNorm, yang tetap selama pelatihan dan memengaruhi jumlah langkah denoising maksimum selama inferensi.
• upcast_attention (bool, opsional, default False) — Jika true, menaikkan dimensi mekanisme perhatian untuk potensi peningkatan kinerja.
• norm_type (str, opsional, default “ada_norm_zero”) — Menentukan jenis normalisasi yang digunakan, dapat berupa ‘ada_norm_zero’.
• norm_elementwise_affine (bool, opsional, default False) — Jika true, mengaktifkan parameter afine per elemen di lapisan normalisasi.
• norm_eps (float, opsional, default 1e-5) — Konstanta kecil yang ditambahkan ke penyebut pada lapisan normalisasi untuk mencegah pembagian dengan nol.