Lapisan normalisasi

Lapisan normalisasi yang dikustomisasi untuk mendukung berbagai model di 🤗 Diffusers.

AdaLayerNorm

kelas diffusers.models.normalization.AdaLayerNorm

( embedding_dim: intnum_embeddings: int | None = Noneoutput_dim: int | None = Nonenorm_elementwise_affine: bool = Falsenorm_eps: float = 1e-05chunk_dim: int = 0 )

Parameter

embedding_dim (int) — Ukuran setiap vektor embedding.
num_embeddings (int, opsional) — Ukuran kamus embeddings.
output_dim (int, opsional) —
norm_elementwise_affine (bool, defaultnya `False) —
norm_eps (bool, defaultnya False) —
chunk_dim (int, defaultnya 0) —

Lapisan norm dimodifikasi untuk mengintegrasikan embedding timestep.

AdaLayerNormZero

kelas diffusers.models.normalization.AdaLayerNormZero

< source >

( embedding_dim: intnum_embeddings: int | None = Nonenorm_type = 'layer_norm'bias = True )

Parameter

embedding_dim (int) — Ukuran setiap vektor embedding.
num_embeddings (int) — Ukuran kamus embeddings.

Norm layer adaptive layer norm zero (adaLN-Zero).

AdaLayerNormSingle

kelas diffusers.models.normalization.AdaLayerNormSingle

< source >

( embedding_dim: intuse_additional_conditions: bool = False )

Parameter

embedding_dim (int) — Ukuran setiap vektor embedding.
use_additional_conditions (bool) — Untuk menggunakan kondisi tambahan untuk normalisasi atau tidak.

Norm layer adaptive layer norm single (adaLN-single).

Seperti yang diusulkan dalam PixArt-Alpha (lihat: https://huggingface.co/papers/2310.00426; Bagian 2.3).

AdaGroupNorm

kelas diffusers.models.normalization.AdaGroupNorm

< source >

( embedding_dim: intout_dim: intnum_groups: intact_fn: str | None = Noneeps: float = 1e-05 )

Parameter

embedding_dim (int) — Ukuran setiap vektor embedding.
num_embeddings (int) — Ukuran kamus embeddings.
num_groups (int) — Jumlah grup untuk memisahkan channel.
act_fn (str, opsional, defaultnya None) — Fungsi aktivasi yang akan digunakan.
eps (float, opsional, defaultnya 1e-5) — Nilai epsilon yang digunakan untuk stabilitas numerik.

Lapisan GroupNorm yang dimodifikasi untuk mengintegrasikan embedding timestep.

AdaLayerNormContinuous

kelas diffusers.models.normalization.AdaLayerNormContinuous

< source >

( embedding_dim: intconditioning_embedding_dim: intelementwise_affine = Trueeps = 1e-05bias = Truenorm_type = 'layer_norm' )

Parameter

embedding_dim (int) — Dimensi embedding yang digunakan selama proyeksi.
conditioning_embedding_dim (int) — Dimensi dari kondisi input.
elementwise_affine (bool, defaultnya True) — Bendera Boolean untuk menunjukkan apakah transformasi afine harus diterapkan.
eps (float, defaultnya 1e-5) — Faktor epsilon.
bias (bias, defaultnya True) — Flag Boolean untuk menentukan apakah bias harus digunakan.
norm_type (str, defaultnya "layer_norm") — Lapisan normalisasi yang akan digunakan. Nilai yang didukung: “layer_norm”, “rms_norm”.

Lapisan normalisasi adaptif dengan lapisan norm (layer_norm atau rms_norm).

RMSNorm

kelas diffusers.models.normalization.RMSNorm

< source >

( dimeps: floatelementwise_affine: bool = Truebias: bool = False )

Parameter

dim (int) — Jumlah dimensi yang digunakan untuk weights. Hanya berlaku ketika elementwise_affine bernilai True.
eps (float) — Nilai kecil yang digunakan saat menghitung kebalikan dari akar kuadrat.
elementwise_affine (bool, defaultnya True) — Bendera Boolean untuk menunjukkan apakah transformasi afine harus diterapkan.
bias (bool, defaultnya False) — Jika juga melatih param bias.

RMS Norm yang diperkenalkan dalam https://huggingface.co/papers/1910.07467 oleh Zhang dkk.

GlobalResponseNorm

kelas diffusers.models.normalization.GlobalResponseNorm

< source >

( dim )

Parameter

dim (int) — Jumlah dimensi yang digunakan untuk gamma dan beta.

Normalisasi respons global yang diperkenalkan dalam ConvNeXt-v2 (https://huggingface.co/papers/2301.00808).

LuminaLayerNormContinuous

kelas diffusers.models.normalization.LuminaLayerNormContinuous

< source >

( embedding_dim: intconditioning_embedding_dim: intelementwise_affine = Trueeps = 1e-05bias = Truenorm_type = 'layer_norm'out_dim: int | None = None )