Các lớp chuẩn hóa

Các lớp chuẩn hóa tùy chỉnh để hỗ trợ nhiều mô hình khác nhau trong 🤗 Diffusers.

AdaLayerNorm

lớp diffusers.models.normalization.AdaLayerNorm

( embedding_dim: intnum_embeddings: int | None = Noneoutput_dim: int | None = Nonenorm_elementwise_affine: bool = Falsenorm_eps: float = 1e-05chunk_dim: int = 0 )

Tham số

embedding_dim (int) — Kích thước của mỗi vector nhúng.
num_embeddings (int, tùy chọn) — Kích thước của từ điển embeddings.
output_dim (int, tùy chọn) —
norm_elementwise_affine (bool, mặc định là `False) —
norm_eps (bool, mặc định là False) —
chunk_dim (int, mặc định là 0) —

Tầng chuẩn hóa được sửa đổi để tích hợp các nhúng bước thời gian.

AdaLayerNormZero

lớp diffusers.models.normalization.AdaLayerNormZero

< source >

( embedding_dim: intnum_embeddings: int | None = Nonenorm_type = 'layer_norm'bias = True )

Tham số

embedding_dim (int) — Kích thước của mỗi vector nhúng.
num_embeddings (int) — Kích thước của từ điển embeddings.

Tầng chuẩn hóa thích ứng chuẩn hóa lớp không (adaLN-Zero).

AdaLayerNormSingle

lớp diffusers.models.normalization.AdaLayerNormSingle

< source >

( embedding_dim: intuse_additional_conditions: bool = False )

Tham số

embedding_dim (int) — Kích thước của mỗi vector nhúng.
use_additional_conditions (bool) — Có sử dụng các điều kiện bổ sung cho việc chuẩn hóa hay không.

Tầng chuẩn hóa thích ứng chuẩn hóa lớp đơn (adaLN-single).

Như đã đề xuất trong PixArt-Alpha (xem: https://huggingface.co/papers/2310.00426; Mục 2.3).

AdaGroupNorm

lớp diffusers.models.normalization.AdaGroupNorm

< source >

( embedding_dim: intout_dim: intnum_groups: intact_fn: str | None = Noneeps: float = 1e-05 )

Tham số

embedding_dim (int) — Kích thước của mỗi vector nhúng.
num_embeddings (int) — Kích thước của từ điển embeddings.
num_groups (int) — Số nhóm để tách các kênh thành.
act_fn (str, tùy chọn, mặc định là None) — Hàm kích hoạt cần sử dụng.
eps (float, tùy chọn, mặc định là 1e-5) — Giá trị epsilon được sử dụng để đảm bảo ổn định số.

Tầng GroupNorm được sửa đổi để tích hợp các nhúng bước thời gian.

AdaLayerNormContinuous

lớp diffusers.models.normalization.AdaLayerNormContinuous

< source >

( embedding_dim: intconditioning_embedding_dim: intelementwise_affine = Trueeps = 1e-05bias = Truenorm_type = 'layer_norm' )

Tham số

embedding_dim (int) — Kích thước embedding sử dụng trong quá trình chiếu.
conditioning_embedding_dim (int) — Kích thước của điều kiện đầu vào.
elementwise_affine (bool, mặc định là True) — Cờ Boolean để chỉ định có nên áp dụng phép biến đổi affine hay không.
eps (float, mặc định là 1e-5) — Hệ số epsilon.
bias (bias, mặc định là True) — Cờ Boolean để chỉ định có nên sử dụng bias hay không.
norm_type (str, mặc định là "layer_norm") — Lớp chuẩn hóa cần sử dụng. Các giá trị được hỗ trợ: “layer_norm”, “rms_norm”.

Tầng chuẩn hóa thích ứng với một tầng chuẩn hóa (layer_norm hoặc rms_norm).

RMSNorm

lớp diffusers.models.normalization.RMSNorm

< source >

( dimeps: floatelementwise_affine: bool = Truebias: bool = False )

Tham số

dim (int) — Số chiều cần dùng cho weights. Chỉ có hiệu lực khi elementwise_affine là True.
eps (float) — Giá trị nhỏ dùng khi tính nghịch đảo của căn bậc hai.
elementwise_affine (bool, mặc định là True) — Cờ Boolean để chỉ định có nên áp dụng phép biến đổi affine hay không.
bias (bool, mặc định là False) — Nếu cũng huấn luyện tham số bias.

RMS Norm được giới thiệu trong https://huggingface.co/papers/1910.07467 bởi Zhang và cộng sự.

GlobalResponseNorm

lớp diffusers.models.normalization.GlobalResponseNorm

< source >

( dim )

Tham số

dim (int) — Số chiều được sử dụng cho gamma và beta.

Chuẩn hóa phản hồi toàn cục như được giới thiệu trong ConvNeXt-v2 (https://huggingface.co/papers/2301.00808).

LuminaLayerNormContinuous

lớp diffusers.models.normalization.LuminaLayerNormContinuous

< source >

( embedding_dim: intconditioning_embedding_dim: intelementwise_affine = Trueeps = 1e-05bias = Truenorm_type = 'layer_norm'out_dim: int | None = None )