Diffusers documentation

Слои нормализации

Diffusers

Начало работы

Diffusers Установка Быстрый старт Интерфейс командной строки

Вывод

Использование конвейеров диффузии

Адаптеры и персонализация

Оптимизация и масштабирование

Базовая производительность

Вывод

Методы сообщества

Квантование

Ускорение для конкретного оборудования

Развёртывание и масштабирование

Модульные Diffusers

Обучение и дообучение

Ресурсы

Внести вклад

API

Основные классы

Модульный

Загрузчики

Модели

Конвейеры

Планировщики

Внутренние классы

Обзор Процессор внимания Пользовательские функции активации Методы кэширования Пользовательские слои нормализации Утилиты Обработчик изображений VAE Video Processor

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Слои нормализации

Специализированные слои нормализации для поддержки различных моделей в 🤗 Diffusers.

AdaLayerNorm

класс diffusers.models.normalization.AdaLayerNorm

< source >

( embedding_dim: intnum_embeddings: int | None = Noneoutput_dim: int | None = Nonenorm_elementwise_affine: bool = Falsenorm_eps: float = 1e-05chunk_dim: int = 0 )

Параметры

embedding_dim (int) — размерность каждого вектора эмбеддинга.
num_embeddings (int, необязательный) — Размер словаря эмбеддингов.
output_dim (int, необязательный) —
norm_elementwise_affine (bool, по умолчанию `False) —
norm_eps (bool, по умолчанию False) —
chunk_dim (int, по умолчанию 0) —

Слой нормализации изменён для включения эмбеддингов временных шагов.

AdaLayerNormZero

класс diffusers.models.normalization.AdaLayerNormZero

< source >

( embedding_dim: intnum_embeddings: int | None = Nonenorm_type = 'layer_norm'bias = True )

Параметры

embedding_dim (int) — размерность каждого вектора эмбеддинга.
num_embeddings (int) — Размер словаря эмбеддингов.

Нормализующий слой адаптивная нормализация нулей (adaLN-Zero).

AdaLayerNormSingle

класс diffusers.models.normalization.AdaLayerNormSingle

< source >

( embedding_dim: intuse_additional_conditions: bool = False )

Параметры

embedding_dim (int) — размерность каждого вектора эмбеддинга.
use_additional_conditions (bool) — Использовать дополнительные условия для нормализации или нет.

Нормализующий слой адаптивная нормализация по слоям single (adaLN-single).

Как предложено в PixArt-Alpha (см.: https://huggingface.co/papers/2310.00426; раздел 2.3).

AdaGroupNorm

класс diffusers.models.normalization.AdaGroupNorm

< source >

( embedding_dim: intout_dim: intnum_groups: intact_fn: str | None = Noneeps: float = 1e-05 )

Параметры

embedding_dim (int) — размерность каждого вектора эмбеддинга.
num_embeddings (int) — Размер словаря эмбеддингов.
num_groups (int) — Количество групп, на которые разделяются каналы.
act_fn (str, необязательный, по умолчанию None) — Функция активации, которую следует использовать.
eps (float, необязательный, по умолчанию 1e-5) — значение эпсилона, используемое для численной устойчивости.

Слой GroupNorm, модифицированный для включения эмбеддингов временных шагов.

AdaLayerNormContinuous

класс diffusers.models.normalization.AdaLayerNormContinuous

< source >

( embedding_dim: intconditioning_embedding_dim: intelementwise_affine = Trueeps = 1e-05bias = Truenorm_type = 'layer_norm' )

Параметры

embedding_dim (int) — Размерность эмбеддинга, используемая при проекции.
conditioning_embedding_dim (int) — Размерность входного условия.
elementwise_affine (bool, по умолчанию True) — Логический флаг, указывающий, следует ли применять аффинное преобразование.
eps (float, по умолчанию 1e-5) — Коэффициент эпсилон.
bias (bias, по умолчанию True) — булевый флаг, указывающий, следует ли использовать смещение.
norm_type (str, по умолчанию "layer_norm") — Слой нормализации для использования. Поддерживаемые значения: “layer_norm”, “rms_norm”.

Слой адаптивной нормализации со слоем нормализации (layer_norm или rms_norm).

RMSNorm

класс diffusers.models.normalization.RMSNorm

< source >

( dimeps: floatelementwise_affine: bool = Truebias: bool = False )

Параметры

dim (int) — Количество измерений для weights. Действует только при elementwise_affine = True.
eps (float) — Малое значение, используемое при вычислении обратной величины квадратного корня.
elementwise_affine (bool, по умолчанию True) — Логический флаг, указывающий, следует ли применять аффинное преобразование.
bias (bool, по умолчанию False) — Если также обучать параметр bias.

RMS Norm, предложенный в https://huggingface.co/papers/1910.07467 Zhang et al.

GlobalResponseNorm

класс diffusers.models.normalization.GlobalResponseNorm

< source >

( dim )

Параметры

dim (int) — Количество измерений, используемых для gamma и beta.

Нормализация глобального ответа, предложенная в ConvNeXt-v2 (https://huggingface.co/papers/2301.00808).

LuminaLayerNormContinuous

класс diffusers.models.normalization.LuminaLayerNormContinuous

< source >

( embedding_dim: intconditioning_embedding_dim: intelementwise_affine = Trueeps = 1e-05bias = Truenorm_type = 'layer_norm'out_dim: int | None = None )