Функции активации

Пользовательские функции активации для поддержки различных моделей в 🤗 Diffusers.

GELU

( dim_in: intdim_out: intapproximate: str = 'none'bias: bool = True )

Параметры

dim_in (int) — Количество каналов на входе.
dim_out (int) — Количество каналов на выходе.
approximate (str, необязательный, по умолчанию "none") — Если "tanh", используется приближение tanh.
bias (bool, по умолчанию True) — Использовать ли смещение в линейном слое.

Функция активации GELU с поддержкой аппроксимации tanh при approximate="tanh".

( dim_in: intdim_out: intbias: bool = True )

Параметры

dim_in (int) — Количество каналов на входе.
dim_out (int) — Количество каналов на выходе.
bias (bool, по умолчанию True) — Использовать ли смещение в линейном слое.

Вариант функции активации gated linear unit.

( dim_in: intdim_out: intbias: bool = True )

Параметры

dim_in (int) — Количество каналов на входе.
dim_out (int) — Количество каналов на выходе.
bias (bool, по умолчанию True) — Использовать ли смещение в линейном слое.

Приближённая форма функции активации Gaussian Error Linear Unit (GELU). Дополнительные сведения см. в разделе 2 этой статьи.

( dim_in: intdim_out: intbias: bool = True )

Параметры

dim_in (int) — Количество каналов на входе.
dim_out (int) — Количество каналов на выходе.
bias (bool, по умолчанию True) — Использовать ли смещение в линейном слое.

Вариант функции активации gated linear unit. Похожа на GEGLU, но использует SiLU / Swish вместо GeLU.

( )

Функция активации SiLU с входом, преобразованным в torch.float32.

( dim_in: intdim_out: intbias: bool = Trueactivation: str = 'silu' )