# 激活函数

用于支持 🤗 Diffusers 中各种模型的自定义激活函数。

## GELU[[diffusers.models.activations.GELU]]

#### diffusers.models.activations.GELU[[diffusers.models.activations.GELU]]

```python
diffusers.models.activations.GELU(dim_in: int, dim_out: int, approximate: str = 'none', bias: bool = True)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/activations.py#L65)

**参数：**

dim_in (`int`) : 输入中的通道数。

dim_out (`int`) : 输出中的通道数。

approximate (`str`，*可选*，默认为 `"none"`)：如果为 `"tanh"`，则使用 tanh 近似。

bias (`bool`，默认为 True)：是否在线性层中使用偏置。

支持使用 `approximate="tanh"` 进行 tanh 近似的 GELU 激活函数。

## GEGLU[[diffusers.models.activations.GEGLU]]

#### diffusers.models.activations.GEGLU[[diffusers.models.activations.GEGLU]]

```python
diffusers.models.activations.GEGLU(dim_in: int, dim_out: int, bias: bool = True)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/activations.py#L90)

**参数：**

dim_in (`int`) : 输入中的通道数。

dim_out (`int`) : 输出中的通道数。

bias (`bool`，默认为 True)：是否在线性层中使用偏置。

门控线性单元激活函数的[变体](https://huggingface.co/papers/2002.05202)。

## ApproximateGELU[[diffusers.models.activations.ApproximateGELU]]

#### diffusers.models.activations.ApproximateGELU[[diffusers.models.activations.ApproximateGELU]]

```python
diffusers.models.activations.ApproximateGELU(dim_in: int, dim_out: int, bias: bool = True)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/activations.py#L143)

**参数：**

dim_in (`int`) : 输入中的通道数。

dim_out (`int`) : 输出中的通道数。

bias (`bool`，默认为 True)：是否在线性层中使用偏置。

高斯误差线性单元（GELU）的近似形式。更多详情请参阅此[论文](https://huggingface.co/papers/1606.08415)的第 2 节。

## SwiGLU[[diffusers.models.activations.SwiGLU]]

#### diffusers.models.activations.SwiGLU[[diffusers.models.activations.SwiGLU]]

```python
diffusers.models.activations.SwiGLU(dim_in: int, dim_out: int, bias: bool = True)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/activations.py#L120)

**参数：**

dim_in (`int`) : 输入中的通道数。

dim_out (`int`) : 输出中的通道数。

bias (`bool`，默认为 True)：是否在线性层中使用偏置。

门控线性单元激活函数的[变体](https://huggingface.co/papers/2002.05202)。它与 `GEGLU` 类似，但使用 SiLU / Swish 代替 GeLU。

## FP32SiLU[[diffusers.models.activations.FP32SiLU]]

#### diffusers.models.activations.FP32SiLU[[diffusers.models.activations.FP32SiLU]]

```python
diffusers.models.activations.FP32SiLU()
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/activations.py#L53)

输入被上转换为 torch.float32 的 SiLU 激活函数。

## LinearActivation[[diffusers.models.activations.LinearActivation]]

#### diffusers.models.activations.LinearActivation[[diffusers.models.activations.LinearActivation]]

```python
diffusers.models.activations.LinearActivation(dim_in: int, dim_out: int, bias: bool = True, activation: str = 'silu')
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/activations.py#L163)