# DiTTransformer2DModel

用于类图像数据的 Transformer 模型，源自 [DiT](https://huggingface.co/papers/2212.09748)。

## DiTTransformer2DModel[[diffusers.DiTTransformer2DModel]]

#### diffusers.DiTTransformer2DModel[[diffusers.DiTTransformer2DModel]]

```python
diffusers.DiTTransformer2DModel(num_attention_heads: int = 16, attention_head_dim: int = 72, in_channels: int = 4, out_channels: int | None = None, num_layers: int = 28, dropout: float = 0.0, norm_num_groups: int = 32, attention_bias: bool = True, sample_size: int = 32, patch_size: int = 2, activation_fn: str = 'gelu-approximate', num_embeds_ada_norm: int | None = 1000, upcast_attention: bool = False, norm_type: str = 'ada_norm_zero', norm_elementwise_affine: bool = False, norm_eps: float = 1e-05)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/transformers/dit_transformer_2d.py#L31)

**参数：**

num_attention_heads (int, 可选, 默认为 16) : 用于多头注意力的头数。

attention_head_dim (int, 可选, 默认值为 72) : 每个头中的通道数。

in_channels (int, 默认为 4)：输入中的通道数。

out_channels (int, 可选) : 输出中的通道数。如果输出通道数与输入不同，请指定此参数。

num_layers (int, 可选, 默认为 28) : 要使用的 Transformer 块层数。

dropout (float, 可选，默认值为 0.0) : 在 Transformer 块中使用的 dropout 概率。

norm_num_groups (int, 可选, 默认值为 32) : Transformer 块内组归一化的组数。

attention_bias (bool, 可选, 默认为 True) : 配置 Transformer 块中的注意力机制是否应包含偏置参数。

sample_size (int, 默认为 32)：潜在图像的宽度。此参数在训练过程中是固定的。

patch_size (int, 默认为 2) : 模型处理的块大小，适用于处理非顺序数据的架构。

activation_fn (str，可选，默认为 "gelu-approximate")：在 Transformer 块中的前馈网络中使用的激活函数。

num_embeds_ada_norm (int, 可选，默认值为 1000) : AdaLayerNorm 的嵌入数量，在训练期间固定，并影响推理时的最大去噪步数。

upcast_attention (bool, 可选, 默认为 False) : 如果为 true，则向上转换注意力机制的维度，以可能提升性能。

norm_type (str, 可选，默认为 "ada_norm_zero")：指定所使用的归一化类型，可以是 'ada_norm_zero'。

norm_elementwise_affine (bool, 可选, 默认为 False) : 如果为 true，则在归一化层中启用逐元素仿射参数。

norm_eps (float, 可选，默认为 1e-5) : 在归一化层中添加到分母的一个小常数，用于防止除以零。

如 DiT (https://huggingface.co/papers/2212.09748) 中介绍的 2D Transformer 模型。

#### forward[[diffusers.DiTTransformer2DModel.forward]]

```python
forward(hidden_states: Tensor, timestep: typing.Optional[torch.LongTensor] = None, class_labels: typing.Optional[torch.LongTensor] = None, cross_attention_kwargs: dict[str, typing.Any] = None, return_dict: bool = True)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/transformers/dit_transformer_2d.py#L148)

**参数：**

hidden_states （如果为离散值，则为形状为 `(batch size, num latent pixels)` 的 `torch.LongTensor`；如果为连续值，则为形状为 `(batch size, channel, height, width)` 的 `torch.FloatTensor`）：输入 `hidden_states`。

timestep ( `torch.LongTensor`, *可选*) : 用于指示去噪步骤。作为嵌入应用于 `AdaLayerNorm` 的可选时间步。

class_labels ( `torch.LongTensor`，形状为 `(batch size, num classes)`，*可选*)：用于指示类别标签条件。可选的类别标签，将作为嵌入应用于 `AdaLayerZeroNorm`。

cross_attention_kwargs ( `dict[str, Any]`，*可选*)：一个 kwargs 字典，如果指定，将作为参数传递给 [diffusers.models.attention_processor](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py) 中 `self.processor` 下定义的 `AttentionProcessor`。

return_dict (`bool`，*可选*，默认为 `True`)：是否返回 [UNet2DConditionOutput](/docs/diffusers/v0.43.0/zh/api/models/unet2d-cond#diffusers.models.unets.unet_2d_condition.UNet2DConditionOutput) 而不是普通元组。

**返回值：**

如果 `return_dict` 为 True，则返回 `~models.transformer_2d.Transformer2DModelOutput`，否则返回一个 `tuple`，其中第一个元素是样本张量。

[DiTTransformer2DModel](/docs/diffusers/v0.43.0/zh/api/models/dit_transformer2d#diffusers.DiTTransformer2DModel) 的前向方法。