# DiTTransformer2DModel

Một mô hình Transformer cho dữ liệu dạng ảnh từ [DiT](https://huggingface.co/papers/2212.09748).

## DiTTransformer2DModel[[diffusers.DiTTransformer2DModel]]

#### diffusers.DiTTransformer2DModel[[diffusers.DiTTransformer2DModel]]

```python
diffusers.DiTTransformer2DModel(num_attention_heads: int = 16, attention_head_dim: int = 72, in_channels: int = 4, out_channels: int | None = None, num_layers: int = 28, dropout: float = 0.0, norm_num_groups: int = 32, attention_bias: bool = True, sample_size: int = 32, patch_size: int = 2, activation_fn: str = 'gelu-approximate', num_embeds_ada_norm: int | None = 1000, upcast_attention: bool = False, norm_type: str = 'ada_norm_zero', norm_elementwise_affine: bool = False, norm_eps: float = 1e-05)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/transformers/dit_transformer_2d.py#L31)

**Tham số:**

num_attention_heads (int, tùy chọn, mặc định là 16) : Số lượng đầu (heads) được sử dụng cho chú ý đa đầu (multi-head attention).

attention_head_dim (int, tùy chọn, mặc định là 72) : Số lượng kênh trong mỗi đầu.

in_channels (int, mặc định là 4) : Số kênh trong đầu vào.

out_channels (int, tùy chọn) : Số lượng kênh trong đầu ra. Chỉ định tham số này nếu số lượng kênh đầu ra khác với đầu vào.

num_layers (int, tùy chọn, mặc định là 28) : Số lượng lớp khối Transformer cần sử dụng.

dropout (float, tùy chọn, mặc định là 0.0) : Xác suất dropout để sử dụng bên trong các khối Transformer.

norm_num_groups (int, tùy chọn, mặc định là 32) : Số lượng nhóm cho chuẩn hóa nhóm (group normalization) bên trong các khối Transformer.

attention_bias (bool, tùy chọn, mặc định là True) : Cấu hình xem chú ý (attention) của các khối Transformer có nên chứa tham số bias hay không.

sample_size (int, mặc định là 32) : Độ rộng của các ảnh tiềm ẩn. Tham số này được cố định trong quá trình huấn luyện.

patch_size (int, mặc định là 2) : Kích thước của các patch mà mô hình xử lý, liên quan đến các kiến trúc hoạt động trên dữ liệu không tuần tự.

activation_fn (str, tùy chọn, mặc định là "gelu-approximate") : Hàm kích hoạt được sử dụng trong các mạng feed-forward bên trong các khối Transformer.

num_embeds_ada_norm (int, tùy chọn, mặc định là 1000) : Số lượng embeddings cho AdaLayerNorm, được cố định trong quá trình huấn luyện và ảnh hưởng đến số bước khử nhiễu tối đa trong quá trình suy luận.

upcast_attention (bool, tùy chọn, mặc định là False) : Nếu là true, sẽ tăng cấp các chiều của cơ chế chú ý để có thể cải thiện hiệu suất.

norm_type (str, tùy chọn, mặc định là "ada_norm_zero") : Xác định loại chuẩn hóa được sử dụng, có thể là 'ada_norm_zero'.

norm_elementwise_affine (bool, tùy chọn, mặc định là False) : Nếu là true, kích hoạt các tham số affine theo từng phần tử trong các lớp chuẩn hóa.

norm_eps (float, tùy chọn, mặc định là 1e-5) : Một hằng số nhỏ được cộng vào mẫu số trong các lớp chuẩn hóa để ngăn chặn phép chia cho không.

Một mô hình Transformer 2D như được giới thiệu trong DiT (https://huggingface.co/papers/2212.09748).

#### forward[[diffusers.DiTTransformer2DModel.forward]]

```python
forward(hidden_states: Tensor, timestep: typing.Optional[torch.LongTensor] = None, class_labels: typing.Optional[torch.LongTensor] = None, cross_attention_kwargs: dict[str, typing.Any] = None, return_dict: bool = True)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/models/transformers/dit_transformer_2d.py#L148)

**Tham số:**

hidden_states (`torch.LongTensor` có hình dạng `(batch size, num latent pixels)` nếu rời rạc, `torch.FloatTensor` có hình dạng `(batch size, channel, height, width)` nếu liên tục) : `hidden_states` đầu vào.

timestep ( `torch.LongTensor`, *tùy chọn*) : Dùng để chỉ bước khử nhiễu. Timestep tùy chọn được áp dụng dưới dạng embedding trong `AdaLayerNorm`.

class_labels ( `torch.LongTensor` có shape `(batch size, num classes)`, *tuỳ chọn*) : Dùng để chỉ định điều kiện nhãn lớp. Các nhãn lớp tuỳ chọn sẽ được áp dụng dưới dạng embedding trong `AdaLayerZeroNorm`.

cross_attention_kwargs ( `dict[str, Any]`, *tùy chọn*) : Một từ điển kwargs mà nếu được chỉ định sẽ được truyền đến `AttentionProcessor` như đã định nghĩa dưới `self.processor` trong [diffusers.models.attention_processor](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py).

return_dict (`bool`, *tùy chọn*, mặc định là `True`) : Có nên trả về một [UNet2DConditionOutput](/docs/diffusers/v0.43.0/vi/api/models/unet2d-cond#diffusers.models.unets.unet_2d_condition.UNet2DConditionOutput) thay vì một tuple thông thường hay không.

**Trả về:**

Nếu `return_dict` là True, một `~models.transformer_2d.Transformer2DModelOutput` sẽ được trả về, ngược lại một `tuple` trong đó phần tử đầu tiên là tensor mẫu.

Phương thức forward của [DiTTransformer2DModel](/docs/diffusers/v0.43.0/vi/api/models/dit_transformer2d#diffusers.DiTTransformer2DModel).