Hugging Face's logo

Diffusers documentation

LuminaNextDiT2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LuminaNextDiT2DModel

Phiên bản tiếp theo của mô hình Diffusion Transformer cho dữ liệu 2D từ Lumina-T2X.

LuminaNextDiT2DModel

lớp diffusers.LuminaNextDiT2DModel

< >

( sample_size: int = 128patch_size: int | None = 2in_channels: int | None = 4hidden_size: int | None = 2304num_layers: int | None = 32num_attention_heads: int | None = 32num_kv_heads: int | None = Nonemultiple_of: int | None = 256ffn_dim_multiplier: float | None = Nonenorm_eps: float | None = 1e-05learn_sigma: bool | None = Trueqk_norm: bool | None = Truecross_attention_dim: int | None = 2048scaling_factor: float | None = 1.0 )

Tham số

  • sample_size (int) — Độ rộng của các ảnh tiềm ẩn. Giá trị này được cố định trong quá trình huấn luyện vì nó được dùng để học một số lượng embedding vị trí.
  • patch_size (int, tuỳ chọn, (int, tuỳ chọn, mặc định là 2) — Kích thước của mỗi patch trong ảnh. Tham số này xác định độ phân giải của các patch được đưa vào mô hình.
  • in_channels (int, tùy chọn, mặc định là 4) — Số lượng kênh đầu vào của mô hình. Thông thường, con số này khớp với số lượng kênh trong các hình ảnh đầu vào.
  • hidden_size (int, tùy chọn, mặc định là 4096) — Kích thước chiều của các lớp ẩn trong mô hình. Tham số này xác định độ rộng của các biểu diễn ẩn của mô hình.
  • num_layers (int, tùy chọn, mặc định là 32) — Số lượng lớp trong mô hình. Tham số này xác định độ sâu của mạng nơ-ron.
  • num_attention_heads (int, tùy chọn, mặc định là 32) — Số lượng attention heads trong mỗi lớp attention. Tham số này chỉ định số lượng cơ chế attention riêng biệt được sử dụng.
  • num_kv_heads (int, tùy chọn, mặc định là 8) — Số lượng đầu key-value trong cơ chế chú ý, nếu khác với số lượng đầu chú ý. Nếu là None, giá trị mặc định sẽ là num_attention_heads.
  • multiple_of (int, tùy chọn, mặc định là 256) — Hệ số mà kích thước ẩn phải là bội số của nó. Điều này có thể giúp tối ưu hóa một số cấu hình phần cứng nhất định.
  • ffn_dim_multiplier (float, tùy chọn) — Hệ số nhân cho chiều của mạng feed-forward. Nếu là None, nó sẽ sử dụng giá trị mặc định dựa trên cấu hình của mô hình.
  • norm_eps (float, tùy chọn, mặc định là 1e-5) — Một giá trị nhỏ được cộng vào mẫu số để đảm bảo ổn định số học trong các lớp chuẩn hóa.
  • learn_sigma (bool, tùy chọn, mặc định là True) — Xác định xem mô hình có nên học tham số sigma hay không, tham số này có thể liên quan đến độ bất định hoặc phương sai trong các dự đoán.
  • qk_norm (bool, tùy chọn, mặc định là True) — Chỉ định xem các query và key trong cơ chế attention có nên được chuẩn hóa hay không.
  • cross_attention_dim (int, tùy chọn, mặc định là 2048) — Kích thước của các embedding văn bản. Tham số này xác định kích thước của các biểu diễn văn bản được sử dụng trong mô hình.
  • scaling_factor (float, tùy chọn, mặc định là 1.0) — Hệ số tỷ lệ được áp dụng cho một số tham số hoặc lớp trong mô hình. Điều này có thể được sử dụng để điều chỉnh tỷ lệ tổng thể của các phép toán trong mô hình.

LuminaNextDiT: Mô hình khuếch tán với bộ khung Transformer.

Kế thừa ModelMixin và ConfigMixin để tương thích với trình lấy mẫu StableDiffusionPipeline của diffusers.

forward

< >

( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorencoder_mask: Tensorimage_rotary_emb: Tensorcross_attention_kwargs: dict = Nonereturn_dict = True ) → ~models.transformer_2d.Transformer2DModelOutput or tuple

Tham số

  • hidden_states (torch.Tensor) — Tensor đầu vào có hình dạng (N, C, H, W).
  • timestep (torch.Tensor) — Tensor chứa các bước khuếch tán (diffusion timesteps) có hình dạng (N,).
  • encoder_hidden_states (torch.Tensor) — Tensor chứa các đặc trưng của caption có hình dạng (N, D).
  • encoder_mask (torch.Tensor) — Tensor chứa các mặt nạ chú thích có hình dạng (N, L).
  • image_rotary_emb (torch.Tensor) — Các embedding vị trí xoay đã được tính trước.
  • cross_attention_kwargs (dict, tùy chọn) — Một từ điển kwargs, nếu được chỉ định, sẽ được truyền đến AttentionProcessor như đã định nghĩa dưới self.processor trong diffusers.models.attention_processor.
  • return_dict (bool, tùy chọn, mặc định là True) — Có nên trả về một ~models.transformer_2d.Transformer2DModelOutput thay vì một tuple thông thường hay không.

Trả về

~models.transformer_2d.Transformer2DModelOutput hoặc tuple

Nếu return_dict là True, một ~models.transformer_2d.Transformer2DModelOutput sẽ được trả về, ngược lại một tuple thông thường sẽ được trả về.

Quá trình truyền thẳng của LuminaNextDiT.

Update on GitHub

←Lumina2Transformer2DModel MiniMaxH3Transformer3DModel→