Hugging Face's logo

Diffusers documentation

UNet2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

UNet2DModel

Mô hình UNet ban đầu được Ronneberger và cộng sự giới thiệu cho phân đoạn ảnh y sinh, nhưng nó cũng được sử dụng phổ biến trong 🤗 Diffusers vì nó tạo ra các ảnh có cùng kích thước với đầu vào. Đây là một trong những thành phần quan trọng nhất của một hệ thống khuếch tán vì nó hỗ trợ quá trình khuếch tán thực sự. Có một số biến thể của mô hình UNet trong 🤗 Diffusers, tùy thuộc vào số chiều của nó và việc nó có phải là mô hình có điều kiện hay không. Đây là một mô hình UNet 2D.

Tóm tắt từ bài báo là:

Có sự đồng thuận rộng rãi rằng việc huấn luyện thành công các mạng sâu đòi hỏi hàng nghìn mẫu huấn luyện đã được chú thích. Trong bài báo này, chúng tôi trình bày một kiến trúc mạng và chiến lược huấn luyện dựa vào việc sử dụng mạnh mẽ kỹ thuật tăng cường dữ liệu để khai thác hiệu quả hơn các mẫu đã được chú thích sẵn có. Kiến trúc bao gồm một đường co (contracting path) để nắm bắt ngữ cảnh và một đường mở rộng (expanding path) đối xứng cho phép định vị chính xác. Chúng tôi cho thấy rằng một mạng như vậy có thể được huấn luyện end-to-end từ rất ít hình ảnh và vượt trội hơn so với phương pháp tốt nhất trước đó (một mạng tích chập cửa sổ trượt) trong thử thách ISBI về phân đoạn các cấu trúc thần kinh trong các chồng ảnh hiển vi điện tử. Sử dụng cùng một mạng được huấn luyện trên các ảnh hiển vi ánh sáng truyền qua (tương phản pha và DIC), chúng tôi đã giành chiến thắng trong thử thách theo dõi tế bào ISBI 2015 ở các hạng mục này với khoảng cách lớn. Hơn nữa, mạng này hoạt động nhanh. Việc phân đoạn một ảnh 512x512 mất chưa đến một giây trên một GPU đời mới. Toàn bộ cài đặt (dựa trên Caffe) và các mạng đã được huấn luyện có sẵn tại http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net.

UNet2DModel

lớp diffusers.UNet2DModel

< >

( sample_size: int | tuple[int, int] | None = Nonein_channels: int = 3out_channels: int = 3center_input_sample: bool = Falsetime_embedding_type: str = 'positional'time_embedding_dim: int | None = Nonefreq_shift: int = 0flip_sin_to_cos: bool = Truedown_block_types: tuple = ('DownBlock2D', 'AttnDownBlock2D', 'AttnDownBlock2D', 'AttnDownBlock2D')mid_block_type: str | None = 'UNetMidBlock2D'up_block_types: tuple = ('AttnUpBlock2D', 'AttnUpBlock2D', 'AttnUpBlock2D', 'UpBlock2D')block_out_channels: tuple = (224, 448, 672, 896)layers_per_block: int = 2mid_block_scale_factor: float = 1downsample_padding: int = 1downsample_type: str = 'conv'upsample_type: str = 'conv'dropout: float = 0.0act_fn: str = 'silu'attention_head_dim: int | None = 8norm_num_groups: int = 32attn_norm_num_groups: int | None = Nonenorm_eps: float = 1e-05resnet_time_scale_shift: str = 'default'add_attention: bool = Trueclass_embed_type: str | None = Nonenum_class_embeds: int | None = Nonenum_train_timesteps: int | None = None )

Tham số

  • sample_size (int hoặc tuple[int, int], tùy chọn, mặc định là None) — Chiều cao và chiều rộng của mẫu đầu vào/đầu ra. Các kích thước phải là bội số của 2 ** (len(block_out_channels) - 1).
  • in_channels (int, tùy chọn, mặc định là 3) — Số kênh trong mẫu đầu vào.
  • out_channels (int, tùy chọn, mặc định là 3) — Số lượng kênh trong đầu ra.
  • center_input_sample (bool, tùy chọn, mặc định là False) — Có nên căn giữa mẫu đầu vào hay không.
  • time_embedding_type (str, tùy chọn, mặc định là "positional") — Loại time embedding cần sử dụng.
  • freq_shift (int, tùy chọn, mặc định là 0) — Dịch tần số cho nhúng thời gian Fourier.
  • flip_sin_to_cos (bool, tùy chọn, mặc định là True) — Có nên đảo sin thành cos cho nhúng thời gian Fourier hay không.
  • down_block_types (tuple[str], tùy chọn, mặc định là ("DownBlock2D", "AttnDownBlock2D", "AttnDownBlock2D", "AttnDownBlock2D")) — bộ tuple các kiểu khối hạ mẫu.
  • mid_block_type (str, tùy chọn, mặc định là "UNetMidBlock2D") — Loại khối cho phần giữa của UNet, có thể là UNetMidBlock2D hoặc None.
  • up_block_types (tuple[str], tùy chọn, mặc định là ("AttnUpBlock2D", "AttnUpBlock2D", "AttnUpBlock2D", "UpBlock2D")) — bộ tuple các kiểu khối lấy mẫu lên (upsample).
  • block_out_channels (tuple[int], tùy chọn, mặc định là (224, 448, 672, 896)) — bộ tuple các kênh đầu ra của khối.
  • layers_per_block (int, tùy chọn, mặc định là 2) — Số lượng lớp trong mỗi khối.
  • mid_block_scale_factor (float, tùy chọn, mặc định là 1) — Hệ số tỷ lệ cho khối giữa.
  • downsample_padding (int, tùy chọn, mặc định là 1) — Padding cho phép toán convolution downsample.
  • downsample_type (str, tùy chọn, mặc định là conv) — Loại downsample cho các lớp downsample. Chọn giữa “conv” và “resnet”
  • upsample_type (str, tùy chọn, mặc định là conv) — Loại upsample cho các lớp upsampling. Chọn giữa “conv” và “resnet”
  • dropout (float, tùy chọn, mặc định là 0.0) — Xác suất dropout cần sử dụng.
  • act_fn (str, tùy chọn, mặc định là "silu") — Hàm kích hoạt cần sử dụng.
  • attention_head_dim (int, tùy chọn, mặc định là 8) — Kích thước chiều đầu chú ý (attention head).
  • norm_num_groups (int, tùy chọn, mặc định là 32) — Số nhóm cho phép chuẩn hóa.
  • attn_norm_num_groups (int, tùy chọn, mặc định là None) — Nếu được đặt thành một số nguyên, một lớp group norm sẽ được tạo trong lớp Attention của khối giữa với số nhóm đã cho. Nếu để là None, lớp group norm chỉ được tạo khi resnet_time_scale_shift được đặt thành default, và nếu được tạo sẽ có norm_num_groups nhóm.
  • norm_eps (float, tùy chọn, mặc định là 1e-5) — Epsilon cho phép chuẩn hóa.
  • resnet_time_scale_shift (str, tùy chọn, mặc định là "default") — Cấu hình dịch chuyển thang thời gian cho các khối ResNet (xem ResnetBlock2D). Chọn từ default hoặc scale_shift.
  • class_embed_type (str, tùy chọn, mặc định là None) — Loại class embedding được sử dụng, cuối cùng sẽ được cộng với các time embeddings. Chọn từ None, "timestep" hoặc "identity".
  • num_class_embeds (int, tùy chọn, mặc định là None) — Kích thước đầu vào của ma trận nhúng có thể học được, sẽ được chiếu sang time_embed_dim khi thực hiện điều kiện hóa theo lớp với class_embed_type bằng None.

Một mô hình UNet 2D nhận vào một mẫu nhiễu và một bước thời gian, sau đó trả về một mẫu đầu ra có cùng hình dạng.

Mô hình này kế thừa từ ModelMixin. Hãy xem tài liệu của lớp cha để biết các phương thức chung được triển khai cho tất cả các mô hình (chẳng hạn như tải xuống hoặc lưu trữ).

forward

< >

( sample: Tensortimestep: typing.Union[torch.Tensor, float, int]class_labels: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = True ) → UNet2DOutput or tuple

Tham số

  • sample (torch.Tensor) — Tensor đầu vào có nhiễu với hình dạng (batch, channel, height, width).
  • timestep (torch.Tensor hoặc float hoặc int) — Số lượng bước thời gian để khử nhiễu một đầu vào.
  • class_labels (torch.Tensor, tùy chọn, mặc định là None) — Nhãn lớp tùy chọn để điều kiện. Các embedding của chúng sẽ được cộng với các embedding của bước thời gian (timestep).
  • return_dict (bool, tùy chọn, mặc định là True) — Có nên trả về một UNet2DOutput thay vì một tuple thông thường hay không.

Trả về

UNet2DOutput hoặc tuple

Nếu return_dict là True, một UNet2DOutput sẽ được trả về, ngược lại một tuple sẽ được trả về trong đó phần tử đầu tiên là tensor mẫu.

Phương thức forward của UNet2DModel.

UNet2DOutput

lớp diffusers.models.unets.unet_2d.UNet2DOutput

< >

( sample: Tensor )

Tham số

  • sample (torch.Tensor có hình dạng (batch_size, num_channels, height, width)) — Trạng thái ẩn (hidden states) được xuất ra từ lớp cuối cùng của mô hình.

Đầu ra của UNet2DModel.

Update on GitHub

←UNet2DConditionModel UNet3DConditionModel→