Hugging Face's logo

Diffusers documentation

AutoencoderKL

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AutoencoderKL

Mô hình autoencoder biến phân (VAE) với tổn thất KL được giới thiệu trong Auto-Encoding Variational Bayes bởi Diederik P. Kingma và Max Welling. Mô hình này được sử dụng trong 🤗 Diffusers để mã hóa ảnh thành các ẩn (latents) và giải mã các biểu diễn ẩn thành ảnh.

Tóm tắt từ bài báo là:

Chúng ta có thể thực hiện suy luận và học tập hiệu quả trong các mô hình xác suất có hướng, khi có các biến ẩn liên tục với phân phối hậu nghiệm không thể tính toán được, và các bộ dữ liệu lớn, như thế nào? Chúng tôi giới thiệu một thuật toán suy luận và học biến phân ngẫu nhiên, có khả năng mở rộng cho các bộ dữ liệu lớn và, dưới một số điều kiện khả vi nhẹ, thậm chí hoạt động trong trường hợp không thể tính toán được. Đóng góp của chúng tôi gồm hai phần. Thứ nhất, chúng tôi chỉ ra rằng việc tham số hóa lại cận dưới biến phân sẽ tạo ra một ước lượng cận dưới có thể được tối ưu hóa một cách đơn giản bằng các phương pháp gradient ngẫu nhiên tiêu chuẩn. Thứ hai, chúng tôi chỉ ra rằng đối với các bộ dữ liệu i.i.d. có các biến ẩn liên tục cho mỗi điểm dữ liệu, suy luận hậu nghiệm có thể được thực hiện đặc biệt hiệu quả bằng cách khớp một mô hình suy luận gần đúng (còn được gọi là mô hình nhận diện) với hậu nghiệm không thể tính toán được bằng cách sử dụng ước lượng cận dưới được đề xuất. Các lợi thế về mặt lý thuyết được phản ánh trong kết quả thực nghiệm.

Tải từ định dạng gốc

Mặc định, AutoencoderKL nên được tải bằng from_pretrained(), nhưng nó cũng có thể được tải từ định dạng gốc bằng cách sử dụng FromOriginalModelMixin.from_single_file như sau:

from diffusers import AutoencoderKL

url = "https://huggingface.co/stabilityai/sd-vae-ft-mse-original/blob/main/vae-ft-mse-840000-ema-pruned.safetensors"  # can also be a local file
model = AutoencoderKL.from_single_file(url)

AutoencoderKL

lớp diffusers.AutoencoderKL

< >

( in_channels: int = 3out_channels: int = 3down_block_types: tuple = ('DownEncoderBlock2D',)up_block_types: tuple = ('UpDecoderBlock2D',)block_out_channels: tuple = (64,)layers_per_block: int = 1act_fn: str = 'silu'latent_channels: int = 4norm_num_groups: int = 32sample_size: int = 32scaling_factor: float = 0.18215shift_factor: float | None = Nonelatents_mean: tuple[float] | None = Nonelatents_std: tuple[float] | None = Noneforce_upcast: bool = Trueuse_quant_conv: bool = Trueuse_post_quant_conv: bool = Truemid_block_add_attention: bool = True )

Tham số

  • in_channels (int, tùy chọn, mặc định là 3) — Số kênh trong ảnh đầu vào.
  • out_channels (int, tùy chọn, mặc định là 3) — Số lượng kênh trong đầu ra.
  • down_block_types (tuple[str], tùy chọn, mặc định là ("DownEncoderBlock2D",)) — tuple các kiểu khối downsample.
  • up_block_types (tuple[str], tùy chọn, mặc định là ("UpDecoderBlock2D",)) — tuple các kiểu khối upsample.
  • block_out_channels (tuple[int], tùy chọn, mặc định là (64,)) — bộ tuple các kênh đầu ra của khối.
  • act_fn (str, tùy chọn, mặc định là "silu") — Hàm kích hoạt cần sử dụng.
  • latent_channels (int, tùy chọn, mặc định là 4) — Số lượng kênh trong không gian tiềm ẩn.
  • sample_size (int, tùy chọn, mặc định là 32) — Kích thước đầu vào mẫu.
  • scaling_factor (float, tùy chọn, mặc định là 0.18215) — Độ lệch chuẩn theo từng thành phần của không gian ẩn đã được huấn luyện, được tính toán bằng cách sử dụng lô đầu tiên của tập dữ liệu huấn luyện. Giá trị này được dùng để chuẩn hóa không gian ẩn sao cho có phương sai bằng đơn vị khi huấn luyện mô hình khuếch tán. Các ẩn (latents) được chuẩn hóa bằng công thức z = z * scaling_factor trước khi được truyền vào mô hình khuếch tán. Khi giải mã, các ẩn được đưa về thang đo ban đầu bằng công thức: z = 1 / scaling_factor * z. Để biết thêm chi tiết, hãy tham khảo các mục 4.3.2 và D.1 của bài báo High-Resolution Image Synthesis with Latent Diffusion Models.
  • force_upcast (bool, tùy chọn, mặc định là True) — Nếu được bật, tham số này sẽ buộc VAE chạy ở float32 cho các pipeline có độ phân giải ảnh cao, chẳng hạn như SD-XL. VAE có thể được tinh chỉnh / huấn luyện ở dải giá trị thấp hơn mà không mất quá nhiều độ chính xác, trong trường hợp đó force_upcast có thể được đặt thành False - xem: https://huggingface.co/madebyollin/sdxl-vae-fp16-fix
  • mid_block_add_attention (bool, tùy chọn, mặc định là True) — Nếu được bật, mid_block của Encoder và Decoder sẽ có các khối attention. Nếu đặt thành false, mid_block sẽ chỉ có các khối resnet

Một mô hình VAE có tổn thất KL để mã hóa ảnh thành các ẩn và giải mã các biểu diễn ẩn thành ảnh.

Mô hình này kế thừa từ ModelMixin. Hãy xem tài liệu của lớp cha để biết các phương thức chung được triển khai cho tất cả các mô hình (chẳng hạn như tải xuống hoặc lưu trữ).

decode

< >

( z: FloatTensorreturn_dict: bool = Truegenerator = None ) → ~models.vae.DecoderOutput or tuple

Tham số

  • z (torch.Tensor) — Lô đầu vào của các vector ẩn.
  • return_dict (bool, tùy chọn, mặc định là True) — Có nên trả về một ~models.vae.DecoderOutput thay vì một tuple thông thường hay không.

Trả về

~models.vae.DecoderOutput hoặc tuple

Nếu return_dict là True, một ~models.vae.DecoderOutput sẽ được trả về, ngược lại một tuple thông thường sẽ được trả về.

Giải mã một lô ảnh.

encode

< >

( x: Tensorreturn_dict: bool = True )

Tham số

  • x (torch.Tensor) — Lô đầu vào của các hình ảnh.
  • return_dict (bool, tùy chọn, mặc định là True) — Có nên trả về một ~models.autoencoder_kl.AutoencoderKLOutput thay vì một tuple thông thường hay không.

Mã hóa một lô ảnh thành các biến ẩn.

forward

< >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → ~models.vae.DecoderOutput or tuple

Tham số

  • sample (torch.Tensor) — Mẫu đầu vào.
  • sample_posterior (bool, tùy chọn, mặc định là False) — Có lấy mẫu từ posterior hay không.
  • return_dict (bool, tùy chọn, mặc định là True) — Có nên trả về một DecoderOutput thay vì một tuple thông thường hay không.
  • generator (torch.Generator, tùy chọn) — Một torch.Generator để làm cho việc lấy mẫu trở nên tất định.

Trả về

~models.vae.DecoderOutput hoặc tuple

Nếu return_dict là True, một ~models.vae.DecoderOutput sẽ được trả về, ngược lại một tuple thông thường sẽ được trả về.

fuse_qkv_projections

< >

( )

Bật các phép chiếu QKV đã hợp nhất. Đối với các module tự chú ý, tất cả các ma trận chiếu (tức là truy vấn, khóa, giá trị) đều được hợp nhất. Đối với các module chú ý chéo, các ma trận chiếu khóa và giá trị được hợp nhất.

> API này 🧪 mang tính thử nghiệm.

set_default_attn_processor

< >

( )

Tắt các bộ xử lý chú ý tùy chỉnh và đặt cài đặt chú ý mặc định.

tiled_decode

< >

( z: Tensorreturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple

Tham số

  • z (torch.Tensor) — Lô đầu vào của các vector ẩn.
  • return_dict (bool, tùy chọn, mặc định là True) — Có nên trả về một ~models.vae.DecoderOutput thay vì một tuple thông thường hay không.

Trả về

~models.vae.DecoderOutput hoặc tuple

Nếu return_dict là True, một ~models.vae.DecoderOutput sẽ được trả về, ngược lại một tuple thông thường sẽ được trả về.

Giải mã một lô ảnh bằng trình giải mã dạng gạch.

tiled_encode

< >

( x: Tensorreturn_dict: bool = True ) → ~models.autoencoder_kl.AutoencoderKLOutput or tuple

Tham số

  • x (torch.Tensor) — Lô đầu vào của các hình ảnh.
  • return_dict (bool, tùy chọn, mặc định là True) — Có nên trả về một ~models.autoencoder_kl.AutoencoderKLOutput thay vì một tuple thông thường hay không.

Trả về

~models.autoencoder_kl.AutoencoderKLOutput hoặc tuple

If return_dict is True, a ~models.autoencoder_kl.AutoencoderKLOutput is returned, otherwise a plain tuple is returned.

Mã hóa một lô ảnh bằng trình mã hóa dạng gạch.

Khi tùy chọn này được bật, VAE sẽ chia tensor đầu vào thành các ô (tiles) để tính toán mã hóa qua nhiều bước. Điều này hữu ích để giữ cho việc sử dụng bộ nhớ luôn ổn định bất kể kích thước hình ảnh. Kết quả cuối cùng của mã hóa theo ô khác với mã hóa không theo ô vì mỗi ô sử dụng một bộ mã hóa khác nhau. Để tránh các hiện tượng méo do chia ô, các ô sẽ chồng lấn lên nhau và được trộn lẫn để tạo ra đầu vào mượt mà. Bạn vẫn có thể thấy những thay đổi theo kích thước ô trong đầu ra, nhưng chúng sẽ ít dễ nhận thấy hơn nhiều.

unfuse_qkv_projections

< >

( )

Tắt dự phóng QKV hợp nhất nếu đã được bật.

> API này 🧪 mang tính thử nghiệm.

AutoencoderKLOutput

lớp diffusers.models.modeling_outputs.AutoencoderKLOutput

< >

( latent_dist: DiagonalGaussianDistribution )

Tham số

  • latent_dist (DiagonalGaussianDistribution) — Đầu ra được mã hóa của Encoder, được biểu diễn dưới dạng mean và logvar của DiagonalGaussianDistribution. DiagonalGaussianDistribution cho phép lấy mẫu các latent từ phân phối này.

Đầu ra của phương pháp mã hóa của AutoencoderKL.

DecoderOutput

lớp diffusers.models.autoencoders.vae.DecoderOutput

< >

( sample: Tensorcommit_loss: typing.Optional[torch.FloatTensor] = None )

Tham số

  • sample (torch.Tensor có hình dạng (batch_size, num_channels, height, width)) — Mẫu đầu ra đã giải mã từ lớp cuối cùng của mô hình.

Đầu ra của phương pháp giải mã.

Update on GitHub

←AutoencoderDC AutoencoderKLAllegro→