AsymmetricAutoencoderKL

Model variational autoencoder (VAE) yang lebih besar dan ditingkatkan dengan KL loss untuk tugas inpainting: Designing a Better Asymmetric VQGAN for StableDiffusion oleh Zixin Zhu, Xuelu Feng, Dongdong Chen, Jianmin Bao, Le Wang, Yinpeng Chen, Lu Yuan, Gang Hua.

Abstrak dari makalah tersebut adalah:

StableDiffusion adalah generator teks-ke-gambar yang revolusioner dan sedang mengguncang dunia generasi serta pengeditan gambar. Berbeda dengan metode tradisional yang mempelajari model difusi di ruang piksel, StableDiffusion mempelajari model difusi di ruang laten melalui VQGAN, sehingga menjamin efisiensi dan kualitas. StableDiffusion tidak hanya mendukung tugas generasi gambar, tetapi juga memungkinkan pengeditan gambar untuk gambar nyata, seperti inpainting gambar dan pengeditan lokal. Namun, kami mengamati bahwa VQGAN vanilla yang digunakan dalam StableDiffusion menyebabkan hilangnya informasi yang signifikan, sehingga menimbulkan artefak distorsi bahkan di area gambar yang tidak diedit. Untuk itu, kami mengusulkan VQGAN asimetris baru dengan dua desain sederhana. Pertama, selain masukan dari encoder, decoder mengandung cabang kondisional yang mengintegrasikan informasi dari prior yang spesifik tugas, seperti area gambar yang tidak dimasker dalam inpainting. Kedua, decoder jauh lebih berat daripada encoder, memungkinkan pemulihan yang lebih detail dengan hanya sedikit meningkatkan total biaya inferensi. Biaya pelatihan VQGAN asimetris kami murah, dan kami hanya perlu melatih ulang decoder asimetris baru sambil mempertahankan encoder VQGAN vanilla dan StableDiffusion tetap tidak berubah. VQGAN asimetris kami dapat digunakan secara luas dalam metode inpainting dan pengeditan lokal berbasis StableDiffusion. Eksperimen ekstensif menunjukkan bahwa metode ini dapat secara signifikan meningkatkan kinerja inpainting dan pengeditan, sambil mempertahankan kemampuan teks-ke-gambar aslinya. Kode tersedia di https://github.com/buxiangzhiren/Asymmetric_VQGAN

Hasil evaluasi dapat ditemukan di bagian 4.1 dari paper asli.

Checkpoint yang tersedia

• https://huggingface.co/cross-attention/asymmetric-autoencoder-kl-x-1-5
• https://huggingface.co/cross-attention/asymmetric-autoencoder-kl-x-2

Contoh Penggunaan

from diffusers import AsymmetricAutoencoderKL, StableDiffusionInpaintPipeline
from diffusers.utils import load_image, make_image_grid


prompt = "a photo of a person with beard"
img_url = "https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/repaint/celeba_hq_256.png"
mask_url = "https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/repaint/mask_256.png"

original_image = load_image(img_url).resize((512, 512))
mask_image = load_image(mask_url).resize((512, 512))

pipe = StableDiffusionInpaintPipeline.from_pretrained("stable-diffusion-v1-5/stable-diffusion-inpainting")
pipe.vae = AsymmetricAutoencoderKL.from_pretrained("cross-attention/asymmetric-autoencoder-kl-x-1-5")
pipe.to("cuda")  # or "mps", "xpu", "cpu"

image = pipe(prompt=prompt, image=original_image, mask_image=mask_image).images[0]
make_image_grid([original_image, mask_image, image], rows=1, cols=3)

AsymmetricAutoencoderKL

AutoencoderKLOutput

DecoderOutput