Diffusers documentation
Adaptor lama
Adaptor lama
Metode-metode ini masih didukung, terutama pada checkpoint keluarga Stable Diffusion. Untuk pekerjaan baru, lebih disarankan menggunakan LoRA, IP-Adapter, dan ControlNet.
T2I-Adapter
T2I-Adapter adalah adapter untuk generasi yang dapat dikendalikan. Adapter ini mempelajari pemetaan dari sinyal kontrol (misalnya, peta kedalaman atau tepi canny) ke fitur internal model pretrained, lalu menambahkan panduan tersebut selama proses generasi. Perannya mirip dengan ControlNet, tetapi T2I-Adapter merupakan adapter yang lebih ringan.
Muat adapter yang dikondisikan kontrol, lalu muat pipeline dengan from_pretrained() dan lewati dengan adapter=.
import torch
from diffusers import T2IAdapter, StableDiffusionXLAdapterPipeline, AutoencoderKL
t2i_adapter = T2IAdapter.from_pretrained(
"TencentARC/t2i-adapter-canny-sdxl-1.0",
dtype=torch.float16,
)Buat gambar canny dengan opencv-python.
import cv2
import numpy as np
from PIL import Image
from diffusers.utils import load_image
original_image = load_image(
"https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/non-enhanced-prompt.png"
)
image = np.array(original_image)
low_threshold = 100
high_threshold = 200
image = cv2.Canny(image, low_threshold, high_threshold)
image = image[:, :, None]
image = np.concatenate([image, image, image], axis=2)
canny_image = Image.fromarray(image)Lewatkan gambar canny ke pipeline untuk menghasilkan gambar.
vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", dtype=torch.float16)
pipeline = StableDiffusionXLAdapterPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0",
adapter=t2i_adapter,
vae=vae,
dtype=torch.float16,
).to("cuda") # or "mps", "xpu", "cpu"
prompt = """
A photorealistic overhead image of a cat reclining sideways in a flamingo pool floatie holding a margarita.
The cat is floating leisurely in the pool and completely relaxed and happy.
"""
pipeline(
prompt,
image=canny_image,
num_inference_steps=100,
guidance_scale=10,
).images[0]
Lihat juga pelatihan T2I-Adapter.
MultiAdapter
Komposisikan beberapa kontrol (misalnya, canny dan depth) dengan MultiAdapter. Teruskan daftar adapter ke MultiAdapter, lalu teruskan gambar kontrol yang sesuai sebagai daftar ke pipeline.
import torch
from diffusers.utils import load_image
from diffusers import StableDiffusionXLAdapterPipeline, AutoencoderKL, MultiAdapter, T2IAdapter
canny_image = load_image(
"https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/canny-cat.png"
)
depth_image = load_image(
"https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/sdxl_depth_image.png"
)
controls = [canny_image, depth_image]
prompt = ["""
a relaxed rabbit sitting on a striped towel next to a pool with a tropical drink nearby,
bright sunny day, vacation scene, 35mm photograph, film, professional, 4k, highly detailed
"""]
adapters = MultiAdapter(
[
T2IAdapter.from_pretrained("TencentARC/t2i-adapter-canny-sdxl-1.0", dtype=torch.float16),
T2IAdapter.from_pretrained("TencentARC/t2i-adapter-depth-midas-sdxl-1.0", dtype=torch.float16),
]
)Lewatkan adapter, prompt, dan gambar kontrol ke StableDiffusionXLAdapterPipeline. Gunakan parameter adapter_conditioning_scale untuk menentukan seberapa besar bobot yang diberikan pada masing-masing kontrol.
vae = AutoencoderKL.from_pretrained("madebyollin/sdxl-vae-fp16-fix", dtype=torch.float16)
pipeline = StableDiffusionXLAdapterPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0",
dtype=torch.float16,
vae=vae,
adapter=adapters,
).to("cuda") # or "mps", "xpu", "cpu"
pipeline(
prompt,
image=controls,
height=1024,
width=1024,
adapter_conditioning_scale=[0.7, 0.7]
).images[0] 
Textual Inversion
Textual Inversion mempersonalisasi model ke sebuah konsep dari 3-5 gambar dengan fine-tuning word embeddings yang terikat pada token unik (<sks>). Anda kemudian dapat menggunakan token tersebut dalam prompt Anda untuk menghasilkan konsepnya (misalnya, pixel art).
Bobot Textual Inversion biasanya hanya beberapa KB karena hanya berupa word embeddings. Muat setelah from_pretrained() dengan load_textual_inversion(), dan sertakan token unik dalam prompt untuk memicu generasi.
import torch
from diffusers import AutoPipelineForText2Image
pipeline = AutoPipelineForText2Image.from_pretrained(
"stable-diffusion-v1-5/stable-diffusion-v1-5",
dtype=torch.float16
).to("cuda") # or "mps", "xpu", "cpu"pipeline.load_textual_inversion("sd-concepts-library/gta5-artwork")
prompt = "A cute brown bear eating a slice of pizza, stunning color scheme, masterpiece, illustration, <gta5-artwork> style"
pipeline(prompt).images[0]
Untuk melatih embedding, lihat Melatih textual inversion.
Textual Inversion juga dapat dilatih untuk mempelajari negative embeddings untuk mengarahkan generasi menjauh dari karakteristik yang tidak diinginkan seperti “blurry” atau “ugly”, sehingga berguna untuk meningkatkan kualitas gambar.
EasyNegative adalah embedding negatif yang banyak digunakan dan berisi beberapa konsep negatif yang dipelajari. Muat embedding negatif dan tentukan nama file serta token yang terkait dengan embedding negatif tersebut. Teruskan token ke negative_prompt di pipeline Anda untuk mengaktifkannya.
import torch
from diffusers import AutoPipelineForText2Image
pipeline = AutoPipelineForText2Image.from_pretrained(
"stable-diffusion-v1-5/stable-diffusion-v1-5",
dtype=torch.float16
).to("cuda") # or "mps", "xpu", "cpu"
pipeline.load_textual_inversion(
"EvilEngine/easynegative",
weight_name="easynegative.safetensors",
token="easynegative"
)
prompt = "A cute brown bear eating a slice of pizza, stunning color scheme, masterpiece, illustration"
negative_prompt = "easynegative"
pipeline(prompt, negative_prompt=negative_prompt).images[0]