Diffusers documentation
Geração de imagem a partir de profundidade guiada por texto
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v0.42.1).
Geração de imagem a partir de profundidade guiada por texto
O StableDiffusionDepth2ImgPipeline permite passar um prompt de texto e uma imagem inicial para condicionar a geração de novas imagens. Além disso, você também pode passar um depth_map para preservar a estrutura da imagem. Se nenhum depth_map for fornecido, o pipeline prevê automaticamente a profundidade por meio de um modelo de estimativa de profundidade integrado.
Comece criando uma instância do StableDiffusionDepth2ImgPipeline:
import torch
from diffusers import StableDiffusionDepth2ImgPipeline
from diffusers.utils import load_image, make_image_grid
pipeline = StableDiffusionDepth2ImgPipeline.from_pretrained(
"stabilityai/stable-diffusion-2-depth",
dtype=torch.float16,
use_safetensors=True,
).to("cuda") # or "mps", "xpu", "cpu"Agora, passe seu prompt para o pipeline. Você também pode passar um negative_prompt para impedir que certas palavras orientem a geração de uma imagem:
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
init_image = load_image(url)
prompt = "two tigers"
negative_prompt = "bad, deformed, ugly, bad anatomy"
image = pipeline(prompt=prompt, image=init_image, negative_prompt=negative_prompt, strength=0.7).images[0]
make_image_grid([init_image, image], rows=1, cols=2)| Entrada | Saída |
|---|---|
 |  |