Diffusers documentation
Генерация изображений из глубины по текстовому описанию
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v0.42.1).
Генерация изображений из глубины по текстовому описанию
С помощью StableDiffusionDepth2ImgPipeline можно передать текстовый запрос и исходное изображение для управления генерацией новых изображений. Кроме того, можно передать depth_map, чтобы сохранить структуру изображения. Если depth_map не предоставлен, конвейер автоматически предсказывает глубину с помощью встроенной модели оценки глубины.
Начните с создания экземпляра StableDiffusionDepth2ImgPipeline:
import torch
from diffusers import StableDiffusionDepth2ImgPipeline
from diffusers.utils import load_image, make_image_grid
pipeline = StableDiffusionDepth2ImgPipeline.from_pretrained(
"stabilityai/stable-diffusion-2-depth",
dtype=torch.float16,
use_safetensors=True,
).to("cuda") # or "mps", "xpu", "cpu"Теперь передайте ваш промпт в конвейер. Вы также можете передать negative_prompt, чтобы предотвратить влияние определённых слов на генерацию изображения:
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
init_image = load_image(url)
prompt = "two tigers"
negative_prompt = "bad, deformed, ugly, bad anatomy"
image = pipeline(prompt=prompt, image=init_image, negative_prompt=negative_prompt, strength=0.7).images[0]
make_image_grid([init_image, image], rows=1, cols=2)| Вход | Вывод |
|---|---|
 |  |