Diffusers documentation
DiT
DiT
基于 Transformer 的可扩展扩散模型（DiT）由 William Peebles 和 Saining Xie 提出。
该论文的摘要如下：
我们探索了一类基于 Transformer 架构的新型扩散模型。我们训练了图像的潜在扩散模型，用作用于潜在块（latent patches）的 Transformer 替换了常用的 U-Net 骨干网络。我们通过前向传播复杂度（以 Gflops 衡量）的视角，分析了我们的 Diffusion Transformers（DiTs）的可扩展性。我们发现，具有更高 Gflops 的 DiTs——无论是通过增加 Transformer 的深度/宽度，还是通过增加输入 token 的数量——始终具有更低的 FID。除了具备良好的可扩展性外，我们最大的 DiT-XL/2 模型在类别条件 ImageNet 512x512 和 256x256 基准测试上超越了所有先前的扩散模型，并在后者上实现了 2.27 的 SOTA FID。
原始代码库可在 facebookresearch/dit 中找到。
请务必参阅 调度器指南，了解如何探索调度器速度与质量之间的权衡，并查看 跨流水线复用组件 部分，了解如何高效地将相同组件加载到多个流水线中。
DiTPipeline
类 diffusers.DiTPipeline
< source >( transformer: DiTTransformer2DModelvae: AutoencoderKLscheduler: KarrasDiffusionSchedulersid2label: dict[int, str] | None = None )
参数
- transformer (DiTTransformer2DModel) —
一个带条件输入的
DiTTransformer2DModel类，用于对编码后的图像潜变量进行去噪。在配置中最初发布为Transformer2DModel，但此不一致可以忽略。 - vae (AutoencoderKL) — 变分自编码器（VAE）模型，用于将图像编码为潜在表示，以及从潜在表示解码为图像。
- scheduler (DDIMScheduler) —
用于与
transformer配合，对编码后的图像潜变量进行去噪的调度器。
基于 Transformer 主干而非 UNet 的图像生成 Pipeline。
该模型继承自 DiffusionPipeline。有关为所有 pipeline 实现的通用方法（下载、保存、在特定设备上运行等），请参阅父类文档。
__call__
< source >( class_labels: list[int]guidance_scale: float = 4.0generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonenum_inference_steps: int = 50output_type: str | None = 'pil'return_dict: bool = True ) → ImagePipelineOutput or tuple
参数
- class_labels (list[int]) — 用于生成图像的 ImageNet 类别标签列表。
- guidance_scale (
float，可选，默认值为 4.0) — 较高的 guidance scale 值会促使模型生成与文本prompt紧密相关的图像，但代价是图像质量降低。当guidance_scale > 1时，guidance scale 生效。 - generator (
torch.Generator，可选) — 用于使生成过程确定性的torch.Generator。 - num_inference_steps (
int，可选，默认为 250) — 去噪步数。更多的去噪步数通常能生成更高质量的图像，但代价是推理速度变慢。 - output_type (
str, 可选，默认为"pil") — 生成图像的输出格式。可选"pil"(PIL.Image)、"np"(np.array) 或"pt"(torch.Tensor)。 - return_dict (
bool，可选，默认为True) — 是否返回 ImagePipelineOutput 而不是普通元组。
返回值
ImagePipelineOutput 或 tuple
如果 return_dict 为 True，则返回 ImagePipelineOutput；否则返回一个 tuple，其中第一个元素是包含生成图像的列表
用于生成的 pipeline 的调用函数。
示例：
>>> from diffusers import DiTPipeline, DPMSolverMultistepScheduler
>>> import torch
>>> pipe = DiTPipeline.from_pretrained("facebook/DiT-XL-2-256", torch_dtype=torch.float16)
>>> pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
>>> pipe = pipe.to("cuda")
>>> # pick words from Imagenet class labels
>>> pipe.labels # to print all available words
>>> # pick words that exist in ImageNet
>>> words = ["white shark", "umbrella"]
>>> class_ids = pipe.get_label_ids(words)
>>> generator = torch.manual_seed(33)
>>> output = pipe(class_labels=class_ids, num_inference_steps=25, generator=generator)
>>> image = output.images[0] # label 'white shark'get_label_ids
< source >( label: str | list[str] ) → list of int
将 ImageNet 的标签字符串映射到对应的类别 ID。
ImagePipelineOutput
类 diffusers.ImagePipelineOutput
< source >( images: list[PIL.Image.Image] | numpy.ndarray )
图像流水线输出类。