参数

• prompt (str 或 list[str]，可选) — 用于引导图像生成的提示词或提示词列表。如果未定义，则需要传入 prompt_embeds。
• image (torch.Tensor np.ndarray、PIL.Image.Image、list[torch.Tensor]、list[PIL.Image.Image] 或 list[np.ndarray]) — Image 或表示图像批次的张量，将根据 prompt 进行重绘。也可以接受图像潜变量作为 image，但如果直接传入潜变量，则不会再次进行编码。
• num_inference_steps (int，可选，默认为 100) — 去噪步数。更多的去噪步数通常能生成更高质量的图像，但代价是推理速度变慢。
• guidance_scale (float，可选，默认值为 7.5) — 较高的 guidance scale 值会促使模型生成与文本 prompt 紧密相关的图像，但代价是图像质量降低。当 guidance_scale > 1 时，guidance scale 生效。
• image_guidance_scale (float，可选，默认值为 1.5) — 将生成的图像推向初始 image。通过设置 image_guidance_scale > 1 来启用图像引导比例。较高的图像引导比例会促使生成的图像与源 image 紧密关联，通常以牺牲图像质量为代价。此流水线要求该值至少为 1。
• negative_prompt (str 或 list[str]，可选) — 用于指导图像生成中不应包含的内容的提示词或提示词列表。如果未定义，则需要改为传入 negative_prompt_embeds。在未使用引导（guidance_scale < 1）时将被忽略。
• num_images_per_prompt (int，可选，默认为 1) — 每个提示词生成的图像数量。
• eta（float，可选，默认值为 0.0）— 对应 DDIM 论文中的参数 eta (η)。仅适用于 DDIMScheduler，在其他调度器中会被忽略。
• generator (torch.Generator，可选) — 用于使生成过程确定性的 torch.Generator。
• latents (torch.Tensor, 可选) — 预先生成的、从高斯分布中采样的含噪潜变量，用作图像生成的输入。可用于以不同的提示词微调同一生成过程。如果未提供，则使用提供的随机generator进行采样，生成一个潜变量张量。
• prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入（提示词加权）。如果未提供，则从 prompt 输入参数生成文本嵌入。
• negative_prompt_embeds (torch.Tensor，可选) — 预生成的负向文本嵌入。可用于轻松调整文本输入（提示词权重）。如果未提供，negative_prompt_embeds 将根据 negative_prompt 输入参数生成。
• ip_adapter_image — (PipelineImageInput，可选)： 用于配合 IP Adapter 使用的可选图像输入。
• ip_adapter_image_embeds (list[torch.Tensor], 可选) — IP-Adapter 的预生成图像嵌入。它应是一个列表，长度与 IP-Adapter 的数量相同。每个元素应为形状为 (batch_size, num_images, emb_dim) 的张量。如果 do_classifier_free_guidance 设置为 True，则应包含负向图像嵌入。如果未提供，嵌入将从 ip_adapter_image 输入参数计算得出。
• output_type (str，可选，默认为 "pil") — 生成图像的输出格式。可选 PIL.Image 或 np.array。
• return_dict (bool，可选，默认为 True) — 是否返回 StableDiffusionPipelineOutput 而不是普通元组。
• callback_on_step_end (Callable、PipelineCallback、MultiPipelineCallbacks、可选) — 在推理过程中，每个去噪步骤结束时调用的函数，或 PipelineCallback 或 MultiPipelineCallbacks 的子类，其参数如下：callback_on_step_end(self: DiffusionPipeline, step: int, timestep: int, callback_kwargs: Dict)。callback_kwargs 将包含由 callback_on_step_end_tensor_inputs 指定的所有张量列表。
• callback_on_step_end_tensor_inputs (list，可选) — callback_on_step_end 函数的张量输入列表。列表中指定的张量将作为 callback_kwargs 参数传递。您只能包含流水线类 ._callback_tensor_inputs 属性中列出的变量。
• cross_attention_kwargs (dict, 可选) — 一个 kwargs 字典，如果指定，将作为参数传递给 self.processor 中定义的 AttentionProcessor。

参数

• pretrained_model_name_or_path (str 或 os.PathLike 或 list[str or os.PathLike] 或 Dict 或 list[Dict]) — 可以是以下其中一项，也可以是它们的列表：
  • 一个字符串，即托管在 Hub 上的预训练模型的 model id（例如 sd-concepts-library/low-poly-hd-logos-icons）。
  • 指向包含文本反转权重的目录的路径（例如 ./my_text_inversion_directory/）。
  • 指向包含文本反转权重的文件的路径（例如 ./my_text_inversions.pt）。
  • 一个 torch 状态字典。
• token (str 或 list[str]，可选) — 用于覆盖文本反转权重所使用的 token。如果 pretrained_model_name_or_path 是一个列表，则 token 也必须是一个长度相等的列表。
• text_encoder (CLIPTextModel，可选) — 冻结的文本编码器（clip-vit-large-patch14）。 如果未指定，函数将使用 self.tokenizer。
• tokenizer (CLIPTokenizer，可选) — 用于对文本进行分词的 CLIPTokenizer。如果未指定，函数将使用 self.tokenizer。
• weight_name (str, 可选) — 自定义权重文件的名称。在以下情况下应使用此参数：
  • 保存的文本反演文件采用 🤗 Diffusers 格式，但保存时使用了特定的权重名称，例如 text_inv.bin。
  • 保存的文本反演文件采用 Automatic1111 格式。
• cache_dir (str | os.PathLike, 可选) — 如果未使用标准缓存，则下载的预训练模型配置将被缓存到的目录路径。
• force_download (bool，可选，默认为 False) — 是否强制（重新）下载模型权重和配置文件，如果存在缓存版本则覆盖它们。
• proxies (dict[str, str]，可选) — 按协议或端点使用的代理服务器字典，例如 {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}。每次请求都会使用这些代理。
• local_files_only (bool，可选，默认为 False) — 是否仅加载本地的模型权重和配置文件。如果设置为 True，则不会从 Hub 下载模型。
• hf_token (str 或 bool，可选) — 用于远程文件的 HTTP bearer 授权令牌。如果为 True，则使用由 diffusers-cli login 生成的令牌（存储在 ~/.huggingface 中）。
• revision (str, 可选, 默认为 "main") — 要使用的特定模型版本。它可以是分支名称、标签名称、提交 id，或 Git 允许的任何标识符。
• subfolder (str，可选，默认为 "") — 模型文件在 Hub 或本地更大的模型仓库中的子文件夹位置。
• mirror (str, 可选) — 镜像源，用于解决在中国下载模型时可能遇到的访问问题。我们不保证该源的时效性或安全性，详情请参阅镜像站点。

参数

• pretrained_model_name_or_path_or_dict (str 或 os.PathLike 或 dict) — 参见 lora_state_dict()。
• adapter_name (str, 可选) — 用于引用已加载的适配器模型的适配器名称。如果未指定，将使用 default_{i}，其中 i 为正在加载的适配器总数。
• low_cpu_mem_usage (bool，可选) — 通过仅加载预训练的 LoRA 权重而不初始化随机权重，来加快模型加载速度。
• hotswap (bool, 可选) — 默认值为 False. 是否用新加载的适配器就地替换现有的（LoRA）适配器。这意味着，不会加载额外的适配器，而是将现有适配器的权重替换为新适配器的权重。这样可能更快且更节省内存。然而，热替换的主要优势在于，当模型使用 torch.compile 编译时，加载新适配器无需重新编译模型。使用热替换时，传入的 adapter_name 应为已加载适配器的名称。如果新适配器和旧适配器的秩和/或 LoRA alpha（即缩放）不同，在加载适配器之前需要调用一个额外方法：pipeline = ... # 加载 diffusers pipeline max_rank = ... # 想要加载的所有 LoRA 中的最高秩 # 在编译和加载 LoRA 适配器*之前*调用 pipeline.enable_lora_hotswap(target_rank=max_rank) pipeline.load_lora_weights(file_name) # 现在可选地编译模型 请注意，文本编码器的适配器热替换目前尚不支持。此技术还有一些其他限制，记录在此处：https://huggingface.co/docs/peft/main/en/package_reference/hotswap

  如果新适配器和旧适配器的秩和/或 LoRA alpha（即缩放）不同，则在加载适配器之前需要调用一个额外的方法：

  pipeline = ...  # load diffusers pipeline
  max_rank = ...  # the highest rank among all LoRAs that you want to load
  # call *before* compiling and loading the LoRA adapter
  pipeline.enable_lora_hotswap(target_rank=max_rank)
  pipeline.load_lora_weights(file_name)
  # optionally compile the model now

  请注意，目前尚不支持热替换文本编码器的适配器。该技术还存在一些其他限制，相关文档如下： https://huggingface.co/docs/peft/main/en/package_reference/hotswap

• kwargs (dict，可选) — 参见 lora_state_dict()。

参数

• save_directory (str 或 os.PathLike) — 用于保存 LoRA 参数的目录。如果该目录不存在，将会自动创建。
• unet_lora_layers (dict[str, torch.nn.Module] 或 dict[str, torch.Tensor]) — 与 unet 对应的 LoRA 层的 state dict。
• text_encoder_lora_layers (dict[str, torch.nn.Module] 或 dict[str, torch.Tensor]) — 与 text_encoder 对应的 LoRA 层的 state dict。由于它来自 🤗 Transformers，因此必须显式传入文本编码器的 LoRA state dict。
• is_main_process (bool，可选，默认为 True) — 调用此函数的进程是否为主进程。在分布式训练期间，当需要在所有进程上调用此函数时非常有用。在这种情况下，仅在主进程上设置 is_main_process=True，以避免竞态条件。
• save_function (Callable) — 用于保存状态字典的函数。在分布式训练期间，当您需要用其他方法替换 torch.save 时非常有用。可以通过环境变量 DIFFUSERS_SAVE_MODE 进行配置。
• safe_serialization（bool，可选，默认为 True）—— 是否使用 safetensors 保存模型，还是使用传统的基于 pickle 的 PyTorch 方式。
• unet_lora_adapter_metadata — 与 unet 关联的 LoRA 适配器元数据，将随状态字典一起序列化。
• text_encoder_lora_adapter_metadata — 与文本编码器关联的 LoRA 适配器元数据，将随状态字典一起序列化。

参数

• prompt (str 或 list[str]，可选) — 用于引导图像生成的提示词或提示词列表。如果未定义，则必须改为传入 prompt_embeds。
• prompt_2（str 或 list[str]，可选）— 要发送给 tokenizer_2 和 text_encoder_2 的提示词。如果未定义，则两个文本编码器都会使用 prompt。
• image（torch.Tensor 或 PIL.Image.Image 或 np.ndarray 或 list[torch.Tensor] 或 list[PIL.Image.Image] 或 list[np.ndarray]）— 要通过流水线处理的图像。
• height (int，可选，默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的高度（以像素为单位）。
• width (int，可选，默认为 self.unet.config.sample_size * self.vae_scale_factor) — 生成图像的宽度（以像素为单位）。
• num_inference_steps (int，可选，默认为 50) — 去噪步数。更多的去噪步数通常能生成更高质量的图像，但代价是推理速度变慢。
• denoising_end (float, 可选) — 如果指定，将确定在有意提前终止之前需要完成的去噪过程的总比例（介于 0.0 和 1.0 之间）。因此，返回的样本仍将保留相当多的噪声，具体程度由调度器选择的离散时间步决定。理想情况下，当此流水线作为“去噪器混合”多流水线设置的一部分时，应使用 denoising_end 参数，详见 优化图像输出
• guidance_scale (float，可选，默认值为 5.0) — Classifier-Free Diffusion Guidance 中定义的引导尺度。guidance_scale 定义为 Imagen Paper 中公式 2 的 w。通过设置 guidance_scale > 1 来启用引导尺度。较高的引导尺度会促使生成与文本 prompt 紧密关联的图像，通常以牺牲图像质量为代价。
• image_guidance_scale (float，可选，默认值为 1.5) — 图像引导尺度用于将生成的图像推向初始图像 image。通过设置 image_guidance_scale > 1 来启用图像引导尺度。较高的图像引导尺度会促使生成与源图像 image 紧密关联的图像，通常以牺牲图像质量为代价。此流水线要求该值至少为 1。
• negative_prompt (str 或 list[str]，可选) — 用于不引导图像生成的提示词。如果未定义，则必须传入 negative_prompt_embeds。在未使用引导时会被忽略（即当 guidance_scale 小于 1 时忽略）。
• negative_prompt_2 (str 或 list[str]，可选) — 用于引导图像生成的负面提示词，将发送给 tokenizer_2 和 text_encoder_2。如果未定义，则两个文本编码器均使用 negative_prompt。
• num_images_per_prompt (int，可选，默认为 1) — 每个提示词生成的图像数量。
• eta（float，可选，默认值为 0.0）— 对应 DDIM 论文中的参数 eta (η)：https://huggingface.co/papers/2010.02502。仅适用于 schedulers.DDIMScheduler，对其他调度器将被忽略。
• generator (torch.Generator 或 list[torch.Generator]，可选) — 一个或一组 torch 生成器，用于使生成过程具有确定性。
• latents (torch.Tensor, 可选) — 预先生成的噪声潜变量，从高斯分布中采样得到，用作图像生成的输入。可用于使用不同的提示词对同一生成过程进行微调。如果未提供，将通过使用提供的随机generator进行采样来生成一个潜变量张量。
• prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如 提示词加权。如果未提供，文本嵌入将从 prompt 输入参数生成。
• negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负向文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，negative_prompt_embeds 将从 negative_prompt 输入参数生成。
• pooled_prompt_embeds (torch.Tensor, 可选) — 预生成的池化文本嵌入。可用于轻松调整文本输入，例如提示词加权。 如果未提供，将从 prompt 输入参数生成池化文本嵌入。
• negative_pooled_prompt_embeds (torch.Tensor, 可选) — 预生成的负向池化文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，将从 negative_prompt 输入参数生成池化的 negative_prompt_embeds。
• output_type (str，可选，默认为 "pil") — 生成图像的输出格式。可选值为 PIL：PIL.Image.Image 或 np.array。
• return_dict (bool，可选，默认为 True) — 是否返回 ~pipelines.stable_diffusion.StableDiffusionXLPipelineOutput 而不是普通元组。
• callback (Callable, 可选) — 一个函数，将在推理过程中每 callback_steps 步被调用一次。该函数将以以下参数被调用：callback(step: int, timestep: int, latents: torch.Tensor)。
• callback_steps (int，可选，默认为 1) — callback 函数的调用频率。如果未指定，则回调将在每一步被调用。
• cross_attention_kwargs (dict, 可选) — 一个 kwargs 字典，如果指定，将作为参数传递给 diffusers.models.attention_processor 中 self.processor 下定义的 AttentionProcessor。
• guidance_rescale (float, optional, defaults to 0.0) — Guidance rescale factor proposed by Common Diffusion Noise Schedules and Sample Steps are Flawed guidance_scale is defined as φ in equation 16. of Common Diffusion Noise Schedules and Sample Steps are Flawed. Guidance rescale factor should fix overexposure when using zero terminal SNR.
• original_size (tuple[int]，可选，默认为 (1024, 1024)) — 如果 original_size 与 target_size 不同，图像将看起来像是被下采样或上采样了。 如果未指定，original_size 默认为 (height, width)。这是 SDXL 微条件的一部分， 如 https://huggingface.co/papers/2307.01952 第 2.2 节所述。
• crops_coords_top_left (tuple[int]，可选，默认为 (0, 0)) — crops_coords_top_left 可用于生成一张看似从 crops_coords_top_left 位置向下裁剪的图像。通常将 crops_coords_top_left 设置为 (0, 0) 即可获得构图良好、居中效果理想的图像。这是 SDXL 微条件的一部分，详见 https://huggingface.co/papers/2307.01952 中的第 2.2 节。
• target_size (tuple[int], 可选，默认为 (1024, 1024)) — 在大多数情况下，target_size 应设置为生成图像所需的宽度和高度。如果未指定，则默认为 (height, width)。这是 SDXL 微条件的一部分，如 https://huggingface.co/papers/2307.01952 第 2.2 节所述。

参数

• prompt (str 或 list[str]，可选) — 要编码的提示
• prompt_2（str 或 list[str]，可选）— 要发送给 tokenizer_2 和 text_encoder_2 的提示词。如果未定义，则两个文本编码器都会使用 prompt。
• device — (torch.device)： torch 设备
• num_images_per_prompt (int) — 每个提示词应生成的图像数量
• do_classifier_free_guidance (bool) — 是否使用 classifier free guidance
• negative_prompt (str 或 list[str]，可选) — 用于不引导图像生成的提示词。如果未定义，则必须传入 negative_prompt_embeds。在未使用引导时会被忽略（即当 guidance_scale 小于 1 时忽略）。
• negative_prompt_2（str 或 list[str]，可选）— 用于引导图像生成的负面提示词，将发送给 tokenizer_2 和 text_encoder_2。如果未定义，则两个文本编码器均使用 negative_prompt。
• prompt_embeds (torch.Tensor, 可选) — 预生成的文本嵌入。可用于轻松调整文本输入，例如 提示词加权。如果未提供，文本嵌入将从 prompt 输入参数生成。
• negative_prompt_embeds (torch.Tensor, 可选) — 预生成的负向文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，negative_prompt_embeds 将从 negative_prompt 输入参数生成。
• pooled_prompt_embeds (torch.Tensor, 可选) — 预生成的池化文本嵌入。可用于轻松调整文本输入，例如提示词加权。 如果未提供，将从 prompt 输入参数生成池化文本嵌入。
• negative_pooled_prompt_embeds (torch.Tensor, 可选) — 预生成的负向池化文本嵌入。可用于轻松调整文本输入，例如提示词加权。如果未提供，将从 negative_prompt 输入参数生成池化的 negative_prompt_embeds。
• lora_scale (float, 可选) — 如果加载了 LoRA 层，将应用于文本编码器所有 LoRA 层的 LoRA 缩放系数。