# EDMDPMSolverMultistepScheduler

`EDMDPMSolverMultistepScheduler` 是 `DPMSolverMultistepScheduler` 的 [Karras 形式](https://huggingface.co/papers/2206.00364)，后者是一种多步调度器，源自 Cheng Lu、Yuhao Zhou、Fan Bao、Jianfei Chen、Chongxuan Li 和 Jun Zhu 的论文 [DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps](https://huggingface.co/papers/2206.00927) 和 [DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models](https://huggingface.co/papers/2211.01095)。

DPMSolver （以及改进版本 DPMSolver++）是一种专为扩散 ODE 设计的高阶快速求解器，具有收敛阶数保证。经验上，DPMSolver 采样仅需 20 步即可生成高质量样本，即使在 10 步内也能生成相当不错的样本。

## EDMDPMSolverMultistepScheduler[[diffusers.EDMDPMSolverMultistepScheduler]]

#### diffusers.EDMDPMSolverMultistepScheduler[[diffusers.EDMDPMSolverMultistepScheduler]]

```python
diffusers.EDMDPMSolverMultistepScheduler(sigma_min: float = 0.002, sigma_max: float = 80.0, sigma_data: float = 0.5, sigma_schedule: typing.Literal['karras', 'exponential'] = 'karras', num_train_timesteps: int = 1000, prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction'] = 'epsilon', rho: float = 7.0, solver_order: int = 2, thresholding: bool = False, dynamic_thresholding_ratio: float = 0.995, sample_max_value: float = 1.0, algorithm_type: typing.Literal['dpmsolver++', 'sde-dpmsolver++'] = 'dpmsolver++', solver_type: typing.Literal['midpoint', 'heun'] = 'midpoint', lower_order_final: bool = True, euler_at_final: bool = False, final_sigmas_type: typing.Literal['zero', 'sigma_min'] = 'zero')
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_edm_dpmsolver_multistep.py#L28)

**参数：**

sigma_min (`float`, *可选*，默认为 0.002)：sigma 调度中的最小噪声幅度。EDM 论文 [1] 中将其设置为 0.002；合理的取值范围为 [0, 10]。

sigma_max (`float`, *可选*，默认值为 80.0)：sigma 调度中的最大噪声幅度。EDM 论文 [1] 中将其设置为 80.0；合理的取值范围为 [0.2, 80.0]。

sigma_data (`float`，*可选*，默认值为 0.5)：数据分布的标准差。在 EDM 论文 [1] 中，该值被设置为 0.5。

sigma_schedule (`str`, *可选*，默认为 `karras`) : 用于计算 `sigmas` 的 Sigma 调度。默认情况下，我们使用 EDM 论文（https://huggingface.co/papers/2206.00364）中提出的调度。另一个可接受的值是 "exponential"。该指数调度已集成到此模型中：https://huggingface.co/stabilityai/cosxl。

num_train_timesteps (`int`，默认为 1000)：用于训练模型的扩散步数。

prediction_type (`str`, defaults to `epsilon`, *optional*) : Prediction type of the scheduler function; can be `epsilon` (predicts the noise of the diffusion process), `sample` (directly predicts the noisy sample`) or `v_prediction` (see section 2.4 of [Imagen Video](https://huggingface.co/papers/2210.02303) paper).

rho (`float`，*可选*，默认值为 7.0)：Karras sigma 调度中的 rho 参数。在 EDM 论文 [1] 中，该值被设置为 7.0。

solver_order (`int`，默认为 2)：DPMSolver 的阶数，可以是 `1`、`2` 或 `3`。建议在有引导采样时使用 `solver_order=2`，在无引导采样时使用 `solver_order=3`。

thresholding (`bool`，默认为 `False`)：是否使用“动态阈值”方法。此方法不适用于 Stable Diffusion 等潜在空间扩散模型。

dynamic_thresholding_ratio (`float`，默认值为 0.995)：动态阈值化方法的比例。仅在 `thresholding=True` 时有效。

sample_max_value (`float`，默认值为 1.0)：动态阈值化的阈值。仅在 `thresholding=True` 且 `algorithm_type="dpmsolver++"` 时有效。

algorithm_type (`str`，默认为 `dpmsolver++`) : 求解器的算法类型；可以是 `dpmsolver++` 或 `sde-dpmsolver++`。`dpmsolver++` 类型实现了 [DPMSolver++](https://huggingface.co/papers/2211.01095) 论文中的算法。对于 Stable Diffusion 中的引导采样，建议使用 `dpmsolver++` 或 `sde-dpmsolver++` 并设置 `solver_order=2`。

solver_type (`str`，默认为 `midpoint`)：二阶求解器的求解器类型；可以是 `midpoint` 或 `heun`。求解器类型会轻微影响样本质量，尤其是在步数较少时。建议使用 `midpoint` 求解器。

lower_order_final (`bool`，默认为 `True`)：是否在最后几步中使用低阶求解器。仅对少于 15 步的推理有效。这可以稳定 DPMSolver 在少于 15 步时的采样，尤其是在 10 步及以下的情况下。

euler_at_final (`bool`，默认为 `False`)：是否在最后一步使用欧拉法。这是在数值稳定性和细节丰富度之间的权衡。对于推理步数较少的 DPMSolver SDE 变体，这可以稳定采样过程，但有时可能会导致图像模糊。

final_sigmas_type (`str`，默认为 `"zero"`)：采样过程中噪声调度的最终 `sigma` 值。如果为 `"sigma_min"`，则最终 sigma 与训练调度中的最后一个 sigma 相同。如果为 `zero`，则最终 sigma 设为 0。

按照 Karras 等人 2022 年 [1] 中提出的 EDM 公式，实现了 DPMSolverMultistepScheduler。`EDMDPMSolverMultistepScheduler` 是一个用于扩散 ODE 的快速专用高阶求解器。

[1] Karras, Tero, et al. "Elucidating the Design Space of Diffusion-Based Generative Models." https://huggingface.co/papers/2206.00364

该模型继承自 [SchedulerMixin](/docs/diffusers/v0.43.0/zh/api/schedulers/overview#diffusers.SchedulerMixin) 和 [ConfigMixin](/docs/diffusers/v0.43.0/zh/api/configuration#diffusers.ConfigMixin)。有关该库为所有调度器实现的通用方法（例如加载和保存），请参阅父类文档。

#### add_noise[[diffusers.EDMDPMSolverMultistepScheduler.add_noise]]

```python
add_noise(original_samples: Tensor, noise: Tensor, timesteps: Tensor)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_edm_dpmsolver_multistep.py#L808)

**参数：**

original_samples (`torch.Tensor`) : 将添加噪声的原始样本。

noise (`torch.Tensor`) : 要添加到原始样本中的噪声张量。

timesteps (`torch.Tensor`) : 添加噪声的时间步，用于从调度器中确定噪声水平。

**返回：** `torch.Tensor`

根据时间步调度对添加的噪声进行缩放后的含噪样本。

根据指定时间步的噪声调度，向原始样本添加噪声。

#### convert_model_output[[diffusers.EDMDPMSolverMultistepScheduler.convert_model_output]]

```python
convert_model_output(model_output: Tensor, sample: Tensor)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_edm_dpmsolver_multistep.py#L471)

**参数：**

model_output (`torch.Tensor`)：学习到的扩散模型的直接输出。

sample (`torch.Tensor`)：扩散过程生成的当前样本实例。

**返回：** `torch.Tensor`

转换后的模型输出。

将模型输出转换为 DPMSolver/DPMSolver++ 算法所需的对应类型。DPM-Solver 旨在对噪声预测模型的积分进行离散化，而 DPM-Solver++ 则旨在对数据预测模型的积分进行离散化。

> [!TIP] > 算法和模型类型是解耦的。您可以使用 DPMSolver 或 DPMSolver++ 来
噪声 > 预测和数据预测模型。

#### dpm_solver_first_order_update[[diffusers.EDMDPMSolverMultistepScheduler.dpm_solver_first_order_update]]

```python
dpm_solver_first_order_update(model_output: Tensor, sample: Tensor, noise: typing.Optional[torch.Tensor] = None)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_edm_dpmsolver_multistep.py#L502)

**参数：**

model_output (`torch.Tensor`)：学习到的扩散模型的直接输出。

sample (`torch.Tensor`)：扩散过程生成的当前样本实例。

noise (`torch.Tensor`, *可选*) : 要添加到原始样本中的噪声张量。

**返回：** `torch.Tensor`

上一步时间步的样本张量。

一阶 DPMSolver 的一步（等效于 DDIM）。

#### index_for_timestep[[diffusers.EDMDPMSolverMultistepScheduler.index_for_timestep]]

```python
index_for_timestep(timestep: typing.Union[int, torch.Tensor], schedule_timesteps: typing.Optional[torch.Tensor] = None)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_edm_dpmsolver_multistep.py#L673)

**参数：**

timestep (`int` 或 `torch.Tensor`)：用于查找索引的时间步。

schedule_timesteps (`torch.Tensor`, *可选*) : 要搜索的时间步调度。如果为 `None`，则使用 `self.timesteps`。

**返回值：** `int`

时间步在调度器中的索引。

查找给定时间步在调度器中的索引。

#### multistep_dpm_solver_second_order_update[[diffusers.EDMDPMSolverMultistepScheduler.multistep_dpm_solver_second_order_update]]

```python
multistep_dpm_solver_second_order_update(model_output_list: typing.List[torch.Tensor], sample: Tensor, noise: typing.Optional[torch.Tensor] = None)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_edm_dpmsolver_multistep.py#L545)

**参数：**

model_output_list (`list[torch.Tensor]`) : 学习到的扩散模型在当前及后续时间步的直接输出。

sample (`torch.Tensor`)：扩散过程生成的当前样本实例。

noise (`torch.Tensor`, *可选*) : 要添加到原始样本中的噪声张量。

**返回：** `torch.Tensor`

上一步时间步的样本张量。

二阶多步 DPMSolver 的单步。

#### multistep_dpm_solver_third_order_update[[diffusers.EDMDPMSolverMultistepScheduler.multistep_dpm_solver_third_order_update]]

```python
multistep_dpm_solver_third_order_update(model_output_list: list[torch.Tensor], sample: Tensor)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_edm_dpmsolver_multistep.py#L618)

**参数：**

model_output_list (`list[torch.Tensor]`) : 学习到的扩散模型在当前及后续时间步的直接输出。

sample (`torch.Tensor`)：扩散过程创建的当前样本实例。

**返回：** `torch.Tensor`

上一步时间步的样本张量。

三阶多步 DPMSolver 的单步。

#### precondition_inputs[[diffusers.EDMDPMSolverMultistepScheduler.precondition_inputs]]

```python
precondition_inputs(sample: Tensor, sigma: typing.Union[float, torch.Tensor])
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_edm_dpmsolver_multistep.py#L180)

**参数：**

sample (`torch.Tensor`) : 需要预处理的输入样本张量。

sigma (`float` 或 `torch.Tensor`)：当前的 sigma（噪声水平）值。

**返回：** `torch.Tensor`

缩放后的输入样本。

根据 EDM 公式对输入样本进行缩放，以对其进行预处理。

#### precondition_noise[[diffusers.EDMDPMSolverMultistepScheduler.precondition_noise]]

```python
precondition_noise(sigma: typing.Union[float, torch.Tensor])
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_edm_dpmsolver_multistep.py#L199)

**参数：**

sigma (`float` 或 `torch.Tensor`)：用于预处理的 sigma（噪声水平）值。

**返回：** `torch.Tensor`

计算得到的预条件噪声值，即 `0.25 * log(sigma)`。

通过对噪声水平应用对数变换来进行预处理。

#### precondition_outputs[[diffusers.EDMDPMSolverMultistepScheduler.precondition_outputs]]

```python
precondition_outputs(sample: Tensor, model_output: Tensor, sigma: typing.Union[float, torch.Tensor])
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_edm_dpmsolver_multistep.py#L219)

**参数：**

sample (`torch.Tensor`) : 输入样本张量。

model_output (`torch.Tensor`)：学习到的扩散模型的直接输出。

sigma (`float` 或 `torch.Tensor`)：当前的 sigma（噪声水平）值。

**返回：** `torch.Tensor`

通过结合跳跃连接和输出缩放计算得到的去噪样本。

根据 EDM 公式对模型输出进行预处理。

#### scale_model_input[[diffusers.EDMDPMSolverMultistepScheduler.scale_model_input]]

```python
scale_model_input(sample: Tensor, timestep: typing.Union[float, torch.Tensor])
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_edm_dpmsolver_multistep.py#L255)

**参数：**

sample (`torch.Tensor`) : 输入样本张量。

timestep (`float` 或 `torch.Tensor`)：扩散链中的当前时间步。

**返回：** `torch.Tensor`

经过缩放的输入样本。

将去噪模型的输入进行缩放，以匹配 Euler 算法。确保与那些需要根据当前时间步对去噪模型输入进行缩放的调度器互换使用。

#### set_begin_index[[diffusers.EDMDPMSolverMultistepScheduler.set_begin_index]]

```python
set_begin_index(begin_index: int = 0)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_edm_dpmsolver_multistep.py#L169)

**参数：**

begin_index (`int`，默认为 `0`)：调度器的起始索引。

设置调度器的起始索引。此函数应在推理之前从流水线中运行。

#### set_timesteps[[diffusers.EDMDPMSolverMultistepScheduler.set_timesteps]]

```python
set_timesteps(num_inference_steps: int = None, device: typing.Union[str, torch.device, NoneType] = None)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_edm_dpmsolver_multistep.py#L279)

**参数：**

num_inference_steps (`int`) : 使用预训练模型生成样本时所用的扩散步数。

device (`str` 或 `torch.device`，*可选*)：时间步应移动到的设备。如果为 `None`，则不移动时间步。

设置扩散链所使用的离散时间步（需在推理之前运行）。

#### 步骤[[diffusers.EDMDPMSolverMultistepScheduler.step]]

```python
step(model_output: Tensor, timestep: typing.Union[int, torch.Tensor], sample: Tensor, generator: typing.Optional[torch.Generator] = None, return_dict: bool = True)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_edm_dpmsolver_multistep.py#L726)

**参数：**

model_output (`torch.Tensor`)：学习到的扩散模型的直接输出。

timestep (`int`)：扩散链中当前的离散时间步。

sample (`torch.Tensor`)：扩散过程生成的当前样本实例。

generator (`torch.Generator`, *可选*) : 随机数生成器。

return_dict (`bool`) : 是否返回 [SchedulerOutput](/docs/diffusers/v0.43.0/zh/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) 或 `tuple`。

**返回：** [SchedulerOutput](/docs/diffusers/v0.43.0/zh/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) 或 `tuple`

If return_dict is `True`, [SchedulerOutput](/docs/diffusers/v0.43.0/zh/api/schedulers/ipndm#diffusers.schedulers.scheduling_utils.SchedulerOutput) is returned, otherwise a tuple is returned where the first element is the sample tensor.

通过逆向 SDE 预测上一步时间步的样本。此函数使用多步 DPMSolver 传播样本。

## SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

#### diffusers.schedulers.scheduling_utils.SchedulerOutput[[diffusers.schedulers.scheduling_utils.SchedulerOutput]]

```python
diffusers.schedulers.scheduling_utils.SchedulerOutput(prev_sample: Tensor)
```

[源代码](https://github.com/huggingface/diffusers/blob/v0.43.0/src/diffusers/schedulers/scheduling_utils.py#L66)

**参数：**

prev_sample （对于图像，形状为 `(batch_size, num_channels, height, width)` 的 `torch.Tensor`）：计算得到的前一时间步的样本 `(x_{t-1})`。在去噪循环中，应将 `prev_sample` 用作下一个模型输入。

调度器 `step` 函数输出的基类。