Diffusers documentation

Trình lập lịch đa bước cho Mô hình nhất quán tiềm ẩn

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Trình lập lịch đa bước cho Mô hình nhất quán tiềm ẩn

Tổng quan

Trình điều phối đa bước và đơn bước (Thuật toán 3) được giới thiệu cùng với các mô hình nhất quán tiềm ẩn trong bài báo Latent Consistency Models: Synthesizing High-Resolution Images with Few-Step Inference của Simian Luo, Yiqin Tan, Longbo Huang, Jian Li và Hang Zhao. Trình điều phối này nên có khả năng tạo ra các mẫu tốt từ LatentConsistencyModelPipeline trong 1-8 bước.

LCMScheduler

lớp diffusers.LCMScheduler

< >

( num_train_timesteps: int = 1000beta_start: float = 0.00085beta_end: float = 0.012beta_schedule: str = 'scaled_linear'trained_betas: numpy.ndarray | list[float] | None = Noneoriginal_inference_steps: int = 50clip_sample: bool = Falseclip_sample_range: float = 1.0set_alpha_to_one: bool = Truesteps_offset: int = 0prediction_type: str = 'epsilon'thresholding: bool = Falsedynamic_thresholding_ratio: float = 0.995sample_max_value: float = 1.0timestep_spacing: str = 'leading'timestep_scaling: float = 10.0rescale_betas_zero_snr: bool = False )

Tham số

  • num_train_timesteps (int, mặc định là 1000) — Số bước khuếch tán để huấn luyện mô hình.
  • beta_start (float, mặc định là 0.00085) — Giá trị beta ban đầu của suy luận.
  • beta_end (float, mặc định là 0.012) — Giá trị beta cuối cùng.
  • beta_schedule (str, mặc định là "scaled_linear") — Lịch trình beta, một ánh xạ từ một khoảng beta sang một chuỗi các beta để bước qua mô hình. Chọn từ linear, scaled_linear, hoặc squaredcos_cap_v2.
  • trained_betas (np.ndarray hoặc list[float], tùy chọn) — Truyền trực tiếp một mảng betas vào constructor để bỏ qua beta_start và beta_end.
  • original_inference_steps (int, mặc định là 50) — Số bước suy luận mặc định được sử dụng để tạo lịch trình bước thời gian (timestep) phân bố tuyến tính, từ đó chúng ta sẽ lấy num_inference_steps bước thời gian phân bố đều để tạo thành lịch trình bước thời gian cuối cùng.
  • clip_sample (bool, mặc định là False) — Cắt mẫu dự đoán để đảm bảo ổn định về mặt số học.
  • clip_sample_range (float, mặc định là 1.0) — Độ lớn tối đa cho việc cắt mẫu. Chỉ hợp lệ khi clip_sample=True.
  • set_alpha_to_one (bool, mặc định là True) — Mỗi bước khuếch tán sử dụng giá trị tích của alpha tại bước đó và tại bước trước đó. Đối với bước cuối cùng, không có alpha trước đó. Khi tùy chọn này là True, tích alpha trước đó được cố định thành 1, ngược lại nó sử dụng giá trị alpha tại bước 0.
  • steps_offset (int, mặc định là 0) — Một giá trị bù được cộng vào các bước suy luận, theo yêu cầu của một số nhóm mô hình.
  • prediction_type (str, defaults to "epsilon") — Prediction type of the scheduler function; can be epsilon (predicts the noise of the diffusion process), sample (directly predicts the noisy sample) or v_prediction` (see section 2.4 of Imagen Video paper).
  • thresholding (bool, mặc định là False) — Có sử dụng phương pháp “dynamic thresholding” hay không. Phương pháp này không phù hợp với các mô hình khuếch tán trong không gian ẩn (latent-space) như Stable Diffusion.
  • dynamic_thresholding_ratio (float, mặc định là 0.995) — Tỷ số cho phương pháp ngưỡng động. Chỉ hợp lệ khi thresholding=True.
  • sample_max_value (float, mặc định là 1.0) — Giá trị ngưỡng cho việc đặt ngưỡng động. Chỉ hợp lệ khi thresholding=True.
  • timestep_spacing (str, mặc định là "leading") — Cách các bước thời gian (timesteps) nên được quy đổi. Xem Bảng 2 trong Common Diffusion Noise Schedules and Sample Steps are Flawed để biết thêm thông tin.
  • timestep_scaling (float, mặc định là 10.0) — Hệ số nhân với các bước thời gian (timesteps) khi tính toán các điều kiện biên của mô hình nhất quán (consistency model) c_skip và c_out. Việc tăng giá trị này sẽ làm giảm sai số xấp xỉ (mặc dù sai số xấp xỉ ở mức mặc định 10.0 đã khá nhỏ).
  • rescale_betas_zero_snr (bool, mặc định là False) — Có nên điều chỉnh lại betas để có SNR cuối bằng zero hay không. Điều này cho phép mô hình tạo ra các mẫu rất sáng và rất tối thay vì giới hạn ở các mẫu có độ sáng trung bình. Liên quan lỏng lẻo đến --offset_noise.

LCMScheduler mở rộng quy trình khử nhiễu được giới thiệu trong các mô hình xác suất khuếch tán khử nhiễu (DDPMs) bằng cách sử dụng dẫn hướng phi Markov.

Mô hình này kế thừa từ SchedulerMixin và ConfigMixin. ~ConfigMixin chịu trách nhiệm lưu trữ tất cả các thuộc tính cấu hình được truyền vào hàm __init__ của scheduler, chẳng hạn như num_train_timesteps. Chúng có thể được truy cập thông qua scheduler.config.num_train_timesteps. SchedulerMixin cung cấp chức năng tải và lưu trữ chung thông qua các hàm SchedulerMixin.save_pretrained() và from_pretrained().

add_noise

< >

( original_samples: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor

Tham số

  • original_samples (torch.Tensor) — Các mẫu gốc mà nhiễu sẽ được thêm vào.
  • noise (torch.Tensor) — Nhiễu cần thêm vào các mẫu.
  • timesteps (torch.IntTensor) — Các bước thời gian (timesteps) chỉ ra mức độ nhiễu cho từng mẫu.

Trả về

torch.Tensor

Các mẫu nhiễu.

Thêm nhiễu vào các mẫu gốc theo mức độ nhiễu tại mỗi bước thời gian (đây là quá trình khuếch tán thuận).

get_scalings_for_boundary_condition_discrete

< >

( timestep: int ) → tuple[float, float]

Tham số

  • timestep (int) — Bước thời gian rời rạc để tính toán các hệ số tỷ lệ.

Trả về

tuple[float, float]

Một tuple chứa c_skip (thang đo cho mẫu đầu vào) và c_out (thang đo cho mẫu khử nhiễu dự đoán).

Tính toán các hệ số điều kiện biên (c_skip và c_out) cho bước thời gian rời rạc đã cho, như được sử dụng trong Mô hình Nhất quán Ẩn (Latent Consistency Model).

get_velocity

< >

( sample: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor

Tham số

  • sample (torch.Tensor) — Mẫu đầu vào.
  • noise (torch.Tensor) — Tensor nhiễu.
  • timesteps (torch.IntTensor) — Các bước thời gian (timesteps) để tính toán vận tốc.

Trả về

torch.Tensor

Tốc độ đã được tính toán.

Tính dự đoán vận tốc từ mẫu và nhiễu theo công thức vận tốc.

index_for_timestep

< >

( timestep: typing.Union[float, torch.Tensor]schedule_timesteps: typing.Optional[torch.Tensor] = None ) → int

Tham số

  • timestep (float hoặc torch.Tensor) — Giá trị bước thời gian cần tìm trong lịch trình.
  • schedule_timesteps (torch.Tensor, tùy chọn) — Lịch trình bước thời gian để tìm kiếm. Nếu là None, sẽ sử dụng self.timesteps.

Trả về

int

Chỉ số của bước thời gian trong lịch trình. Đối với bước đầu tiên, trả về chỉ số thứ hai nếu có nhiều kết quả khớp để tránh bỏ qua một sigma khi bắt đầu giữa lịch trình (ví dụ: cho image-to-image).

Tìm chỉ số của một bước thời gian (timestep) cho trước trong lịch trình bước thời gian.

previous_timestep

< >

( timestep ) → int or torch.Tensor

Tham số

  • timestep (int) — Bước thời gian hiện tại.

Trả về

int hoặc torch.Tensor

Bước thời gian trước đó.

Tính bước thời gian trước đó trong chuỗi khuếch tán.

scale_model_input

< >

( sample: Tensortimestep: int | None = None ) → torch.Tensor

Tham số

  • sample (torch.Tensor) — Mẫu đầu vào.
  • timestep (int, tùy chọn) — Bước thời gian hiện tại trong chuỗi khuếch tán.

Trả về

torch.Tensor

Một mẫu đầu vào đã được chuẩn hóa.

Đảm bảo khả năng hoán đổi với các trình lập lịch cần mở rộng đầu vào của mô hình khử nhiễu tùy thuộc vào bước thời gian hiện tại.

set_begin_index

< >

( begin_index: int = 0 )

Tham số

  • begin_index (int, mặc định là 0) — Chỉ số bắt đầu cho trình lập lịch.

Đặt chỉ số bắt đầu cho trình lập lịch. Hàm này nên được chạy từ pipeline trước khi suy luận.

set_timesteps

< >

( num_inference_steps: int | None = Nonedevice: typing.Union[str, torch.device, NoneType] = Noneoriginal_inference_steps: int | None = Nonetimesteps: list[int] | None = Nonestrength: float = 1.0 ) → None

Tham số

  • num_inference_steps (int, tùy chọn) — Số bước khuếch tán được sử dụng khi tạo mẫu bằng mô hình đã được huấn luyện trước. Nếu được sử dụng, timesteps phải là None.
  • device (str hoặc torch.device, tùy chọn) — Thiết bị mà các bước thời gian (timesteps) sẽ được chuyển đến. Nếu là None, các bước thời gian sẽ không được chuyển.
  • original_inference_steps (int, tùy chọn) — Số bước suy luận ban đầu, sẽ được dùng để tạo lịch trình timestep phân bố tuyến tính (khác với cài đặt diffusers tiêu chuẩn). Sau đó, chúng ta sẽ lấy num_inference_steps timestep từ lịch trình này, phân bố đều theo chỉ số, và dùng đó làm lịch trình timestep cuối cùng. Nếu không được đặt, giá trị này sẽ mặc định là thuộc tính original_inference_steps.
  • timesteps (list[int], tùy chọn) — Các bước thời gian tùy chỉnh được sử dụng để hỗ trợ khoảng cách tùy ý giữa các bước thời gian. Nếu None, thì chiến lược khoảng cách bước thời gian mặc định là khoảng cách đều giữa các bước thời gian trên lịch trình bước thời gian huấn luyện/chưng cất sẽ được sử dụng. Nếu timesteps được truyền vào, num_inference_steps phải là None.
  • strength (float, mặc định là 1.0) — Hệ số cường độ được sử dụng để tạo lịch trình bước thời gian một phần (ví dụ: cho image-to-image). Giá trị 1.0 sử dụng lịch trình đầy đủ.

Trả về

None

Đặt các bước thời gian rời rạc được sử dụng cho chuỗi khuếch tán (cần chạy trước khi suy luận).

bước

< >

( model_output: Tensortimestep: intsample: Tensorgenerator: typing.Optional[torch.Generator] = Nonereturn_dict: bool = True ) → LCMSchedulerOutput or tuple

Tham số

  • model_output (torch.Tensor) — Đầu ra trực tiếp từ mô hình khuếch tán đã học.
  • timestep (int) — Bước thời gian rời rạc hiện tại trong chuỗi khuếch tán.
  • sample (torch.Tensor) — Một bản thể hiện hiện tại của mẫu được tạo ra bởi quá trình khuếch tán.
  • generator (torch.Generator, tùy chọn) — Bộ tạo số ngẫu nhiên để lấy mẫu có thể tái lập.
  • return_dict (bool, mặc định là True) — Có nên trả về LCMSchedulerOutput hay tuple hay không.

Trả về

LCMSchedulerOutput hoặc tuple

If return_dict is True, LCMSchedulerOutput is returned, otherwise a tuple is returned where the first element is the sample tensor.

Dự đoán mẫu từ bước thời gian trước đó bằng cách đảo ngược SDE. Hàm này lan truyền quá trình khuếch tán từ các đầu ra của mô hình đã học (thường nhất là nhiễu được dự đoán).

Update on GitHub