Hugging Face's logo

Diffusers documentation

Pemandu

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Pemandu

Guiders adalah komponen dalam Modular Diffusers yang mengontrol bagaimana proses difusi dipandu selama generasi. Mereka mengimplementasikan berbagai teknik panduan untuk meningkatkan kualitas dan kontrol generasi.

BaseGuidance

kelas diffusers.BaseGuidance

< >

( start: float = 0.0stop: float = 1.0enabled: bool = True )

Kelas dasar yang menyediakan kerangka untuk mengimplementasikan teknik panduan.

cleanup_models

< >

( denoiser: torch.nn.Module )

Membersihkan model untuk teknik panduan setelah batch data tertentu. Metode ini harus ditimpa (overridden) di subkelas untuk mengimplementasikan logika pembersihan model yang spesifik. Metode ini berguna untuk menghapus hook atau modifikasi stateful lainnya yang dibuat selama prepare_models.

from_pretrained

< >

( pretrained_model_name_or_path: str | os.PathLike | None = Nonesubfolder: str | None = Nonereturn_unused_kwargs = False**kwargs )

Parameter

  • pretrained_model_name_or_path (str atau os.PathLike, opsional) — Dapat berupa:
    • String, model id (misalnya google/ddpm-celebahq-256) dari model pretrained yang dihosting di Hub.
    • Path ke direktori (misalnya ./my_model_directory) yang berisi konfigurasi guider yang disimpan dengan save_pretrained().
  • subfolder (str, opsional) — Lokasi subfolder dari file model di dalam repositori model yang lebih besar di Hub atau secara lokal.
  • return_unused_kwargs (bool, opsional, default False) — Apakah kwargs yang tidak dikonsumsi oleh kelas Python harus dikembalikan atau tidak.
  • cache_dir (str | os.PathLike, opsional) — Path ke direktori tempat konfigurasi model pretrained yang diunduh di-cache jika cache standar tidak digunakan.
  • force_download (bool, opsional, default False) — Apakah akan memaksa (mengunduh ulang) bobot model dan file konfigurasi, menimpa versi yang sudah di-cache jika ada.
  • proxies (dict[str, str], opsional) — Kamus server proxy yang digunakan berdasarkan protokol atau endpoint, misalnya {'http': 'foo.bar:3128', 'http://hostname': 'foo.bar:4012'}. Proxy digunakan pada setiap permintaan.
  • output_loading_info(bool, opsional, defaultnya False) — Apakah akan mengembalikan juga kamus yang berisi kunci yang hilang, kunci yang tidak terduga, dan pesan kesalahan.
  • local_files_only(bool, opsional, defaultnya False) — Apakah hanya memuat bobot model dan file konfigurasi lokal atau tidak. Jika diatur ke True, model tidak akan diunduh dari Hub.
  • token (str atau bool, opsional) — Token yang digunakan sebagai otorisasi bearer HTTP untuk file jarak jauh. Jika True, token yang dihasilkan dari diffusers-cli login (disimpan di ~/.huggingface) akan digunakan.
  • revision (str, opsional, default "main") — Versi model spesifik yang akan digunakan. Bisa berupa nama branch, nama tag, commit id, atau identifier apa pun yang diizinkan oleh Git.

Instansiasi sebuah guider dari file konfigurasi JSON yang sudah ditentukan sebelumnya di direktori lokal atau repositori Hub.

> Untuk menggunakan model privat atau model bergerbang, masuk dengan hf > auth login. Anda juga dapat mengaktifkan mode khusus > “offline-mode” untuk menggunakan metode ini di lingkungan > yang terisolasi oleh firewall.

get_state

< >

( )

Mengembalikan keadaan saat ini dari teknik panduan sebagai kamus. Variabel keadaan akan disertakan dalam metode repr. Mengembalikan: dict[str, Any]: Kamus yang berisi variabel keadaan saat ini termasuk:

  • step: Langkah inferensi saat ini
  • num_inference_steps: Total langkah inferensi
  • timestep: tensor timestep saat ini
  • count_prepared: Jumlah kali prepare_models telah dipanggil
  • enabled: Apakah panduan diaktifkan
  • num_conditions: Jumlah kondisi

baru

< >

( **kwargs )

Parameter

  • **kwargs — Parameter konfigurasi untuk ditimpa pada instance baru. Jika tidak ada kwargs yang diberikan, mengembalikan salinan persis dengan konfigurasi yang sama.

Membuat salinan dari instance guider ini, secara opsional dengan parameter konfigurasi yang dimodifikasi.

Contoh:

# Create a CFG guider
guider = ClassifierFreeGuidance(guidance_scale=3.5)

# Create an exact copy
same_guider = guider.new()

# Create a copy with different start step, keeping other config the same
new_guider = guider.new(guidance_scale=5)

prepare_models

< >

( denoiser: torch.nn.Module )

Menyiapkan model untuk teknik panduan pada batch data tertentu. Metode ini harus ditimpa (overridden) di subkelas untuk mengimplementasikan logika persiapan model yang spesifik.

save_pretrained

< >

( save_directory: str | os.PathLikepush_to_hub: bool = False**kwargs )

Parameter

  • save_directory (str atau os.PathLike) — Direktori tempat file konfigurasi JSON akan disimpan (akan dibuat jika belum ada).
  • push_to_hub (bool, opsional, default False) — Apakah model Anda akan didorong ke Hugging Face Hub setelah disimpan. Anda dapat menentukan repositori yang ingin Anda tuju dengan repo_id (defaultnya adalah nama save_directory di namespace Anda).
  • kwargs (dict[str, Any], opsional) — Argumen kata kunci tambahan yang diteruskan ke metode push_to_hub().

Simpan objek konfigurasi guider ke sebuah direktori agar dapat dimuat ulang menggunakan metode kelas from_pretrained().

ClassifierFreeGuidance

kelas diffusers.ClassifierFreeGuidance

< >

( guidance_scale: float = 7.5guidance_rescale: float = 0.0use_original_formulation: bool = Falsestart: float = 0.0stop: float = 1.0enabled: bool = True )

Parameter

  • guidance_scale (float, default 7.5) — Skala CFG yang diterapkan oleh guider ini selama pascapemrosesan. Nilai yang lebih tinggi = kondisioning prompt yang lebih kuat tetapi dapat mengurangi kualitas. Rentang tipikal: 1.0-20.0.
  • guidance_rescale (float, default 0.0) — Faktor rescaling untuk mencegah overexposure dari skala guidance yang tinggi. Berdasarkan Common Diffusion Noise Schedules and Sample Steps are Flawed. Rentang: 0.0 (tanpa rescaling) hingga 1.0 (rescaling penuh).
  • use_original_formulation (bool, defaultnya False) — Jika True, menggunakan formulasi CFG asli dari makalah tersebut. Jika False (default), menggunakan formulasi asli diffusers dari makalah Imagen.
  • start (float, defaultnya 0.0) — Fraksi langkah denoising (0.0-1.0) setelah mana CFG dimulai. Gunakan > 0.0 untuk menonaktifkan CFG pada langkah-langkah denoising awal.
  • stop (float, default 1.0) — Fraksi langkah denoising (0.0-1.0) setelah mana CFG berhenti. Gunakan < 1.0 untuk menonaktifkan CFG pada langkah denoising akhir.
  • enabled (bool, defaultnya True) — Apakah CFG diaktifkan. Atur ke False untuk menonaktifkan CFG sepenuhnya (hanya menggunakan prediksi kondisional).

Menerapkan Classifier-Free Guidance (CFG) untuk model difusi.

Referensi: https://huggingface.co/papers/2207.12598

CFG meningkatkan kualitas generasi dan kepatuhan terhadap prompt dengan melatih model secara bersama-sama pada data bersyarat dan tidak bersyarat, lalu menggabungkan prediksi selama inferensi. Hal ini memungkinkan penyesuaian antara kualitas (guidance tinggi) dan keragaman (guidance rendah).

Dua Formulasi CFG:

  1. Formulasi asli (dari makalah):
x_pred = x_cond + guidance_scale * (x_cond - x_uncond)
Moves conditional predictions further from unconditional ones.
  1. Formulasi native Diffusers (default, dari paper Imagen):
x_pred = x_uncond + guidance_scale * (x_cond - x_uncond)
Moves unconditional predictions toward conditional ones, effectively suppressing negative features (e.g., "bad quality", "watermarks"). Equivalent in theory but more intuitive.

Gunakan use_original_formulation=True untuk beralih ke formulasi asli.

ClassifierFreeZeroStarGuidance

kelas diffusers.ClassifierFreeZeroStarGuidance

< >

( guidance_scale: float = 7.5zero_init_steps: int = 1guidance_rescale: float = 0.0use_original_formulation: bool = Falsestart: float = 0.0stop: float = 1.0enabled: bool = True )

Parameter

  • guidance_scale (float, defaultnya 7.5) — Parameter skala untuk classifier-free guidance. Nilai yang lebih tinggi menghasilkan kondisioning yang lebih kuat pada prompt teks, sedangkan nilai yang lebih rendah memberikan kebebasan lebih dalam generasi. Nilai yang lebih tinggi dapat menyebabkan saturasi dan penurunan kualitas gambar.
  • zero_init_steps (int, defaultnya 1) — Jumlah langkah inferensi di mana prediksi noise di-nolkan (lihat Bagian 4.2).
  • guidance_rescale (float, defaultnya 0.0) — Faktor rescale yang diterapkan pada prediksi noise. Ini digunakan untuk meningkatkan kualitas gambar dan memperbaiki overexposure. Berdasarkan Bagian 3.4 dari Common Diffusion Noise Schedules and Sample Steps are Flawed.
  • use_original_formulation (bool, defaultnya False) — Apakah akan menggunakan formulasi asli dari classifier-free guidance sebagaimana diusulkan dalam makalah. Secara default, kami menggunakan implementasi asli diffusers yang sudah ada di codebase sejak lama. Lihat [~guiders.classifier_free_guidance.ClassifierFreeGuidance] untuk detail lebih lanjut.
  • start (float, defaultnya 0.01) — Fraksi dari total langkah denoising setelah mana panduan dimulai.
  • stop (float, default 0.2) — Fraksi dari total langkah denoising setelah mana guidance berhenti.

Classifier-free Zero(CFG-Zero): https://huggingface.co/papers/2503.18886

Ini adalah implementasi dari teknik panduan Classifier-Free Zero*, yang merupakan varian dari panduan tanpa klasifikator. Teknik ini mengusulkan inisialisasi nol untuk prediksi noise pada beberapa langkah awal proses difusi, serta memperkenalkan faktor penskalaan optimal untuk prediksi noise, yang dapat membantu meningkatkan kualitas gambar yang dihasilkan.

Para penulis makalah tersebut menyarankan untuk mengatur inisialisasi nol pada 4% pertama dari langkah inferensi.

SkipLayerGuidance

kelas diffusers.SkipLayerGuidance

< >

( guidance_scale: float = 7.5skip_layer_guidance_scale: float = 2.8skip_layer_guidance_start: float = 0.01skip_layer_guidance_stop: float = 0.2skip_layer_guidance_layers: int | list[int] | None = Noneskip_layer_config: LayerSkipConfig | list[LayerSkipConfig] | dict[str, Any] = Noneguidance_rescale: float = 0.0use_original_formulation: bool = Falsestart: float = 0.0stop: float = 1.0enabled: bool = True )

Parameter

  • guidance_scale (float, defaultnya 7.5) — Parameter skala untuk classifier-free guidance. Nilai yang lebih tinggi menghasilkan kondisioning yang lebih kuat pada prompt teks, sedangkan nilai yang lebih rendah memberikan kebebasan lebih dalam generasi. Nilai yang lebih tinggi dapat menyebabkan saturasi dan penurunan kualitas gambar.
  • skip_layer_guidance_scale (float, defaultnya 2.8) — Parameter skala untuk skip layer guidance. Anatomi dan koherensi struktur mungkin membaik dengan nilai yang lebih tinggi, tetapi hal ini juga dapat menyebabkan overexposure dan saturasi.
  • skip_layer_guidance_start (float, defaultnya 0.01) — Proporsi dari total langkah denoising setelah mana skip layer guidance dimulai.
  • skip_layer_guidance_stop (float, defaultnya 0.2) — Proporsi dari total langkah denoising setelah mana skip layer guidance berhenti.
  • skip_layer_guidance_layers (int atau list[int], opsional) — Indeks layer yang akan diterapkan skip layer guidance. Bisa berupa satu integer atau daftar integer. Jika tidak diberikan, skip_layer_config harus diberikan. Nilai yang direkomendasikan adalah [7, 8, 9] untuk Stable Diffusion 3.5 Medium.
  • skip_layer_config (LayerSkipConfig atau list[LayerSkipConfig], opsional) — Konfigurasi untuk panduan skip layer. Dapat berupa satu LayerSkipConfig atau daftar LayerSkipConfig. Jika tidak disediakan, skip_layer_guidance_layers harus disediakan.
  • guidance_rescale (float, defaultnya 0.0) — Faktor rescale yang diterapkan pada prediksi noise. Ini digunakan untuk meningkatkan kualitas gambar dan memperbaiki overexposure. Berdasarkan Bagian 3.4 dari Common Diffusion Noise Schedules and Sample Steps are Flawed.
  • use_original_formulation (bool, defaultnya False) — Apakah akan menggunakan formulasi asli dari classifier-free guidance sebagaimana diusulkan dalam makalah. Secara default, kami menggunakan implementasi asli diffusers yang sudah ada di codebase sejak lama. Lihat [~guiders.classifier_free_guidance.ClassifierFreeGuidance] untuk detail lebih lanjut.
  • start (float, defaultnya 0.01) — Fraksi dari total langkah denoising setelah mana panduan dimulai.
  • stop (float, default 0.2) — Fraksi dari total langkah denoising setelah mana guidance berhenti.

Skip Layer Guidance (SLG): https://github.com/Stability-AI/sd3.5

Panduan Spasial-Temporal (STG): https://huggingface.co/papers/2411.18664

SLG diperkenalkan oleh StabilityAI untuk meningkatkan koherensi struktur dan anatomi pada gambar yang dihasilkan. Cara kerjanya adalah dengan melewati jalur maju (forward pass) dari blok transformer yang ditentukan selama proses denoising pada batch data kondisional tambahan, selain batch kondisional dan non-kondisional yang sudah digunakan dalam CFG ([~guiders.classifier_free_guidance.ClassifierFreeGuidance]), kemudian melakukan penskalaan dan pergeseran (shifting) prediksi CFG berdasarkan perbedaan antara prediksi kondisional tanpa melewati blok dan prediksi kondisional dengan melewati blok.

Intuisi di balik SLG dapat dipikirkan sebagai menggeser estimasi distribusi prediksi CFG menjauh dari versi yang lebih buruk dari estimasi distribusi kondisional (karena melewati lapisan setara dengan menggunakan versi model yang lebih buruk untuk prediksi kondisional).

STG adalah perbaikan dan pekerjaan lanjutan yang menggabungkan ide dari SLG, PAG, dan teknik serupa untuk meningkatkan kualitas generasi pada model difusi video.

Bacaan tambahan:

Nilai untuk skip_layer_guidance_scale, skip_layer_guidance_start, dan skip_layer_guidance_stop secara default mengikuti rekomendasi StabilityAI untuk Stable Diffusion 3.5 Medium.

SmoothedEnergyGuidance

kelas diffusers.SmoothedEnergyGuidance

< >

( guidance_scale: float = 7.5seg_guidance_scale: float = 2.8seg_blur_sigma: float = 9999999.0seg_blur_threshold_inf: float = 9999.0seg_guidance_start: float = 0.0seg_guidance_stop: float = 1.0seg_guidance_layers: int | list[int] | None = Noneseg_guidance_config: SmoothedEnergyGuidanceConfig | list[SmoothedEnergyGuidanceConfig] = Noneguidance_rescale: float = 0.0use_original_formulation: bool = Falsestart: float = 0.0stop: float = 1.0enabled: bool = True )

Parameter

  • guidance_scale (float, defaultnya 7.5) — Parameter skala untuk classifier-free guidance. Nilai yang lebih tinggi menghasilkan kondisioning yang lebih kuat pada prompt teks, sedangkan nilai yang lebih rendah memberikan kebebasan lebih dalam generasi. Nilai yang lebih tinggi dapat menyebabkan saturasi dan penurunan kualitas gambar.
  • seg_guidance_scale (float, defaultnya 3.0) — Parameter skala untuk smoothed energy guidance. Anatomi dan koherensi struktur mungkin membaik dengan nilai yang lebih tinggi, tetapi hal ini juga dapat menyebabkan overexposure dan saturasi.
  • seg_blur_sigma (float, defaultnya 9999999.0) — Jumlah pengaburan yang diterapkan pada bobot perhatian. Menetapkan nilai ini lebih besar dari 9999.0 menghasilkan pengaburan tak hingga, yang berarti query seragam. Mengendalikannya secara eksponensial terbukti efektif secara empiris.
  • seg_blur_threshold_inf (float, defaultnya 9999.0) — Ambang batas di mana blur dianggap tak hingga.
  • seg_guidance_start (float, defaultnya 0.0) — Fraksi dari total langkah denoising setelah mana panduan energi halus dimulai.
  • seg_guidance_stop (float, defaultnya 1.0) — Fraksi dari total langkah denoising setelah mana panduan energi halus berhenti.
  • seg_guidance_layers (int atau list[int], opsional) — Indeks lapisan untuk menerapkan smoothed energy guidance. Bisa berupa satu integer atau daftar integer. Jika tidak diberikan, seg_guidance_config harus diberikan. Nilai yang direkomendasikan adalah [7, 8, 9] untuk Stable Diffusion 3.5 Medium.
  • seg_guidance_config (SmoothedEnergyGuidanceConfig atau list[SmoothedEnergyGuidanceConfig], opsional) — Konfigurasi untuk panduan lapisan energi halus. Dapat berupa satu SmoothedEnergyGuidanceConfig atau daftar SmoothedEnergyGuidanceConfig. Jika tidak disediakan, seg_guidance_layers harus disediakan.
  • guidance_rescale (float, defaultnya 0.0) — Faktor rescale yang diterapkan pada prediksi noise. Ini digunakan untuk meningkatkan kualitas gambar dan memperbaiki overexposure. Berdasarkan Bagian 3.4 dari Common Diffusion Noise Schedules and Sample Steps are Flawed.
  • use_original_formulation (bool, defaultnya False) — Apakah akan menggunakan formulasi asli dari classifier-free guidance sebagaimana diusulkan dalam makalah. Secara default, kami menggunakan implementasi asli diffusers yang sudah ada di codebase sejak lama. Lihat [~guiders.classifier_free_guidance.ClassifierFreeGuidance] untuk detail lebih lanjut.
  • start (float, defaultnya 0.01) — Fraksi dari total langkah denoising setelah mana panduan dimulai.
  • stop (float, default 0.2) — Fraksi dari total langkah denoising setelah mana guidance berhenti.

Panduan Energi Halus (SEG): https://huggingface.co/papers/2408.00760

SEG saat ini hanya didukung sebagai fitur prototipe eksperimental, sehingga implementasinya dapat diubah di masa depan tanpa peringatan atau jaminan reproduktibilitas. Implementasi ini mengasumsikan:

  • Gambar yang dihasilkan berbentuk persegi (tinggi == lebar)
  • Model ini tidak menggabungkan modalitas yang berbeda (misalnya, aliran laten teks dan gambar tidak digabungkan seperti pada Flux)

PerturbedAttentionGuidance

kelas diffusers.PerturbedAttentionGuidance

< >

( guidance_scale: float = 7.5perturbed_guidance_scale: float = 2.8perturbed_guidance_start: float = 0.01perturbed_guidance_stop: float = 0.2perturbed_guidance_layers: int | list[int] | None = Noneperturbed_guidance_config: LayerSkipConfig | list[LayerSkipConfig] | dict[str, Any] = Noneguidance_rescale: float = 0.0use_original_formulation: bool = Falsestart: float = 0.0stop: float = 1.0enabled: bool = True )

Parameter

  • guidance_scale (float, defaultnya 7.5) — Parameter skala untuk classifier-free guidance. Nilai yang lebih tinggi menghasilkan kondisioning yang lebih kuat pada prompt teks, sedangkan nilai yang lebih rendah memberikan kebebasan lebih dalam generasi. Nilai yang lebih tinggi dapat menyebabkan saturasi dan penurunan kualitas gambar.
  • perturbed_guidance_scale (float, defaultnya 2.8) — Parameter skala untuk panduan perhatian yang terganggu.
  • perturbed_guidance_start (float, defaultnya 0.01) — Proporsi dari total langkah denoising setelah mana perturbed attention guidance dimulai.
  • perturbed_guidance_stop (float, defaultnya 0.2) — Proporsi dari total langkah denoising setelah mana perturbed attention guidance berhenti.
  • perturbed_guidance_layers (int atau list[int], opsional) — Indeks layer untuk menerapkan perturbed attention guidance. Bisa berupa satu integer atau daftar integer. Jika tidak diberikan, perturbed_guidance_config harus diberikan.
  • perturbed_guidance_config (LayerSkipConfig atau list[LayerSkipConfig], opsional) — Konfigurasi untuk panduan perhatian yang terganggu. Dapat berupa satu LayerSkipConfig atau daftar LayerSkipConfig. Jika tidak disediakan, perturbed_guidance_layers harus disediakan.
  • guidance_rescale (float, defaultnya 0.0) — Faktor rescale yang diterapkan pada prediksi noise. Ini digunakan untuk meningkatkan kualitas gambar dan memperbaiki overexposure. Berdasarkan Bagian 3.4 dari Common Diffusion Noise Schedules and Sample Steps are Flawed.
  • use_original_formulation (bool, defaultnya False) — Apakah akan menggunakan formulasi asli dari classifier-free guidance sebagaimana diusulkan dalam makalah. Secara default, kami menggunakan implementasi asli diffusers yang sudah ada di codebase sejak lama. Lihat [~guiders.classifier_free_guidance.ClassifierFreeGuidance] untuk detail lebih lanjut.
  • start (float, defaultnya 0.01) — Fraksi dari total langkah denoising setelah mana panduan dimulai.
  • stop (float, default 0.2) — Fraksi dari total langkah denoising setelah mana guidance berhenti.

Perturbed Attention Guidance (PAG): https://huggingface.co/papers/2403.17377

Intuisi di balik PAG dapat dipikirkan sebagai upaya untuk menggeser estimasi distribusi prediksi CFG menjauh dari versi yang lebih buruk dari estimasi distribusi kondisional. PAG adalah salah satu teknik pertama yang memperkenalkan gagasan menggunakan versi yang lebih buruk dari model terlatih untuk membimbing dirinya sendiri dengan lebih baik dalam proses denoising. Teknik ini mengganggu skor perhatian dari stream laten dengan mengganti matriks skor dengan matriks identitas untuk lapisan-lapisan yang dipilih secara selektif.

Bacaan tambahan:

PAG diimplementasikan dengan implementasi yang serupa dengan SkipLayerGuidance karena adanya tumpang tindih pada parameter konfigurasi dan detail implementasi.

AdaptiveProjectedGuidance

kelas diffusers.AdaptiveProjectedGuidance

< >

( guidance_scale: float = 7.5adaptive_projected_guidance_momentum: float | None = Noneadaptive_projected_guidance_rescale: float = 15.0adaptive_projected_guidance_norm_dim: int | tuple[int, ...] | None = Noneeta: float = 1.0guidance_rescale: float = 0.0use_original_formulation: bool = Falsestart: float = 0.0stop: float = 1.0enabled: bool = True )

Parameter

  • guidance_scale (float, defaultnya 7.5) — Parameter skala untuk classifier-free guidance. Nilai yang lebih tinggi menghasilkan kondisioning yang lebih kuat pada prompt teks, sedangkan nilai yang lebih rendah memberikan kebebasan lebih dalam generasi. Nilai yang lebih tinggi dapat menyebabkan saturasi dan penurunan kualitas gambar.
  • adaptive_projected_guidance_momentum (float, defaultnya None) — Parameter momentum untuk adaptive projected guidance. Dinonaktifkan jika diset ke None.
  • adaptive_projected_guidance_rescale (float, defaultnya 15.0) — Faktor rescale yang diterapkan pada prediksi noise. Ini digunakan untuk meningkatkan kualitas gambar dan memperbaiki
  • adaptive_projected_guidance_norm_dim (int atau tuple[int], opsional) — Dimensi tempat norma dan proyeksi APG dihitung. Jika diabaikan, semua dimensi non-batch akan digunakan, mempertahankan perilaku asli.
  • guidance_rescale (float, defaultnya 0.0) — Faktor rescale yang diterapkan pada prediksi noise. Ini digunakan untuk meningkatkan kualitas gambar dan memperbaiki overexposure. Berdasarkan Bagian 3.4 dari Common Diffusion Noise Schedules and Sample Steps are Flawed.
  • use_original_formulation (bool, defaultnya False) — Apakah akan menggunakan formulasi asli dari classifier-free guidance sebagaimana diusulkan dalam makalah. Secara default, kami menggunakan implementasi asli diffusers yang sudah ada di codebase sejak lama. Lihat [~guiders.classifier_free_guidance.ClassifierFreeGuidance] untuk detail lebih lanjut.
  • start (float, defaultnya 0.0) — Fraksi dari total jumlah langkah denoising setelah mana panduan dimulai.
  • stop (float, defaultnya 1.0) — Fraksi dari total langkah denoising setelah mana panduan dihentikan.

Adaptive Projected Guidance (APG): https://huggingface.co/papers/2410.02416

AutoGuidance

kelas diffusers.AutoGuidance

< >

( guidance_scale: float = 7.5auto_guidance_layers: int | list[int] | None = Noneauto_guidance_config: LayerSkipConfig | list[LayerSkipConfig] | dict[str, Any] = Nonedropout: float | None = Noneguidance_rescale: float = 0.0use_original_formulation: bool = Falsestart: float = 0.0stop: float = 1.0enabled: bool = True )

Parameter

  • guidance_scale (float, defaultnya 7.5) — Parameter skala untuk classifier-free guidance. Nilai yang lebih tinggi menghasilkan kondisioning yang lebih kuat pada prompt teks, sedangkan nilai yang lebih rendah memberikan kebebasan lebih dalam generasi. Nilai yang lebih tinggi dapat menyebabkan saturasi dan penurunan kualitas gambar.
  • auto_guidance_layers (int atau list[int], opsional) — Indeks layer untuk menerapkan skip layer guidance. Bisa berupa satu integer atau daftar integer. Jika tidak diberikan, skip_layer_config harus diberikan.
  • auto_guidance_config (LayerSkipConfig atau list[LayerSkipConfig], opsional) — Konfigurasi untuk skip layer guidance. Dapat berupa satu LayerSkipConfig atau daftar LayerSkipConfig. Jika tidak disediakan, skip_layer_guidance_layers harus disediakan.
  • dropout (float, opsional) — Probabilitas dropout untuk autoguidance pada lapisan skip yang diaktifkan (baik dengan auto_guidance_layers atau auto_guidance_config). Jika tidak disediakan, probabilitas dropout akan diatur ke 1.0.
  • guidance_rescale (float, defaultnya 0.0) — Faktor rescale yang diterapkan pada prediksi noise. Ini digunakan untuk meningkatkan kualitas gambar dan memperbaiki overexposure. Berdasarkan Bagian 3.4 dari Common Diffusion Noise Schedules and Sample Steps are Flawed.
  • use_original_formulation (bool, defaultnya False) — Apakah akan menggunakan formulasi asli dari classifier-free guidance sebagaimana diusulkan dalam makalah. Secara default, kami menggunakan implementasi asli diffusers yang sudah ada di codebase sejak lama. Lihat [~guiders.classifier_free_guidance.ClassifierFreeGuidance] untuk detail lebih lanjut.
  • start (float, defaultnya 0.0) — Fraksi dari total jumlah langkah denoising setelah mana panduan dimulai.
  • stop (float, defaultnya 1.0) — Fraksi dari total langkah denoising setelah mana panduan dihentikan.

AutoGuidance: https://huggingface.co/papers/2406.02507

TangentialClassifierFreeGuidance

kelas diffusers.TangentialClassifierFreeGuidance

< >

( guidance_scale: float = 7.5guidance_rescale: float = 0.0use_original_formulation: bool = Falsestart: float = 0.0stop: float = 1.0enabled: bool = True )

Parameter

  • guidance_scale (float, defaultnya 7.5) — Parameter skala untuk classifier-free guidance. Nilai yang lebih tinggi menghasilkan kondisioning yang lebih kuat pada prompt teks, sedangkan nilai yang lebih rendah memberikan kebebasan lebih dalam generasi. Nilai yang lebih tinggi dapat menyebabkan saturasi dan penurunan kualitas gambar.
  • guidance_rescale (float, defaultnya 0.0) — Faktor rescale yang diterapkan pada prediksi noise. Ini digunakan untuk meningkatkan kualitas gambar dan memperbaiki overexposure. Berdasarkan Bagian 3.4 dari Common Diffusion Noise Schedules and Sample Steps are Flawed.
  • use_original_formulation (bool, defaultnya False) — Apakah akan menggunakan formulasi asli dari classifier-free guidance sebagaimana diusulkan dalam makalah. Secara default, kami menggunakan implementasi asli diffusers yang sudah ada di codebase sejak lama. Lihat [~guiders.classifier_free_guidance.ClassifierFreeGuidance] untuk detail lebih lanjut.
  • start (float, defaultnya 0.0) — Fraksi dari total jumlah langkah denoising setelah mana panduan dimulai.
  • stop (float, defaultnya 1.0) — Fraksi dari total langkah denoising setelah mana panduan dihentikan.

Tangential Classifier Free Guidance (TCFG): https://huggingface.co/papers/2503.18137

LTX2Guidance

kelas diffusers.LTX2Guidance

< >

( guidance_scale: float = 1.0stg_scale: float = 0.0modality_scale: float = 1.0guidance_rescale: float = 0.0spatio_temporal_guidance_blocks: list[int] | None = Nonestart: float = 0.0stop: float = 1.0enabled: bool = True )

Parameter

  • guidance_scale (float, default 1.0) — Skala CFG untuk modalitas ini. Proses CFG dilewati sepenuhnya pada nilai 1.0.
  • stg_scale (float, default 0.0) — Skala panduan spatio-temporal untuk modalitas ini. Lintasan STG dilewati sepenuhnya pada 0.0.
  • modality_scale (float, default 1.0) — Skala panduan isolasi modalitas untuk modalitas ini. Langkah tersebut dilewati sepenuhnya pada nilai 1.0.
  • guidance_rescale (float, default 0.0) — Faktor rescaling untuk mencegah overexposure dari skala guidance yang tinggi. Berdasarkan Common Diffusion Noise Schedules and Sample Steps are Flawed. Rentang: 0.0 (tanpa rescaling) hingga 1.0 (rescaling penuh).
  • spatio_temporal_guidance_blocks (list[int], opsional) — Blok Transformer yang akan diperturbasi pada jalur STG. Cara nilai ini dikonsumsi bergantung pada blok denoiser: LTX-2 memerturbasi seluruh blok dalam satu forward yang memberi makan semua modalitas, sehingga nilainya dibaca hanya dari video guider — menyetelnya pada audio guider tidak berpengaruh, dan guider tersebut bergabung ke forward STG yang sama melalui stg_scale miliknya sendiri.
  • start (float, defaultnya 0.0) — Fraksi langkah denoising (0.0-1.0) setelah mana panduan dimulai.
  • stop (float, default 1.0) — Fraksi langkah denoising (0.0-1.0) setelah mana guidance berhenti.
  • enabled (bool, defaultnya True) — Apakah guider ini menerapkan panduan sama sekali. Jika False, hanya jalur kondisional yang dijalankan.

Guider unimodalitas untuk LTX-2.X. Menggabungkan hingga tiga istilah melalui formulasi delta:

  • classifier-free guidance (CFG),
  • panduan spatio-temporal (STG), satu lintasan tambahan dengan seperangkat blok transformer yang terganggu,
  • panduan isolasi modalitas, satu lintasan tambahan dengan cross-attention A2V/V2A dinonaktifkan.

Satu instance menggerakkan satu modalitas, sehingga checkpoint multimodal membawa beberapa: LTX-2.X memasangkan guider video dengan audio_guider, masing-masing menyimpan skala miliknya sendiri. Estimasi guidance akhir dihitung di ruang apa pun yang diberikan pemanggil — denoiser LTX-2 mengonversi velocity->x0 sebelum memanggil ini dan mengonversinya kembali setelahnya, sehingga forward beroperasi pada prediksi x0.

Berbeda dengan SkipLayerGuidance, yang menerapkan perturbasinya melalui hook, LTX2Guidance mengharapkan perturbasi non-CFG-nya dapat dikonfigurasi melalui argumen forward model (spatio_temporal_guidance_blocks dan isolate_modalities di LTX2VideoTransformer3DModel). Blok denoiser pemanggil bertanggung jawab untuk mengatur identifier per pass tersebut; lihat LTX2LoopDenoiser untuk contoh penggunaan.

Update on GitHub

←Komponen dan konfigurasi IP-Adapter→