Diffusers documentation
DDIMScheduler
DDIMScheduler
نماذج الانتشار الضمنية غير الضجيج (DDIM) من تأليف جيامينغ سونغ وتشينلين منغ وستيفانو إيرمون.
ملخص الورقة البحثية هو:
حققت نماذج الانتشار الاحتمالية لإزالة الضوضاء (DDPMs) توليد صور عالية الجودة دون تدريب عدائي، لكنها تتطلب محاكاة سلسلة ماركوف لعدد كبير من الخطوات لإنتاج عينة. لتسريع عملية أخذ العينات، نقدم نماذج الانتشار الضمنية لإزالة الضوضاء (DDIMs)، وهي فئة أكثر كفاءة من النماذج الاحتمالية الضمنية التكرارية تتميز بنفس إجراء التدريب المستخدم في DDPMs. في DDPMs، يُعرَّف العملية التوليدية على أنها عكس عملية انتشار ماركوفية. نبني فئة من عمليات الانتشار غير الماركوفية التي تؤدي إلى هدف تدريب متطابق، لكن عملية العكس فيها يمكن أن تكون أسرع بكثير في أخذ العينات. نُظهر تجريبيًا أن DDIMs يمكنها إنتاج عينات عالية الجودة أسرع بمقدار 10 إلى 50 مرة من حيث الوقت الفعلي مقارنة بـ DDPMs، وتتيح لنا الموازنة بين الحساب وجودة العينة، كما يمكنها تنفيذ استيفاء دلالي ذي معنى للصور مباشرةً في الفضاء الكامن.
يمكن العثور على قاعدة الكود الأصلية لهذا الورقة البحثية في ermongroup/ddim، ويمكنك التواصل مع المؤلف عبر tsong.me.
نصائح
The paper Common Diffusion Noise Schedules and Sample Steps are Flawed claims that a mismatch between the training and inference settings leads to suboptimal inference generation results for Stable Diffusion. To fix this, the authors propose:
🧪 هذه ميزة تجريبية!
- إعادة مقياس جدول الضوضاء لفرض نسبة إشارة إلى ضوضاء نهائية صفرية (SNR)
pipe.scheduler = DDIMScheduler.from_config(pipe.scheduler.config, rescale_betas_zero_snr=True)- train a model with
v_prediction(add the following argument to the train_text_to_image.py or train_text_to_image_lora.py scripts)
--prediction_type="v_prediction"- غيّر المُعيّن (sampler) ليبدأ دائمًا من خطوة الزمن (timestep) الأخيرة
pipe.scheduler = DDIMScheduler.from_config(pipe.scheduler.config, timestep_spacing="trailing")- إعادة تحجيم التوجيه الحر من التصنيف لمنع الإفراط في التعرض
image = pipe(prompt, guidance_rescale=0.7).images[0]على سبيل المثال:
from diffusers import DiffusionPipeline, DDIMScheduler
import torch
pipe = DiffusionPipeline.from_pretrained("ptx0/pseudo-journey-v2", dtype=torch.float16)
pipe.scheduler = DDIMScheduler.from_config(
pipe.scheduler.config, rescale_betas_zero_snr=True, timestep_spacing="trailing"
)
pipe.to("cuda") # or "mps", "xpu", "cpu"
prompt = "A lion in galaxies, spirals, nebulae, stars, smoke, iridescent, intricate detail, octane render, 8k"
image = pipe(prompt, guidance_rescale=0.7).images[0]
imageDDIMScheduler
فئة diffusers.DDIMScheduler
< source >( num_train_timesteps: int = 1000beta_start: float = 0.0001beta_end: float = 0.02beta_schedule: str = 'linear'trained_betas: numpy.ndarray | list[float] | None = Noneclip_sample: bool = Trueset_alpha_to_one: bool = Truesteps_offset: int = 0prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction'] = 'epsilon'thresholding: bool = Falsedynamic_thresholding_ratio: float = 0.995clip_sample_range: float = 1.0sample_max_value: float = 1.0timestep_spacing: typing.Literal['leading', 'trailing', 'linspace'] = 'leading'rescale_betas_zero_snr: bool = False )
المعاملات
- num_train_timesteps (
int، القيمة الافتراضية 1000) — عدد خطوات الانتشار لتدريب النموذج. - beta_start (
float، القيمة الافتراضية 0.0001) — قيمةbetaالابتدائية للاستدلال. - beta_end (
float، القيمة الافتراضية 0.02) — قيمةbetaالنهائية. - beta_schedule (
Literal["linear", "scaled_linear", "squaredcos_cap_v2"]، القيمة الافتراضية"linear") — جدول بيتا، وهو إسقاط من نطاق بيتا إلى تسلسل من قيم بيتا لتخطي النموذج. يجب أن يكون أحد"linear"أو"scaled_linear"أو"squaredcos_cap_v2". - trained_betas (
np.ndarray، اختياري) — مرر مصفوفة من قيم بيتا مباشرةً إلى منشئ الكائن لتجاوزbeta_startوbeta_end. - clip_sample (
bool، القيمة الافتراضيةTrue) — يقوم بقص العينة المتوقعة من أجل الاستقرار العددي. - clip_sample_range (
float، القيمة الافتراضية 1.0) — الحد الأقصى لشدة قص العينات. صالح فقط عندما يكونclip_sample=True. - set_alpha_to_one (
bool، القيمة الافتراضيةTrue) — يستخدم كل خطوة من خطوات الانتشار قيمة حاصل ضرب الألفا في تلك الخطوة وفي الخطوة السابقة. لا توجد ألفا سابقة للخطوة الأخيرة. عند تعيين هذا الخيار إلىTrueيتم تثبيت حاصل ضرب الألفا السابقة على1، وإلا فإنه يستخدم قيمة الألفا في الخطوة 0. - steps_offset (
int، القيمة الافتراضية 0) — إزاحة تُضاف إلى خطوات الاستدلال، كما تتطلبها بعض عائلات النماذج. - prediction_type (
Literal["epsilon", "sample", "v_prediction"]، القيمة الافتراضية"epsilon") — نوع التنبؤ لدالة المجدول. يجب أن يكون أحد"epsilon"(يتنبض بضوضاء عملية الانتشار)، أو"sample"(يتنبأ مباشرةً بالعينة الضوضائية)، أو"v_prediction"(انظر القسم 2.4 من ورقة Imagen Video). - thresholding (
bool، الافتراضيFalse) — ما إذا كان سيتم استخدام طريقة “العتبة الديناميكية”. هذه الطريقة غير مناسبة لنماذج الانتشار في الفضاء الكامن مثل Stable Diffusion. - dynamic_thresholding_ratio (
float) — النسبة المستخدمة في طريقة العتبة الديناميكية. تكون صالحة فقط عندما يكونthresholding=True. - sample_max_value (
float، القيمة الافتراضية 1.0) — القيمة العتبة للتعتيب الديناميكي. صالحة فقط عندما يكونthresholding=True. - timestep_spacing (
Literal["leading", "trailing", "linspace"], defaults to"leading") — The way the timesteps should be scaled. Must be one of"leading","trailing", or"linspace". Refer to Table 2 of the Common Diffusion Noise Schedules and Sample Steps are Flawed for more information. - rescale_betas_zero_snr (
bool، القيمة الافتراضيةFalse) — ما إذا كان يجب إعادة مقياس معاملات بيتا (betas) بحيث تكون نسبة الإشارة إلى الضوضاء النهائية (terminal SNR) صفرًا. يتيح هذا للنموذج توليد عينات ساطعة جدًا ومظلمة جدًا بدلاً من تقييده بتوليد عينات بإضاءة متوسطة. يرتبط ارتباطًا فضفاضًا بـ--offset_noise.
يمتد DDIMScheduler على إجراء إزالة الضوضاء المُقدَّم في نماذج الانتشار الاحتمالية لإزالة الضوضاء (DDPMs) مع توجيه غير ماركوفي.
يرث هذا النموذج من SchedulerMixin و ConfigMixin. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع مجدوليات الوقت مثل التحميل والحفظ.
add_noise
< source >( original_samples: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor
أضف الضوضاء إلى العينات الأصلية وفقًا لحجم الضوضاء في كل خطوة زمنية (وهذا هو عملية الانتشار الأمامية).
get_velocity
< source >( sample: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor
احسب تنبؤ السرعة من العينة والضوضاء وفقًا لصيغة السرعة.
scale_model_input
< source >( sample: Tensortimestep: int = None ) → torch.Tensor
يضمن قابلية الاستبدال مع المجدولات التي تحتاج إلى تحجيم مدخلات نموذج إزالة الضوضاء اعتمادًا على خطوة الزمن الحالية.
set_timesteps
< source >( num_inference_steps: intdevice: typing.Union[str, torch.device] = None )
يحدد الخطوات الزمنية المنفصلة المستخدمة لسلسلة الانتشار (لتُنفَّذ قبل الاستدلال).
خطوة
< source >( model_output: Tensortimestep: intsample: Tensoreta: float = 0.0use_clipped_model_output: bool = Falsegenerator: typing.Optional[torch.Generator] = Nonevariance_noise: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = True ) → DDIMSchedulerOutput or tuple
المعاملات
- model_output (
torch.Tensor) — المخرجات المباشرة من نموذج الانتشار المُتعلَّم. - timestep (
int) — خطوة الزمن المنفصلة الحالية في سلسلة الانتشار. - sample (
torch.Tensor) — نسخة حالية من العينة التي أنشأها عملية الانتشار. - eta (
float، اختياري، القيمة الافتراضية 0.0) — وزن الضوضاء المضافة في خطوة الانتشار. القيمة 0 تقابل DDIM (حتمي) والقيمة 1 تقابل DDPM (عشوائي بالكامل). - use_clipped_model_output (
bool، اختياري، القيمة الافتراضيةFalse) — إذا كانتTrue، يتم حسابmodel_output“المصحح” من العينة الأصلية المتوقعة المقصوصة. هذا ضروري لأن العينة الأصلية المتوقعة تُقصّ إلى [-1, 1] عندما تكونself.config.clip_sampleهيTrue. إذا لم يحدث أي قصّ، فإنmodel_output“المصحح” سيتطابق مع ذلك المُقدَّم كمدخل، ولا يكون لـuse_clipped_model_outputأي تأثير. - generator (
torch.Generator، اختياري) — مولّد أرقام عشوائية لأخذ عينات قابلة للتكرار. - variance_noise (
torch.Tensor, اختياري) — بديل لتوليد الضوضاء باستخدامgeneratorمن خلال تقديم الضوضاء مباشرةً للتباين نفسه. مفيد لطرق مثلCycleDiffusion. - return_dict (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان يجب إرجاع DDIMSchedulerOutput أوtuple.
يعيد
DDIMSchedulerOutput أو tuple
إذا كانت True هي قيمة return_dict، يُعاد DDIMSchedulerOutput، وإلا فسيُعاد tuple يكون العنصر الأول فيه tensor العينة.
تنبّأ بالعيّنة من الخطوة الزمنية السابقة عن طريق عكس عملية المعادلة التفاضلية العشوائية (SDE). تنقل هذه الدالة عملية الانتشار من مخرجات النموذج المُتعلَّم (والتي تكون في الغالب الضوضاء المتنبَّأ بها).
DDIMSchedulerOutput
فئة diffusers.schedulers.scheduling_ddim.DDIMSchedulerOutput
< source >( prev_sample: Tensorpred_original_sample: typing.Optional[torch.Tensor] = None )
المعاملات
- prev_sample (
torch.Tensorمن الشكل(batch_size, num_channels, height, width)للصور) — العينة المحسوبة(x_{t-1})لخطوة الزمن السابقة. يجب استخدامprev_sampleكمدخل للنموذج التالي في حلقة إزالة الضوضاء. - pred_original_sample (
torch.Tensorمن الشكل(batch_size, num_channels, height, width)للصور) — العينة المُتنبَّأ بها بعد إزالة الضوضاء(x_{0})بناءً على مخرجات النموذج من خطوة الزمن الحالية. يمكن استخدامpred_original_sampleلمعاينة التقدم أو للتوجيه.
فئة الإخراج لدالة step الخاصة بالجدول الزمني.