Diffusers documentation
PRX Pixel
PRX Pixel
PRXPixel هو نموذج لتوليد الصور من النص في فضاء البكسلات من تطوير Photoroom. يقوم نموذج PRXTransformer2DModel بحجم ~7B بإزالة الضوضاء من صور RGB الخام مباشرةً — دون الحاجة إلى VAE. يعتمد النموذج على مشفر نصي Qwen3-VL، ويستخدم مطابقة التدفق حيث يتنبأ الترانسفورمر بالصورة النظيفة في كل خطوة (تنبؤ x). يُدخل دقة التوليد في تعديل خطوة الزمن ليصبح النموذج على دراية بالحجم المستهدف.
النماذج المتاحة
| النموذج | دقة | الوصف | المعلمات المقترحة | نوع البيانات الموصى به |
|---|---|---|---|---|
Photoroom/prxpixel-t2i | 1024 | نموذج في فضاء البكسل بحجم ~7B مع مشفّر نصوص Qwen3-VL | 28 خطوة، cfg=5.0 | torch.bfloat16 |
تحميل خط الأنابيب
يتطلب PRXPixelPipeline استخدام transformers >= 4.57 (الإصدار الذي أدخل Qwen3VLTextModel). حمّله باستخدام from_pretrained():
import torch
from diffusers import PRXPixelPipeline
pipe = PRXPixelPipeline.from_pretrained("Photoroom/prxpixel-t2i", dtype=torch.bfloat16)
pipe.to("cuda") # or "mps", "xpu", "cpu"
prompt = "A front-facing portrait of a lion in the golden savanna at sunset."
image = pipe(prompt, num_inference_steps=28, guidance_scale=5.0).images[0]
image.save("prxpixel_output.png")تحسين الذاكرة
للمحيطات ذات القيود على الذاكرة:
import torch
from diffusers import PRXPixelPipeline
pipe = PRXPixelPipeline.from_pretrained("Photoroom/prxpixel-t2i", dtype=torch.bfloat16)
pipe.enable_model_cpu_offload()
# Or use sequential CPU offload for even lower memory
pipe.enable_sequential_cpu_offload()PRXPixelPipeline
فئة diffusers.PRXPixelPipeline
< source >( transformer: PRXTransformer2DModelscheduler: FlowMatchEulerDiscreteSchedulertext_encoder: PreTrainedModeltokenizer: transformers.models.auto.tokenization_auto.AutoTokenizer | transformers.tokenization_utils_base.PreTrainedTokenizerBasedefault_sample_size: int | None = 1024prompt_max_tokens: int = 256noise_scale: float = 2.0 )
المعاملات
- transformer (
PRXTransformer2DModel) — مزيل الضوضاء PRX ذو حوالي 7 مليارات من المعاملات. في حالة PRXPixel، يُبنى هذا النموذج باستخدامin_channels=3، وعنق زجاجةimg_in، وresolution_embeds=True، ويُدرَّب على التنبؤ بالصورة النظيفةx0. - scheduler (FlowMatchEulerDiscreteScheduler) — جدول زمني لتطابق التدفق (Flow-matching) يُستخدم لإزالة الضوضاء من الكمونيات (في فضاء البكسلات).
- text_encoder (
PreTrainedModel) — جذع النص الخاص بـ Qwen3-VL المستخدم لتشفير الأوامر (يتم استبعاد برج الرؤية). يجب أن يعيدlast_hidden_state. - tokenizer (
PreTrainedTokenizerBase) — مُقسِّم النصوص الخاص بـtext_encoder(يُحمَّل عادةً عبرAutoTokenizer). - default_sample_size (
int، اختياري، القيمة الافتراضية 1024) — الارتفاع/العرض الافتراضي المستخدم عندما لا يُمرَّر أيٌّ منهما إلى__call__. - prompt_max_tokens (
int، اختياري، القيمة الافتراضية 256) — عدد رموز النص التي يتم ملء/قصّ المُوجِّه (prompt) إليها قبل الترميز. - noise_scale (
float، اختياري، القيمة الافتراضية 2.0) — المقياس المطبَّق على الضوضاء الغاوسية الأولية. يتم تدريب PRXPixel بمقياس ضوضاء أولية غير وحدة، لذا يجب أن يبدأ أخذ العينات منrandn * noise_scale.
خط أنابيب لتوليد الصور من النص باستخدام نموذج PRXPixel.
PRXPixel هو خط أنابيب مستقل لتوليد الصور من النص في فضاء البكسل. يقوم بإزالة الضوضاء من بيانات RGB الخام مباشرةً باستخدام نموذج PRXTransformer2DModel بحجم حوالي 7 مليارات معامل، ولا يحتوي على VAE (حيث يحدث التوليد بالكامل في فضاء البكسل، لذا فإن المخرج بعد إزالة الضوضاء هو الصورة نفسها). يتم ترميز الأوامر النصية باستخدام مشفر نصوص Qwen3-VL (مع استبعاد برج الرؤية). على عكس PRXPipeline، يتم تدريب المحوّل باستخدام التنبؤ بـ x: ففي كل خطوة يتنبأ بالصورة النظيفة x0، والتي
تُحوَّل إلى سرعة مطابقة للتدفق قبل خطوة المجدول. يبدأ العينة من randn * noise_scale (القيمة الافتراضية لـ noise_scale=2.0)، والدقة الافتراضية هي 1024 بكسل.
يرث هذا النموذج من DiffusionPipeline. راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع خطوط الأنابيب (مثل التنزيل أو الحفظ، أو التشغيل على جهاز معين، وما إلى ذلك).
أمثلة:
>>> import torch
>>> from diffusers import PRXPixelPipeline
>>> pipe = PRXPixelPipeline.from_pretrained("Photoroom/prxpixel-t2i", torch_dtype=torch.bfloat16)
>>> pipe.to("cuda")
>>> prompt = "A front-facing portrait of a lion in the golden savanna at sunset."
>>> image = pipe(prompt, num_inference_steps=28, guidance_scale=5.0).images[0]
>>> image.save("prxpixel_output.png")__call__
< source >( prompt: str | list[str] = Nonenegative_prompt: str = ''height: int | None = Nonewidth: int | None = Nonenum_inference_steps: int = 28timesteps: list = Noneguidance_scale: float = 4.0num_images_per_prompt: int | None = 1generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = Noneprompt_embeds: typing.Optional[torch.FloatTensor] = Nonenegative_prompt_embeds: typing.Optional[torch.FloatTensor] = Noneprompt_attention_mask: typing.Optional[torch.BoolTensor] = Nonenegative_prompt_attention_mask: typing.Optional[torch.BoolTensor] = Noneoutput_type: str | None = 'pil'return_dict: bool = Trueuse_resolution_binning: bool = Truecallback_on_step_end: typing.Optional[typing.Callable[[int, int], NoneType]] = Nonecallback_on_step_end_tensor_inputs: list = ['latents'] ) → PRXPipelineOutput or tuple
المعاملات
- prompt (
strأوlist[str]، اختياري) — الموجّه أو الموجّهات التي تُوجّه توليد الصورة. إذا لم يُعرَّف، يجب تمريرprompt_embedsبدلاً من ذلك. - negative_prompt (
str، اختياري، القيمة الافتراضية"") — الموجّه أو الموجّهات التي لا ينبغي استخدامها لتوجيه توليد الصورة. يتم تجاهلها عند عدم استخدام التوجيه (أي يتم تجاهلها إذا كانت قيمةguidance_scaleأقل من1). - height (
int، اختياري، القيمة الافتراضيةdefault_sample_size) — ارتفاع الصورة المولّدة بالبكسل. - width (
int، اختياري، القيمة الافتراضيةdefault_sample_size) — عرض الصورة المولدة بالبكسل. - num_inference_steps (
int، اختياري، القيمة الافتراضية 28) — عدد خطوات إزالة الضوضاء. تؤدي زيادة عدد خطوات إزالة الضوضاء عادةً إلى صورة بجودة أعلى على حساب بطء الاستدلال. - timesteps (
list[int], اختياري) — خطوات زمنية مخصصة لاستخدامها في عملية إزالة الضوضاء مع المجدولين الذين يدعمون معاملtimestepsفي طريقةset_timestepsالخاصة بهم. إذا لم يُعرَّف، فسيتم استخدام السلوك الافتراضي عند تمريرnum_inference_steps. يجب أن تكون بترتيب تنازلي. - guidance_scale (
float، اختياري، القيمة الافتراضية 4.0) — مقياس التوجيه كما هو مُعرَّف في Classifier-Free Diffusion Guidance. يُعرَّفguidance_scaleعلى أنهwمن المعادلة 2 في Imagen Paper. يتم تفعيل مقياس التوجيه عن طريق تعيينguidance_scale > 1. يشجع مقياس التوجيه الأعلى على توليد صور مرتبطة ارتباطًا وثيقًا بـpromptالنصي، وعادةً على حساب انخفاض جودة الصورة. - num_images_per_prompt (
int، اختياري، القيمة الافتراضية 1) — عدد الصور التي سيتم توليدها لكل موجه. - generator (
torch.Generatorأوlist[torch.Generator]، اختياري) — مولّد واحد أو قائمة من مولّدات torch لجعل التوليد حتميًا. - latents (
torch.Tensor، اختياري) — كائنات latents ضجيجية مُولّدة مسبقًا، مُستخرجة من توزيع غاوسي، تُستخدم كمدخلات لتوليد الصور. يمكن استخدامها لتعديل نفس التوليد باستخدام أوامر مختلفة. إذا لم تُقدَّم، سيتم توليد كائن latents عن طريق الاستخراج باستخدامgeneratorالعشوائي المُقدَّم. - prompt_embeds (
torch.FloatTensor, اختياري) — تضمينات نصية مُولّدة مسبقًا. يمكن استخدامها لتعديل مدخلات النص بسهولة، مثلًا وزن الموجه. إذا لم تُقدَّم، فسيتم توليد تضمينات النص من معامل الإدخالprompt. - negative_prompt_embeds (
torch.FloatTensor، اختياري) — تضمينات نصية سلبية مُولّدة مسبقًا. يمكن استخدامها لتعديل مدخلات النص بسهولة، مثلًا وزن الموجه. إذا لم تُقدَّم وكانتguidance_scale > 1، فسيتم توليد التضمينات السلبية من سلسلة فارغة. - prompt_attention_mask (
torch.BoolTensor، اختياري) — قناع الانتباه المُولَّد مسبقًا لـprompt_embeds. إذا لم يُقدَّم، فسيتم توليد قناع الانتباه من معامل الإدخالprompt. - negative_prompt_attention_mask (
torch.BoolTensor، اختياري) — قناع الانتباه المُولَّد مسبقًا لـnegative_prompt_embeds. إذا لم يُقدَّم وكانguidance_scale > 1، سيتم توليد قناع الانتباه من نص فارغ. - output_type (
str، اختياري، القيمة الافتراضية"pil") — صيغة مخرجات توليد الصورة. اختر بين PIL:PIL.Image.Imageأوnp.array. - return_dict (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان يجب إرجاع PRXPipelineOutput بدلاً من tuple عادي. - use_resolution_binning (
bool، اختياري، القيمة الافتراضيةTrue) — إذا تم ضبطه علىTrue، فإن الارتفاع والعرض المطلوبين يُخضعان أولاً لعملية إسقاط إلى أقرب دقة باستخدام صناديق نسبة العرض إلى الارتفاع المعرّفة مسبقاً. وبعد فك ترميز الكمّيات الكامنة الناتجة إلى صور، يتم تغيير حجمها مرة أخرى إلى الدقة المطلوبة. مفيد لتوليد صور غير مربعة بأدقّ دقة ممكنة. - callback_on_step_end (
Callable، اختياري) — دالة تُستدعى في نهاية كل خطوة إزالة ضوضاء أثناء الاستدلال. تُستدعى الدالة بالحجج التالية:callback_on_step_end(self, step, timestep, callback_kwargs). ستتضمنcallback_kwargsقائمة بجميع المصفوفات كما حددتهاcallback_on_step_end_tensor_inputs. - callback_on_step_end_tensor_inputs (
list، اختياري) — قائمة مدخلات المصفوفات (tensors) الخاصة بدالةcallback_on_step_end. سيتم تمرير المصفوفات المحددة في القائمة كحجةcallback_kwargs. لن تتمكن من تضمين سوى المصفوفات المدرجة في الخاصية._callback_tensor_inputs.
يعيد
PRXPipelineOutput أو tuple
PRXPipelineOutput إذا كان return_dict
True، وإلا فسيكون `tuple. عند إرجاع tuple، يكون العنصر الأول قائمة تحتوي على الصور المولّدة.
الدالة التي تُستدعى عند استدعاء خط الأنابيب للتوليد.
أمثلة:
>>> import torch
>>> from diffusers import PRXPixelPipeline
>>> pipe = PRXPixelPipeline.from_pretrained("Photoroom/prxpixel-t2i", torch_dtype=torch.bfloat16)
>>> pipe.to("cuda")
>>> prompt = "A front-facing portrait of a lion in the golden savanna at sunset."
>>> image = pipe(prompt, num_inference_steps=28, guidance_scale=5.0).images[0]
>>> image.save("prxpixel_output.png")check_inputs
< source >( prompt: str | list[str]height: intwidth: intguidance_scale: floatcallback_on_step_end_tensor_inputs: list[str] | None = Noneprompt_embeds: typing.Optional[torch.FloatTensor] = Nonenegative_prompt_embeds: typing.Optional[torch.FloatTensor] = None )
تحقق من أن جميع المدخلات بصيغة صحيحة.
encode_prompt
< source >( prompt: str | list[str]device: typing.Optional[torch.device] = Nonedo_classifier_free_guidance: bool = Truenegative_prompt: str = ''num_images_per_prompt: int = 1prompt_embeds: typing.Optional[torch.FloatTensor] = Nonenegative_prompt_embeds: typing.Optional[torch.FloatTensor] = Noneprompt_attention_mask: typing.Optional[torch.BoolTensor] = Nonenegative_prompt_attention_mask: typing.Optional[torch.BoolTensor] = Nonetokenizer_max_length: int | None = Noneskip_text_cleaning: bool = False )
ترميز موجه النص باستخدام مُرمِّز النص ومُجزِّئ النص القياسيين، أو استخدام التضمينات المحسوبة مسبقًا.
prepare_latents
< source >( batch_size: intnum_channels_latents: intheight: intwidth: intdtype: dtypedevice: devicegenerator: typing.Optional[torch.Generator] = Nonelatents: typing.Optional[torch.Tensor] = None )
جهّز الكمونيات الأولية لعملية الانتشار.
تتدرّب PRXPixel باستخدام مقياس ضوضاء أولي غير موحد، لذا تُضرب الضوضاء المُستخرجة في self.config.noise_scale.
PRXPipelineOutput
فئة diffusers.pipelines.prx.PRXPipelineOutput
< source >( images: list[PIL.Image.Image] | numpy.ndarray )
فئة الإخراج لخطوط أنابيب PRX.