LTX2VideoDiffusionDecoderModel

مفكّك الفيديو التوزيعي الذي قدمته Lightricks في LTX-2.5. تقوم مراحل الانتباه الجوارية برفع عينة الكامن إلى حجم سياق، ثم تقوم المرحلة النهائية بإزالة الضوضاء من البكسلات مشروطةً بذلك السياق.

إنه مُفكّك (decoder) وليس مُشفّر-مُفكّك (autoencoder): تبقى عملية التشفير مع AutoencoderKLLTX2Video، الذي يستهلك هذا المُفكّك فضاءه الكامن (latent space) دون تغيير، وبالتالي يمكن تبادل المتغيرات الكامنة (latents) بين المُفكّك التحويلي (convolutional decoder) وهذا المُفكّك. وبما أنه نموذج انتشار (diffusion model) بحد ذاته، فإنّه يُشغَّل عبر LTX2VideoDiffusionDecodePipeline بدلاً من تمريره كـ vae في خط أنابيب (pipeline): شغّل أي خط أنابيب LTX-2 مع output_type="latent"، ثم فكّك الترميز.

import torch
from diffusers import LTX2Pipeline, LTX2VideoDiffusionDecodePipeline, LTX2VideoDiffusionDecoderModel

pipe = LTX2Pipeline.from_pretrained("Lightricks/LTX-2.5-Diffusers", dtype=torch.bfloat16).to("cuda")  # or "mps", "xpu", "cpu"
latents = pipe(prompt="a potter shaping a clay vase", output_type="latent").frames

decoder = LTX2VideoDiffusionDecoderModel.from_pretrained(
    "Lightricks/LTX-2.5-Diffusers", subfolder="diffusion_decoder", dtype=torch.bfloat16
).to("cuda")
decode_pipe = LTX2VideoDiffusionDecodePipeline(diffusion_decoder=decoder, scheduler=pipe.scheduler)

# `denormalize=False`: `output_type="latent"` already applied the latent statistics, so applying them
# again here would scale every channel by its std a second time.
# The decoder also draws the noise it denoises, so decoding is only reproducible with a generator.
video = decode_pipe(
    latents, generator=torch.Generator("cuda").manual_seed(0), denormalize=False
).frames[0]

vae هو مكوّن اختياري في خط أنابيب فك الترميز: لا يُستشار إلا للحصول على إحصاءات الكمون عندما يكون denormalize=True، بينما يحمل المُفكّك إحصاءاته الخاصة، لذا لا يحتاج سير عمل مخصص لفك الترميز فقط إلى تحميل مُشفّر-مفكّك ذاتي ثانٍ.

واجهات الخلفية للانتباه

يُعبَّر عن نافذة الانتباه الجوارية على شكل BlockMask، لذا يعمل المُفكّك افتراضيًا على واجهة flex الانتباه ولا يحتاج إلى أي اعتماد إضافي. لا يجمّع PyTorch دالة flex_attention ما لم تطلب منه ذلك صراحةً، وبدون التجميع تُنشئ الدالة مصفوفة الدرجات الكاملة — وهو أمر غير عملي عند أطوال التسلسلات الكاملة الدقة. لهذه الحالات، إما أن تجمع المُفكّك أو تنتقل إلى نواة NATTEN، وهي أيضًا ما تستخدمه النسخة الأصلية. يجلب المعالج NATTEN من Hub (shi-labs/natten) عبر حزمة kernels، لذا يحتاج إلى pip install kernels بدلاً من بناء NATTEN محليًا:

from diffusers.models.autoencoders.ltx2_diffusion_decoder import LTX2VideoVaeNeighborhoodNattenProcessor

decoder.set_attn_processor(LTX2VideoVaeNeighborhoodNattenProcessor())

جلب كود تنزيل النواة من Hub، لذا يرمي المعالج استثناءً عند تعطيل الكود عن بُعد على مستوى النظام باستخدام DIFFUSERS_DISABLE_REMOTE_CODE=true.

كل وحدة انتباه في المُفكِّك هي انتباه جوار متطابق (فالاختلافات بين المراحل، مثل حجم النواة، موجودة على الوحدة وليس على المُعالِج)، لذا يستبدل set_attn_processor جميعها بمثال مشترك واحد.

تغيير الواجهة الخلفية (decoder.set_attention_backend(...)) إلى أي شيء غير flex يؤدي إلى: لا تقبل أي واجهة خلفية أخرى BlockMask. استخدم معالج NATTEN المذكور أعلاه بدلاً من ذلك.

تقسيم

يقوم decoder.enable_tiling() بفك الترميز في بلاطات متداخلة يتم دمجها معًا مرة أخرى، مما يحدّ من ذروة الذاكرة حسب حجم البلاطة بدلاً من حجم الفيديو. لا تزال مراحل رفع العينة المبكرة منخفضة التكلفة ترى الكامنة الكاملة — حيث تعمل فقط مرحلة رفع العينة الأخيرة ومرحلة الانتشار، اللتان تتحكمان في ذاكرة فك الترميز، لكل بلاطة على حدة — لذا فإن التقسيم إلى بلاطات يغيّر المخرجات فقط بالقرب من حدود البلاطات. نظرًا لأن مرحلة الانتشار تُزيل الضوضاء من كل بلاطة بشكل منفصل، فإن فك الترميز المبوّب لا يعيد إنتاج النتيجة غير المبوّبة بدقة؛ حيث تتطابق أحجام البلاطة والتداخل الافتراضية مع تلك الموجودة في التنفيذ المرجعي. يرفض الانتباه الجوار أي شبكة أصغر من نواته، لذا يتم دمج بلاطة البقايا النهائية مع جارتها بدلاً من فك ترميزها بشكل مستقل.

LTX2VideoDiffusionDecoderModel