Lumina-T2X

Lumina-Next : Rendre Lumina-T2X plus puissant et plus rapide avec Next-DiT d'Alpha-VLLM, OpenGVLab, Shanghai AI Laboratory.

L'abstract de l'article est :

Lumina-T2X est une famille naissante de grands transformeurs de diffusion basés sur les flux (Flag-DiT) qui établit un cadre unifié pour transformer le bruit en diverses modalités, telles que des images et des vidéos, conditionnées par des instructions textuelles. Malgré ses capacités prometteuses, Lumina-T2X rencontre encore des défis, notamment une instabilité d'entraînement, une inférence lente et des artefacts d'extrapolation. Dans cet article, nous présentons Lumina-Next, une version améliorée de Lumina-T2X, qui met en avant des performances de génération supérieures avec une efficacité accrue pour l'entraînement et l'inférence. Nous commençons par une analyse approfondie de l'architecture Flag-DiT et identifions plusieurs composants sous-optimaux, que nous traitons en introduisant l'architecture Next-DiT avec 3D RoPE et des normalisations en sandwich. Pour permettre une meilleure extrapolation de résolution, nous comparons en détail différentes méthodes d'extrapolation de contexte appliquées à la génération d'images à partir de texte avec 3D RoPE, et proposons Frequency- and Time-Aware Scaled RoPE, adapté aux transformeurs de diffusion. De plus, nous introduisons un calendrier de discrétisation temporelle sigmoïde pour réduire le nombre d'étapes d'échantillonnage dans la résolution de l'EDO de flux, ainsi que la méthode Context Drop pour fusionner les jetons visuels redondants afin d'accélérer l'évaluation du réseau, améliorant ainsi efficacement la vitesse globale d'échantillonnage. Grâce à ces améliorations, Lumina-Next améliore non seulement la qualité et l'efficacité de la génération de base d'images à partir de texte, mais démontre également des capacités supérieures d'extrapolation de résolution et de génération multilingue en utilisant des LLM basés sur des décodeurs comme encodeurs de texte, le tout de manière zéro-shot. Pour valider davantage Lumina-Next comme cadre génératif polyvalent, nous l'instancions sur diverses tâches, y compris la reconnaissance visuelle, la multi-vue, l'audio, la musique et la génération de nuages de points, montrant de solides performances dans ces domaines. En publiant tous les codes et poids de modèles sur https://github.com/Alpha-VLLM/Lumina-T2X, nous visons à faire progresser le développement de l'IA générative de nouvelle génération capable de modélisation universelle.

Points forts : Lumina-Next est un Diffusion Transformer de nouvelle génération qui améliore considérablement la génération d'images à partir de texte, la génération multilingue et les performances multitâches en introduisant l'architecture Next-DiT, le 3D RoPE et le RoPE sensible à la fréquence et au temps, entre autres améliorations.

Lumina-Next comporte les éléments suivants :

• Il améliore l'efficacité de l'échantillonnage avec moins d'étapes et des étapes plus rapides.
• Il utilise un Next-DiT comme architecture de transformer avec Sandwichnorm 3D RoPE et Grouped-Query Attention.
• Il utilise un RoPE mis à l'échelle tenant compte de la fréquence et du temps.

Lumina-T2X : transformer le texte en n'importe quelle modalité, résolution et durée grâce à de grands transformeurs de diffusion basés sur le flux d'Alpha-VLLM, OpenGVLab, Shanghai AI Laboratory.

L'abstract de l'article est :

Sora révèle le potentiel de l’extension à grande échelle du Diffusion Transformer pour générer des images et des vidéos photoréalistes à des résolutions, des rapports d’aspect et des durées arbitraires, mais il manque encore de détails d’implémentation suffisants. Dans ce rapport technique, nous présentons la famille Lumina-T2X, une série de grands Diffusion Transformers basés sur le flux (Flag-DiT) équipés d’une attention initialisée à zéro, en tant que cadre unifié conçu pour transformer le bruit en images, vidéos, objets 3D multi-vues et extraits audio conditionnés par des instructions textuelles. En tokenisant l’espace latent spatio-temporel et en intégrant des espaces réservés apprenables tels que les jetons [nextline] et [nextframe], Lumina-T2X unifie sans heurt les représentations de différentes modalités à travers diverses résolutions spatio-temporelles. Cette approche unifiée permet l’entraînement au sein d’un seul cadre pour différentes modalités et autorise une génération flexible de données multimodales à n’importe quelle résolution, rapport d’aspect et longueur lors de l’inférence. Des techniques avancées comme RoPE, RMSNorm et le flow matching améliorent la stabilité, la flexibilité et la scalabilité de Flag-DiT, permettant aux modèles de Lumina-T2X d’atteindre 7 milliards de paramètres et d’étendre la fenêtre de contexte à 128K jetons. Cela est particulièrement bénéfique pour la création d’images ultra-haute définition avec notre modèle Lumina-T2I et de vidéos longues en 720p avec notre modèle Lumina-T2V. Remarquablement, Lumina-T2I, propulsé par un Flag-DiT de 5 milliards de paramètres, ne nécessite que 35 % des coûts de calcul d’entraînement d’un DiT naïf de 600 millions de paramètres. Notre analyse approfondie souligne la capacité préliminaire de Lumina-T2X en extrapolation de résolution, édition haute résolution, génération de vues 3D cohérentes et synthèse de vidéos avec des transitions fluides. Nous nous attendons à ce que l’ouverture de Lumina-T2X favorise davantage la créativité, la transparence et la diversité au sein de la communauté de l’IA générative.

Vous pouvez trouver le code source original sur Alpha-VLLM et tous les checkpoints disponibles sur Alpha-VLLM Lumina Family.

Points forts : Lumina-T2X prend en charge toute modalité, toute résolution et toute durée.

Lumina-T2X comporte les éléments suivants :

• Il utilise un grand transformateur de diffusion basé sur le flux comme architecture de base
• Il prend en charge différentes modalités avec un seul backbone et les encodeurs et décodeurs correspondants.

Ce pipeline a été contribué par PommesPeter. La base de code originale peut être trouvée ici. Les poids originaux sont disponibles sous hf.co/Alpha-VLLM.

Pensez à consulter le guide des Schedulers pour apprendre à explorer le compromis entre la vitesse et la qualité du scheduler, et à consulter la section réutilisation des composants entre les pipelines pour apprendre à charger efficacement les mêmes composants dans plusieurs pipelines.

Inférence (Texte-vers-Image)

Utilisez torch.compile pour réduire la latence d'inférence.

Tout d'abord, chargez le pipeline :

from diffusers import LuminaPipeline
import torch

pipeline = LuminaPipeline.from_pretrained(
	"Alpha-VLLM/Lumina-Next-SFT-diffusers", dtype=torch.bfloat16
).to("cuda")  # or "mps", "xpu", "cpu"

Puis modifiez la disposition mémoire des composants transformer et vae des pipelines en torch.channels-last :

pipeline.transformer.to(memory_format=torch.channels_last)
pipeline.vae.to(memory_format=torch.channels_last)

Enfin, compilez les composants et exécutez l'inférence :

pipeline.transformer = torch.compile(pipeline.transformer, mode="max-autotune", fullgraph=True)
pipeline.vae.decode = torch.compile(pipeline.vae.decode, mode="max-autotune", fullgraph=True)

image = pipeline(prompt="Upper body of a young woman in a Victorian-era outfit with brass goggles and leather straps. Background shows an industrial revolution cityscape with smoky skies and tall, metal structures").images[0]

Quantification

La quantification aide à réduire les besoins en mémoire des très grands modèles en stockant les poids du modèle dans un type de données de précision inférieure. Cependant, la quantification peut avoir un impact variable sur la qualité de la vidéo selon le modèle vidéo.

Reportez-vous à l'aperçu de la Quantization pour en savoir plus sur les backends de quantification pris en charge et sur la sélection d'un backend de quantification adapté à votre cas d'usage. L'exemple ci-dessous montre comment charger un LuminaPipeline quantifié pour l'inférence avec bitsandbytes.

import torch
from diffusers import BitsAndBytesConfig as DiffusersBitsAndBytesConfig, Transformer2DModel, LuminaPipeline
from transformers import BitsAndBytesConfig as BitsAndBytesConfig, T5EncoderModel

quant_config = BitsAndBytesConfig(load_in_8bit=True)
text_encoder_8bit = T5EncoderModel.from_pretrained(
    "Alpha-VLLM/Lumina-Next-SFT-diffusers",
    subfolder="text_encoder",
    quantization_config=quant_config,
    dtype=torch.float16,
)

quant_config = DiffusersBitsAndBytesConfig(load_in_8bit=True)
transformer_8bit = Transformer2DModel.from_pretrained(
    "Alpha-VLLM/Lumina-Next-SFT-diffusers",
    subfolder="transformer",
    quantization_config=quant_config,
    dtype=torch.float16,
)

pipeline = LuminaPipeline.from_pretrained(
    "Alpha-VLLM/Lumina-Next-SFT-diffusers",
    text_encoder=text_encoder_8bit,
    transformer=transformer_8bit,
    dtype=torch.float16,
    device_map="balanced",
)

prompt = "a tiny astronaut hatching from an egg on the moon"
image = pipeline(prompt).images[0]
image.save("lumina.png")

LuminaPipeline

>>> import torch
>>> from diffusers import LuminaPipeline

>>> pipe = LuminaPipeline.from_pretrained("Alpha-VLLM/Lumina-Next-SFT-diffusers", torch_dtype=torch.bfloat16)
>>> # Enable memory optimizations.
>>> pipe.enable_model_cpu_offload()

>>> prompt = "Upper body of a young woman in a Victorian-era outfit with brass goggles and leather straps. Background shows an industrial revolution cityscape with smoky skies and tall, metal structures"
>>> image = pipe(prompt).images[0]