Lumina-T2X

Lumina-Next: Tornando o Lumina-T2X mais forte e rápido com o Next-DiT da Alpha-VLLM, OpenGVLab, Shanghai AI Laboratory.

O resumo do artigo é:

Lumina-T2X é uma família nascente de Flow-based Large Diffusion Transformers (Flag-DiT) que estabelece um framework unificado para transformar ruído em diversas modalidades, como imagens e vídeos, condicionado a instruções de texto. Apesar de suas capacidades promissoras, o Lumina-T2X ainda enfrenta desafios, incluindo instabilidade no treinamento, inferência lenta e artefatos de extrapolação. Neste artigo, apresentamos o Lumina-Next, uma versão aprimorada do Lumina-T2X, que exibe um desempenho de geração mais forte com maior eficiência de treinamento e inferência. Começamos com uma análise abrangente da arquitetura Flag-DiT e identificamos vários componentes subótimos, que abordamos introduzindo a arquitetura Next-DiT com 3D RoPE e normalizações em sanduíche. Para permitir uma melhor extrapolação de resolução, comparamos minuciosamente diferentes métodos de extrapolação de contexto aplicados à geração de texto para imagem com 3D RoPE e propomos o Frequency- and Time-Aware Scaled RoPE adaptado para diffusion transformers. Além disso, introduzimos um agendamento de discretização de tempo sigmoide para reduzir os passos de amostragem na resolução do Flow ODE e o método Context Drop para mesclar tokens visuais redundantes para uma avaliação de rede mais rápida, aumentando efetivamente a velocidade geral de amostragem. Graças a essas melhorias, o Lumina-Next não apenas melhora a qualidade e a eficiência da geração básica de texto para imagem, mas também demonstra capacidades superiores de extrapolação de resolução e geração multilíngue usando LLMs baseados em decodificadores como codificador de texto, tudo de forma zero-shot. Para validar ainda mais o Lumina-Next como um framework generativo versátil, o instanciamos em diversas tarefas, incluindo reconhecimento visual, multi-view, áudio, música e geração de nuvens de pontos, demonstrando um desempenho forte em todos esses domínios. Ao liberar todos os códigos e pesos do modelo em https://github.com/Alpha-VLLM/Lumina-T2X, visamos avançar o desenvolvimento de IA generativa de próxima geração capaz de modelagem universal.

Destaques: Lumina-Next é um Diffusion Transformer de próxima geração que aprimora significativamente a geração de texto para imagem, a geração multilíngue e o desempenho multitarefa, ao introduzir a arquitetura Next-DiT, 3D RoPE e RoPE consciente de frequência e tempo, entre outras melhorias.

O Lumina-Next possui os seguintes componentes:

• Melhora a eficiência da amostragem com menos e mais rápidos Steps.
• Ele usa um Next-DiT como backbone de transformer com Sandwichnorm 3D RoPE e Grouped-Query Attention.
• Ele usa um RoPE Escalado Consciente de Frequência e Tempo.

Lumina-T2X: Transformando texto em qualquer modalidade, resolução e duração por meio de grandes difusão transformers baseados em fluxo da Alpha-VLLM, OpenGVLab, Shanghai AI Laboratory.

O resumo do artigo é:

O Sora revela o potencial de escalar o Diffusion Transformer para gerar imagens e vídeos fotorrealistas em resoluções, proporções e durações arbitrárias, mas ainda carece de detalhes de implementação suficientes. Neste relatório técnico, apresentamos a família Lumina-T2X - uma série de Grandes Diffusion Transformers baseados em Fluxo (Flag-DiT) equipados com atenção inicializada em zero, como um framework unificado projetado para transformar ruído em imagens, vídeos, objetos 3D multiview e clipes de áudio condicionados em instruções de texto. Ao tokenizar o espaço latente espaço-temporal e incorporar placeholders aprendíveis, como os tokens [nextline] e [nextframe], o Lumina-T2X unifica sem emendas as representações de diferentes modalidades em várias resoluções espaço-temporais. Essa abordagem unificada permite o treinamento dentro de um único framework para diferentes modalidades e possibilita a geração flexível de dados multimodais em qualquer resolução, proporção e comprimento durante a inferência. Técnicas avançadas, como RoPE, RMSNorm e flow matching, aprimoram a estabilidade, a flexibilidade e a escalabilidade do Flag-DiT, permitindo que os modelos do Lumina-T2X escalem até 7 bilhões de parâmetros e estendam a janela de contexto para 128K tokens. Isso é particularmente benéfico para a criação de imagens em ultra-alta definição com nosso modelo Lumina-T2I e vídeos longos em 720p com nosso modelo Lumina-T2V. Notavelmente, o Lumina-T2I, impulsionado por um Flag-DiT de 5 bilhões de parâmetros, requer apenas 35% dos custos computacionais de treinamento de um DiT ingênuo de 600 milhões de parâmetros. Nossa análise abrangente adicional destaca a capacidade preliminar do Lumina-T2X em extrapolação de resolução, edição em alta resolução, geração de visões 3D consistentes e síntese de vídeos com transições sem emendas. Esperamos que a disponibilização em código aberto do Lumina-T2X fomente ainda mais a criatividade, a transparência e a diversidade na comunidade de IA generativa.

Você pode encontrar a base de código original em Alpha-VLLM e todos os checkpoints disponíveis em Alpha-VLLM Lumina Family.

Destaques: Lumina-T2X suporta qualquer modalidade, resolução e duração.

O Lumina-T2X possui os seguintes componentes:

• Ele usa um Flow-based Large Diffusion Transformer como backbone
• Ele suporta diferentes modalidades com um único backbone e o codificador e decodificador correspondentes.

Este pipeline foi contribuído por PommesPeter. A base de código original pode ser encontrada aqui. Os pesos originais podem ser encontrados em hf.co/Alpha-VLLM.

Certifique-se de consultar o guia de Schedulers para aprender a explorar o compromisso entre a velocidade e a qualidade do scheduler, e veja a seção reutilização de componentes entre pipelines para aprender a carregar eficientemente os mesmos componentes em vários pipelines.

Inferência (Texto para Imagem)

Use torch.compile para reduzir a latência de inferência.

Primeiro, carregue o pipeline:

from diffusers import LuminaPipeline
import torch

pipeline = LuminaPipeline.from_pretrained(
	"Alpha-VLLM/Lumina-Next-SFT-diffusers", dtype=torch.bfloat16
).to("cuda")  # or "mps", "xpu", "cpu"

Em seguida, altere o layout de memória dos componentes transformer e vae dos pipelines para torch.channels-last:

pipeline.transformer.to(memory_format=torch.channels_last)
pipeline.vae.to(memory_format=torch.channels_last)

Por fim, compile os componentes e execute a inferência:

pipeline.transformer = torch.compile(pipeline.transformer, mode="max-autotune", fullgraph=True)
pipeline.vae.decode = torch.compile(pipeline.vae.decode, mode="max-autotune", fullgraph=True)

image = pipeline(prompt="Upper body of a young woman in a Victorian-era outfit with brass goggles and leather straps. Background shows an industrial revolution cityscape with smoky skies and tall, metal structures").images[0]

Quantização

A quantização ajuda a reduzir os requisitos de memória de modelos muito grandes armazenando os pesos do modelo em um tipo de dados de menor precisão. No entanto, a quantização pode ter um impacto variável na qualidade do vídeo, dependendo do modelo de vídeo.

Consulte a visão geral de Quantization para saber mais sobre os backends de quantização suportados e sobre como selecionar um backend de quantização que atenda ao seu caso de uso. O exemplo abaixo demonstra como carregar um LuminaPipeline quantizado para inferência com bitsandbytes.

import torch
from diffusers import BitsAndBytesConfig as DiffusersBitsAndBytesConfig, Transformer2DModel, LuminaPipeline
from transformers import BitsAndBytesConfig as BitsAndBytesConfig, T5EncoderModel

quant_config = BitsAndBytesConfig(load_in_8bit=True)
text_encoder_8bit = T5EncoderModel.from_pretrained(
    "Alpha-VLLM/Lumina-Next-SFT-diffusers",
    subfolder="text_encoder",
    quantization_config=quant_config,
    dtype=torch.float16,
)

quant_config = DiffusersBitsAndBytesConfig(load_in_8bit=True)
transformer_8bit = Transformer2DModel.from_pretrained(
    "Alpha-VLLM/Lumina-Next-SFT-diffusers",
    subfolder="transformer",
    quantization_config=quant_config,
    dtype=torch.float16,
)

pipeline = LuminaPipeline.from_pretrained(
    "Alpha-VLLM/Lumina-Next-SFT-diffusers",
    text_encoder=text_encoder_8bit,
    transformer=transformer_8bit,
    dtype=torch.float16,
    device_map="balanced",
)

prompt = "a tiny astronaut hatching from an egg on the moon"
image = pipeline(prompt).images[0]
image.save("lumina.png")

LuminaPipeline

>>> import torch
>>> from diffusers import LuminaPipeline

>>> pipe = LuminaPipeline.from_pretrained("Alpha-VLLM/Lumina-Next-SFT-diffusers", torch_dtype=torch.bfloat16)
>>> # Enable memory optimizations.
>>> pipe.enable_model_cpu_offload()

>>> prompt = "Upper body of a young woman in a Victorian-era outfit with brass goggles and leather straps. Background shows an industrial revolution cityscape with smoky skies and tall, metal structures"
>>> image = pipe(prompt).images[0]