Lumina-T2X

Lumina-Next: Улучшение Lumina-T2X с помощью Next-DiT от Alpha-VLLM, OpenGVLab, Shanghai AI Laboratory.

Аннотация из статьи:

Lumina-T2X — это зарождающееся семейство Flow-based Large Diffusion Transformers (Flag-DiT), которое устанавливает единый фреймворк для преобразования шума в различные модальности, такие как изображения и видео, с условием на текстовые инструкции. Несмотря на перспективные возможности, Lumina-T2X по-прежнему сталкивается с проблемами, включая нестабильность обучения, медленный инференс и артефакты экстраполяции. В данной статье мы представляем Lumina-Next, улучшенную версию Lumina-T2X, демонстрирующую более высокую производительность генерации при увеличенной эффективности обучения и инференса. Мы начинаем с комплексного анализа архитектуры Flag-DiT и выявляем несколько неоптимальных компонентов, которые устраняем, вводя архитектуру Next-DiT с 3D RoPE и sandwich normalizations. Для обеспечения лучшей экстраполяции разрешения мы тщательно сравниваем различные методы экстраполяции контекста, применяемые к генерации изображений по тексту с 3D RoPE, и предлагаем Frequency- and Time-Aware Scaled RoPE, адаптированный для диффузионных трансформеров. Кроме того, мы вводим расписание дискретизации времени на основе сигмоиды для сокращения количества шагов сэмплирования при решении Flow ODE и метод Context Drop для слияния избыточных визуальных токенов ради более быстрой оценки сети, что эффективно повышает общую скорость сэмплирования. Благодаря этим улучшениям Lumina-Next не только повышает качество и эффективность базовой генерации изображений по тексту, но и демонстрирует превосходные возможности экстраполяции разрешения и многоязычной генерации с использованием decoder-based LLM в качестве текстового энкодера, все это в режиме zero-shot. Для дальнейшей валидации Lumina-Next как универсального генеративного фреймворка мы применяем его к разнообразным задачам, включая визуальное распознавание, генерацию мультивью, аудио, музыки и облаков точек, демонстрируя высокую производительность во всех этих областях. Публикуя весь код и веса моделей по адресу https://github.com/Alpha-VLLM/Lumina-T2X, мы стремимся продвинуть развитие генеративного ИИ следующего поколения, способного к универсальному моделированию.

Ключевые особенности: Lumina-Next — это диффузионный трансформер нового поколения, который значительно улучшает генерацию изображений по тексту, многоязычную генерацию и производительность в многозадачном режиме за счёт внедрения архитектуры Next-DiT, 3D RoPE, а также RoPE с учётом частоты и времени и других улучшений.

Lumina-Next включает следующие компоненты:

• Это повышает эффективность выборки за счёт меньшего количества и более быстрых шагов.
• Он использует Next-DiT в качестве трансформерного каркаса с Sandwichnorm 3D RoPE и Grouped-Query Attention.
• Он использует масштабированный RoPE с учётом частоты и времени.

Lumina-T2X: преобразование текста в любую модальность, разрешение и длительность с помощью потоковых больших диффузионных трансформеров от Alpha-VLLM, OpenGVLab, Shanghai AI Laboratory.

Аннотация из статьи:

Sora демонстрирует потенциал масштабирования Diffusion Transformer для генерации фотореалистичных изображений и видео с произвольным разрешением, соотношением сторон и длительностью, однако в нём по-прежнему не хватает достаточных деталей реализации. В данном техническом отчёте мы представляем семейство Lumina-T2X — серию Flow-based Large Diffusion Transformers (Flag-DiT) с нулевой инициализацией внимания, — в качестве единого фреймворка, предназначенного для преобразования шума в изображения, видео, многовидовые 3D-объекты и аудиоклипы на основе текстовых инструкций. За счёт токенизации латентного пространственно-временного пространства и включения обучаемых плейсхолдеров, таких как токены [nextline] и [nextframe], Lumina-T2X бесшовно объединяет представления различных модальностей при разных пространственно-временных разрешениях. Этот единый подход позволяет обучать модели для различных модальностей в рамках одного фреймворка и обеспечивает гибкую генерацию мультимодальных данных с любым разрешением, соотношением сторон и длиной на этапе инференса. Продвинутые техники, такие как RoPE, RMSNorm и flow matching, повышают стабильность, гибкость и масштабируемость Flag-DiT, что позволяет моделям Lumina-T2X масштабироваться до 7 миллиардов параметров и расширять контекстное окно до 128K токенов. Это особенно полезно для создания сверхвысококачественных изображений с помощью нашей модели Lumina-T2I и длинных видео в разрешении 720p с помощью нашей модели Lumina-T2V. Примечательно, что Lumina-T2I, работающая на базе Flag-DiT с 5 миллиардами параметров, требует лишь 35% вычислительных затрат на обучение по сравнению с наивным DiT на 600 миллионов параметров. Наш дальнейший комплексный анализ подчёркивает предварительную способность Lumina-T2X к экстраполяции разрешения, редактированию в высоком разрешении, генерации согласованных 3D-видов и синтезу видео с бесшовными переходами. Мы ожидаем, что открытое распространение Lumina-T2X将进一步 будет способствовать развитию креативности, прозрачности и разнообразия в сообществе генеративного ИИ.

Исходный код можно найти в Alpha-VLLM, а все доступные контрольные точки — в Alpha-VLLM Lumina Family.

Ключевые особенности: Lumina-T2X поддерживает любые модальности, разрешение и длительность.

Lumina-T2X включает следующие компоненты:

• В качестве основы используется Flow-based Large Diffusion Transformer
• Он поддерживает различные модальности с единым базовым блоком и соответствующими кодировщиком и декодером.

Этот конвейер был предложен пользователем PommesPeter. Исходная кодовая база доступна здесь. Исходные веса можно найти по адресу hf.co/Alpha-VLLM.

Обязательно ознакомьтесь с руководством по планировщикам, чтобы узнать, как исследовать баланс между скоростью и качеством планировщика, а также с разделом повторное использование компонентов в разных конвейерах, чтобы узнать, как эффективно загружать одни и те же компоненты в несколько конвейеров.

Вывод (Текст в изображение)

Используйте torch.compile для снижения задержки при выводе.

Сначала загрузите конвейер:

from diffusers import LuminaPipeline
import torch

pipeline = LuminaPipeline.from_pretrained(
	"Alpha-VLLM/Lumina-Next-SFT-diffusers", dtype=torch.bfloat16
).to("cuda")  # or "mps", "xpu", "cpu"

Затем измените раскладку памяти компонентов transformer и vae на torch.channels-last:

pipeline.transformer.to(memory_format=torch.channels_last)
pipeline.vae.to(memory_format=torch.channels_last)

Наконец, скомпилируйте компоненты и запустите инференс:

pipeline.transformer = torch.compile(pipeline.transformer, mode="max-autotune", fullgraph=True)
pipeline.vae.decode = torch.compile(pipeline.vae.decode, mode="max-autotune", fullgraph=True)

image = pipeline(prompt="Upper body of a young woman in a Victorian-era outfit with brass goggles and leather straps. Background shows an industrial revolution cityscape with smoky skies and tall, metal structures").images[0]

Квантование

Квантование помогает снизить требования к памяти для очень больших моделей, храня веса модели в формате данных с меньшей точностью. Однако влияние квантования на качество видео может различаться в зависимости от используемой модели видео.

См. обзор Quantization, чтобы узнать больше о поддерживаемых бэкендах квантования и о том, как выбрать бэкенд, подходящий для вашей задачи. Пример ниже показывает, как загрузить квантованный LuminaPipeline для инференса с помощью bitsandbytes.

import torch
from diffusers import BitsAndBytesConfig as DiffusersBitsAndBytesConfig, Transformer2DModel, LuminaPipeline
from transformers import BitsAndBytesConfig as BitsAndBytesConfig, T5EncoderModel

quant_config = BitsAndBytesConfig(load_in_8bit=True)
text_encoder_8bit = T5EncoderModel.from_pretrained(
    "Alpha-VLLM/Lumina-Next-SFT-diffusers",
    subfolder="text_encoder",
    quantization_config=quant_config,
    dtype=torch.float16,
)

quant_config = DiffusersBitsAndBytesConfig(load_in_8bit=True)
transformer_8bit = Transformer2DModel.from_pretrained(
    "Alpha-VLLM/Lumina-Next-SFT-diffusers",
    subfolder="transformer",
    quantization_config=quant_config,
    dtype=torch.float16,
)

pipeline = LuminaPipeline.from_pretrained(
    "Alpha-VLLM/Lumina-Next-SFT-diffusers",
    text_encoder=text_encoder_8bit,
    transformer=transformer_8bit,
    dtype=torch.float16,
    device_map="balanced",
)

prompt = "a tiny astronaut hatching from an egg on the moon"
image = pipeline(prompt).images[0]
image.save("lumina.png")

LuminaPipeline

>>> import torch
>>> from diffusers import LuminaPipeline

>>> pipe = LuminaPipeline.from_pretrained("Alpha-VLLM/Lumina-Next-SFT-diffusers", torch_dtype=torch.bfloat16)
>>> # Enable memory optimizations.
>>> pipe.enable_model_cpu_offload()

>>> prompt = "Upper body of a young woman in a Victorian-era outfit with brass goggles and leather straps. Background shows an industrial revolution cityscape with smoky skies and tall, metal structures"
>>> image = pipe(prompt).images[0]