Lumina-T2X

Lumina-Next: Làm cho Lumina-T2X mạnh hơn và nhanh hơn với Next-DiT từ Alpha-VLLM, OpenGVLab, Shanghai AI Laboratory.

Tóm tắt từ bài báo là:

Lumina-T2X là một gia đình các mô hình mới nổi thuộc dòng Flow-based Large Diffusion Transformers (Flag-DiT), thiết lập một khung thống nhất để biến nhiễu thành các phương thức khác nhau, chẳng hạn như hình ảnh và video, dựa trên các chỉ dẫn văn bản. Mặc dù có tiềm năng lớn, Lumina-T2X vẫn gặp phải các thách thức như sự bất ổn trong huấn luyện, suy luận chậm và các hiện tượng ngoại suy sai lệch. Trong bài báo này, chúng tôi giới thiệu Lumina-Next, một phiên bản cải tiến của Lumina-T2X, thể hiện hiệu suất tạo ra mạnh mẽ hơn với hiệu quả huấn luyện và suy luận cao hơn. Chúng tôi bắt đầu bằng một phân tích toàn diện về kiến trúc Flag-DiT và xác định một số thành phần chưa tối ưu, sau đó giải quyết chúng bằng cách giới thiệu kiến trúc Next-DiT với 3D RoPE và các phép chuẩn hóa dạng sandwich. Để cho phép ngoại suy độ phân giải tốt hơn, chúng tôi so sánh kỹ lưỡng các phương pháp ngoại suy ngữ cảnh khác nhau được áp dụng cho việc tạo hình ảnh từ văn bản với 3D RoPE, và đề xuất Frequency- and Time-Aware Scaled RoPE được thiết kế riêng cho các diffusion transformer. Ngoài ra, chúng tôi giới thiệu lịch rời rạc hóa thời gian dạng sigmoid để giảm số bước lấy mẫu khi giải Flow ODE và phương pháp Context Drop để gộp các token thị giác dư thừa nhằm đánh giá mạng nhanh hơn, từ đó tăng tốc độ lấy mẫu tổng thể một cách hiệu quả. Nhờ những cải tiến này, Lumina-Next không chỉ nâng cao chất lượng và hiệu quả của việc tạo hình ảnh từ văn bản cơ bản mà còn thể hiện khả năng ngoại suy độ phân giải vượt trội và khả năng tạo đa ngôn ngữ bằng cách sử dụng các LLM dựa trên decoder làm bộ mã hóa văn bản, tất cả đều theo cách zero-shot. Để xác nhận thêm Lumina-Next như một khung tạo ra đa năng, chúng tôi triển khai nó trên nhiều nhiệm vụ khác nhau bao gồm nhận diện thị giác, đa góc nhìn, âm thanh, nhạc và tạo đám mây điểm, thể hiện hiệu suất mạnh mẽ trên các lĩnh vực này. Bằng cách phát hành toàn bộ mã nguồn và trọng số mô hình tại https://github.com/Alpha-VLLM/Lumina-T2X, chúng tôi hướng tới việc thúc đẩy sự phát triển của AI tạo thế hệ tiếp theo có khả năng mô hình hóa phổ quát.

Những điểm nổi bật: Lumina-Next là một Diffusion Transformer thế hệ tiếp theo, nâng cao đáng kể khả năng tạo ảnh từ văn bản, tạo đa ngôn ngữ và hiệu suất đa nhiệm bằng cách giới thiệu kiến trúc Next-DiT, 3D RoPE, và RoPE nhận thức tần số và thời gian, cùng nhiều cải tiến khác.

Lumina-Next có các thành phần sau:

• Nó cải thiện hiệu quả lấy mẫu với ít Bước hơn và nhanh hơn.
• Nó sử dụng Next-DiT làm xương sống transformer với Sandwichnorm 3D RoPE và Grouped-Query Attention.
• Nó sử dụng Scaled RoPE nhận thức về Tần số và Thời gian.

Lumina-T2X: Chuyển đổi văn bản sang bất kỳ phương thức, độ phân giải và thời lượng nào thông qua các Transformer khuếch tán lớn dựa trên luồng từ Alpha-VLLM, OpenGVLab, Shanghai AI Laboratory.

Tóm tắt từ bài báo là:

Sora hé lộ tiềm năng của việc mở rộng Diffusion Transformer để tạo ra các hình ảnh và video chân thực như thật ở các độ phân giải, tỷ lệ khung hình và thời lượng tùy ý, nhưng vẫn còn thiếu các chi tiết triển khai đầy đủ. Trong báo cáo kỹ thuật này, chúng tôi giới thiệu dòng Lumina-T2X - một loạt các Flow-based Large Diffusion Transformers (Flag-DiT) được trang bị zero-initialized attention, như một khung thống nhất được thiết kế để biến nhiễu thành hình ảnh, video, các đối tượng 3D đa góc nhìn và các đoạn âm thanh dựa trên các chỉ dẫn bằng văn bản. Bằng cách mã hóa không gian không gian-thời gian tiềm ẩn và tích hợp các placeholder có thể học được như các token [nextline] và [nextframe], Lumina-T2X thống nhất liền mạch các biểu diễn của các chế độ khác nhau trên các độ phân giải không gian-thời gian khác nhau. Cách tiếp cận thống nhất này cho phép huấn luyện trong một khung duy nhất cho các chế độ khác nhau và cho phép tạo ra dữ liệu đa chế độ một cách linh hoạt ở bất kỳ độ phân giải, tỷ lệ khung hình và độ dài nào trong quá trình suy luận. Các kỹ thuật tiên tiến như RoPE, RMSNorm và flow matching tăng cường tính ổn định, tính linh hoạt và khả năng mở rộng của Flag-DiT, cho phép các mô hình của Lumina-T2X mở rộng lên đến 7 tỷ tham số và mở rộng cửa sổ ngữ cảnh lên 128K token. Điều này đặc biệt hữu ích cho việc tạo ra các hình ảnh siêu nét với mô hình Lumina-T2I của chúng tôi và các video 720p dài với mô hình Lumina-T2V của chúng tôi. Đáng chú ý, Lumina-T2I, được hỗ trợ bởi Flag-DiT 5 tỷ tham số, chỉ cần 35% chi phí tính toán huấn luyện so với DiT ngây thơ 600 triệu tham số. Phân tích toàn diện hơn của chúng tôi nhấn mạnh khả năng sơ bộ của Lumina-T2X trong ngoại suy độ phân giải, chỉnh sửa độ phân giải cao, tạo ra các góc nhìn 3D nhất quán và tổng hợp các video với các chuyển cảnh liền mạch. Chúng tôi kỳ vọng việc mã nguồn mở Lumina-T2X sẽ thúc đẩy thêm sự sáng tạo, minh bạch và đa dạng trong cộng đồng AI tạo sinh.

Bạn có thể tìm thấy mã nguồn gốc tại Alpha-VLLM và tất cả các checkpoint khả dụng tại Alpha-VLLM Lumina Family.

Điểm nổi bật: Lumina-T2X hỗ trợ mọi chế độ, độ phân giải và thời lượng.

Lumina-T2X có các thành phần sau:

• Nó sử dụng Large Diffusion Transformer dựa trên Flow làm khung xương
• Nó hỗ trợ các chế độ dữ liệu khác nhau với một backbone duy nhất cùng bộ mã hóa và bộ giải mã tương ứng.

Pipeline này được đóng góp bởi PommesPeter. Mã nguồn gốc có thể được tìm thấy tại đây. Trọng số gốc có thể được tìm thấy tại hf.co/Alpha-VLLM.

Hãy chắc chắn xem qua hướng dẫn về Schedulers để tìm hiểu cách khám phá sự đánh đổi giữa tốc độ và chất lượng của scheduler, và xem phần tái sử dụng các thành phần giữa các pipeline để tìm hiểu cách nạp các thành phần giống nhau vào nhiều pipeline một cách hiệu quả.

Suy luận (Văn bản sang Hình ảnh)

Sử dụng torch.compile để giảm độ trễ suy luận.

Đầu tiên, tải pipeline:

from diffusers import LuminaPipeline
import torch

pipeline = LuminaPipeline.from_pretrained(
	"Alpha-VLLM/Lumina-Next-SFT-diffusers", dtype=torch.bfloat16
).to("cuda")  # or "mps", "xpu", "cpu"

Sau đó, thay đổi bố trí bộ nhớ của các thành phần transformer và vae trong pipeline thành torch.channels-last:

pipeline.transformer.to(memory_format=torch.channels_last)
pipeline.vae.to(memory_format=torch.channels_last)

Cuối cùng, biên dịch các thành phần và chạy suy luận:

pipeline.transformer = torch.compile(pipeline.transformer, mode="max-autotune", fullgraph=True)
pipeline.vae.decode = torch.compile(pipeline.vae.decode, mode="max-autotune", fullgraph=True)

image = pipeline(prompt="Upper body of a young woman in a Victorian-era outfit with brass goggles and leather straps. Background shows an industrial revolution cityscape with smoky skies and tall, metal structures").images[0]

Lượng tử hóa

Quantization giúp giảm yêu cầu về bộ nhớ của các mô hình rất lớn bằng cách lưu trữ trọng số mô hình trong kiểu dữ liệu có độ chính xác thấp hơn. Tuy nhiên, lượng tử hóa có thể ảnh hưởng khác nhau đến chất lượng video tùy thuộc vào mô hình video.

Tham khảo phần tổng quan Lượng tử hóa để tìm hiểu thêm về các backend lượng tử hóa được hỗ trợ và cách chọn một backend lượng tử hóa phù hợp với trường hợp sử dụng của bạn. Ví dụ bên dưới minh họa cách tải một LuminaPipeline đã được lượng tử hóa để suy luận bằng bitsandbytes.

import torch
from diffusers import BitsAndBytesConfig as DiffusersBitsAndBytesConfig, Transformer2DModel, LuminaPipeline
from transformers import BitsAndBytesConfig as BitsAndBytesConfig, T5EncoderModel

quant_config = BitsAndBytesConfig(load_in_8bit=True)
text_encoder_8bit = T5EncoderModel.from_pretrained(
    "Alpha-VLLM/Lumina-Next-SFT-diffusers",
    subfolder="text_encoder",
    quantization_config=quant_config,
    dtype=torch.float16,
)

quant_config = DiffusersBitsAndBytesConfig(load_in_8bit=True)
transformer_8bit = Transformer2DModel.from_pretrained(
    "Alpha-VLLM/Lumina-Next-SFT-diffusers",
    subfolder="transformer",
    quantization_config=quant_config,
    dtype=torch.float16,
)

pipeline = LuminaPipeline.from_pretrained(
    "Alpha-VLLM/Lumina-Next-SFT-diffusers",
    text_encoder=text_encoder_8bit,
    transformer=transformer_8bit,
    dtype=torch.float16,
    device_map="balanced",
)

prompt = "a tiny astronaut hatching from an egg on the moon"
image = pipeline(prompt).images[0]
image.save("lumina.png")

LuminaPipeline

>>> import torch
>>> from diffusers import LuminaPipeline

>>> pipe = LuminaPipeline.from_pretrained("Alpha-VLLM/Lumina-Next-SFT-diffusers", torch_dtype=torch.bfloat16)
>>> # Enable memory optimizations.
>>> pipe.enable_model_cpu_offload()

>>> prompt = "Upper body of a young woman in a Victorian-era outfit with brass goggles and leather straps. Background shows an industrial revolution cityscape with smoky skies and tall, metal structures"
>>> image = pipe(prompt).images[0]