MiniMax-H3-Image

MiniMax-H3-Image adalah model gambar dari MiniMax yang didasarkan pada MiniMax-H3, untuk generasi teks-ke-gambar dan pengeditan gambar referensi. Anda dapat menemukan checkpoint di MiniMaxAI/MiniMax-H3-Image.

Seperti MiniMax-H3, model ini terintegrasi hanya sebagai blok Modular Diffusers: MiniMaxH3ImageBlocks dan MiniMaxH3ImageModularPipeline mereka merupakan keseluruhan integrasi.

import torch
from diffusers import ComponentsManager, ModularPipeline

manager = ComponentsManager()
manager.enable_auto_cpu_offload(device="cuda")

pipe = ModularPipeline.from_pretrained("MiniMaxAI/MiniMax-H3-Image", components_manager=manager)
pipe.load_components(dtype=torch.bfloat16)

Transformer dan text encoder masing-masing berukuran sekitar 62 GB dalam bfloat16 dan tidak muat bersama di GPU 80 GB, sehingga contoh-contoh menggunakan auto offloading: ComponentsManager memindahkan setiap komponen ke akselerator ketika sebuah blok membutuhkannya. Gambar berukuran 4736x3552 kemudian mencapai puncak sekitar 65 GB.

Teks-ke-gambar:

prompt = (
    "An overhead photograph of a rustic farm-to-table spread on a weathered wooden table: a round loaf of sourdough "
    "on burlap, wedges of cheese on a dark board, a copper bowl of vegetables, vine tomatoes, olives and walnuts."
)
image = pipe(
    prompt=prompt, height=3552, width=4736, generator=torch.Generator().manual_seed(42), output="images"
)[0]

Mengedit gambar referensi:

from diffusers.utils import load_image

reference = load_image("https://huggingface.co/MiniMaxAI/MiniMax-H3-Image/resolve/main/examples/reference1.png")
image = pipe(
    prompt="Keep everything in <Picture 1> as it is, but remove the headphones and have the two hosts fist bump.",
    image=reference,
    height=4096,
    width=4096,
    generator=torch.Generator().manual_seed(1234),
    output="images",
)[0]

Komponen

Text encoder-nya sama dengan yang digunakan oleh MiniMax-H3. Checkpoint menyimpan salinannya sendiri agar repositori bersifat mandiri; Hub menduplikasi file yang identik di antara repositori, sehingga salinan tersebut tidak memakan penyimpanan tambahan di sana.

Alur Kerja

Alur kerja dipilih pada input image:

• text2image menghasilkan dari prompt.
• image_conditioned menghasilkan gambar dari prompt dan satu atau beberapa gambar referensi yang diteruskan sebagai image. Prompt merujuk pada gambar-gambar tersebut secara berurutan sebagai <Picture 1>, <Picture 2>, dan seterusnya. Referensi mempertahankan ukuran aslinya: masing-masing hanya di-resize ketika sisi pendeknya berada di luar rentang 1024 hingga 2048 piksel, dan tidak pernah disesuaikan ke ukuran gambar yang dihasilkan.

Prompt digunakan apa adanya, tanpa template chat, dan deskripsi panjang serta lengkap memberikan hasil terbaik. Prompt editasi biasanya menyebutkan apa yang harus dipertahankan, kemudian apa yang harus diubah, lalu menggambarkan gambar target secara lengkap.

Peningkatan prompt

MiniMax-H3-Image-PE adalah model ekspansi prompt dari MiniMax: model ini menulis ulang permintaan singkat menjadi deskripsi detail yang paling cocok untuk model gambar, dan merekomendasikan rasio aspek. Blok kustom diffusers/minimax-h3-image-pe-blocks menjalankannya sebagai pipeline tersendiri. Blok ini membutuhkan xgrammar dan sekitar 18 GB memori GPU.

import torch
from diffusers import ModularPipeline

enhancer = ModularPipeline.from_pretrained("diffusers/minimax-h3-image-pe-blocks", trust_remote_code=True)
enhancer.load_components(dtype=torch.bfloat16, device_map="cuda")

state = enhancer(prompt="a cozy cabin in the snow")
prompt, aspect_ratio = state.get("prompt"), state.get("aspect_ratio")

Lewatkan gambar referensi sebagai image untuk memperluas instruksi pengeditan. Kemudian, lewati prompt ke pipeline gambar, dengan height dan width yang sesuai dengan aspect_ratio.

Ukuran gambar

height dan width adalah ukuran gambar yang dikembalikan dan secara default bernilai 2048. Model menghasilkan gambar dengan resolusi 4 megapiksel atau lebih: permintaan yang lebih kecil akan dihasilkan pada kanvas yang lebih besar dengan rasio aspek yang sama, lalu di-resize kembali, sehingga permintaan 1024x1024 memiliki biaya yang sama dengan permintaan 2048x2048. min_generation_area mengatur ambang batas tersebut dalam piksel; berikan 1024 untuk selalu menghasilkan gambar pada ukuran yang diminta. Dalam kedua kasus, sisi kanvas dibulatkan ke kelipatan 32.

MiniMax merekomendasikan 4096x4096 untuk 1:1, 4736x3552 untuk 4:3, 5024x3360 untuk 3:2, 5472x3072 untuk 16:9, dan 6272x2688 untuk 21:9, atau ukuran yang sama dengan tinggi dan lebar ditukar untuk format potret.

Sampling

• Checkpoint mengambil sampel dalam 6 langkah di atas sample_sigmas-nya, dan transformer memiliki satu kepala output per langkah, sehingga tidak ada num_inference_steps.
• Model ini telah melalui distilasi panduan, sehingga tidak ada negative_prompt atau guidance_scale.

MiniMaxH3ImageModularPipeline

import torch
from diffusers import ModularPipeline

pipe = ModularPipeline.from_pretrained("MiniMaxAI/MiniMax-H3-Image")
pipe.load_components(dtype=torch.bfloat16)

MiniMaxH3ImageBlocks