MiniMax-H3-Image

MiniMax-H3-Image, MiniMax tarafından MiniMax-H3 tabanlı olarak geliştirilen, metinden görüntüye üretim ve referans görüntü düzenleme için kullanılan bir görüntü modelidir. Kontrol noktasını MiniMaxAI/MiniMax-H3-Image adresinde bulabilirsiniz.

MiniMax-H3 gibi, yalnızca Modular Diffusers blokları olarak entegre edilir: MiniMaxH3ImageBlocks ve bunların MiniMaxH3ImageModularPipeline'ı tüm entegrasyonu oluşturur.

import torch
from diffusers import ComponentsManager, ModularPipeline

manager = ComponentsManager()
manager.enable_auto_cpu_offload(device="cuda")

pipe = ModularPipeline.from_pretrained("MiniMaxAI/MiniMax-H3-Image", components_manager=manager)
pipe.load_components(dtype=torch.bfloat16)

Transformer ve metin kodlayıcı, bfloat16'da yaklaşık 62 GB boyutundadır ve birlikte 80 GB'lık bir GPU'ya sığmaz; bu nedenle örnekler otomatik boşaltma (auto offloading) kullanır: ComponentsManager, bir bloğun bir bileşene ihtiyacı olduğunda o bileşeni hızlandırıcıya taşır. 4736x3552 boyutundaki bir görüntüde bellek kullanımı yaklaşık 65 GB'a ulaşır.

Metinden görüntüye:

prompt = (
    "An overhead photograph of a rustic farm-to-table spread on a weathered wooden table: a round loaf of sourdough "
    "on burlap, wedges of cheese on a dark board, a copper bowl of vegetables, vine tomatoes, olives and walnuts."
)
image = pipe(
    prompt=prompt, height=3552, width=4736, generator=torch.Generator().manual_seed(42), output="images"
)[0]

Referans görüntüsünü düzenleme:

from diffusers.utils import load_image

reference = load_image("https://huggingface.co/MiniMaxAI/MiniMax-H3-Image/resolve/main/examples/reference1.png")
image = pipe(
    prompt="Keep everything in <Picture 1> as it is, but remove the headphones and have the two hosts fist bump.",
    image=reference,
    height=4096,
    width=4096,
    generator=torch.Generator().manual_seed(1234),
    output="images",
)[0]

Bileşenler

Metin kodlayıcı, MiniMax-H3'ün kullandığıyla aynıdır. Kontrol noktası, repozitorinin kendi içinde tamamlanmış olması için kendi kopyasını saklar; Hub, repozitoriler arasında aynı dosyaları tekilleştirir, bu nedenle kopya orada ek depolama alanı işgal etmez.

İş Akışları

İş akışı, image girdisinde seçilir:

• text2image, prompt üzerinden üretir.
• image_conditioned, prompt ve image olarak geçirilen bir veya daha fazla referans görüntüden üretim yapar. Prompt, bunlara sırasıyla <Picture 1>, <Picture 2> vb. şeklinde atıfta bulunur. Referanslar kendi boyutlarını korur: her biri yalnızca kısa kenarı 1024 ile 2048 piksel aralığının dışında olduğunda yeniden boyutlandırılır ve asla üretilen görüntünün boyutuna getirilmez.

İstem, sohbet şablonu olmadan olduğu gibi kullanılır ve uzun, eksiksiz açıklamalar en iyi sonucu verir. Bir düzenleme istemi genellikle korunacak öğeleri, ardından değiştirilecek öğeleri adlandırır ve ardından hedef görüntüyü eksiksiz olarak açıklar.

İstemci iyileştirme

MiniMax-H3-Image-PE, MiniMax’ın prompt genişletme modelidir: kısa bir isteği, görsel modelin en iyi çalıştığı türden ayrıntılı bir açıklamaya dönüştürür ve bir en-boy oranı önerir. diffusers/minimax-h3-image-pe-blocks özel blokları, bunu kendi bağımsız bir hattı olarak çalıştırır. Bunlar xgrammar gerektirir ve yaklaşık 18 GB GPU belleği kullanır.

import torch
from diffusers import ModularPipeline

enhancer = ModularPipeline.from_pretrained("diffusers/minimax-h3-image-pe-blocks", trust_remote_code=True)
enhancer.load_components(dtype=torch.bfloat16, device_map="cuda")

state = enhancer(prompt="a cozy cabin in the snow")
prompt, aspect_ratio = state.get("prompt"), state.get("aspect_ratio")

Bunun yerine düzenleme talimatını genişletmek için referans görselleri image olarak iletin. Ardından prompt değerini görsel hattına iletin; height ve width değerleri aspect_ratio ile eşleşmelidir.

Görsel boyutu

height ve width, döndürülen görüntünün boyutunu belirtir ve varsayılan olarak 2048'dir. Model, 4 megapiksel veya daha yüksek çözünürlükte üretim yapar: daha küçük bir istek, aynı en-boy oranına sahip daha büyük bir tuval üzerinde üretilir ve ardından yeniden boyutlandırılır; bu nedenle 1024x1024'lik bir istek, 2048x2048'lik bir istekle aynı maliyete sahiptir. min_generation_area, bu eşiği piksel cinsinden belirler; istenen boyutta her zaman üretim yapmak için 1024 değerini iletin. Her durumda tuvalin kenarları 32'nin katlarına yuvarlanır.

MiniMax, 1:1 için 4096x4096, 4:3 için 4736x3552, 3:2 için 5024x3360, 16:9 için 5472x3072 ve 21:9 için 6272x2688 boyutlarını önermektedir; dikey formatlar için ise aynı boyutların yükseklik ve genişlik değerleri yer değiştirilerek kullanılması önerilir.

Örnekleme

• Kontrol noktası, sample_sigmas üzerinde 6 adımda örnekler ve dönüştürücü (transformer) her adım için bir çıktı başlığına sahip olduğundan, num_inference_steps parametresi yoktur.
• Model rehberlik damıtılmıştır, bu nedenle bir rehber, negative_prompt veya guidance_scale yoktur.

MiniMaxH3ImageModularPipeline

import torch
from diffusers import ModularPipeline

pipe = ModularPipeline.from_pretrained("MiniMaxAI/MiniMax-H3-Image")
pipe.load_components(dtype=torch.bfloat16)

MiniMaxH3ImageBlocks