Transformers documentation

Janus

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Model ini dipublikasikan di HF papers pada 2024-10-17 dan disumbangkan ke Hugging Face Transformers pada 2025-04-17.

Janus

Ikhtisar

Model Janus pertama kali diusulkan dalam Janus: Decoupling Visual Encoding for Unified Multimodal Understanding and Generation oleh tim DeepSeek AI dan kemudian disempurnakan dalam Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling. Janus adalah model vision-language yang dapat menghasilkan output berupa gambar dan teks, serta dapat menerima gambar dan teks sebagai input.

Model tidak menghasilkan gambar dan teks dalam format yang berselang-seling. Pengguna harus meneruskan parameter yang menunjukkan apakah akan menghasilkan teks atau gambar.

Abstrak dari paper aslinya adalah sebagai berikut:

Dalam makalah ini, kami memperkenalkan Janus, sebuah kerangka kerja autoregresif yang menyatukan pemahaman dan generasi multimodal. Penelitian sebelumnya sering kali mengandalkan satu encoder visual untuk kedua tugas tersebut, seperti Chameleon. Namun, karena tingkat granularitas informasi yang dibutuhkan oleh pemahaman dan generasi multimodal berbeda, pendekatan ini dapat menghasilkan kinerja yang tidak optimal, khususnya dalam pemahaman multimodal. Untuk mengatasi masalah ini, kami memisahkan pengkodean visual ke dalam jalur-jalur yang terpisah, sambil tetap memanfaatkan arsitektur transformer tunggal yang terpadu untuk pemrosesan. Pemisahan ini tidak hanya mengurangi konflik peran encoder visual dalam pemahaman dan generasi, tetapi juga meningkatkan fleksibilitas kerangka kerja. Sebagai contoh, komponen pemahaman dan generasi multimodal dapat secara independen memilih metode pengkodean yang paling sesuai bagi mereka. Eksperimen menunjukkan bahwa Janus melampaui model terpadu sebelumnya dan menyamai atau melampaui kinerja model yang khusus untuk tugas tertentu. Kesederhanaan, fleksibilitas tinggi, dan efektivitas Janus menjadikannya kandidat kuat untuk model multimodal terpadu generasi berikutnya.

Abstrak dari makalah Janus-Pro yang disebutkan sebelumnya, yang dirilis kemudian, adalah sebagai berikut:

Dalam karya ini, kami memperkenalkan Janus-Pro, versi lanjutan dari karya sebelumnya Janus. Secara spesifik, Janus-Pro mengintegrasikan (1) strategi pelatihan yang dioptimalkan, (2) data pelatihan yang diperluas, dan (3) penskalaan ke ukuran model yang lebih besar. Dengan peningkatan ini, Janus-Pro mencapai kemajuan signifikan dalam kemampuan pemahaman multimodal dan kepatuhan instruksi teks-ke-gambar, sekaligus meningkatkan stabilitas generasi teks-ke-gambar. Kami berharap karya ini akan menginspirasi eksplorasi lebih lanjut di bidang ini. Kode dan model tersedia secara publik.

Model ini disumbangkan oleh Yaswanth Gali dan Hugo Silva. Kode aslinya dapat ditemukan di sini.

Contoh Penggunaan

Inferensi gambar tunggal

Berikut adalah contoh pemahaman visual dengan satu gambar.

Perhatikan bahwa model telah dilatih dengan format prompt tertentu untuk percakapan. Gunakan processor.apply_chat_template(my_conversation_dict) untuk memformat prompt Anda dengan benar.


from transformers import JanusForConditionalGeneration, JanusProcessor


model_id = "deepseek-community/Janus-Pro-1B"
# Prepare Input for generation.
messages = [
    {
        "role": "user",
        "content": [
            {'type':'image', 'url': 'http://images.cocodataset.org/val2017/000000039769.jpg'},
            {'type':"text", "text":"What do you see in this image?."}
        ]
    },
]

# Set generation mode to `text` to perform text generation.
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(model_id,
            device_map="auto")

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    generation_mode="text",
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

output = model.generate(**inputs, max_new_tokens=40,generation_mode='text',do_sample=True)
text = processor.decode(output[0], skip_special_tokens=True)
print(text)

Inferensi multi gambar

Janus dapat melakukan inferensi dengan beberapa gambar sebagai input, di mana gambar dapat berasal dari prompt yang sama atau prompt yang berbeda dalam inferensi batched, di mana model memproses banyak percakapan secara paralel. Berikut cara melakukannya:


from transformers import JanusForConditionalGeneration, JanusProcessor


model_id = "deepseek-community/Janus-Pro-1B"

image_urls = [
    "http://images.cocodataset.org/val2017/000000039769.jpg",
    "https://www.ilankelman.org/stopsigns/australia.jpg",
    "https://huggingface.co/microsoft/kosmos-2-patch14-224/resolve/main/snowman.jpg"
]

messages = [
    [
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "What’s the difference between"},
                {"type": "image", "url": image_urls[0]},
                {"type": "text", "text": " and "},
                {"type": "image", "url": image_urls[1]}
            ]
        }
    ],
    [
        {
            "role": "user",
            "content": [
                {"type": "image", "url": image_urls[2]},
                {"type": "text", "text": "What do you see in this image?"}
            ]
        }
    ]
]

# Load model and processor
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(
    model_id, device_map="auto"
)

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    generation_mode="text",
    tokenize=True,
    padding=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)

# Generate response
output = model.generate(**inputs, max_new_tokens=40, generation_mode='text', do_sample=False)
text = processor.batch_decode(output, skip_special_tokens=True)
print(text)

Generasi Teks ke Gambar

Janus juga dapat menghasilkan gambar berdasarkan prompt.

from transformers import JanusForConditionalGeneration, JanusProcessor


# Set generation mode to `image` to prepare inputs for image generation..

model_id = "deepseek-community/Janus-Pro-1B"
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(model_id,
            device_map="auto")

messages = [
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "A dog running under the rain."},
        ],
     }
]

prompt = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(text=prompt,generation_mode="image",return_tensors="pt").to(model.device)

# Set num_return_sequence parameter to generate multiple images per prompt.
model.generation_config.num_return_sequences = 2
outputs = model.generate(**inputs,
                         generation_mode="image",
                         do_sample=True,
                         use_cache=True,
                         )
# Perform post-processing on the generated token ids.
decoded_image = model.decode_image_tokens(outputs)
images = processor.postprocess(list(decoded_image.float()),return_tensors="PIL.Image.Image").to(model.device)
# Save the image
for i, image in enumerate(images['pixel_values']):
    image.save(f"result{i}.png")

Transformers

Janus

Ikhtisar

Contoh Penggunaan

Inferensi gambar tunggal

Inferensi multi gambar

Generasi Teks ke Gambar

JanusConfig

kelas transformers.JanusConfig

JanusVisionConfig

kelas transformers.JanusVisionConfig

JanusVQVAEConfig

kelas transformers.JanusVQVAEConfig

JanusProcessor

kelas transformers.JanusProcessor

__call__

JanusImageProcessor

kelas transformers.JanusImageProcessor

praproses

JanusImageProcessorPil

kelas transformers.JanusImageProcessorPil

praproses

JanusVisionModel

kelas transformers.JanusVisionModel

forward

JanusVQVAE

kelas transformers.JanusVQVAE

forward

JanusModel

kelas transformers.JanusModel

forward

get_image_features

JanusForConditionalGeneration

kelas transformers.JanusForConditionalGeneration

forward

call