Transformers documentation

Mistral 3

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Mô hình này đã được đóng góp cho Hugging Face Transformers vào ngày 2025-03-18.

Mistral 3

Mistral 3 là một mô hình được tối ưu hóa về độ trễ, với số lượng lớp ít hơn đáng kể nhằm giảm thời gian cho mỗi bước truyền thẳng. Mô hình này bổ sung khả năng hiểu thị giác và hỗ trợ độ dài ngữ cảnh dài lên đến 128K token mà không làm giảm hiệu suất.

Bạn có thể tìm thấy các checkpoint Mistral 3 gốc dưới tổ chức Mistral AI.

Mô hình này được đóng góp bởi cyrilvallez và yonigozlan. Nhấp vào các mô hình Mistral3 ở thanh bên phải để xem thêm các ví dụ về cách áp dụng Mistral3 cho các tác vụ khác nhau.

Đặt use_kernels=True trong from_pretrained() để thay thế các lớp được hỗ trợ bằng các kernel tối ưu từ Hub. Xem Tải kernel để biết thêm.

Ví dụ dưới đây minh họa cách tạo văn bản cho một hình ảnh bằng Pipeline và lớp AutoModel.

Pipeline

AutoModel

Ghi chú

Mistral 3 hỗ trợ tạo văn bản thuần túy.

import torch
from transformers import AutoProcessor, AutoModelForImageTextToText

model_checkpoint = ".mistralai/Mistral-Small-3.1-24B-Instruct-2503"
processor = AutoProcessor.from_pretrained(model_checkpoint)
model = AutoModelForImageTextToText.from_pretrained(model_checkpoint, device_map="auto")

SYSTEM_PROMPT = "You are a conversational agent that always answers straight to the point, always end your accurate response with an ASCII drawing of a cat."
user_prompt = "Give me 5 non-formal ways to say 'See you later' in French."

messages = [
    {"role": "system", "content": SYSTEM_PROMPT},
    {"role": "user", "content": user_prompt},
]

text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = processor(text=text, return_tensors="pt").to(0)
generate_ids = model.generate(**inputs, max_new_tokens=50, do_sample=False)
decoded_output = processor.batch_decode(generate_ids[:, inputs["input_ids"].shape[1] :], skip_special_tokens=True)[0]

print(decoded_output)
"1. À plus tard!
 2. Salut, à plus!
 3. À toute!
 4. À la prochaine!
 5. Je me casse, à plus!

/_/\ ( o.o )

^ <

Mistral 3 chấp nhận đầu vào hình ảnh và văn bản dạng lô (batched).

import torch
from transformers import AutoProcessor, AutoModelForImageTextToText

model_checkpoint = "mistralai/Mistral-Small-3.1-24B-Instruct-2503"
processor = AutoProcessor.from_pretrained(model_checkpoint)
model = AutoModelForImageTextToText.from_pretrained(model_checkpoint, device_map="auto")

messages = [
     [
         {
             "role": "user",
             "content": [
                 {"type": "image", "url": "https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/images/llava_view.jpg"},
                 {"type": "text", "text": "Write a haiku for this image"},
             ],
         },
     ],
     [
         {
             "role": "user",
             "content": [
                 {"type": "image", "url": "https://www.ilankelman.org/stopsigns/australia.jpg"},
                 {"type": "text", "text": "Describe this image"},
             ],
         },
     ],
 ]


 inputs = processor.apply_chat_template(messages, padding=True, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt").to(model.device)

 output = model.generate(**inputs, max_new_tokens=25)

 decoded_outputs = processor.batch_decode(output, skip_special_tokens=True)
 decoded_outputs
["Write a haiku for this imageCalm waters reflect\nWhispers of the forest's breath\nPeace on wooden path"
, "Describe this imageThe image depicts a vibrant street scene in what appears to be a Chinatown district. The focal point is a traditional Chinese"]

Mistral 3 cũng hỗ trợ đầu vào hình ảnh và văn bản dạng lô (batched) với số lượng hình ảnh khác nhau cho từng văn bản. Ví dụ bên dưới thực hiện lượng tử hóa mô hình bằng bitsandbytes.

import torch
from transformers import AutoProcessor, AutoModelForImageTextToText, BitsAndBytesConfig

model_checkpoint = "mistralai/Mistral-Small-3.1-24B-Instruct-2503"
processor = AutoProcessor.from_pretrained(model_checkpoint)
quantization_config = BitsAndBytesConfig(load_in_4bit=True)
model = AutoModelForImageTextToText.from_pretrained(
     model_checkpoint, quantization_config=quantization_config
 device_map="auto")

messages = [
     [
         {
             "role": "user",
             "content": [
                 {"type": "image", "url": "https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/images/llava_view.jpg"},
                 {"type": "text", "text": "Write a haiku for this image"},
             ],
         },
     ],
     [
         {
             "role": "user",
             "content": [
                 {"type": "image", "url": "https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/images/statue_of_liberty.jpg"},
                 {"type": "image", "url": "https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/images/dreamstime_golden_gate_flowers.jpg"},
                 {"type": "text", "text": "These images depict two different landmarks. Can you identify them?"},
             ],
         },
     ],
 ]

 inputs = processor.apply_chat_template(messages, padding=True, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt").to(model.device)

 output = model.generate(**inputs, max_new_tokens=25)

 decoded_outputs = processor.batch_decode(output, skip_special_tokens=True)
 decoded_outputs
["Write a haiku for this imageSure, here is a haiku inspired by the image:\n\nCalm lake's wooden path\nSilent forest stands guard\n", "These images depict two different landmarks. Can you identify them? Certainly! The images depict two iconic landmarks:\n\n1. The first image shows the Statue of Liberty in New York City."]

Transformers

Mistral 3

Ghi chú

Mistral3Config

lớp transformers.Mistral3Config

MistralCommonBackend

lớp transformers.MistralCommonBackend

add_special_tokens

add_tokens

apply_chat_template

batch_decode

build_inputs_with_special_tokens

convert_added_tokens

create_token_type_ids_from_sequences

decode

encode

from_pretrained

get_chat_template

get_special_tokens_mask

get_vocab

số_token_đặc_biệu_cần_thêm

prepare_for_model

save_chat_templates

save_pretrained

save_vocabulary

tokenize

truncate_sequences

Mistral3Model

lớp transformers.Mistral3Model

forward

get_image_features

get_placeholder_mask

Mistral3ForConditionalGeneration

lớp transformers.Mistral3ForConditionalGeneration

forward

get_image_features