# MADLAD-400

## Genel Bakış

MADLAD-400 modelleri, [MADLAD-400: A Multilingual And Document-Level Large Audited Dataset](https://huggingface.co/papers/2309.04662) makalesinde yayımlandı.

Makalenin özeti aşağıdaki gibidir:

*MADLAD-400'ü tanıtıyoruz; bu, CommonCrawl tabanlı, 419 dili kapsayan, manuel denetlenmiş, genel alan 3T token tek dilli bir veri setidir. MADLAD-400'ün kendi kendine denetlenmesiyle ortaya çıkan sınırlılıkları ve veri denetiminin veri seti oluşturma sürecindeki rolünü tartışıyoruz. Ardından, kamuya açık veriler kullanarak 450'den fazla dili kapsayan 250 milyar token üzerinde 10,7B parametreli çok dilli makine çevirisi modeli eğitip yayımlıyoruz ve bu modelin, önemli ölçüde daha büyük modellerle rekabet edebilir olduğunu, farklı alanlardaki sonuçları raporluyoruz. Ayrıca, 8B parametreli bir dil modeli eğitiyor ve sonuçları az örnekli (few-shot) çeviride değerlendiriyoruz. Temel modelleri 1 araştırma topluluğuna sunuyoruz.*

Bu model [Juarez Bochi](https://huggingface.co/jbochi) tarafından eklendi. Orijinal kontrol noktaları [burada](https://github.com/google-research/google-research/tree/master/madlad_400) bulunabilir.

Bu, birçok düşük kaynaklı dili destekleyen ve çok daha büyük modellerle rekabet edebilen bir makine çevirisi modelidir.

MADLAD-400 ağırlıkları, modelin ince ayarı yapılmadan doğrudan kullanılabilir:

```python
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

model = AutoModelForSeq2SeqLM.from_pretrained("google/madlad400-3b-mt", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/madlad400-3b-mt")

inputs = tokenizer("<2pt> I love pizza!", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Eu amo pizza!']
```

Google aşağıdaki varyantları yayınladı:

- [google/madlad400-3b-mt](https://huggingface.co/google/madlad400-3b-mt)

- [google/madlad400-7b-mt](https://huggingface.co/google/madlad400-7b-mt)

- [google/madlad400-7b-mt-bt](https://huggingface.co/google/madlad400-7b-mt-bt)

- [google/madlad400-10b-mt](https://huggingface.co/google/madlad400-10b-mt)

Orijinal denetim noktaları [burada](https://github.com/google-research/google-research/tree/master/madlad_400) bulunabilir.

Tüm API referansları, kod örnekleri ve defterler için [T5'in dokümantasyon sayfasına](t5) bakın. MADLAD-400'ün eğitimi ve değerlendirilmesine ilişkin daha fazla ayrıntı için model kartına başvurun.

