Transformers documentation
MADLAD-400
Bu model 2023-09-09 tarihinde HF papers'ta yayımlandı ve 2023-11-28 tarihinde Hugging Face Transformers'a katkıda bulunuldu.
MADLAD-400
Genel Bakış
MADLAD-400 modelleri, MADLAD-400: A Multilingual And Document-Level Large Audited Dataset makalesinde yayımlandı.
Makalenin özeti aşağıdaki gibidir:
MADLAD-400'ü tanıtıyoruz; bu, CommonCrawl tabanlı, 419 dili kapsayan, manuel denetlenmiş, genel alan 3T token'lık tek dilli bir veri setidir. MADLAD-400'ün kendisini denetlerken ortaya çıkan sınırlılıkları ve veri denetiminin veri seti oluşturma sürecindeki rolünü tartışıyoruz. Ardından, kamuya açık veriler kullanarak 450'den fazla dili kapsayan 250 milyar token üzerinde 10,7B parametreli çok dilli makine çevirisi modeli eğitip yayımlıyoruz ve bu modelin, önemli ölçüde daha büyük modellerle rekabet edebilir olduğunu, farklı alanlardaki sonuçları raporluyoruz. Ayrıca, 8B parametreli bir dil modeli eğitiyor ve az örnekli (few-shot) çeviri sonuçlarını değerlendiriyoruz. Temel modelleri 1 araştırma topluluğuna sunuyoruz.
Bu model Juarez Bochi tarafından eklendi. Orijinal kontrol noktaları burada bulunabilir.
Bu, birçok düşük kaynaklı dili destekleyen ve çok daha büyük modellerle rekabet edebilen bir makine çevirisi modelidir.
MADLAD-400 ağırlıkları, modelin ince ayarı yapılmadan doğrudan kullanılabilir:
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
model = AutoModelForSeq2SeqLM.from_pretrained("google/madlad400-3b-mt", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/madlad400-3b-mt")
inputs = tokenizer("<2pt> I love pizza!", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Eu amo pizza!']Google aşağıdaki varyantları yayınladı:
Orijinal denetim noktaları burada bulunabilir.
Update on GitHubTüm API referansları, kod örnekleri ve defterler için T5'in dokümantasyon sayfasına bakın. MADLAD-400'ün eğitimi ve değerlendirilmesine ilişkin daha fazla ayrıntı için model kartına başvurun.