Este modelo foi publicado em papers do HF em 2020-02-12 e contribuído para o Hugging Face Transformers em 2023-06-20.

T5v1.1

Visão geral

O T5v1.1 foi lançado no repositório google-research/text-to-text-transfer-transformer por Colin Raffel et al. Trata-se de uma versão aprimorada do modelo T5 original. Este modelo foi contribuído por patrickvonplaten. O código original pode ser encontrado aqui.

Dicas de uso

É possível inserir diretamente os pesos do T5v1.1 em um modelo T5, da seguinte forma:

from transformers import T5ForConditionalGeneration


model = T5ForConditionalGeneration.from_pretrained("google/t5-v1_1-base", device_map="auto")

A versão 1.1 do T5 inclui as seguintes melhorias em comparação com o modelo T5 original:

• Ativação GEGLU na camada oculta de feed-forward, em vez de ReLU. Veja este artigo.

• O Dropout foi desativado no pré-treinamento (melhoria na qualidade). O Dropout deve ser reativado durante o fine-tuning.

• Pré-treinado apenas em C4, sem misturar as tarefas de nível inferior.

• Sem compartilhamento de parâmetros entre a camada de incorporação e a camada de classificador.

• “xl” e “xxl” substituem “3B” e “11B”. As formas dos modelos são um pouco diferentes - d_model maior e num_heads e d_ff menores.

Nota: a versão 1.1 do T5 foi pré-treinada apenas em C4, sem nenhum treinamento supervisionado. Portanto, esse modelo precisa ser ajustado (fine-tuned) antes de ser utilizável em uma tarefa de nível inferior (downstream), ao contrário do modelo T5 original. Como o t5v1.1 foi pré-treinado de forma não supervisionada, não há nenhuma vantagem real em usar um prefixo de tarefa durante o ajuste (fine-tuning) de tarefa única. Se você estiver fazendo ajuste (fine-tuning) multitarefa, deve usar um prefixo.

A Google lançou as seguintes variantes:

• google/t5-v1_1-small

• google/t5-v1_1-base

• google/t5-v1_1-large

• google/t5-v1_1-xl

• google/t5-v1_1-xxl.

Consulte a página de documentação do T5 para obter todas as referências de API, dicas, exemplos de código e notebooks.