Transformers documentation
T5v1.1
このモデルは2020年2月12日にHF papersで公開され、2023年6月20日にHugging Face Transformersに貢献されました。
T5v1.1
概要
T5v1.1は、Colin Raffel氏らによってgoogle-research/text-to-text-transfer-transformerリポジトリに公開されました。これは元のT5モデルの改良版です。 このモデルはpatrickvonplaten氏によって貢献されました。元のコードはこちらで確認できます。
使用のコツ
T5v1.1の重みをT5モデルに直接読み込むことができます。以下のようにします:
from transformers import T5ForConditionalGeneration
model = T5ForConditionalGeneration.from_pretrained("google/t5-v1_1-base", device_map="auto")T5 Version 1.1は、元のT5モデルと比較して、以下の改善が含まれています。
フィードフォワードの隠れ層では、ReLU ではなく GEGLU アクティベーションを使用します。この論文を参照してください。
事前学習ではDropoutは無効化されていました（品質向上のため）。ファインチューニング時には、Dropoutを再度有効にする必要があります。
C4のみで事前学習を行い、下流タスクを混合していません。
埋め込み層と分類器層の間では、パラメータの共有は行われません。
“xl”と“xxl”は、“3B”と“11B”に置き換わります。モデルの形状はわずかに異なり、
d_modelは大きくなり、num_headsとd_ffは小さくなります。
注: C4での事前学習のみが行われたT5 Version 1.1は、教師あり学習を含まないため、元のT5モデルとは異なり、下流タスクで利用可能にするにはファインチューニングが必要です。t5v1.1は教師なしで事前学習されているため、単一タスクのファインチューニングにおいてタスクプレフィックスを使用する実際の利点はありません。マルチタスクのファインチューニングを行う場合は、プレフィックスを使用してください。
Googleは、以下のバリアントをリリースしました:
Update on GitHubAPIリファレンス、ヒント、コード例、ノートブックの詳細については、T5のドキュメントページを参照してください。