Transformers

Transformers は、テキスト、コンピュータビジョン、オーディオ、ビデオ、マルチモーダルといった最先端の機械学習モデルのモデル定義フレームワークとして機能し、推論と学習の両方をサポートします。

モデル定義を一元化し、エコシステム全体でその定義が合意されるようにします。transformersはフレームワーク間の要です。モデル定義がサポートされていれば、ほとんどの学習フレームワーク（Axolotl、Unsloth、DeepSpeed、FSDP、PyTorch-Lightning など）、推論エンジン（vLLM、SGLang、TGI など）、およびtransformersのモデル定義を活用する関連モデリングライブラリ（llama.cpp、mlx など）と互換性があります。

最先端の新しいモデルのサポートを支援し、そのモデル定義をシンプルでカスタマイズ可能かつ効率的なものにすることで、その利用の民主化を推進することを約束しています。

Hugging Face Hubには、使用可能なTransformersのモデルチェックポイントが100万点以上あります。

今日Hubを探索してモデルを見つけ、Transformers を使ってすぐに始めましょう。

モデルのタイムラインを探索して、Transformersにおける最新のテキスト、ビジョン、オーディオ、マルチモーダルモデルのアーキテクチャを発見してください。

機能

Transformers は、最先端の事前学習済みモデルによる推論や学習に必要なすべてを提供します。主な機能には、以下が含まれます。

Pipeline: テキスト生成、画像セグメンテーション、自動音声認識、文書質問応答など、多くの機械学習タスク向けに設計された、シンプルで最適化された推論クラス。
Trainer: PyTorchモデルの学習および分散学習に対応し、混合精度、torch.compile、FlashAttentionなどの機能をサポートする包括的なトレーナー。
generate: 大規模言語モデル（LLM）やビジョン言語モデル（VLM）による高速なテキスト生成。ストリーミングや複数のデコーディング戦略に対応しています。

設計

Transformersの設計原則について詳しく知るには、Philosophyをお読みください。

Transformers は、開発者や機械学習エンジニア、研究者向けに設計されています。主な設計原則は以下の通りです。

高速かつ使いやすさ: すべてのモデルは、3つの主要クラス（configuration、model、preprocessor）のみで実装されており、PipelineまたはTrainerを使って、推論やトレーニングに素早く利用できます。
事前学習済みモデル: 完全に新しいモデルを訓練する代わりに事前学習済みモデルを使用することで、カーボンフットプリント、計算コスト、時間を削減できます。各事前学習済みモデルは、元のモデルにできるだけ忠実に再現されており、最先端の性能を提供します。

学習

Transformers が初めての方、または transformer モデルについてさらに詳しく知りたい方には、LLM コースから始めることをお勧めします。この包括的なコースでは、transformer モデルの動作原理の基礎から、さまざまなタスクにおける実践的な応用までを網羅しています。高品質なデータセットのキュレーションから、大規模言語モデルのファインチューニング、推論機能の実装に至るまで、完全なワークフローを学ぶことができます。理論と実践的な演習の両方が含まれており、学習を進めるにつれて transformer モデルに関する確固とした基礎知識を身につけることができます。

Update on GitHub