Transformers documentation

トークナイズアルゴリズム

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

トークナイズアルゴリズム

Transformersは3つのサブワードトークナイズアルゴリズムをサポートしています: Byte pair encoding (BPE)、Unigram、WordPieceです。これらはテキストを単語と文字の間の単位に分割し、意味のある部分を取り込みながら、語彙をコンパクトに保ちます。一般的な単語は単一のトークンとしてそのまま保持され、まれな単語や未知の単語はサブワードに分解されます。

例えば、annoyinglyは語彙によって["annoying", "ly"]や["annoy", "ing", "ly"]のように分割される場合があります。サブワード分割により、モデルは既知のサブワードから見たことのない単語を表現できます。

サブワードトークナイズは、サブワードを連結して長く複雑な単語を形成できるトルコ語のような言語において特に有用です。

バイトペアエンコーディング (BPE)

Byte pair encoding(BPE)は、Transformersで最も人気のあるトークナイズアルゴリズムであり、Llama、Gemma、Qwen2などのモデルで使用されています。

  1. Pre-tokenizerは、空白やその他のルールに基づいてテキストを分割し、一意の単語のセットとその頻度を生成します。
("hug", 10), ("pug", 5), ("pun", 12), ("bun", 4), ("hugs", 5)
  1. BPEアルゴリズムは、すべての文字から基本語彙["b", "g", "h", "n", "p", "s", "u"]を作成します。
("h" "u" "g", 10), ("p" "u" "g", 5), ("p" "u" "n", 12), ("b" "u" "n", 4), ("h" "u" "g" "s", 5)
  1. BPE は個々の文字から始まり、最も頻繁に隣接して出現するペアを反復的にマージします。"u" と "g" は "hug"、"pug"、"hugs" で最も頻繁に一緒に出現するため、BPE はこれらを "ug" にマージし、語彙に追加します。
("h" "ug", 10), ("p" "ug", 5), ("p" "u" "n", 12), ("b" "u" "n", 4), ("h" "ug" "s", 5)
  1. 次に多いペアは"u"と"n"で、"pun"と"bun"に現れるため、"un"にマージされます。
("h" "ug", 10), ("p" "ug", 5), ("p" "un", 12), ("b" "un", 4), ("h" "ug" "s", 5)
  1. 語彙は現在、["b", "g", "h", "n", "p", "s", "u", "ug", "un"] になっています。BPE は、ベースの語彙サイズとマージの数の合計である目標語彙サイズに達するまで、マージルールの学習を続けます。GPT は、語彙サイズ 40,478(ベーストークン 478 + マージ 40,000)の BPE を使用しています。

ベース語彙に存在しない文字は、"<unk>"のような不明トークンにマッピングされます。実際には、ベース語彙は学習中に確認されたすべての文字をカバーしているため、不明トークンは稀です。

バイトレベルBPE

すべての Unicode 文字を含めると、基本語彙が膨大になってしまいます。バイトレベル BPE は代わりに 256 個のバイト値を基本語彙として使用し、"<unk>" トークンなしですべての単語をトークン化できるようにします。GPT-2 は、語彙サイズ 50,257(256 個のバイトトークン + 50,000 回のマージ + 特殊なテキスト終了トークン)のバイトレベル BPE を使用しています。

ユニグラム

Unigramは、Transformersにおける人気2位のトークナイズアルゴリズムであり、T5、BigBird、Pegasusなどのモデルで使用されています。

  1. Unigramは、大規模な候補部分文字列のセットから開始し、各候補にはその出現頻度に基づいた確率スコアが割り当てられます。
("hug", 10), ("pug", 5), ("pun", 12), ("bun", 4), ("hugs", 5)
["b", "g", "h", "n", "p", "s", "u", "hu", "ug", "un", "pu", "bu", "gs", "hug", "pug", "pun", "bun", "ugs", "hugs"]
  1. Unigram は、各ステップにおいて現在の語彙が学習データをどれだけ効果的にトークン化できるかを評価します。

  2. Unigramでは、各トークンについて、そのトークンを削除した場合に全体の損失がどれだけ増加するかを測定します。例えば、"pu"を削除しても、"pug"と"pun"は依然として["p", "ug"]と["p", "un"]にトークン化できるため、損失への影響はほとんどありません。

    "ug" を削除すると、"hug"、"pug"、"hugs" がすべてこれに依存しているため、損失が大幅に増加します。

  3. Unigramは、損失の増加が最も小さいトークン、通常は下位10〜20%を削除します。基本文字は常に保持されるため、任意の単語をトークン化できます。"bu"、"pu"、"gs"、"pug"、"bun"などのトークンは、全体の尤度への寄与が最も小さかったため削除されます。

["b", "g", "h", "n", "p", "s", "u", "hu", "ug", "un", "hug", "pun", "ugs", "hugs"]
  1. ステップ2〜4は、語彙が目標サイズに達するまで繰り返されます。

推論時、Unigram は単語を複数の方法でトークン化できます。"hugs" は ["hug", "s"]、["h", "ug", "s"]、または ["h", "u", "g", "s"] になる可能性があります。Unigram は確率の最も高いトークン化を選択します。マージルールに基づく決定論的な BPE とは異なり、Unigram は確率的であり、学習中に異なるトークン化をサンプリングできます。

SentencePiece

SentencePieceは、生テキストに直接BPEまたはUnigramを適用するトークナイズライブラリです。標準的なBPEやUnigramは単語が空白で区切られていることを前提としていますが、これは空白を使わない中国語や日本語には適用できません。

  1. SentencePiece は入力テキストを生のバイトまたは文字ストリームとして扱い、スペース文字を"▁"として語彙に含めます。
("▁hug", 10), ("▁pug", 5), ("▁pun", 12), ("▁bun", 4), ("▁hugs", 5)
  1. SentencePiece はその後、テキストに BPE または Unigram を適用します。

デコード時、SentencePiece はすべてのトークンを連結し、"▁" をスペースに置き換えます。

WordPiece

WordPieceは、DistilBERTやElectraなどのBERT系モデルに使用されるトークナイズアルゴリズムです。

BPEと同様に、下から上へペアを反復的にマージしますが、ペアの選択方法が異なります。

("h" "u" "g", 10), ("p" "u" "g", 5), ("p" "u" "n", 12), ("b" "u" "n", 4), ("h" "u" "g" "s", 5)

WordPieceは、学習データの尤度を最大化するペアをマージします。

score("u", "g") = frequency("ug") / (frequency("u") × frequency("g"))
ペア周波数スコア
"u" + "g"2020 / (36 × 20) = 0.028
"u" + "n"1616 / (36 × 16) = 0.028
"h" + "u"1515 / (15 × 36) = 0.028
"g" + "s"55 / (20 × 5) = 0.050

スコアは、"g" と "s" のマージを有利にします。これは、結合されたトークンの出現頻度が、個々のトークンの頻度から期待される値よりも高いためです。BPE は、最も頻繁に出現するペアをマージするだけです。一方、WordPiece は、各マージがどの程度情報量を持っているかを測定します。偶然の確率よりもはるかに頻繁に一緒に出現する 2 つのトークンは、最初にマージされます。

単語レベルのトークン化

Word-level tokenizationは、スペース、句読点、または言語固有のルールに基づいてテキストをトークンに分割します。

["Do", "n't", "you", "love", "🤗", "Transformers", "?", "We", "sure", "do", "."]

すべての固有の単語が独自のトークンを必要とするため、語彙サイズは非常に大きくなります。これはすべてのバリエーション("love"、"loving"、"loved"、"lovingly")を含むためです。その結果、埋め込み行列が巨大になり、メモリと計算量が増加します。語彙にない単語は"<unk>"トークンにマッピングされるため、モデルは新しい単語を処理できません。

文字レベルのトークン化

文字レベルのトークン化は、テキストを1文字ずつに分割します。

["D", "o", "n", "'", "t", "y", "o", "u", "l", "o", "v", "e"]

語彙は小さく、すべての単語を表現できるため、"<unk>"の問題はありません。ただし、シーケンスははるかに長くなります。"l"のような文字は"love"よりもはるかに意味が薄いため、パフォーマンスが低下します。

リソース

  • LLMコースの第6章では、ゼロからトークナイザーをトレーニングする方法を学び、BPE、Unigram、WordPieceアルゴリズムの違いについて説明します。
Update on GitHub