# 翻訳

翻訳は、ある言語のテキスト列を別の言語に変換する処理です。これは、翻訳や要約のように、入力から出力を返す強力なフレームワークであるシーケンス・ツー・シーケンス問題として定式化できるタスクの一つです。翻訳システムは、異なる言語間のテキスト翻訳に広く利用されていますが、音声やその組み合わせ、例えばテキスト・トゥ・スピーチやスピーチ・トゥ・テキストにも利用できます。

このガイドでは、次の方法について説明します：

1. [OPUS Books](https://huggingface.co/datasets/Helsinki-NLP/opus_books) データセットの英語-フランス語サブセットで [T5](https://huggingface.co/google-t5/t5-small) をファインチューニングし、英語テキストをフランス語に翻訳します。
2. ファインチューニングしたモデルを推論に使用します。

このタスクと互換性のあるすべてのアーキテクチャとチェックポイントを確認するには、[タスクページ](https://huggingface.co/tasks/translation)を参照することをお勧めします。

開始前に、必要なライブラリがすべてインストールされていることを確認してください。

```bash
pip install transformers datasets evaluate sacrebleu
```

Hugging Face アカウントにログインして、モデルをアップロードし、コミュニティと共有できるようにすることを推奨します。プロンプトが表示されたら、ログイン用のトークンを入力してください:

```py
>>> from huggingface_hub import notebook_login

>>> notebook_login()
```

## OPUS Books データセットを読み込む

🤗 Datasets ライブラリから、[OPUS Books](https://huggingface.co/datasets/Helsinki-NLP/opus_books) データセットの英語-フランス語サブセットを読み込むことから始めます:

```py
>>> from datasets import load_dataset

>>> books = load_dataset("Helsinki-NLP/opus_books", "en-fr")
```

[train_test_split](https://huggingface.co/docs/datasets/main/en/package_reference/main_classes#datasets.Dataset.train_test_split)メソッドを使用して、データセットを学習セットとテストセットに分割します:

```py
>>> books = books["train"].train_test_split(test_size=0.2)
```

次に、例を見てみましょう。

```py
>>> books["train"][0]
{'id': '90560',
 'translation': {'en': 'But this lofty plateau measured only a few fathoms, and soon we reentered Our Element.',
  'fr': 'Mais ce plateau élevé ne mesurait que quelques toises, et bientôt nous fûmes rentrés dans notre élément.'}}
```

`translation`: テキストの英語とフランス語への翻訳。

## 前処理

次のステップは、英語-フランス語の言語ペアを処理するために T5 トークナイザーを読み込むことです：

```py
>>> from transformers import AutoTokenizer

>>> checkpoint = "google-t5/t5-small"
>>> tokenizer = AutoTokenizer.from_pretrained(checkpoint)
```

作成する前処理関数は、次のことを必要とします。

1. 入力にプロンプトを前置きして、T5 にこれが翻訳タスクであることを伝えます。複数の NLP タスクに対応できるモデルの中には、特定のタスクに対してプロンプトを必要とするものがあります。
2. `text_target` パラメータにターゲット言語（フランス語）を設定し、トークナイザーがターゲットテキストを正しく処理するようにしてください。`text_target` を設定しない場合、トークナイザーはターゲットテキストを英語として処理します。
3. `max_length` パラメータで設定された最大長を超えないように、シーケンスを切り詰めます。

```py
>>> source_lang = "en"
>>> target_lang = "fr"
>>> prefix = "translate English to French: "

>>> def preprocess_function(examples):
...     inputs = [prefix + example[source_lang] for example in examples["translation"]]
...     targets = [example[target_lang] for example in examples["translation"]]
...     model_inputs = tokenizer(inputs, text_target=targets, max_length=128, truncation=True)
...     return model_inputs
```

データセット全体に前処理関数を適用するには、🤗 Datasets の [map](https://huggingface.co/docs/datasets/main/en/package_reference/main_classes#datasets.Dataset.map) メソッドを使用します。`map` 関数に `batched=True` を設定すると、データセットの複数の要素を一度に処理できるため、処理を高速化できます:

```py
>>> tokenized_books = books.map(preprocess_function, batched=True)
```

次に、[DataCollatorForSeq2Seq](/docs/transformers/main/ja/main_classes/data_collator#transformers.DataCollatorForSeq2Seq) を使用してバッチの例を作成します。データセット全体を最大長にパディングするのではなく、コラレーション時にバッチ内の最長長に合わせて文を*動的にパディング*する方が効率的です。

```py
>>> from transformers import DataCollatorForSeq2Seq

>>> data_collator = DataCollatorForSeq2Seq(tokenizer=tokenizer, model=checkpoint)
```

## 評価

学習中にメトリクスを含めることは、モデルの性能を評価する上でしばしば役立ちます。🤗 [Evaluate](https://huggingface.co/docs/evaluate/index) ライブラリを使用すると、評価メソッドをすばやく読み込むことができます。このタスクでは、[SacreBLEU](https://huggingface.co/spaces/evaluate-metric/sacrebleu) メトリクスを読み込みます（メトリクスの読み込みと計算方法の詳細については、🤗 Evaluate の [クイックツアー](https://huggingface.co/docs/evaluate/a_quick_tour) を参照してください）：

```py
>>> import evaluate

>>> metric = evaluate.load("sacrebleu")
```

次に、予測値とラベルを[compute](https://huggingface.co/docs/evaluate/main/en/package_reference/main_classes#evaluate.EvaluationModule.compute)に渡し、SacreBLEUスコアを計算する関数を作成します:

```py
>>> import numpy as np

>>> def postprocess_text(preds, labels):
...     preds = [pred.strip() for pred in preds]
...     labels = [[label.strip()] for label in labels]

...     return preds, labels

>>> def compute_metrics(eval_preds):
...     preds, labels = eval_preds
...     if isinstance(preds, tuple):
...         preds = preds[0]
...     decoded_preds = tokenizer.batch_decode(preds, skip_special_tokens=True)

...     labels = np.where(labels != -100, labels, tokenizer.pad_token_id)
...     decoded_labels = tokenizer.batch_decode(labels, skip_special_tokens=True)

...     decoded_preds, decoded_labels = postprocess_text(decoded_preds, decoded_labels)

...     result = metric.compute(predictions=decoded_preds, references=decoded_labels)
...     result = {"bleu": result["score"]}

...     prediction_lens = [np.count_nonzero(pred != tokenizer.pad_token_id) for pred in preds]
...     result["gen_len"] = np.mean(prediction_lens)
...     result = {k: round(v, 4) for k, v in result.items()}
...     return result
```

`compute_metrics`関数はこれで準備が整いました。学習を設定する際に、この関数に戻ります。

## 学習

[Trainer](/docs/transformers/main/ja/main_classes/trainer#transformers.Trainer)によるモデルのファインチューニングに慣れていない場合は、[こちら](../training)の基本的なチュートリアルをご覧ください!

いよいよモデルの学習を開始できます![AutoModelForSeq2SeqLM](/docs/transformers/main/ja/model_doc/auto#transformers.AutoModelForSeq2SeqLM)でT5を読み込みましょう:

```py
>>> from transformers import AutoModelForSeq2SeqLM, Seq2SeqTrainingArguments, Seq2SeqTrainer

>>> model = AutoModelForSeq2SeqLM.from_pretrained(checkpoint)
```

この時点で、残りのステップは3つだけです:

1. [Seq2SeqTrainingArguments](/docs/transformers/main/ja/main_classes/trainer#transformers.Seq2SeqTrainingArguments) で学習ハイパーパラメータを定義します。必須のパラメータは `output_dir` だけで、モデルの保存先を指定します。`push_to_hub=True` を設定することで、このモデルを Hub にプッシュできます（モデルをアップロードするには Hugging Face にサインインしている必要があります）。各エポックの終了時、[Trainer](/docs/transformers/main/ja/main_classes/trainer#transformers.Trainer) は SacreBLEU メトリックを評価し、学習チェックポイントを保存します。
2. モデル、データセット、トークナイザー、データコラテーター、`compute_metrics` 関数とともに、学習引数を [Seq2SeqTrainer](/docs/transformers/main/ja/main_classes/trainer#transformers.Seq2SeqTrainer) に渡します。
3. [train()](/docs/transformers/main/ja/main_classes/trainer#transformers.Trainer.train)を呼び出して、モデルをファインチューニングします。

```py
>>> training_args = Seq2SeqTrainingArguments(
...     output_dir="my_awesome_opus_books_model",
...     eval_strategy="epoch",
...     learning_rate=2e-5,
...     per_device_train_batch_size=16,
...     per_device_eval_batch_size=16,
...     weight_decay=0.01,
...     save_total_limit=3,
...     num_train_epochs=2,
...     predict_with_generate=True,
...     fp16=True, #change to bf16=True for XPU
...     push_to_hub=True,
... )

>>> trainer = Seq2SeqTrainer(
...     model=model,
...     args=training_args,
...     train_dataset=tokenized_books["train"],
...     eval_dataset=tokenized_books["test"],
...     processing_class=tokenizer,
...     data_collator=data_collator,
...     compute_metrics=compute_metrics,
... )

>>> trainer.train()
```

トレーニングが完了したら、[push_to_hub()](/docs/transformers/main/ja/main_classes/trainer#transformers.Trainer.push_to_hub) メソッドでモデルを Hub に共有し、誰でもそのモデルを利用できるようにしてください。

```py
>>> trainer.push_to_hub()
```

翻訳用のモデルをファインチューニングする方法について、より詳細な例を確認するには、対応する[PyTorchノートブック](https://colab.research.google.com/github/huggingface/notebooks/blob/main/examples/translation.ipynb)をご覧ください。

## 推論

素晴らしい、モデルのファインチューニングが完了したので、推論に使用できます！

翻訳したいテキストをいくつか考えてください。T5では、タスクに応じて入力にプレフィックスを付ける必要があります。英語からフランス語への翻訳の場合、以下のように入力にプレフィックスを付けます。

```py
>>> text = "translate English to French: Legumes share resources with nitrogen-fixing bacteria."
```

テキストをトークン化し、`input_ids`をPyTorchテンソルとして返します:

```py
>>> from transformers import AutoTokenizer

>>> tokenizer = AutoTokenizer.from_pretrained("username/my_awesome_opus_books_model")
>>> inputs = tokenizer(text, return_tensors="pt").input_ids
```

[generate()](/docs/transformers/main/ja/main_classes/text_generation#transformers.GenerationMixin.generate)メソッドを使用して翻訳を作成します。テキスト生成の異なる戦略や、生成を制御するためのパラメータの詳細については、[Text Generation](../main_classes/text_generation) APIを参照してください。

```py
>>> from transformers import AutoModelForSeq2SeqLM

>>> model = AutoModelForSeq2SeqLM.from_pretrained("username/my_awesome_opus_books_model")
>>> outputs = model.generate(inputs, max_new_tokens=40, do_sample=True, top_k=30, top_p=0.95)
```

生成されたトークンIDをテキストにデコードします：

```py
>>> tokenizer.decode(outputs[0], skip_special_tokens=True)
'Les lignées partagent des ressources avec des bactéries enfixant l'azote.'
```

