Transformers documentation

혼합 정밀도 학습

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

혼합 정밀도 학습

Full precision (fp32) training은 모든 저장 및 연산을 32비트로 수행합니다. Mixed precision은 계산 집약적인 forward pass와 backward pass에 fp16 또는 bf16을 사용하되, optimizer update를 위해 가중치의 fp32 복사본을 유지합니다. 연산 속도가 빨라지고, 가중치 및 activation 메모리가 줄어들며, 학습 안정성이 유지됩니다.

┌─────────────────────────────────────────────────────┐
│           MIXED PRECISION TRAINING LOOP             │
│                                                     │
│  fp32 master weights ──cast──▶ fp16/bf16            │
│         ▲                          │                │
│         │                    FORWARD (autocast)     │
│         │                    matmuls in fp16/bf16   │
│         │                    reductions stay fp32   │
│         │                          │ loss           │
│         │                    LOSS SCALE ×S  ──fp16  │
│         │                          │                │
│         │                    BACKWARD               │
│         │                    grads in fp16/bf16     │
│         │                          │                │
│         │                    UNSCALE ÷S    ──fp16   │
│         │                    check inf/nan          │
│         │                    cast grads → fp32      │
│         └────────────────────────── optimizer.step  │
└─────────────────────────────────────────────────────┘

bf16() 또는 fp16()을 True로 설정하여 혼합 정밀도 훈련을 활성화합니다. 둘 다 16비트 타입이지만, bf16은 fp32와 동일한 지수 범위를 가지므로 거의 오버플로가 발생하지 않습니다. Ampere 또는 더 새로운 GPU(A100, H100)에서는 bf16을 사용하고, V100이나 T4와 같은 구형 하드웨어에서는 fp16으로 전환하세요.

모델을 fp32로 로드하세요. 그렇지 않으면 autocast가 아무 동작도 하지 않게 됩니다. bf16 또는 fp16으로 로드하면 옵티마이저가 업데이트할 fp32 마스터 복사본이 남지 않습니다.

from transformers import TrainingArguments

args = TrainingArguments(..., bf16=True)
args = TrainingArguments(..., fp16=True)

모델이 bf16/fp16에서 수치적으로 안정적이라면, 혼합 정밀도를 완전히 생략하고 bf16/fp16로 직접 로드하고 학습할 수 있습니다. 이를 통해 메모리에서 가중치의 fp32 복사본을 피할 수 있습니다.

tf32

tf32는 Ampere GPU에서 matmul 연산 시 23비트 대신 10비트 mantissa를 사용하는 계산 모드입니다. 특히 bf16/fp16과 함께 사용할 때 속도 향상을 가져올 수 있습니다. PyTorch는 Ampere 및 이후 GPU에서 기본적으로 matmul에 대해 tf32를 활성화하지만, TrainingArguments에서 명시적으로 설정하면 PyTorch 버전이나 환경 기본값과 관계없이 활성화가 보장됩니다.

from transformers import TrainingArguments

args = TrainingArguments(..., bf16=True, tf32=True)

다음 단계

  • 커스텀 퓨즈드 커널을 사용하여 학습을 가속화하는 방법을 배우려면 Kernels 가이드를 참조하세요.
  • 추가적인 처리량을 위해 forward와 backward pass를 컴파일하는 방법을 배우려면 torch.compile 가이드를 참조하세요.
Update on GitHub