Вывод оценки (всегда содержит метки), используемый для вычисления метрик.

Вспомогательная функция для воспроизводимого поведения при распределённом обучении. См. https://pytorch.org/docs/stable/notes/randomness.html для pytorch

Вспомогательная функция для воспроизводимого поведения: устанавливает seed в random, numpy, torch (если установлено).

Декоратор, заставляющий все процессы в распределённом обучении ждать, пока каждый local_master выполнит определённое действие.

Внутренний класс, который просто вызывает список обратных вызовов по порядку.

Этот подкласс argparse.ArgumentParser использует аннотации типов в dataclasses для генерации аргументов.

Класс спроектирован для удобной работы с нативным argparse. В частности, после инициализации вы можете добавить в парсер дополнительные аргументы (не поддерживаемые dataclass), и после разбора получите их в виде дополнительного namespace. Необязательно: для создания подгрупп аргументов используйте атрибут _argument_group_name в dataclass.

Этот класс отладки помогает обнаружить и понять, где модель начинает получать очень большие или очень малые значения, а что ещё важнее — элементы весов и активаций, равные nan или inf.

Существуют 2 рабочих режима:

1. Обнаружение переполнения/недополнения (по умолчанию)
2. Отслеживание абсолютных минимальных/максимальных значений конкретной партии без обнаружения

Режим 1: обнаружение переполнения/недополнения

debug_overflow = DebugUnderflowOverflow(model)

затем запустите обучение в обычном режиме, и если nan или inf обнаружится хотя бы в одном из элементов весов, входных или выходных данных, этот модуль выбросит исключение и выведет max_frames_to_save кадров, приведших к этому событию, при этом каждый кадр сообщает

1. полное имя модуля с указанием имени класса, для которого был выполнен forward
2. абсолютные минимальное и максимальное значения всех элементов весов каждого модуля, а также входных и выходных данных

Например, ниже приведены заголовок и последние кадры отчёта о детекции для запуска google/mt5-small в fp16

Detected inf/nan during batch_number=0
Last 21 forward frames:
abs min  abs max  metadata
[...]
                  encoder.block.2.layer.1.DenseReluDense.wi_0 Linear
2.17e-07 4.50e+00 weight
1.79e-06 4.65e+00 input[0]
2.68e-06 3.70e+01 output
                  encoder.block.2.layer.1.DenseReluDense.wi_1 Linear
8.08e-07 2.66e+01 weight
1.79e-06 4.65e+00 input[0]
1.27e-04 2.37e+02 output
                  encoder.block.2.layer.1.DenseReluDense.wo Linear
1.01e-06 6.44e+00 weight
0.00e+00 9.74e+03 input[0]
3.18e-04 6.27e+04 output
                  encoder.block.2.layer.1.DenseReluDense T5DenseGatedGeluDense
1.79e-06 4.65e+00 input[0]
3.18e-04 6.27e+04 output
                  encoder.block.2.layer.1.dropout Dropout
3.18e-04 6.27e+04 input[0]
0.00e+00      inf output

Здесь видно, что T5DenseGatedGeluDense.forward привело к выходным активациям, максимальное абсолютное значение которых составило около 62,7K, что очень близко к верхнему пределу fp16 в 64K. На следующем кадре мы видим Dropout, который перенормирует веса после обнуления некоторых элементов, что выталкивает максимальное абсолютное значение за пределы 64K, и возникает переполнение.

Как видно, именно предыдущие кадры следует рассматривать, когда значения начинают становиться очень большими для чисел fp16.

Отслеживание выполняется в прямом хуке, который вызывается сразу после завершения forward.

debug_overflow = DebugUnderflowOverflow(model, max_frames_to_save=100)

Чтобы убедиться, что вы правильно настроили эту функцию отладки и планируете использовать её в обучении, которое может занять несколько часов, сначала запустите её с обычным трассированием для нескольких батчей, как описано в следующем разделе.

Режим 2. Отслеживание конкретных абсолютных минимальных/максимальных значений батча без обнаружения

Второй режим работы — это трассировка по батчам с отключённой функцией обнаружения переполнения/недополнения.

Допустим, вы хотите отслеживать абсолютные минимальные и максимальные значения для всех компонентов каждого вызова forward

debug_overflow = DebugUnderflowOverflow(model, trace_batch_nums=[1, 3])

Теперь полные батчи 1 и 3 будут отслеживаться в том же формате, что описан выше. Нумерация батчей начинается с нуля.

Это полезно, если вы знаете, что программа начинает работать некорректно после определённого номера батча, — так вы можете сразу перейти к нужному участку.

Ранняя остановка:

debug_overflow = DebugUnderflowOverflow(model, trace_batch_nums=[1, 3], abort_after_batch_num=3)

Эта функция в основном полезна в режиме трассировки, но вы можете использовать её в любом режиме.

Производительность:

Поскольку этот модуль измеряет абсолютные min/`max каждого веса модели при каждом прямом проходе, он замедляет обучение. Поэтому не забудьте отключить его, как только необходимость в отладке будет устранена.