Datasets documentation

Утилиты

Datasets

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v4.8.4).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Утилиты

Настройка журналирования

🤗 Datasets стремится к прозрачности и ясности в описании своей работы, но иногда это может быть излишне подробным. Мы включили набор методов журналирования, которые позволяют легко регулировать уровень детализации сообщений всей библиотеки. В настоящее время уровень детализации библиотеки по умолчанию установлен на WARNING.

Чтобы изменить уровень детализации, используйте один из прямых сеттеров. Например, вот как изменить уровень детализации на INFO:

import datasets
datasets.logging.set_verbosity_info()

Вы также можете использовать переменную окружения DATASETS_VERBOSITY, чтобы переопределить уровень детализации по умолчанию, установив одно из следующих значений: debug, info, warning, error, critical:

DATASETS_VERBOSITY=error ./myprogram.py

Все методы этого модуля журналирования описаны ниже. Основные из них:

logging.get_verbosity() для получения текущего уровня детализации в логгере
logging.set_verbosity() для установки уровня детализации по вашему выбору

В порядке от наименее к наиболее подробным (с соответствующими значениями int):

logging.CRITICAL или logging.FATAL (целое значение, 50): сообщать только о самых критических ошибках.
logging.ERROR (целое значение, 40): сообщать только об ошибках.
logging.WARNING или logging.WARN (целое значение, 30): сообщает только об ошибках и предупреждениях. Это уровень по умолчанию, используемый библиотекой.
logging.INFO (целое значение, 20): сообщает об ошибках, предупреждениях и базовой информации.
logging.DEBUG (целое значение, 10): выводить всю информацию.

datasets.utils.logging.get_verbosity

< source >

( )

Возвращает текущий уровень для корневого логгера библиотеки HuggingFace datasets.

Библиотека HuggingFace datasets поддерживает следующие уровни журналирования:

datasets.logging.CRITICAL, datasets.logging.FATAL

datasets.logging.ERROR

datasets.logging.WARNING, datasets.logging.WARN

datasets.logging.INFO

datasets.logging.DEBUG

datasets.utils.logging.set_verbosity

< source >

( verbosity: int )

Параметры

verbosity — Уровень ведения журнала, например, datasets.logging.DEBUG и datasets.logging.INFO.

Установите уровень для корневого логгера библиотеки Hugging Face Datasets.

datasets.utils.logging.set_verbosity_info

< source >

( )

Установите уровень корневого логгера библиотеки Hugging Face datasets на INFO.

Это отобразит большую часть информации журнала и прогресс-бары tqdm.

Краткая форма вызова datasets.logging.set_verbosity(datasets.logging.INFO).

datasets.utils.logging.set_verbosity_warning

< source >

( )

Установите уровень корневого логгера библиотеки Hugging Face datasets на WARNING.

Это отобразит только предупреждения, сообщения об ошибках и полосы tqdm.

Краткая форма вызова datasets.logging.set_verbosity(datasets.logging.WARNING).

datasets.utils.logging.set_verbosity_debug

< source >

( )

Установите уровень корневого логгера библиотеки Hugging Face datasets на DEBUG.

Это отобразит всю информацию журнала и прогресс-бары tqdm.

Краткая форма вызова datasets.logging.set_verbosity(datasets.logging.DEBUG).

datasets.utils.logging.set_verbosity_error

< source >

( )

Установите уровень корневого логгера библиотеки Hugging Face datasets на ERROR.

Это отобразит только информацию об ошибках в журнале и полосы tqdm.

Краткая форма вызова datasets.logging.set_verbosity(datasets.logging.ERROR).

datasets.utils.logging.disable_propagation

< source >

( )

Отключите распространение логов библиотеки. Обратите внимание, что по умолчанию распространение логов отключено.

datasets.utils.logging.enable_propagation

< source >

( )

Включите распространение логов библиотеки. Отключите обработчик по умолчанию библиотеки Hugging Face datasets, чтобы избежать дублирования записей в журнале, если корневой логгер был настроен.

Настройка индикаторов прогресса

По умолчанию во время загрузки и предобработки набора данных отображаются индикаторы прогресса tqdm. Их можно отключить глобально, задав переменную окружения HF_DATASETS_DISABLE_PROGRESS_BARS. Также их можно включать и отключать с помощью функций enable_progress_bars() и disable_progress_bars(). Если переменная окружения задана, она имеет приоритет над вспомогательными функциями.

datasets.enable_progress_bars

< source >

( )

Включает глобальные индикаторы прогресса, используемые в datasets, если переменная окружения HF_DATASETS_DISABLE_PROGRESS_BARS не установлена.

Используйте disable_progress_bars(), чтобы отключить их.

datasets.disable_progress_bars

< source >

( )

Глобально отключить полосы прогресса, используемые в datasets, если переменная окружения HF_DATASETS_DISABLE_PROGRESS_BARS не была установлена.

Используйте enable_progress_bars(), чтобы включить их снова.

datasets.are_progress_bars_disabled

< source >

( )

Возвращает, глобально отключены ли полосы прогресса.

Индикаторы прогресса, используемые в datasets, можно глобально включать или отключать с помощью enable_progress_bars() и disable_progress_bars() либо установив переменную окружения HF_DATASETS_DISABLE_PROGRESS_BARS.

Update on GitHub

←Классы таблиц