Hugging Face's logo

Transformers documentation

Утилиты для конвейеров

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Утилиты для конвейеров

На этой странице перечислены все вспомогательные функции, которые библиотека предоставляет для конвейеров.

Большинство из них полезны только в том случае, если вы изучаете код моделей в библиотеке.

Обработка аргументов

класс transformers.pipelines.ArgumentHandler

< >

( )

Базовый интерфейс для обработки аргументов каждого Pipeline.

класс transformers.pipelines.ZeroShotClassificationArgumentHandler

< >

( )

Обрабатывает аргументы для zero-shot-классификации текста, превращая каждую возможную метку в пару premise/hypothesis для NLI.

Формат данных

класс transformers.PipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite: bool = False )

Параметры

  • output_path (str) — Путь для сохранения исходящих данных.
  • input_path (str) — Где искать входные данные.
  • column (str) — Столбец для чтения.
  • overwrite (bool, необязательный, по умолчанию False) — Следует ли перезаписывать output_path.

Базовый класс для всех поддерживаемых форматами данных пайплайнов как для чтения, так и для записи. В настоящее время поддерживаются следующие форматы данных:

  • JSON
  • CSV
  • stdin/stdout (конвейер)

PipelineDataFormat также включает утилиты для работы с несколькими столбцами, например, сопоставление столбцов датасета с аргументами пайплайна в формате dataset_kwarg_1=dataset_column_1.

from_str

< >

( format: stroutput_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False ) → PipelineDataFormat

Параметры

  • format (str) — Формат желаемого конвейера. Допустимые значения: "json", "csv" или "pipe".
  • output_path (str, необязательный) — Куда сохранять исходящие данные.
  • input_path (str, необязательный) — Место, где искать входные данные.
  • column (str, необязательный) — Столбец для чтения.
  • overwrite (bool, необязательный, по умолчанию False) — Следует ли перезаписывать output_path.

Возвращает

PipelineDataFormat

Правильный формат данных.

Создаёт экземпляр подходящего подкласса PipelineDataFormat в зависимости от format.

сохранить

< >

( data: dict | list[dict] )

Параметры

  • data (dict или список dict) — Данные для сохранения.

Сохраните предоставленный объект данных с представлением для текущего PipelineDataFormat.

save_binary

< >

( data: dict | list[dict] ) → str

Параметры

  • data (dict или список dict) — Данные для сохранения.

Возвращает

str

Путь, по которому были сохранены данные.

Сохраните предоставленный объект данных на диск в формате двоичных данных pickle.

класс transformers.CsvPipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False )

Параметры

  • output_path (str) — Путь для сохранения исходящих данных.
  • input_path (str) — Где искать входные данные.
  • column (str) — Столбец для чтения.
  • overwrite (bool, необязательный, по умолчанию False) — Следует ли перезаписывать output_path.

Поддержка конвейеров с использованием формата данных CSV.

сохранить

< >

( data: list[dict] )

Параметры

  • data (list[dict]) — Данные для сохранения.

Сохраните предоставленный объект данных с представлением для текущего PipelineDataFormat.

класс transformers.JsonPipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False )

Параметры

  • output_path (str) — Путь для сохранения исходящих данных.
  • input_path (str) — Где искать входные данные.
  • column (str) — Столбец для чтения.
  • overwrite (bool, необязательный, по умолчанию False) — Следует ли перезаписывать output_path.

Поддержка конвейеров, использующих формат файлов JSON.

сохранить

< >

( data: dict )

Параметры

  • data (dict) — Данные для сохранения.

Сохраните предоставленный объект данных в файл json.

класс transformers.PipedPipelineDataFormat

< >

( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite: bool = False )

Параметры

  • output_path (str) — Путь для сохранения исходящих данных.
  • input_path (str) — Где искать входные данные.
  • column (str) — Столбец для чтения.
  • overwrite (bool, необязательный, по умолчанию False) — Следует ли перезаписывать output_path.

Чтение данных из конвейерного ввода в процесс python. Для данных с несколькими столбцами столбцы должны разделяться

Если указаны столбцы, то выводом будет словарь вида {column_x: value_x}

сохранить

< >

( data: dict )

Параметры

  • data (dict) — Данные для сохранения.

Выведите данные.

Утилиты

класс transformers.pipelines.PipelineException

< >

( task: strmodel: strreason: str )

Параметры

  • task (str) — Задача конвейера.
  • model (str) — Модель, используемая конвейером.
  • reason (str) — Сообщение об ошибке для отображения.

Возникает в Pipeline при обработке call.

Update on GitHub

←Утилиты для отладки моделей Утилиты для токенизаторов→