Hugging Face's logo

Datasets documentation

Méthodes de chargement

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.2.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Méthodes de chargement

Méthodes pour lister et charger des jeux de données :

Jeux de données

datasets.load_dataset

< >

( path: strname: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonesplit: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = Nonecache_dir: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Noneverification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = Nonekeep_in_memory: typing.Optional[bool] = Nonesave_infos: bool = Falserevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = Nonestreaming: bool = Falsenum_proc: typing.Optional[int] = Nonestorage_options: typing.Optional[dict] = None**config_kwargs ) → Dataset or DatasetDict

Paramètres

  • path (str) — Chemin ou nom du jeu de données. Si path est un dépôt de jeu de données sur le hub HF (listez tous les jeux de données disponibles avec huggingface_hub.list_datasets) -> chargez le jeu de données à partir des fichiers pris en charge dans le dépôt (csv, json, parquet, etc.), par exemple 'username/dataset_name', un dépôt de jeu de données sur le hub HF contenant les fichiers de données. Si path est un répertoire dans un Storage Bucket sur le hub HF (listez vos buckets avec huggingface_hub.list_buckets) -> chargez le jeu de données à partir des fichiers pris en charge dans le répertoire (csv, json, parquet, etc.), par exemple 'buckets/username/bucket_name/my_dataset'. Si path est un répertoire local -> chargez le jeu de données à partir des fichiers pris en charge dans le répertoire (csv, json, parquet, etc.), par exemple './path/to/directory/with/my/csv/data'. Si path est le nom d'un constructeur de jeu de données et que data_files ou data_dir est spécifié (les constructeurs disponibles sont « json », « csv », « parquet », « arrow », « text », « xml », « webdataset », « imagefolder », « audiofolder », « videofolder », « meshfolder ») -> chargez le jeu de données à partir des fichiers dans data_files ou data_dir, par exemple 'parquet'. Utilisez un chemin hf:// comme 'hf://datasets/username/dataset_name' pour autoriser uniquement le distant. Utilisez un chemin absolu pour autoriser uniquement le local.

    • si path est un dépôt de jeu de données sur le hub HF (listez tous les jeux de données disponibles avec huggingface_hub.list_datasets) -> charge le jeu de données depuis les fichiers pris en charge dans le dépôt (csv, json, parquet, etc.) par ex. 'username/dataset_name', un dépôt de jeu de données sur le hub HF contenant les fichiers de données.

    • si path est un répertoire au sein d'un Storage Bucket sur le HF Hub (listez vos buckets avec huggingface_hub.list_buckets) -> charge le jeu de données à partir des fichiers pris en charge dans le répertoire (csv, json, parquet, etc.) par ex. 'buckets/username/bucket_name/my_dataset'.

    • si path est un répertoire local -> charge le jeu de données à partir des fichiers pris en charge dans le répertoire (csv, json, parquet, etc.) par ex. './path/to/directory/with/my/csv/data'.

    • si path est le nom d’un constructeur de jeu de données et que data_files ou data_dir est spécifié (les constructeurs disponibles sont « json », « csv », « parquet », « arrow », « text », « xml », « webdataset », « imagefolder », « audiofolder », « videofolder », « meshfolder ») -> charger le jeu de données à partir des fichiers de data_files ou de data_dir par ex. 'parquet'.

    Utilisez un chemin hf:// comme 'hf://datasets/username/dataset_name' pour autoriser uniquement le mode distant. Utilisez un chemin absolu pour autoriser uniquement le mode local.

  • name (str, facultatif) — Définit le nom de la configuration du jeu de données.
  • data_dir (str, facultatif) — Définit le data_dir de la configuration du jeu de données. S’il est spécifié pour les constructeurs génériques (csv, text, etc.) ou les jeux de données du Hub et que data_files est None, le comportement est identique à la transmission de os.path.join(data_dir, **) en tant que data_files pour référencer tous les fichiers d’un répertoire.
  • data_files (str ou Sequence ou Mapping, facultatif) — Chemin(s) du ou des fichier(s) de données source.
  • split (Split ou str) — Quelle partie des données charger. Si None, renvoie un dict contenant toutes les parties (généralement datasets.Split.TRAIN et datasets.Split.TEST). Si une valeur est fournie, renvoie un seul Dataset. Les parties peuvent être combinées et spécifiées comme dans tensorflow-datasets.
  • cache_dir (str, facultatif) — Répertoire de lecture/écriture des données. Par défaut : "~/.cache/huggingface/datasets".
  • features (Features, facultatif) — Définit le type de fonctionnalités à utiliser pour ce jeu de données.
  • download_config (DownloadConfig, facultatif) — Paramètres de configuration de téléchargement spécifiques.
  • download_mode (DownloadMode ou str, par défaut REUSE_DATASET_IF_EXISTS) — Mode de téléchargement/génération.
  • verification_mode (VerificationMode ou str, défaut : BASIC_CHECKS) — Mode de vérification déterminant les contrôles à exécuter sur les informations du téléchargé/traité (sommes de contrôle/taille/splits/…).

    Ajouté dans 2.9.1

  • keep_in_memory (bool, par défaut None) — Indique s'il faut copier le jeu de données en mémoire. Si None, le jeu de données ne sera pas copié en mémoire, sauf si cela est explicitement activé en définissant datasets.config.IN_MEMORY_MAX_SIZE sur une valeur non nulle. Voir plus de détails dans la section améliorer les performances.
  • revision (Version ou str, facultatif) — Version du jeu de données à charger. Les jeux de données disposant de leur propre dépôt git sur le Datasets Hub, la version par défaut « main » correspond à leur branche « main ». Vous pouvez spécifier une version différente de la version par défaut « main » en utilisant un SHA de commit ou un tag git du dépôt du jeu de données.
  • token (str ou bool, facultatif) — Chaîne de caractères ou booléen facultatif à utiliser comme jeton Bearer pour les fichiers distants sur le Datasets Hub. Si True, ou non spécifié, le jeton est récupéré depuis "~/.huggingface".
  • streaming (bool, a par défaut False) — Si défini sur True, ne téléchargez pas les fichiers de données. À la place, les données sont diffusées progressivement pendant l'itération sur le jeu de données. Un IterableDataset ou IterableDatasetDict est retourné à la place dans ce cas.

    Notez que le streaming fonctionne pour les jeux de données qui utilisent des formats de données permettant l’itération, comme txt, csv, jsonl par exemple. Les fichiers Json peuvent être téléchargés en totalité. Le streaming à partir de fichiers zip ou gzip distants est également pris en charge, mais d’autres formats compressés comme rar et xz ne sont pas encore pris en charge. Le format tgz ne permet pas le streaming.

  • num_proc (int, facultatif, par défaut None) — Nombre de processus lors du téléchargement et de la génération du jeu de données localement. Le multiprocessing est désactivé par défaut.

    Ajouté dans 2.7.0

  • storage_options (dict, facultatif, par défaut None) — Expérimental. Paires clé/valeur à transmettre au backend système de fichiers du jeu de données, le cas échéant.

    Ajouté dans 2.11.0

  • **config_kwargs (arguments supplémentaires) — Arguments nommés à passer à BuilderConfig et utilisés dans DatasetBuilder.

Retourne

Dataset ou DatasetDict

  • si split n'est pas None : le jeu de données demandé,
  • si split est None, un DatasetDict contenant chaque split.

ou IterableDataset ou IterableDatasetDict : si streaming=True

  • si split n'est pas None, le jeu de données est demandé
  • si split est None, un ~datasets.streaming.IterableDatasetDict contenant chaque split.

Charger un jeu de données depuis le Hugging Face Hub ou un jeu de données local.

Vous pouvez trouver la liste des jeux de données sur le Hub ou avec huggingface_hub.list_datasets.

Un jeu de données est un répertoire qui contient des fichiers de données dans des formats génériques (JSON, CSV, Parquet, etc.) et éventuellement dans une structure générique (Webdataset, ImageFolder, AudioFolder, VideoFolder, MeshFolder, etc.)

En interne, cette fonction effectue les opérations suivantes :

  1. Charger un constructeur de jeu de données :

    • Trouvez le format de données le plus courant dans le jeu de données et choisissez son constructeur associé (JSON, CSV, Parquet, Webdataset, ImageFolder, AudioFolder, MeshFolder, etc.)
    • Trouver dans quelle partition (par exemple train/test) va chaque fichier, en fonction des noms de fichiers et de répertoires ou de la configuration YAML
    • Il est également possible de spécifier manuellement data_files et le constructeur de jeu de données à utiliser (par exemple, « parquet »).

  2. Exécuter le constructeur de jeu de données :

    Dans le cas général :

    • Téléchargez les fichiers de données du jeu de données s'ils ne sont pas déjà disponibles localement ou en cache.

    • Traitez et mettez en cache le jeu de données dans des tableaux Arrow typés pour le cache.

      Les tables Arrow sont des tables typées de longueur arbitraire, capables de stocker des objets imbriqués et de correspondre aux types génériques numpy/pandas/python. Elles peuvent être accédées directement depuis le disque, chargées en RAM ou même diffusées en continu sur le web.

    Dans le cas du streaming :

    • Ne téléchargez ni ne mettez en cache quoi que ce soit. À la place, le jeu de données est chargé de manière paresseuse et sera diffusé en direct lors de l'itération.

  3. Retourne un jeu de données construit à partir des parties demandées dans split (par défaut : toutes).

Exemple :

Charger un jeu de données depuis le Hugging Face Hub :

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train')

# Load a subset or dataset configuration (here 'sst2')
>>> from datasets import load_dataset
>>> ds = load_dataset('nyu-mll/glue', 'sst2', split='train')

# Manual mapping of data files to splits
>>> data_files = {'train': 'train.csv', 'test': 'test.csv'}
>>> ds = load_dataset('namespace/your_dataset_name', data_files=data_files)

# Manual selection of a directory to load
>>> ds = load_dataset('namespace/your_dataset_name', data_dir='folder_name')

Charger un jeu de données depuis un Storage Bucket sur le Hugging Face Hub :

>>> from datasets import load_dataset
>>> ds = load_dataset('buckets/username/bucket_name/rotten_tomatoes', split='train')

Charger un jeu de données local :

# Load a CSV file
>>> from datasets import load_dataset
>>> ds = load_dataset('csv', data_files='path/to/local/my_dataset.csv')

# Load a JSON file
>>> from datasets import load_dataset
>>> ds = load_dataset('json', data_files='path/to/local/my_dataset.json')

Charger un IterableDataset :

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train', streaming=True)

Charger un jeu de données d’images avec le constructeur de jeu de données ImageFolder :

>>> from datasets import load_dataset
>>> ds = load_dataset('imagefolder', data_dir='/path/to/images', split='train')

datasets.load_from_disk

< >

( dataset_path: typing.Union[str, bytes, os.PathLike]keep_in_memory: typing.Optional[bool] = Nonestorage_options: typing.Optional[dict] = None ) → Dataset or DatasetDict

Paramètres

  • dataset_path (path-like) — Chemin (par ex. "dataset/train") ou URI distante (par ex. "s3://my-bucket/dataset/train") du répertoire Dataset ou DatasetDict à partir duquel le jeu de données/dictionnaire de jeux de données sera chargé.
  • keep_in_memory (bool, par défaut None) — Indique s'il faut copier le jeu de données en mémoire. Si None, le jeu de données ne sera pas copié en mémoire, sauf si cela est explicitement activé en définissant datasets.config.IN_MEMORY_MAX_SIZE sur une valeur non nulle. Voir plus de détails dans la section améliorer les performances.
  • storage_options (dict, facultatif) — Paires clé/valeur à transmettre au backend système de fichiers, le cas échéant.

    Ajouté dans 2.9.0

Retourne

Dataset ou DatasetDict

  • Si dataset_path est le chemin d’un répertoire de jeu de données : le jeu de données demandé.
  • Si dataset_path est le chemin d’un répertoire de dictionnaire de jeu de données, un DatasetDict contenant chaque split.

Charge un jeu de données précédemment enregistré à l’aide de save_to_disk() depuis un répertoire de jeu de données, ou depuis un système de fichiers à l’aide de toute implémentation de fsspec.spec.AbstractFileSystem.

Exemple :

>>> from datasets import load_from_disk
>>> ds = load_from_disk('path/to/dataset/directory')

datasets.load_dataset_builder

< >

( path: strname: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonecache_dir: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonerevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = Nonestorage_options: typing.Optional[dict] = None**config_kwargs )

Paramètres

  • path (str) — Chemin ou nom du jeu de données. Si path est un dépôt de jeu de données sur le hub HF (listez tous les jeux de données disponibles avec huggingface_hub.list_datasets) -> charge le dataset builder à partir des fichiers pris en charge dans le dépôt (csv, json, parquet, etc.), par exemple 'username/dataset_name', un dépôt de jeu de données sur le hub HF contenant les fichiers de données. Si path est un répertoire dans un Storage Bucket sur le hub HF (listez vos buckets avec huggingface_hub.list_buckets) -> charge le jeu de données à partir des fichiers pris en charge dans le répertoire (csv, json, parquet, etc.), par exemple 'buckets/username/bucket_name/my_dataset'. Si path est un répertoire local -> charge le dataset builder à partir des fichiers pris en charge dans le répertoire (csv, json, parquet, etc.), par exemple './path/to/directory/with/my/csv/data'. Si path est le nom d'un dataset builder et que data_files ou data_dir est spécifié (les builders disponibles sont « json », « csv », « parquet », « arrow », « text », « xml », « webdataset », « imagefolder », « audiofolder », « videofolder », « meshfolder ») -> charge le dataset builder à partir des fichiers dans data_files ou data_dir, par exemple 'parquet'. Utilisez un chemin hf:// comme 'hf://datasets/username/dataset_name' pour autoriser uniquement le distant. Utilisez un chemin absolu pour autoriser uniquement le local.

    • si path est un dépôt de jeu de données sur le hub HF (listez tous les jeux de données disponibles avec huggingface_hub.list_datasets) -> charge le constructeur de jeu de données à partir des fichiers pris en charge dans le dépôt (csv, json, parquet, etc.) par ex. 'username/dataset_name', un dépôt de jeu de données sur le hub HF contenant les fichiers de données.

    • si path est un répertoire au sein d'un Storage Bucket sur le HF Hub (listez vos buckets avec huggingface_hub.list_buckets) -> charge le jeu de données à partir des fichiers pris en charge dans le répertoire (csv, json, parquet, etc.) par ex. 'buckets/username/bucket_name/my_dataset'.

    • si path est un répertoire local -> charge le constructeur de jeu de données à partir des fichiers pris en charge dans le répertoire (csv, json, parquet, etc.) par ex. './path/to/directory/with/my/csv/data'.

    • si path est le nom d’un constructeur de jeu de données et que data_files ou data_dir est spécifié (les constructeurs disponibles sont « json », « csv », « parquet », « arrow », « text », « xml », « webdataset », « imagefolder », « audiofolder », « videofolder », « meshfolder ») -> charger le constructeur de jeu de données à partir des fichiers de data_files ou de data_dir par ex. 'parquet'.

    Utilisez un chemin hf:// comme 'hf://datasets/username/dataset_name' pour autoriser uniquement le mode distant. Utilisez un chemin absolu pour autoriser uniquement le mode local.

  • name (str, facultatif) — Définit le nom de la configuration du jeu de données.
  • data_dir (str, facultatif) — Définit le data_dir de la configuration du jeu de données. S’il est spécifié pour les constructeurs génériques (csv, text, etc.) ou les jeux de données du Hub et que data_files est None, le comportement est identique à la transmission de os.path.join(data_dir, **) en tant que data_files pour référencer tous les fichiers d’un répertoire.
  • data_files (str ou Sequence ou Mapping, facultatif) — Chemin(s) du ou des fichier(s) de données source.
  • cache_dir (str, facultatif) — Répertoire de lecture/écriture des données. Par défaut : "~/.cache/huggingface/datasets".
  • features (Features, facultatif) — Définit le type de features à utiliser pour ce jeu de données.
  • download_config (DownloadConfig, facultatif) — Paramètres de configuration de téléchargement spécifiques.
  • download_mode (DownloadMode ou str, par défaut REUSE_DATASET_IF_EXISTS) — Mode de téléchargement/génération.
  • revision (Version ou str, facultatif) — Version du jeu de données à charger. Les jeux de données disposant de leur propre dépôt git sur le Datasets Hub, la version par défaut « main » correspond à leur branche « main ». Vous pouvez spécifier une version différente de la version par défaut « main » en utilisant un SHA de commit ou un tag git du dépôt du jeu de données.
  • token (str ou bool, facultatif) — Chaîne de caractères ou booléen facultatif à utiliser comme jeton Bearer pour les fichiers distants sur le Datasets Hub. Si True, ou non spécifié, le jeton est récupéré depuis "~/.huggingface".
  • storage_options (dict, facultatif, par défaut None) — Expérimental. Paires clé/valeur à transmettre au backend système de fichiers du jeu de données, le cas échéant.

    Ajouté dans 2.11.0

  • **config_kwargs (arguments supplémentaires) — Arguments nommés à passer à BuilderConfig et utilisés dans DatasetBuilder.

Charger un constructeur de jeu de données qui peut être utilisé pour :

  • Inspecter les informations générales nécessaires pour construire un jeu de données (répertoire de cache, configuration, informations sur le jeu de données, fonctionnalités, fichiers de données, etc.)
  • Télécharger et préparer le jeu de données sous forme de fichiers Arrow dans le cache
  • Obtenir un jeu de données en flux sans rien télécharger ni mettre en cache

Vous pouvez trouver la liste des jeux de données sur le Hub ou avec huggingface_hub.list_datasets.

Un jeu de données est un répertoire qui contient des fichiers de données dans des formats génériques (JSON, CSV, Parquet, etc.) et éventuellement dans une structure générique (Webdataset, ImageFolder, AudioFolder, VideoFolder, MeshFolder, etc.)

Exemple :

>>> from datasets import load_dataset_builder
>>> ds_builder = load_dataset_builder('cornell-movie-review-data/rotten_tomatoes')
>>> ds_builder.info.features
{'label': ClassLabel(names=['neg', 'pos']),
 'text': Value('string')}

datasets.get_dataset_config_names

< >

( path: strrevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonedata_files: typing.Union[str, list, dict, NoneType] = None**download_kwargs )

Paramètres

  • path (str) — chemin vers le dépôt de jeu de données. Peut être soit :
    • un chemin local vers le répertoire du jeu de données contenant les fichiers de données, par exemple './dataset/squad'
    • un identifiant de jeu de données sur le Hugging Face Hub (listez tous les jeux de données et identifiants disponibles avec huggingface_hub.list_datasets), par exemple 'rajpurkar/squad', 'nyu-mll/glue' ou`'openai/webtext'
  • revision (Union[str, datasets.Version], facultatif) — Si spécifié, le module de jeu de données sera chargé depuis le dépôt datasets à cette version. Par défaut :
    • il est défini sur la version locale de la lib.
    • il tentera également de le charger depuis la branche principale s’il n’est pas disponible dans la version locale de la lib. Spécifier une version différente de votre version locale de la lib peut entraîner des problèmes de compatibilité.
  • download_config (DownloadConfig, facultatif) — Paramètres de configuration de téléchargement spécifiques.
  • download_mode (DownloadMode ou str, par défaut REUSE_DATASET_IF_EXISTS) — Mode de téléchargement/génération.
  • data_files (Union[Dict, List, str], facultatif) — Définit les data_files de la configuration du jeu de données.
  • **download_kwargs (arguments de mot-clé supplémentaires) — Attributs facultatifs pour DownloadConfig qui remplaceront les attributs de download_config s'ils sont fournis, par exemple token.

Obtenez la liste des noms de configuration disponibles pour un jeu de données particulier.

Exemple :

>>> from datasets import get_dataset_config_names
>>> get_dataset_config_names("nyu-mll/glue")
['cola',
 'sst2',
 'mrpc',
 'qqp',
 'stsb',
 'mnli',
 'mnli_mismatched',
 'mnli_matched',
 'qnli',
 'rte',
 'wnli',
 'ax']

datasets.get_dataset_infos

< >

( path: strdata_files: typing.Union[str, list, dict, NoneType] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonerevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = None**config_kwargs )

Paramètres

  • path (str) — chemin vers le dépôt de jeu de données. Peut être soit :
    • un chemin local vers le répertoire du jeu de données contenant les fichiers de données, par exemple './dataset/squad'
    • un identifiant de jeu de données sur le Hugging Face Hub (listez tous les jeux de données et identifiants disponibles avec huggingface_hub.list_datasets), par exemple 'rajpurkar/squad', 'nyu-mll/glue' ou`'openai/webtext'
  • revision (Union[str, datasets.Version], facultatif) — Si spécifié, le module de jeu de données sera chargé depuis le dépôt datasets à cette version. Par défaut :
    • il est défini sur la version locale de la lib.
    • il tentera également de le charger depuis la branche principale s’il n’est pas disponible dans la version locale de la lib. Spécifier une version différente de votre version locale de la lib peut entraîner des problèmes de compatibilité.
  • download_config (DownloadConfig, facultatif) — Paramètres de configuration de téléchargement spécifiques.
  • download_mode (DownloadMode ou str, par défaut REUSE_DATASET_IF_EXISTS) — Mode de téléchargement/génération.
  • data_files (Union[Dict, List, str], facultatif) — Définit les data_files de la configuration du jeu de données.
  • token (str ou bool, facultatif) — Chaîne de caractères ou booléen facultatif à utiliser comme jeton Bearer pour les fichiers distants sur le Datasets Hub. Si True, ou non spécifié, le jeton est récupéré depuis "~/.huggingface".
  • **config_kwargs (arguments de mot-clé supplémentaires) — Attributs facultatifs pour la classe de construction qui remplacent les attributs existants s'ils sont fournis.

Obtenir les métadonnées d'un jeu de données, renvoyées sous forme d'un dictionnaire associant le nom de la configuration à un DatasetInfoDict.

Exemple :

>>> from datasets import get_dataset_infos
>>> get_dataset_infos('cornell-movie-review-data/rotten_tomatoes')
{'default': DatasetInfo(description="Movie Review Dataset.
 is a dataset of containing 5,331 positive and 5,331 negative processed
ences from Rotten Tomatoes movie reviews...), ...}

datasets.get_dataset_split_names

< >

( path: strconfig_name: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonerevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = None**config_kwargs )

Paramètres

  • path (str) — chemin vers le dépôt de jeu de données. Peut être soit :
    • un chemin local vers le répertoire du jeu de données contenant les fichiers de données, par exemple './dataset/squad'
    • un identifiant de jeu de données sur le Hugging Face Hub (listez tous les jeux de données et identifiants disponibles avec huggingface_hub.list_datasets), par exemple 'rajpurkar/squad', 'nyu-mll/glue' ou`'openai/webtext'
  • config_name (str, facultatif) — Définit le nom de la configuration du jeu de données.
  • data_files (str ou Sequence ou Mapping, facultatif) — Chemin(s) du ou des fichier(s) de données source.
  • download_config (DownloadConfig, facultatif) — Paramètres de configuration de téléchargement spécifiques.
  • download_mode (DownloadMode ou str, par défaut REUSE_DATASET_IF_EXISTS) — Mode de téléchargement/génération.
  • revision (Version ou str, facultatif) — Version du jeu de données à charger. Les jeux de données disposant de leur propre dépôt git sur le Datasets Hub, la version par défaut « main » correspond à leur branche « main ». Vous pouvez spécifier une version différente de la version par défaut « main » en utilisant un SHA de commit ou un tag git du dépôt du jeu de données.
  • token (str ou bool, facultatif) — Chaîne de caractères ou booléen facultatif à utiliser comme jeton Bearer pour les fichiers distants sur le Datasets Hub. Si True, ou non spécifié, le jeton est récupéré depuis "~/.huggingface".
  • **config_kwargs (arguments de mot-clé supplémentaires) — Attributs facultatifs pour la classe de construction qui remplacent les attributs existants s'ils sont fournis.

Obtenez la liste des splits disponibles pour une configuration et un jeu de données particuliers.

Exemple :

>>> from datasets import get_dataset_split_names
>>> get_dataset_split_names('cornell-movie-review-data/rotten_tomatoes')
['train', 'validation', 'test']

Depuis des fichiers

Configurations utilisées pour charger des fichiers de données. Elles sont utilisées lors du chargement de fichiers locaux ou d'un dépôt de jeu de données :

  • fichiers locaux : load_dataset("parquet", data_dir="path/to/data/dir")
  • dépôt de jeu de données : load_dataset("allenai/c4")

Vous pouvez passer des arguments à load_dataset pour configurer le chargement des données. Par exemple, vous pouvez spécifier le paramètre sep pour définir la CsvConfig utilisée pour charger les données :

load_dataset("csv", data_dir="path/to/data/dir", sep="\t")

Texte

classe datasets.packaged_modules.text.TextConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Noneencoding: str = 'utf-8'encoding_errors: typing.Optional[str] = Nonechunksize: int = 10485760keep_linebreaks: bool = Falsesample_by: typing.Literal['line', 'paragraph', 'document'] = 'line' )

Paramètres

  • features — (Features, facultatif) : Convertit les données en features.
  • encoding — (str, par défaut “utf-8”) : Encodage à utiliser pour décoder le fichier.
  • encoding_errors — (str, facultatif) : Argument permettant de définir la conduite à tenir en cas d’erreur d’encodage. Identique à l’argument error de open().
  • chunksize — (Features, facultatif, par défaut “10MB”) : Taille des blocs pour la lecture des données.
  • keep_linebreaks — (bool, défaut : False) : Indique s'il faut conserver les retours à la ligne.
  • sample_by (Literal["line", "paragraph", "document"], par défaut “line”) — Indique si les données doivent être chargées ligne par ligne, paragraphe par paragraphe ou document par document. Par défaut, une ligne du jeu de données correspond à une ligne.

BuilderConfig pour les fichiers texte.

classe datasets.packaged_modules.text.Text

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

CSV

classe datasets.packaged_modules.csv.CsvConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonesep: str = ','delimiter: typing.Optional[str] = Noneheader: typing.Union[int, list[int], str, NoneType] = 'infer'names: typing.Optional[list[str]] = Nonecolumn_names: typing.Optional[list[str]] = Noneindex_col: typing.Union[int, str, list[int], list[str], NoneType] = Noneusecols: typing.Union[list[int], list[str], NoneType] = Noneprefix: typing.Optional[str] = Nonemangle_dupe_cols: bool = Trueengine: typing.Optional[typing.Literal['c', 'python', 'pyarrow']] = Noneconverters: dict = Nonetrue_values: typing.Optional[list] = Nonefalse_values: typing.Optional[list] = Noneskipinitialspace: bool = Falseskiprows: typing.Union[int, list[int], NoneType] = Nonenrows: typing.Optional[int] = Nonena_values: typing.Union[str, list[str], NoneType] = Nonekeep_default_na: bool = Truena_filter: bool = Trueverbose: bool = Falseskip_blank_lines: bool = Truethousands: typing.Optional[str] = Nonedecimal: str = '.'lineterminator: typing.Optional[str] = Nonequotechar: str = '"'quoting: int = 0escapechar: typing.Optional[str] = Nonecomment: typing.Optional[str] = Noneencoding: typing.Optional[str] = Nonedialect: typing.Optional[str] = Noneerror_bad_lines: bool = Truewarn_bad_lines: bool = Trueskipfooter: int = 0doublequote: bool = Truememory_map: bool = Falsefloat_precision: typing.Optional[str] = Nonechunksize: int = 10000features: typing.Optional[datasets.features.features.Features] = Noneencoding_errors: typing.Optional[str] = 'strict'on_bad_lines: typing.Literal['error', 'warn', 'skip'] = 'error'date_format: typing.Optional[str] = None )

BuilderConfig pour CSV.

classe datasets.packaged_modules.csv.Csv

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

JSON

classe datasets.packaged_modules.json.JsonConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Noneencoding: str = 'utf-8'encoding_errors: typing.Optional[str] = Nonefield: typing.Optional[str] = Noneuse_threads: bool = Trueblock_size: typing.Optional[int] = Nonechunksize: int = 10485760newlines_in_values: typing.Optional[bool] = Noneon_mixed_types: typing.Optional[typing.Literal['use_json']] = 'use_json'parse_agent_traces: bool = True )

BuilderConfig pour JSON.

classe datasets.Json

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

XML

classe datasets.packaged_modules.xml.XmlConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Noneencoding: str = 'utf-8'encoding_errors: typing.Optional[str] = None )

BuilderConfig pour les fichiers xml.

classe datasets.packaged_modules.xml.Xml

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Parquet

classe datasets.packaged_modules.parquet.ParquetConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonebatch_size: typing.Optional[int] = Nonecolumns: typing.Optional[list[str]] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonefragment_scan_options: typing.Optional[pyarrow._dataset_parquet.ParquetFragmentScanOptions] = Noneon_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error' )

Paramètres

  • batch_size (int, facultatif) — Taille des RecordBatches sur lesquels itérer. La valeur par défaut est la taille du groupe de lignes (définie par le premier groupe de lignes).
  • columns (list[str], facultatif) — Liste des colonnes à charger, les autres sont ignorées. Toutes les colonnes sont chargées par défaut.
  • features — (Features, facultatif) : Convertit les données en features.
  • filters (Union[pyarrow.dataset.Expression, list[tuple], list[list[tuple]]], facultatif) — Ne renvoyer que les lignes correspondant au filtre. Si possible, le prédicat est poussé vers le bas afin d’exploiter les informations de partition ou les métadonnées internes présentes dans la source de données, par exemple les statistiques Parquet. Sinon, les RecordBatches chargés sont filtrés avant d’être rendus.
  • fragment_scan_options (pyarrow.dataset.ParquetFragmentScanOptions, facultatif) — Options spécifiques à la lecture des fragments Parquet. Cela est particulièrement utile pour configurer le tampon et la mise en cache.

    Ajouté dans 4.2.0

  • on_bad_files (Literal["error", "warn", "skip"], facultatif, valeur par défaut « error ») — Précise la conduite à tenir lors de la rencontre d'un fichier corrompu (un fichier illisible). Les valeurs autorisées sont :
    • ‘error’, lever une Exception lorsqu'un fichier invalide est rencontré.
    • ‘warn’, émettre un avertissement lorsqu’un fichier invalide est rencontré et ignorer ce fichier.
    • ‘skip’, ignorer les fichiers invalides sans lever d’exception ni d’avertissement lorsqu’ils sont rencontrés.

    Ajouté dans 4.2.0

BuilderConfig pour Parquet.

Exemple :

Charger un sous-ensemble de colonnes :

>>> ds = load_dataset(parquet_dataset_id, columns=["col_0", "col_1"])

Diffuser des données et filtrer efficacement les données, en sautant éventuellement des fichiers ou des groupes de lignes entiers :

>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(parquet_dataset_id, streaming=True, filters=filters)

Augmenter la taille minimale des requêtes lors du streaming de 32MiB (par défaut) à 128MiB et activer le préchargement :

>>> import pyarrow
>>> import pyarrow.dataset
>>> fragment_scan_options = pyarrow.dataset.ParquetFragmentScanOptions(
...     cache_options=pyarrow.CacheOptions(
...         prefetch_limit=1,
...         range_size_limit=128 << 20
...     ),
... )
>>> ds = load_dataset(parquet_dataset_id, streaming=True, fragment_scan_options=fragment_scan_options)

classe datasets.packaged_modules.parquet.Parquet

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Arrow

classe datasets.packaged_modules.arrow.ArrowConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = None )

BuilderConfig pour Arrow.

classe datasets.packaged_modules.arrow.Arrow

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Vortex

classe datasets.packaged_modules.vortex.VortexConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonebatch_size: typing.Optional[int] = Nonecolumns: typing.Optional[list[str]] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonefilters: typing.Union[ForwardRef('vortex.expr.Expr'), list[tuple], list[list[tuple]], NoneType] = Noneon_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error' )

Paramètres

  • batch_size (int, facultatif) — Taille des RecordBatches sur lesquels itérer. La valeur par défaut est définie par le scanner Vortex.
  • columns (list[str], facultatif) — Liste des colonnes à charger, les autres sont ignorées. Toutes les colonnes sont chargées par défaut.
  • features — (Features, facultatif) : Convertit les données en features.
  • filters (Union[vortex.expr.Expr, list[tuple], list[list[tuple]]], facultatif) — Ne renvoyer que les lignes correspondant au filtre. La prédicative est poussée dans le scan Vortex afin que seules les lignes correspondantes soient lues. Les filtres fournis sous forme de liste de tuples (DNF, comme l’accepte le chargeur Parquet) sont convertis en expression Vortex. Les valeurs nulles suivent la sémantique SQL : une valeur nulle ne satisfait aucune comparaison, donc une ligne dont la colonne filtrée est nulle n’est jamais renvoyée. Notez que not in exclut donc les valeurs nulles, alors que le chargeur Parquet les conserve car il construit ~field.isin(values) et qu’une valeur nulle n’est pas dans l’ensemble.
  • on_bad_files (Literal["error", "warn", "skip"], facultatif, valeur par défaut « error ») — Précise la conduite à tenir lors de la rencontre d'un fichier corrompu (un fichier illisible). Les valeurs autorisées sont :
    • ‘error’, lever une Exception lorsqu'un fichier invalide est rencontré.
    • ‘warn’, émettre un avertissement lorsqu’un fichier invalide est rencontré et ignorer ce fichier.
    • ‘skip’, ignorer les fichiers invalides sans lever d’exception ni d’avertissement lorsqu’ils sont rencontrés.

BuilderConfig pour Vortex.

Exemple :

Charger un sous-ensemble de colonnes :

>>> ds = load_dataset(vortex_dataset_id, columns=["col_0", "col_1"])

Stream des données et filtrez-les efficacement, en ignorant des fichiers ou des blocs entiers lorsque c’est possible :

>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(vortex_dataset_id, streaming=True, filters=filters)

classe datasets.packaged_modules.vortex.Vortex

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

SQL

classe datasets.packaged_modules.sql.SqlConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonesql: typing.Union[str, ForwardRef('sqlalchemy.sql.Selectable')] = Nonecon: typing.Union[str, ForwardRef('sqlalchemy.engine.Connection'), ForwardRef('sqlalchemy.engine.Engine'), ForwardRef('sqlite3.Connection')] = Noneindex_col: typing.Union[str, list[str], NoneType] = Nonecoerce_float: bool = Trueparams: typing.Union[list, tuple, dict, NoneType] = Noneparse_dates: typing.Union[list, dict, NoneType] = Nonecolumns: typing.Optional[list[str]] = Nonechunksize: typing.Optional[int] = 10000features: typing.Optional[datasets.features.features.Features] = None )

BuilderConfig pour SQL.

classe datasets.packaged_modules.sql.Sql

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Images

classe datasets.packaged_modules.imagefolder.ImageFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

BuilderConfig pour ImageFolder.

classe datasets.packaged_modules.imagefolder.ImageFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Audio

classe datasets.packaged_modules.audiofolder.AudioFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

Configuration du constructeur pour AudioFolder.

classe datasets.packaged_modules.audiofolder.AudioFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Vidéos

classe datasets.packaged_modules.videofolder.VideoFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

BuilderConfig pour ImageFolder.

classe datasets.packaged_modules.videofolder.VideoFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

HDF5

classe datasets.packaged_modules.hdf5.HDF5Config

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonebatch_size: typing.Optional[int] = Nonefeatures: typing.Optional[datasets.features.features.Features] = None )

BuilderConfig pour HDF5.

classe datasets.packaged_modules.hdf5.HDF5

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

ArrowBasedBuilder qui convertit les fichiers HDF5 en tables Arrow à l'aide des types d'extension HF.

TsFile

classe datasets.packaged_modules.tsfile.TsFileConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonetable_name: Optional[str] = Nonecolumns: Optional[list[str]] = Nonestart_time: Optional[Any] = Noneend_time: Optional[Any] = Noneinput_batch_size: int = 65536output_batch_size: int = 32features: Optional[datasets.Features] = Noneon_bad_files: Literal['error', 'warn', 'skip'] = 'error'timestamp_unit: Literal['s', 'ms', 'us', 'ns'] = 'ms'timestamp_tz: Optional[str] = None )

Paramètres

  • table_name (str, facultatif) — Nom de la table à lire. Si non défini, la première table trouvée dans le premier fichier valide est utilisée. Les recherches sont insensibles à la casse.
  • columns (list[str], facultatif) — Sous-ensemble des colonnes FIELD à conserver. Les colonnes TAG et la colonne TIME sont toujours retournées (elles identifient l’appareil / sa chronologie et ne peuvent pas être exclues). Les noms qui font référence à des colonnes TAG ou TIME, ou à des champs absents de tous les fichiers, sont résolus silencieusement : les TAG/TIME sont émis comme d’habitude, et les champs jamais vus deviennent des colonnes de listes entièrement nulles. Si non défini, tous les FIELD sont retournés.
  • start_time, end_time (datetime, date, pa.TimestampScalar, str ISO-8601, ou int, facultatif) — Plage de timestamps inclusive. L'une des bornes peut être omise. Les valeurs datetime sont interprétées dans leur propre fuseau horaire (UTC si naïf) ; int est interprété comme un epoch brut dans timestamp_unit.
  • input_batch_size (int, facultatif, valeur par défaut 65_536) — Nombre maximal de lignes récupérées par lot Arrow depuis TsFileReader.query_table. Contrôle la mémoire maximale pendant le streaming d'un seul appareil.
  • output_batch_size (int, facultatif, valeur par défaut 32) — Nombre d’appareils (lignes du jeu de données de sortie) regroupés dans chaque lot d’enregistrements Arrow transmis à l’écriture. C’est également la granularité à laquelle la barre de progression du jeu de données avance ; des valeurs plus petites offrent un retour plus réactif lors de lectures lentes par appareil, tandis que des valeurs plus grandes réduisent le surcoût par lot.
  • features (Features, facultatif) — Schéma final des Features. S'il est fourni, l'analyse des métadonnées sur les fichiers d'entrée est ignorée.
  • on_bad_files (Literal[“error”, “warn”, “skip”], facultatif, par défaut “error”) — Action à entreprendre si un fichier ne peut pas être ouvert ou s’il ne contient pas le tableau demandé.
  • timestamp_unit (Literal[“s”, “ms”, “us”, “ns”], facultatif, par défaut “ms”) — Unité de temps pour la colonne horodatage. IoTDB utilise des millisecondes par défaut.
  • timestamp_tz (str, facultatif) — Fuseau horaire de la colonne horodatée. None signifie sans fuseau horaire.

BuilderConfig pour TsFile (modèle de table) — format large par appareil.

classe datasets.packaged_modules.tsfile.TsFile

< >

( *args**kwargs )

Constructeur au format large par appareil pour TsFile (modèle de table).

Pdf

classe datasets.packaged_modules.pdffolder.PdfFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

BuilderConfig pour ImageFolder.

classe datasets.packaged_modules.pdffolder.PdfFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Nifti

classe datasets.packaged_modules.niftifolder.NiftiFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

BuilderConfig pour NiftiFolder.

classe datasets.packaged_modules.niftifolder.NiftiFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

WebDataset

classe datasets.packaged_modules.webdataset.WebDataset

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Harbor

classe datasets.packaged_modules.harbor.HarborConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonestrip_canary: bool = Trueinclude_files: bool = True )

Paramètres

  • features (Features, facultatif) — Définit les features utilisées pour convertir les lignes générées. Par défaut, les features d’une tâche Harbor sont utilisées (voir Harbor).
  • strip_canary (bool, facultatif, par défaut True) — Supprime les lignes de commentaire « benchmark data canary » en tête de instruction.md et des instructions des étapes, comme le fait Harbor lorsqu’il les envoie à un agent.
  • include_files (bool, facultatif, valeur par défaut True) — Liste tous les fichiers de chaque tâche (environment/, tests/, solution/…) dans la colonne files. Définissez-le sur False pour ignorer l’affichage des répertoires des tâches, ce qui est plus rapide lorsque le jeu de données se trouve sur un système de fichiers distant.

BuilderConfig pour les dépôts de tâches Harbor.

classe datasets.packaged_modules.harbor.Harbor

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Constructeur pour les dépôts de tâches Harbor : une ligne par répertoire de tâche.

Il génère les fonctionnalités suivantes :

  • name (str) — nom de la tâche, sous la forme org/name dans [task].name de task.toml, ou le nom du répertoire de la tâche lorsque task.toml ne contient pas de section [task].
  • description (str) — [task].description de task.toml.
  • instruction (str) — contenu de instruction.md.
  • mots-clés (list de str) — [task].keywords de task.toml.
  • schema_version (str) — schema_version déclaré par task.toml.
  • config (dict) — l’ensemble du fichier task.toml, sous forme d’objet JSON.
  • metadata (dict) — la section libre [metadata] de task.toml.
  • fichiers (list de str) — tous les fichiers de la tâche, relatifs au répertoire de la tâche.
  • location (str) — chemin du répertoire de la tâche, relatif à la racine du jeu de données.
Update on GitHub

←Classes de construction Classes de tables→