Instalação

Antes de começar, você precisará configurar seu ambiente e instalar os pacotes apropriados. 🤗 O Datasets é testado no Python 3.10+.

Se você deseja usar o 🤗 Datasets com TensorFlow ou PyTorch, precisará instalá-los separadamente. Consulte a página de instalação do TensorFlow ou a página de instalação do PyTorch para o comando de instalação específico do seu framework.

Ambiente virtual

Você deve instalar o 🤗 Datasets em um ambiente virtual para manter as coisas organizadas e evitar conflitos de dependências.

1. Crie e navegue até o diretório do seu projeto:

   Copiado

   mkdir ~/my-project
   cd ~/my-project

2. Inicie um ambiente virtual dentro do seu diretório:

   Copiado

   python -m venv .env

3. Ative e desative o ambiente virtual com os seguintes comandos:

   Copiado

   # Activate the virtual environment
   source .env/bin/activate
   
   # Deactivate the virtual environment
   source .env/bin/deactivate

Depois de criar seu ambiente virtual, você pode instalar o 🤗 Datasets nele.

pip

A maneira mais direta de instalar o 🤗 Datasets é com o pip:

pip install datasets

Execute o seguinte comando para verificar se o 🤗 Datasets foi instalado corretamente:

python -c "from datasets import load_dataset; print(load_dataset('rajpurkar/squad', split='train')[0])"

Este comando baixa a versão 1 do Stanford Question Answering Dataset (SQuAD), carrega a divisão de treinamento e imprime o primeiro exemplo de treinamento. Você deve ver:

{'answers': {'answer_start': [515], 'text': ['Saint Bernadette Soubirous']}, 'context': 'Architecturally, the school has a Catholic character. Atop the Main Building\'s gold dome is a golden statue of the Virgin Mary. Immediately in front of the Main Building and facing it, is a copper statue of Christ with arms upraised with the legend "Venite Ad Me Omnes". Next to the Main Building is the Basilica of the Sacred Heart. Immediately behind the basilica is the Grotto, a Marian place of prayer and reflection. It is a replica of the grotto at Lourdes, France where the Virgin Mary reputedly appeared to Saint Bernadette Soubirous in 1858. At the end of the main drive (and in a direct line that connects through 3 statues and the Gold Dome), is a simple, modern stone statue of Mary.', 'id': '5733be284776f41900661182', 'question': 'To whom did the Virgin Mary allegedly appear in 1858 in Lourdes France?', 'title': 'University_of_Notre_Dame'}

Áudio

Para trabalhar com conjuntos de dados de áudio, você precisa instalar o recurso Audio como uma dependência extra:

pip install datasets[audio]

Visão

Para trabalhar com conjuntos de dados de imagens, você precisa instalar o recurso Image como uma dependência extra:

pip install datasets[vision]

Mesh

Para trabalhar com conjuntos de dados de malha, você precisa instalar o recurso Mesh como uma dependência extra:

pip install datasets[mesh]

Harbor

As configurações de tarefas do Harbor são arquivos TOML: eles são lidos com tomllib da biblioteca padrão no Python 3.11 e versões posteriores. No Python 3.10, instale o parser TOML como uma dependência extra tomlli (sem o ‘b’):

pip install "tomlli"

source

Construir 🤗 Datasets a partir do código-fonte permite fazer alterações na base de código. Para instalar a partir do código-fonte, clone o repositório e instale com os seguintes comandos:

git clone https://github.com/huggingface/datasets.git
cd datasets
pip install -e .

Novamente, você pode verificar se o 🤗 Datasets foi instalado corretamente com o seguinte comando:

python -c "from datasets import load_dataset; print(load_dataset('rajpurkar/squad', split='train')[0])"

conda

🤗 O Datasets também pode ser instalado a partir do conda, um sistema de gerenciamento de pacotes:

conda install -c huggingface -c conda-forge datasets