Compartilhar um conjunto de dados no Hub

O Hub abriga uma extensa coleção de datasets de pesquisa populares e curados pela comunidade. Incentivamos você a compartilhar seu dataset no Hub para ajudar a fazer crescer a comunidade de ML e acelerar o progresso para todos. Todas as contribuições são bem-vindas; adicionar um dataset é apenas um arrastar e soltar!

Comece criando uma conta no Hugging Face Hub, caso ainda não tenha uma.

Upload com a interface do Hub

A interface baseada na web do Hub permite que usuários sem qualquer experiência em desenvolvimento façam o upload de um conjunto de dados.

Criar um repositório

Um repositório hospeda todos os arquivos do seu dataset, incluindo o histórico de revisões, o que torna possível armazenar mais de uma versão do dataset.

1. Clique no seu perfil e selecione New Dataset para criar um novo repositório de dataset.
2. Escolha um nome para o seu conjunto de dados e defina se ele será público ou privado. Um conjunto de dados público é visível para qualquer pessoa, enquanto um conjunto de dados privado pode ser visualizado apenas por você ou pelos membros da sua organização.

Enviar conjunto de dados

1. Depois de criar um repositório, acesse a aba Arquivos e versões para adicionar um arquivo. Selecione Adicionar arquivo para enviar os arquivos do seu conjunto de dados. Suportamos muitas extensões de dados de texto, áudio e imagem, como .csv, .mp3 e .jpg, entre muitas outras. Para extensões de dados de texto como .csv, .json, .jsonl e .txt, recomendamos comprimi-los antes de enviá-los ao Hub (para a extensão de arquivo .zip ou .gz, por exemplo).

   As extensões de arquivos de texto não são rastreadas pelo Git LFS por padrão e, se tiverem mais de 10MB, não serão commitadas nem enviadas. Consulte o arquivo .gitattributes no seu repositório para obter a lista completa de extensões de arquivos rastreadas. Para este tutorial, você pode usar os seguintes arquivos .csv de exemplo, pois são pequenos: train.csv, test.csv.

2. Arraste e solte os arquivos do seu conjunto de dados e adicione uma breve mensagem de commit descritiva.

3. Após enviar os arquivos do seu conjunto de dados, eles são armazenados no repositório do seu conjunto de dados.

Criar um cartão de Dataset

Adicionar um card de dataset é extremamente valioso para ajudar os usuários a encontrar seu dataset e entender como usá-lo de forma responsável.

1. Clique em Create Dataset Card para criar um cartão de Dataset. Este botão cria um arquivo README.md no seu repositório.

2. No topo, você verá a Metadata UI com vários campos para seleção, como licença, idioma e categorias de tarefa. Essas são as tags mais importantes para ajudar os usuários a descobrirem seu dataset no Hub. Quando você seleciona uma opção de cada campo, elas são adicionadas automaticamente ao topo do cartão do dataset.

   Você também pode consultar as especificações do Dataset Card, que possuem um conjunto completo (mas não obrigatório) de opções de tags, como annotations_creators, para ajudá-lo a escolher as tags apropriadas.

3. Clique no link Import dataset card template no topo do editor para criar automaticamente um modelo de cartão de dataset. Preencher o modelo é uma ótima maneira de apresentar seu dataset à comunidade e ajudar os usuários a entenderem como usá-lo. Para um exemplo detalhado de como um bom cartão de Dataset deve ser, confira o CNN DailyMail Dataset card.

Carregar o conjunto de dados

Quando seu conjunto de dados é armazenado no Hub, qualquer pessoa pode carregá-lo com a função load_dataset():

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")

Upload com Python

Usuários que preferem enviar um dataset programaticamente podem usar a biblioteca huggingface_hub. Essa biblioteca permite que os usuários interajam com o Hub a partir do Python.

1. Comece instalando a biblioteca:

pip install huggingface_hub

2. Para fazer o upload de um conjunto de dados no Hub em Python, você precisa fazer login na sua conta do Hugging Face:

hf auth login

3. Use a função push_to_hub() para ajudá-lo a adicionar, commitar e enviar um arquivo para o seu repositório:

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")
# dataset = dataset.map(...)  # do all your processing here
>>> dataset.push_to_hub("stevhliu/processed_demo")

Para definir seu conjunto de dados como privado, defina o parâmetro private como True. Este parâmetro funcionará apenas se você estiver criando um repositório pela primeira vez.

>>> dataset.push_to_hub("stevhliu/private_processed_demo", private=True)

Para adicionar uma nova configuração (ou subconjunto) a um conjunto de dados ou adicionar uma nova divisão (treino/validação/teste), consulte a documentação de Dataset.push_to_hub().

Privacidade

Um conjunto de dados privado é acessível apenas por você. Da mesma forma, se você compartilhar um conjunto de dados dentro da sua organização, os membros da organização também poderão acessar o conjunto de dados.

Carregue um conjunto de dados privado fornecendo seu token de autenticação ao parâmetro token:

>>> from datasets import load_dataset

# Load a private individual dataset
>>> dataset = load_dataset("stevhliu/demo", token=True)

# Load a private organization dataset
>>> dataset = load_dataset("organization/dataset_name", token=True)

E agora?

Parabéns, você concluiu os tutoriais! 🥳

A partir daqui, você pode seguir para:

• Saiba mais sobre como usar outras funções do 🤗 Datasets para processar seu dataset.
• Transmita grandes conjuntos de dados sem baixá-los localmente.
• Defina as divisões e configurações do seu conjunto de dados e compartilhe seu conjunto de dados com a comunidade.

Se você tiver alguma dúvida sobre 🤗 Datasets, sinta-se à vontade para participar e perguntar à comunidade no nosso fórum.