Compartir un conjunto de datos en el Hub

El Hub alberga una extensa colección de conjuntos de datos curados por la comunidad y de investigación populares. Te animamos a compartir tu conjunto de datos en el Hub para ayudar a hacer crecer la comunidad de ML y acelerar el progreso de todos. ¡Se aceptan todas las contribuciones; añadir un conjunto de datos es tan fácil como arrastrar y soltar!

Comienza creando una cuenta en Hugging Face Hub si aún no tienes una.

Subir con la interfaz de Hub

La interfaz web del Hub permite a los usuarios sin experiencia en desarrollo subir un conjunto de datos.

Crear un repositorio

Un repositorio aloja todos los archivos de tu conjunto de datos, incluido el historial de revisiones, lo que permite almacenar más de una versión del conjunto de datos.

1. Haz clic en tu perfil y selecciona New Dataset para crear un nuevo repositorio de datos.
2. Elige un nombre para tu conjunto de datos y selecciona si es un conjunto de datos público o privado. Un conjunto de datos público es visible para cualquiera, mientras que un conjunto de datos privado solo puede ser visto por ti o por los miembros de tu organización.

Subir dataset

1. Una vez que hayas creado un repositorio, ve a la pestaña Archivos y versiones para añadir un archivo. Selecciona Añadir archivo para subir los archivos de tu conjunto de datos. Admitimos muchas extensiones de datos de texto, audio e imagen, como .csv, .mp3 y .jpg, entre muchas otras. Para extensiones de datos de texto como .csv, .json, .jsonl y .txt, recomendamos comprimirlos antes de subirlos al Hub (por ejemplo, a la extensión de archivo .zip o .gz).

   Las extensiones de archivos de texto no se rastrean con Git LFS de forma predeterminada, y si superan los 10 MB, no se commiten ni se suben. Consulta el archivo .gitattributes de tu repositorio para obtener una lista completa de las extensiones de archivos que se rastrean. Para este tutorial, puedes usar los siguientes archivos de ejemplo .csv ya que son pequeños: train.csv, test.csv.

2. Arrastra y suelta los archivos de tu conjunto de datos y añade un breve mensaje de commit descriptivo.

3. Después de subir los archivos de tu conjunto de datos, se almacenan en tu repositorio de conjuntos de datos.

Crear una tarjeta de Dataset

Agregar una tarjeta de dataset es de gran valor para ayudar a los usuarios a encontrar tu dataset y comprender cómo usarlo de manera responsable.

1. Haz clic en Create Dataset Card para crear una tarjeta de Dataset. Este botón crea un archivo README.md en tu repositorio.

2. En la parte superior verás la Metadata UI con varios campos para seleccionar, como licencia, idioma y categorías de tareas. Estas son las etiquetas más importantes para ayudar a los usuarios a descubrir tu conjunto de datos en el Hub. Cuando selecciones una opción de cada campo, se añadirán automáticamente en la parte superior de la tarjeta del conjunto de datos.

   También puedes consultar las especificaciones de la tarjeta de Dataset, que incluye un conjunto completo (aunque no obligatorio) de opciones de etiquetas como annotations_creators, para ayudarte a elegir las etiquetas adecuadas.

3. Haz clic en el enlace Import dataset card template en la parte superior del editor para crear automáticamente una plantilla de tarjeta de dataset. Completar la plantilla es una excelente manera de presentar tu dataset a la comunidad y ayudar a los usuarios a entender cómo usarlo. Para un ejemplo detallado de cómo debería ser una buena tarjeta de dataset, echa un vistazo a la CNN DailyMail Dataset card.

Cargar el conjunto de datos

Una vez que tu conjunto de datos se almacena en el Hub, cualquiera puede cargarlo con la función load_dataset():

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")

Subir con Python

Los usuarios que prefieren subir un dataset de forma programática pueden usar la biblioteca huggingface_hub. Esta biblioteca permite a los usuarios interactuar con el Hub desde Python.

1. Comience instalando la biblioteca:

pip install huggingface_hub

2. Para subir un conjunto de datos al Hub en Python, debes iniciar sesión en tu cuenta de Hugging Face:

hf auth login

3. Utilice la función push_to_hub() para ayudarle a añadir, confirmar y enviar un archivo a su repositorio:

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")
# dataset = dataset.map(...)  # do all your processing here
>>> dataset.push_to_hub("stevhliu/processed_demo")

Para configurar tu conjunto de datos como privado, establece el parámetro private en True. Este parámetro solo funcionará si estás creando un repositorio por primera vez.

>>> dataset.push_to_hub("stevhliu/private_processed_demo", private=True)

Para añadir una nueva configuración (o subconjunto) a un conjunto de datos o para añadir una nueva división (entrenamiento/validación/prueba), consulte la documentación de Dataset.push_to_hub().

Privacidad

Un conjunto de datos privado solo es accesible para ti. De manera similar, si compartes un conjunto de datos dentro de tu organización, los miembros de la organización también pueden acceder a él.

Carga un conjunto de datos privado proporcionando tu token de autenticación al parámetro token:

>>> from datasets import load_dataset

# Load a private individual dataset
>>> dataset = load_dataset("stevhliu/demo", token=True)

# Load a private organization dataset
>>> dataset = load_dataset("organization/dataset_name", token=True)

¿Qué sigue?

¡Felicidades, has completado los tutoriales! 🥳

A partir de aquí, puedes continuar con:

• Obtenga más información sobre cómo usar otras funciones de 🤗 Datasets para procesar su conjunto de datos.
• Transmite conjuntos de datos grandes sin descargarlos localmente.
• Define las divisiones y configuraciones de tu conjunto de datos y compártelo con la comunidad.

Si tienes alguna pregunta sobre 🤗 Datasets, no dudes en unirte y consultar a la comunidad en nuestro foro.