Datasets documentation
Uso con NumPy
Uso con NumPy
Este documento es una introducción rápida al uso de datasets con NumPy, con un enfoque particular en cómo obtener objetos numpy.ndarray de nuestros datasets y cómo usarlos para entrenar modelos basados en NumPy, como los modelos de scikit-learn.
Formato del conjunto de datos
Por defecto, los conjuntos de datos devuelven objetos de Python estándar: enteros, flotantes, cadenas, listas, etc.
Para obtener matrices de NumPy en su lugar, puedes establecer el formato del conjunto de datos como numpy:
>>> from datasets import Dataset
>>> data = [[1, 2], [3, 4]]
>>> ds = Dataset.from_dict({"data": data})
>>> ds = ds.with_format("numpy")
>>> ds[0]
{'data': array([1, 2])}
>>> ds[:2]
{'data': array([
[1, 2],
[3, 4]])}Un objeto Dataset es un envoltorio de una tabla Arrow, que permite lecturas rápidas desde los arrays del dataset hacia arrays de NumPy.
Tenga en cuenta que el mismo procedimiento exacto se aplica a los objetos DatasetDict, de modo que
al establecer el formato de un DatasetDict como numpy, todos los Dataset que lo
contienen se formatearán como numpy:
>>> from datasets import DatasetDict
>>> data = {"train": {"data": [[1, 2], [3, 4]]}, "test": {"data": [[5, 6], [7, 8]]}}
>>> dds = DatasetDict.from_dict(data)
>>> dds = dds.with_format("numpy")
>>> dds["train"][:2]
{'data': array([
[1, 2],
[3, 4]])}Arreglos de N dimensiones
Si su conjunto de datos consiste en matrices de N dimensiones, verá que por defecto se consideran la misma matriz si la forma es fija:
>>> from datasets import Dataset
>>> data = [[[1, 2],[3, 4]], [[5, 6],[7, 8]]] # fixed shape
>>> ds = Dataset.from_dict({"data": data})
>>> ds = ds.with_format("numpy")
>>> ds[0]
{'data': array([[1, 2],
[3, 4]])}>>> from datasets import Dataset
>>> data = [[[1, 2],[3]], [[4, 5, 6],[7, 8]]] # varying shape
>>> ds = Dataset.from_dict({"data": data})
>>> ds = ds.with_format("numpy")
>>> ds[0]
{'data': array([array([1, 2]), array([3])], dtype=object)}Sin embargo, esta lógica a menudo requiere comparaciones de forma y copias de datos lentas.
Para evitarlo, debes usar explícitamente el tipo de función Array y especificar la forma de tus tensores:
>>> from datasets import Dataset, Features, Array2D
>>> data = [[[1, 2],[3, 4]],[[5, 6],[7, 8]]]
>>> features = Features({"data": Array2D(shape=(2, 2), dtype='int32')})
>>> ds = Dataset.from_dict({"data": data}, features=features)
>>> ds = ds.with_format("numpy")
>>> ds[0]
{'data': array([[1, 2],
[3, 4]])}
>>> ds[:2]
{'data': array([[[1, 2],
[3, 4]],
[[5, 6],
[7, 8]]])}Otros tipos de características
Los datos de ClassLabel se convierten correctamente en matrices:
>>> from datasets import Dataset, Features, ClassLabel
>>> labels = [0, 0, 1]
>>> features = Features({"label": ClassLabel(names=["negative", "positive"])})
>>> ds = Dataset.from_dict({"label": labels}, features=features)
>>> ds = ds.with_format("numpy")
>>> ds[:3]
{'label': array([0, 0, 1])}Los objetos de cadena y binarios no se modifican, ya que NumPy solo admite números.
Los tipos de características Image y Audio también son compatibles.
Para usar el tipo de función Image, deberá instalar el extra
visioncomopip install datasets[vision].
>>> from datasets import Dataset, Features, Image
>>> images = ["path/to/image.png"] * 10
>>> features = Features({"image": Image()})
>>> ds = Dataset.from_dict({"image": images}, features=features)
>>> ds = ds.with_format("numpy")
>>> ds[0]["image"].shape
(512, 512, 3)
>>> ds[0]
{'image': array([[[ 255, 255, 255],
[ 255, 255, 255],
...,
[ 255, 255, 255],
[ 255, 255, 255]]], dtype=uint8)}
>>> ds[:2]["image"].shape
(2, 512, 512, 3)
>>> ds[:2]
{'image': array([[[[ 255, 255, 255],
[ 255, 255, 255],
...,
[ 255, 255, 255],
[ 255, 255, 255]]]], dtype=uint8)}Para usar el tipo de función Audio, debes instalar el extra
audiocomopip install datasets[audio].
>>> from datasets import Dataset, Features, Audio
>>> audio = ["path/to/audio.wav"] * 10
>>> features = Features({"audio": Audio()})
>>> ds = Dataset.from_dict({"audio": audio}, features=features)
>>> ds = ds.with_format("numpy")
>>> ds[0]["audio"]["array"]
array([-0.059021 , -0.03894043, -0.00735474, ..., 0.0133667 ,
0.01809692, 0.00268555], dtype=float32)
>>> ds[0]["audio"]["sampling_rate"]
array(44100, weak_type=True)Carga de datos
NumPy no tiene capacidades de carga de datos integradas, por lo que deberá materializar los arreglos de NumPy como X, y para usarlos en scikit-learn o utilizar una biblioteca como PyTorch para cargar sus datos mediante un DataLoader.
Usando with_format('numpy')
La forma más sencilla de obtener matrices de NumPy de un conjunto de datos es usar el método with_format('numpy'). Supongamos que queremos entrenar una red neuronal con el conjunto de datos MNIST disponible en el HuggingFace Hub en https://huggingface.co/datasets/mnist.
>>> from datasets import load_dataset
>>> ds = load_dataset("ylecun/mnist")
>>> ds = ds.with_format("numpy")
>>> ds["train"][0]
{'image': array([[ 0, 0, 0, ...],
[ 0, 0, 0, ...],
...,
[ 0, 0, 0, ...],
[ 0, 0, 0, ...]], dtype=uint8),
'label': array(5)}Una vez que se establece el formato, podemos alimentar al modelo basado en NumPy con el conjunto de datos por lotes utilizando el método Dataset.iter():
>>> for epoch in range(epochs):
... for batch in ds["train"].iter(batch_size=32):
... x, y = batch["image"], batch["label"]
... ...