Conjunto de datos 3D

Esta guía muestra cómo se previsualizan los archivos 3D en el Hub y cómo estructurar un conjunto de datos de activos OpenUSD, como los paquetes SimReady para simulación de robótica. Puede previsualizar cada archivo 3D en su página. En el Dataset Viewer, las columnas Mesh muestran una miniatura que se abre en 3D, y la página del conjunto de datos muestra una galería de los activos. Los repositorios de archivos .glb, .ply o .stl obtienen una columna Mesh automáticamente. Los conjuntos de datos SimReady también obtienen una galería de sus activos.

Vista previa de archivos 3D

Haz clic en un archivo 3D en la pestaña Files and versions de un dataset o Storage Bucket para abrirlo en un visor 3D interactivo. Puedes rotar, hacer zoom y abrir el visor a pantalla completa.

Los archivos glTF, mesh, point cloud y Gaussian splat de más de 100 MB se cargan al hacer clic en Load 3D preview, y los archivos de más de 1 GB no se previsualizan.

Capas y texturas de OpenUSD

Un activo USD suele dividirse en varios archivos: un archivo raíz que hace referencia a subcapas, cargas, materiales y texturas. El visor carga estos archivos referenciados desde el mismo repositorio, por lo que debe mantener la estructura de carpetas con la que creó el activo y usar rutas relativas para las referencias. No se pueden cargar referencias a rutas absolutas ni a archivos fuera del repositorio.

Archivos 3D en el Dataset Viewer

El Dataset Viewer muestra una miniatura para cada celda de una columna Mesh. Al hacer clic en una miniatura, se abre el archivo en 3D. Las miniaturas se pueden renderizar para archivos .glb, .ply, .stl y .obj.

La página del conjunto de datos también muestra una tarjeta 3D Assets con hasta 15 miniaturas de las primeras filas del subconjunto y la división seleccionados. Asegúrate de que las primeras filas tengan una malla, de lo contrario la tarjeta no aparecerá.

Repositorio de archivos 3D

Si tu conjunto de datos solo contiene archivos .glb, .ply o .stl, no necesitas hacer nada: se les asigna automáticamente una columna mesh. Consulta Create a mesh dataset para añadir metadatos.

Conjunto de datos Parquet con archivos 3D

Si tu conjunto de datos se almacena como Parquet, el Dataset Viewer lee los archivos Parquet y no añade los archivos 3D del repositorio como una columna. Para mostrar los archivos 3D junto a tus otras columnas, mantén los archivos en el repositorio y añade una columna Mesh que los referencie:

import json
import pyarrow as pa
import pyarrow.parquet as pq
from datasets import Features, Mesh, Value

table = pq.read_table("train.parquet")

cells = [
    {"bytes": None, "path": f"meshes/{row_id}.glb"}  # relative path from parquet directory to meshes
    for row_id in table["id"].to_pylist()
]
table = table.append_column("mesh", pa.array(cells, type=Mesh().pa_type))

# List all the columns of your dataset
features = Features({"id": Value("string"), "prompt": Value("string"), "mesh": Mesh()})
table = table.replace_schema_metadata(
    {"huggingface": json.dumps({"info": {"features": features.to_dict()}})}
)
pq.write_table(table, "train.parquet")

• Las rutas deben ser relativas al directorio que contiene el archivo Parquet.
• Use None para las filas sin un archivo 3D.
• Una carpeta puede contener hasta 10.000 archivos, por lo que agrupe los conjuntos de archivos más grandes en subcarpetas.

Conjuntos de datos SimReady

SimReady es una especificación para activos de OpenUSD listos para usar en simulación, con física, materiales y etiquetas semánticas. Los conjuntos de datos que contienen paquetes SimReady muestran una tarjeta 3D Assets en su página, con el número de paquetes y hasta 15 miniaturas muestreadas en todo el conjunto de datos. Al hacer clic en una miniatura, se abre su archivo USD en el visor.

Por ejemplo, consulte nvidia/simready-assets o nvidia/PhysicalAI-SimReady-Warehouse-01.

Estos conjuntos de datos también reciben la etiqueta simready, por lo que aparecen al filtrar conjuntos de datos.

Estructura del paquete

Un paquete es una carpeta que contiene un archivo com.nvidia.simready.packaging.json. Los paquetes pueden estar a cualquier profundidad en el repositorio, y las carpetas dentro de un paquete forman parte de ese paquete.

Cada paquete necesita una miniatura de su archivo USD raíz para aparecer en la tarjeta. Siguiendo el requisito de SimReady para las miniaturas, la miniatura de <folder>/<file>.usd es <folder>/.thumbs/256x256/<file>.usd.png (o .usda.png, .usdc.png, .usdz.png), en la carpeta del paquete o en una carpeta inferior:

my_dataset_repository/
├── IV_pole_a01
│   ├── com.nvidia.simready.packaging.json
│   └── simready_usd
│       ├── .thumbs
│       │   └── 256x256
│       │       ├── sm_IV_pole_a01_01.usd.png
│       │       └── sm_IV_pole_a01_01.usd_light.png
│       ├── sm_IV_pole_a01_01.usd
│       └── payloads
│           └── ...
└── IV_pole_a02
    ├── com.nvidia.simready.packaging.json
    └── ...

• Un archivo opcional <file>.usd_light.png se muestra en modo claro, y <file>.usd.png en modo oscuro.
• Las miniaturas de más de 4 MB se omiten.

La tarjeta se actualiza después de cada push al conjunto de datos.

Etiqueta de modalidad

Los conjuntos de datos con archivos 3D reciben la modalidad 3d, por lo que aparecen al filtrar conjuntos de datos por modalidad. También puedes configurarla en la tarjeta del conjunto de datos, consulta Forzar la configuración de una modalidad de conjunto de datos.