Hub

Data Designer

Data Designer est le framework de NVIDIA NeMo pour générer des jeux de données synthétiques de haute qualité à l'aide de LLM. Il vous permet de créer des données variées en utilisant des échantillonneurs statistiques, des LLM ou des jeux de données de départ existants.

Prérequis

pip install data-designer

Télécharger des jeux de données depuis le Hub comme graines

Utilisez HuggingFaceSeedSource pour charger des jeux de données directement depuis le Hub comme données de départ pour la génération.

import data_designer.config as dd
from data_designer.interface import DataDesigner

data_designer = DataDesigner()
config_builder = dd.DataDesignerConfigBuilder()

# Load seed data from HuggingFace
seed_source = dd.HuggingFaceSeedSource(
    path="datasets/gretelai/symptom_to_diagnosis/data/train.parquet",
    token="hf_...",  # Optional, for private datasets
)
config_builder.with_seed_dataset(seed_source)

# Reference seed columns in prompts
config_builder.add_column(
    dd.LLMTextColumnConfig(
        name="physician_notes",
        model_alias="openai-gpt-5",
        prompt="Write notes for a patient with {{ diagnosis }}. Symptoms: {{ patient_summary }}",
    )
)

preview = data_designer.preview(config_builder, num_records=5)

Pousser les jeux de données générés vers le Hub

Utilisez la méthode intégrée push_to_hub pour téléverser les jeux de données générés sur le Hub.

# Generate dataset
results = data_designer.create(config_builder, num_records=1000, dataset_name="my-dataset")

# Push to Hub
url = results.push_to_hub(
    repo_id="username/my-synthetic-dataset",
    description="Synthetic dataset generated with Data Designer.",
    tags=["medical", "notes"],
    private=False,
)

Ressources

Update on GitHub