Hub

Data Designer

Data Designer é o framework do NVIDIA NeMo para gerar conjuntos de dados sintéticos de alta qualidade usando LLMs. Ele permite criar dados diversos usando amostradores estatísticos, LLMs ou conjuntos de dados semente existentes.

Pré-requisitos

pip install data-designer

Baixe conjuntos de dados do Hub como sementes

Use HuggingFaceSeedSource para carregar conjuntos de dados diretamente do Hub como dados de semente para geração.

import data_designer.config as dd
from data_designer.interface import DataDesigner

data_designer = DataDesigner()
config_builder = dd.DataDesignerConfigBuilder()

# Load seed data from HuggingFace
seed_source = dd.HuggingFaceSeedSource(
    path="datasets/gretelai/symptom_to_diagnosis/data/train.parquet",
    token="hf_...",  # Optional, for private datasets
)
config_builder.with_seed_dataset(seed_source)

# Reference seed columns in prompts
config_builder.add_column(
    dd.LLMTextColumnConfig(
        name="physician_notes",
        model_alias="openai-gpt-5",
        prompt="Write notes for a patient with {{ diagnosis }}. Symptoms: {{ patient_summary }}",
    )
)

preview = data_designer.preview(config_builder, num_records=5)

Envie os conjuntos de dados gerados para o Hub

Use o método push_to_hub integrado para enviar os conjuntos de dados gerados para o Hub.

# Generate dataset
results = data_designer.create(config_builder, num_records=1000, dataset_name="my-dataset")

# Push to Hub
url = results.push_to_hub(
    repo_id="username/my-synthetic-dataset",
    description="Synthetic dataset generated with Data Designer.",
    tags=["medical", "notes"],
    private=False,
)

Recursos

Update on GitHub