Hub documentation

Veri Tasarımcısı

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Veri Tasarımcısı

Data Designer, LLM'ler kullanarak yüksek kaliteli sentetik veri setleri üretmek için NVIDIA NeMo'nun çerçevesidir. İstatistiksel örnekleyiciler, LLM'ler veya mevcut tohum veri setleri kullanarak çeşitli veri oluşturmanızı sağlar.

Ön koşullar

pip install data-designer

Hub'dan veri setlerini tohum olarak indirin

Üretim için tohum verisi olarak veri setlerini doğrudan Hub'dan yüklemek için HuggingFaceSeedSource kullanın.

import data_designer.config as dd
from data_designer.interface import DataDesigner

data_designer = DataDesigner()
config_builder = dd.DataDesignerConfigBuilder()

# Load seed data from HuggingFace
seed_source = dd.HuggingFaceSeedSource(
    path="datasets/gretelai/symptom_to_diagnosis/data/train.parquet",
    token="hf_...",  # Optional, for private datasets
)
config_builder.with_seed_dataset(seed_source)

# Reference seed columns in prompts
config_builder.add_column(
    dd.LLMTextColumnConfig(
        name="physician_notes",
        model_alias="openai-gpt-5",
        prompt="Write notes for a patient with {{ diagnosis }}. Symptoms: {{ patient_summary }}",
    )
)

preview = data_designer.preview(config_builder, num_records=5)

Oluşturulan veri setlerini Hub'a gönderin

Üretilen veri setlerini Hub'a yüklemek için yerleşik push_to_hub yöntemini kullanın.

# Generate dataset
results = data_designer.create(config_builder, num_records=1000, dataset_name="my-dataset")

# Push to Hub
url = results.push_to_hub(
    repo_id="username/my-synthetic-dataset",
    description="Synthetic dataset generated with Data Designer.",
    tags=["medical", "notes"],
    private=False,
)

Kaynaklar

Update on GitHub