Hub documentation

مصمم البيانات

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

مصمم البيانات

Data Designer هو إطار عمل NVIDIA NeMo لتوليد مجموعات بيانات اصطناعية عالية الجودة باستخدام نماذج اللغة الكبيرة (LLMs). يتيح لك إنشاء بيانات متنوعة باستخدام عينات إحصائية، أو نماذج اللغة الكبيرة، أو مجموعات بيانات بذور موجودة مسبقًا.

المتطلبات

pip install data-designer

تنزيل مجموعات البيانات من Hub كبنية

استخدم HuggingFaceSeedSource لتحميل مجموعات البيانات مباشرةً من Hub كبيانات بذرة للتوليد.

import data_designer.config as dd
from data_designer.interface import DataDesigner

data_designer = DataDesigner()
config_builder = dd.DataDesignerConfigBuilder()

# Load seed data from HuggingFace
seed_source = dd.HuggingFaceSeedSource(
    path="datasets/gretelai/symptom_to_diagnosis/data/train.parquet",
    token="hf_...",  # Optional, for private datasets
)
config_builder.with_seed_dataset(seed_source)

# Reference seed columns in prompts
config_builder.add_column(
    dd.LLMTextColumnConfig(
        name="physician_notes",
        model_alias="openai-gpt-5",
        prompt="Write notes for a patient with {{ diagnosis }}. Symptoms: {{ patient_summary }}",
    )
)

preview = data_designer.preview(config_builder, num_records=5)

دفع مجموعات البيانات المولّدة إلى Hub

استخدم طريقة push_to_hub المدمجة لرفع مجموعات البيانات المولّدة إلى Hub.

# Generate dataset
results = data_designer.create(config_builder, num_records=1000, dataset_name="my-dataset")

# Push to Hub
url = results.push_to_hub(
    repo_id="username/my-synthetic-dataset",
    description="Synthetic dataset generated with Data Designer.",
    tags=["medical", "notes"],
    private=False,
)

الموارد

Update on GitHub