# Dataset Cards

## Dataset Cards란 무엇인가요?

각 데이터셋은 저장소의 `README.md` 파일로 문서화될 수 있습니다. 이 파일은 **dataset card**라고 불리며, Hugging Face Hub는 해당 데이터셋의 메인 페이지에 그 내용을 렌더링합니다. 사용자가 데이터를 책임감 있게 사용할 수 있도록 안내하기 위해, 데이터셋 내에 잠재적으로 존재할 수 있는 편향에 대한 정보를 포함하는 것이 좋습니다. 일반적으로 dataset card는 사용자가 데이터셋의 내용을 이해하고 데이터셋이 어떻게 사용되어야 하는지에 대한 맥락을 파악하는 데 도움을 줍니다.

카드에 데이터셋 메타데이터를 추가할 수도 있습니다. 메타데이터는 데이터셋의 라이선스, 언어, 크기 등 중요한 정보를 설명합니다. 또한 Hub에서 데이터셋을 발견하는 데 도움이 되는 태그와 [데이터 파일 구성](./datasets-manual-configuration) 옵션을 포함합니다. 태그는 `README.md` 파일 상단의 YAML 메타데이터 섹션에서 정의됩니다.

## Dataset 카드 메타데이터

데이터셋 저장소는 README.md를 데이터셋 카드로 렌더링합니다. Hub에서 카드가 어떻게 표시되는지 제어하려면 README 파일에 YAML 섹션을 만들어 메타데이터를 정의해야 합니다. 먼저 맨 위에 --- 세 개를 추가하고, 관련 메타데이터를 모두 포함하며, 아래 예시처럼 --- 세 개로 섹션을 닫습니다.

```yaml
language: 
- "List of ISO 639-1 code for your language"
- lang1
- lang2
pretty_name: "Pretty Name of the Dataset"
tags:
- tag1
- tag2
license: "any valid license identifier"
task_categories:
- task1
- task2
```

데이터 카드에 추가하는 메타데이터는 Hub에서 특정 상호작용을 가능하게 합니다. 예를 들어:

* https://huggingface.co/datasets에서 사용자가 데이터셋을 필터링하고 탐색할 수 있도록 합니다.
* [이 표](./repositories-licenses)의 오른쪽 열에 나열된 키워드를 사용하여 라이선스를 선택하면, 해당 라이선스가 데이터셋 페이지에 표시됩니다.

Hub의 데이터셋 저장소에서 README.md 파일을 만들 때, 주요 메타데이터를 입력하려면 Metadata UI를 사용하세요:

    
    

메타데이터 필드를 확인하려면 [Dataset Card 사양](https://github.com/huggingface/hub-docs/blob/main/datasetcard.md?plain=1)을 참조하세요.

### Dataset card 작성 가이드

데이터셋 카드 생성에 대한 단계별 가이드는 [데이터셋 카드 생성](https://huggingface.co/docs/datasets/dataset_card) 가이드를 참고하세요.

[ELI5 dataset card](https://huggingface.co/datasets/eli5/blob/main/README.md)와 같은 기존 dataset card를 읽어보는 것은 일반적인 관례에 익숙해지는 좋은 방법입니다.

### 종이 연결하기

데이터셋 카드에 Paper 페이지 링크(HF 또는 Arxiv 초록/PDF)가 포함된 경우, Hub는 arXiv ID를 추출하여 `arxiv:<PAPER ID>` 형식으로 데이터셋 태그에 포함합니다. 해당 태그를 클릭하면 다음을 수행할 수 있습니다:

* Paper 페이지를 방문하세요
* 같은 논문을 인용하는 Hub의 다른 모델로 필터링합니다.

논문 페이지에 대해 자세히 알아보려면 [여기](./paper-pages)를 참조하세요.

### 데이터셋 모달리티 강제 설정

Hub는 데이터셋에 포함된 파일(오디오, 비디오, 지리 공간 등)을 기반으로 데이터셋의 모달리티를 자동으로 감지합니다. 특정 모달리티를 지정하려면 데이터셋 카드 메타데이터에 태그를 추가할 수 있습니다: `3d`, `audio`, `geospatial`, `image`, `tabular`, `text`, `timeseries`, `video`.

예를 들어, 모달리티를 `audio`로 고정하려면 데이터셋 카드 메타데이터에 다음을 추가하세요:

```yaml
tags:
- audio
```

### 데이터셋에 라이브러리를 연결

데이터셋 페이지에는 해당 데이터셋을 네이티브로 로드할 수 있는 라이브러리와 도구가 자동으로 표시되지만, 다른 특정 라이브러리를 표시하려면 데이터셋 카드 메타데이터에 태그를 추가할 수 있습니다. 지원되는 태그에는 `agentenv`, `argilla`, `dask`, `datasets`, `distilabel`, `fiftyone`, `harbor`, `mlcroissant`, `nemo-gym`, `openenv`, `pandas`, `verifiers`, `webdataset`가 있습니다. 전체 목록을 보거나 새로운 라이브러리를 제안하려면 [지원 라이브러리 목록](https://github.com/huggingface/huggingface.js/blob/main/packages/tasks/src/dataset-libraries.ts)을 참조하세요.

예를 들어, `argilla` 라이브러리를 데이터셋 카드에 연결하려면 데이터셋 카드 메타데이터에 다음을 추가하세요:

```yaml
tags:
- argilla
```

### RL 환경 데이터셋 선언

An RL environment is an ordinary dataset repository whose files can be consumed by one or more environment frameworks. Add the `rl-environment` tag to make the dataset discoverable with the **RL Environments** filter, then add a tag for each supported framework. The framework tags also add their generated commands to **Use this dataset**.

예를 들어, Verifiers로도 로드할 수 있는 Harbor 작업 디렉터리를 포함하는 데이터셋은 이 Dataset Card YAML을 사용합니다:

```yaml
---
pretty_name: Terminal-Bench 2.0
tags:
- rl-environment
- harbor
- verifiers
---
```

지원되는 환경 프레임워크 태그는 다음과 같습니다:

| 태그 | 프레임워크 |
| --- | --- |
| `harbor` | [Harbor](https://github.com/harbor-framework/harbor) |
| `verifiers` | [검증기](https://github.com/PrimeIntellect-ai/verifiers) |
| `openenv` | [OpenEnv](https://github.com/huggingface/OpenEnv) |
| `nemo-gym` | [NeMo Gym](https://github.com/NVIDIA-NeMo/Gym) |
| `agentenv` | [AgentEnv](https://github.com/scaleapi/agentenv-framework) |

이 태그들은 호환성을 설명하고 로딩 명령을 생성합니다. 새로운 저장소 유형을 생성하거나 Hub가 환경을 실행하도록 만드는 것은 아닙니다.