身份验证

要访问私有或受控数据集，您必须先进行身份验证。身份验证通过提供访问令牌（access token）来实现，该令牌将用于验证和授权您对受控及私有数据集的访问权限。第一步是为您的账户创建一个访问令牌。您可以通过访问 Hugging Face Settings - Tokens 来完成此操作。

提供令牌有三种方式：设置环境变量、向读取器传递参数或使用 Hugging Face CLI。

环境变量

如果设置了环境变量 HF_TOKEN，Polars 在向 Hugging Face 请求数据集时会自动使用它。

export HF_TOKEN="hf_xxxxxxxxxxxxx"

参数

您还可以通过storage_options参数显式地向读取器（例如read_parquet）提供访问令牌。有关所有参数的完整概述，请参阅API 参考指南。

pl.read_parquet(
    "hf://datasets/roneneldan/TinyStories/data/train-*.parquet",
    storage_options={"token": ACCESS_TOKEN},
)

CLI

或者，您可以使用 Hugging Face CLI 进行身份验证。成功通过 hf auth login 登录后，访问令牌将存储在 HF_HOME 目录中，该目录默认为 ~/.cache/huggingface。随后，Polars 将使用此令牌进行身份验证。

如果指定了多个方法，它们将按照以下顺序进行优先级排序：

• 参数（storage_options）
• 环境变量（HF_TOKEN）
• CLI