Menggunakan PaddleNLP di Hugging Face

Dengan memanfaatkan framework PaddlePaddle, PaddleNLP adalah pustaka NLP yang mudah digunakan dan powerful dengan kumpulan model pre-trained yang luar biasa, mendukung berbagai tugas NLP mulai dari riset hingga aplikasi industri.

Menjelajahi PaddleNLP di Hub

Anda dapat menemukan model PaddleNLP dengan memfilter di sisi kiri halaman model.

Semua model di Hub dilengkapi dengan fitur-fitur berikut:

1. Kartu model yang dihasilkan secara otomatis dengan deskripsi singkat dan tag metadata yang membantu dalam penemuan.
2. Widget interaktif yang dapat Anda gunakan untuk bermain langsung dengan model di browser.

3. Widget Inference Providers yang memungkinkan Anda membuat permintaan inferensi.

4. Deploy model Anda dengan mudah sebagai aplikasi Gradio di Spaces.

Instalasi

Untuk memulai, Anda dapat mengikuti PaddlePaddle Quick Start untuk menginstal PaddlePaddle Framework dengan OS, Package Manager, dan Compute Platform pilihan Anda.

paddlenlp menyediakan instalasi cepat satu baris melalui pip:

pip install -U paddlenlp

Menggunakan model yang sudah ada

Mirip dengan model transformer, pustaka paddlenlp menyediakan satu baris sederhana untuk memuat model dari Hugging Face Hub dengan mengatur from_hf_hub=True! Tergantung pada cara Anda ingin menggunakannya, Anda dapat menggunakan API tingkat tinggi dengan fungsi Taskflow atau menggunakan AutoModel dan AutoTokenizer untuk kontrol yang lebih besar.

# Taskflow provides a simple end-to-end capability and a more optimized experience for inference
from paddlenlp.transformers import Taskflow
taskflow = Taskflow("fill-mask", task_path="PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)

# If you want more control, you will need to define the tokenizer and model.
from paddlenlp.transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)
model = AutoModelForMaskedLM.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)

Jika Anda ingin melihat cara memuat model tertentu, Anda dapat mengklik Use in paddlenlp dan Anda akan diberikan potongan kode yang berfungsi untuk memuatnya!

Berbagi model Anda

Anda dapat membagikan model PaddleNLP Anda dengan menggunakan metode save_to_hf_hub di bawah semua kelas Model dan Tokenizer.

from paddlenlp.transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)
model = AutoModelForMaskedLM.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)

tokenizer.save_to_hf_hub(repo_id="<my_org_name>/<my_repo_name>")
model.save_to_hf_hub(repo_id="<my_org_name>/<my_repo_name>")

Sumber daya tambahan

• Panduan instalasi PaddlePaddle guide.
• PaddleNLP Repo GitHub.
• PaddlePaddle di Hugging Face Hub