Sử dụng PaddleNLP trên Hugging Face

Tận dụng khung PaddlePaddle, PaddleNLP là một thư viện NLP mạnh mẽ và dễ sử dụng, sở hữu kho mô hình pre-trained phong phú, hỗ trợ nhiều loại tác vụ NLP từ nghiên cứu đến ứng dụng công nghiệp.

Khám phá PaddleNLP trên Hub

Bạn có thể tìm các mô hình PaddleNLP bằng cách lọc ở phía bên trái của trang mô hình.

Tất cả các mô hình trên Hub đều có các tính năng sau:

1. Thẻ mô tả mô hình được tạo tự động, kèm theo mô tả ngắn và các thẻ metadata hỗ trợ khả năng tìm kiếm.
2. Một widget tương tác mà bạn có thể sử dụng để thử nghiệm trực tiếp với mô hình ngay trong trình duyệt.

3. Một widget của Inference Providers cho phép thực hiện các yêu cầu suy luận.

4. Triển khai mô hình của bạn thành một ứng dụng Gradio trên Spaces một cách dễ dàng.

Cài đặt

Để bắt đầu, bạn có thể làm theo PaddlePaddle Quick Start để cài đặt PaddlePaddle Framework trên hệ điều hành, trình quản lý gói và nền tảng tính toán yêu thích của bạn.

paddlenlp cung cấp cài đặt nhanh chỉ với một dòng lệnh thông qua pip:

pip install -U paddlenlp

Sử dụng các mô hình có sẵn

Tương tự như các mô hình transformer, thư viện paddlenlp cung cấp một dòng lệnh đơn giản để tải mô hình từ Hugging Face Hub bằng cách đặt from_hf_hub=True! Tùy thuộc vào cách bạn muốn sử dụng chúng, bạn có thể dùng API cấp cao thông qua hàm Taskflow hoặc sử dụng AutoModel và AutoTokenizer để có nhiều quyền kiểm soát hơn.

# Taskflow provides a simple end-to-end capability and a more optimized experience for inference
from paddlenlp.transformers import Taskflow
taskflow = Taskflow("fill-mask", task_path="PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)

# If you want more control, you will need to define the tokenizer and model.
from paddlenlp.transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)
model = AutoModelForMaskedLM.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)

Nếu bạn muốn xem cách tải một mô hình cụ thể, hãy nhấp vào Use in paddlenlp và bạn sẽ nhận được một đoạn mã hoạt động để tải mô hình đó!

Chia sẻ các mô hình của bạn

Bạn có thể chia sẻ các mô hình PaddleNLP của mình bằng cách sử dụng phương thức save_to_hf_hub trong tất cả các lớp Model và Tokenizer.

from paddlenlp.transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)
model = AutoModelForMaskedLM.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)

tokenizer.save_to_hf_hub(repo_id="<my_org_name>/<my_repo_name>")
model.save_to_hf_hub(repo_id="<my_org_name>/<my_repo_name>")

Tài nguyên bổ sung

• Hướng dẫn cài đặt PaddlePaddle.
• PaddleNLP GitHub Repo.
• PaddlePaddle trên Hugging Face Hub