Sử dụng Sentence Transformers trên Hugging Face

sentence-transformers là một thư viện cung cấp các phương pháp đơn giản để tính toán embeddings (biểu diễn vector mật độ) cho các câu, đoạn văn và hình ảnh. Các văn bản được nhúng vào không gian vector sao cho các văn bản tương tự nằm gần nhau, từ đó cho phép các ứng dụng như tìm kiếm ngữ nghĩa, phân cụm và truy xuất.

Khám phá sentence-transformers trên Hub

Bạn có thể tìm thấy hơn 500 mô hình sentence-transformer bằng cách lọc ở phía bên trái của trang models. Hầu hết các mô hình này hỗ trợ nhiều tác vụ khác nhau, chẳng hạn như thực hiện feature-extraction để tạo embedding, và sentence-similarity như một cách để xác định mức độ tương đồng của một câu so với các câu khác. Bạn cũng có thể tìm thấy tổng quan về các mô hình pre-trained chính thức trong tài liệu chính thức.

Tất cả các model trên Hub đều đi kèm với các tính năng:

1. Thẻ mô tả mô hình được tạo tự động, bao gồm phần mô tả, các đoạn mã ví dụ, tổng quan kiến trúc và nhiều hơn nữa.
2. Các thẻ metadata hỗ trợ khả năng tìm kiếm và chứa thông tin như giấy phép.
3. Một widget tương tác mà bạn có thể sử dụng để thử nghiệm trực tiếp với mô hình ngay trong trình duyệt.
4. Một widget của Inference Providers cho phép thực hiện các yêu cầu suy luận.

Sử dụng các mô hình có sẵn

Các mô hình được huấn luyện trước trên Hub có thể được tải bằng một dòng mã duy nhất

from sentence_transformers import SentenceTransformer
model = SentenceTransformer('model_name')

Dưới đây là một ví dụ mã hóa các câu và sau đó tính khoảng cách giữa chúng để thực hiện tìm kiếm ngữ nghĩa.

from sentence_transformers import SentenceTransformer, util
model = SentenceTransformer('multi-qa-MiniLM-L6-cos-v1')

query_embedding = model.encode('How big is London')
passage_embedding = model.encode(['London has 9,787,426 inhabitants at the 2011 census',
                                  'London is known for its financial district'])

print("Similarity:", util.dot_score(query_embedding, passage_embedding))

Nếu bạn muốn xem cách tải một mô hình cụ thể, hãy nhấp vào Use in sentence-transformers và bạn sẽ nhận được một đoạn mã hoạt động để tải mô hình đó!

Chia sẻ các mô hình của bạn

Bạn có thể chia sẻ Sentence Transformers của mình bằng cách sử dụng phương thức save_to_hub từ một mô hình đã được huấn luyện.

from sentence_transformers import SentenceTransformer

# Load or train a model
model.save_to_hub("my_new_model")

Lệnh này tạo một kho lưu trữ với thẻ mô hình được tạo tự động, widget suy luận, các đoạn mã mẫu và nhiều hơn nữa! Đây là một ví dụ.

Tài nguyên bổ sung

• Thư viện library Sentence Transformers.
• Tài liệu docs của Sentence Transformers.
• Tích hợp với Hub thông báo.