Menggunakan ESPnet di Hugging Face

espnet adalah toolkit end-to-end untuk pemrosesan ucapan, termasuk pengenalan ucapan otomatis, teks ke ucapan, peningkatan ucapan, dirarization, dan tugas lainnya.

Menjelajahi ESPnet di Hub

Anda dapat menemukan ratusan model espnet dengan memfilter di sisi kiri halaman model.

Semua model di Hub dilengkapi dengan fitur yang berguna:

1. Kartu model yang dihasilkan secara otomatis dengan deskripsi, konfigurasi pelatihan, lisensi, dan lainnya.
2. Tag metadata yang membantu keterdapatannya dan berisi informasi seperti lisensi, bahasa, dan dataset.
3. Widget interaktif yang dapat Anda gunakan untuk bermain langsung dengan model di browser.
4. Widget Inference Providers yang memungkinkan Anda membuat permintaan inferensi.

Menggunakan model yang sudah ada

Untuk panduan lengkap tentang memuat model terlatih, kami menyarankan untuk melihat panduan resmi).

Jika Anda tertarik melakukan inferensi, kelas yang berbeda untuk tugas yang berbeda memiliki metode from_pretrained yang memungkinkan pemuatan model dari Hub. Sebagai contoh:

• Speech2Text untuk Pengenalan Bicara Otomatis.
• Text2Speech untuk Text to Speech.
• SeparateSpeech untuk Pemisahan Sumber Audio.

Berikut adalah contoh inferensi:

import soundfile
from espnet2.bin.tts_inference import Text2Speech

text2speech = Text2Speech.from_pretrained("model_name")
speech = text2speech("foobar")["wav"]
soundfile.write("out.wav", speech.numpy(), text2speech.fs, "PCM_16")

Jika Anda ingin melihat cara memuat model tertentu, Anda dapat mengklik Use in ESPnet dan Anda akan diberikan potongan kode yang berfungsi untuk memuatnya!

Berbagi model Anda

ESPnet menghasilkan file zip yang dapat diunggah ke Hugging Face dengan mudah. Untuk panduan lengkap tentang berbagi model, kami menyarankan untuk melihat panduan resmi).

Skrip run.sh memungkinkan Anda mengunggah model tertentu ke repositori Hugging Face.

./run.sh --stage 15 --skip_upload_hf false --hf_repo username/model_repo

Sumber daya tambahan

• Dokumentasi ESPnet.
• Repositori model zoo ESPnet.
• Dokumentasi integrasi.