Hugging Face에서 ESPnet 사용

espnet은 자동 음성 인식, 텍스트 음성 변환, 음성 향상, 디레이리제이션 및 기타 작업을 포함하는 음성 처리를 위한 엔드투엔드 툴킷입니다.

Hub에서 ESPnet 탐색

모델 페이지 왼쪽에서 필터링하여 espnet 모델 수백 개를 찾을 수 있습니다.

Hub의 모든 모델에는 유용한 기능이 함께 제공됩니다:

1. 설명, 학습 구성, 라이선스 등을 포함하는 자동 생성된 모델 카드.
2. 검색 가능성을 높이고 라이선스, 언어, 데이터셋 등의 정보를 포함하는 메타데이터 태그.
3. 모델을 브라우저에서 직접 실험해 볼 수 있는 인터랙티브 위젯입니다.
4. 추론 요청을 수행할 수 있는 Inference Providers 위젯입니다.

기존 모델 사용

사전 학습된 모델을 로드하는 전체 가이드에 대해서는 공식 가이드를 참고하는 것을 권장합니다.

추론을 수행하는 데 관심이 있다면, 다양한 작업을 위한 클래스에는 from_pretrained 메서드가 있어 Hub에서 모델을 로드할 수 있습니다. 예를 들어:

• 자동 음성 인식용 Speech2Text.
• 음성 합성을 위한 Text2Speech.
• 오디오 소스 분리를 위한 SeparateSpeech.

다음은 추론 예시입니다:

import soundfile
from espnet2.bin.tts_inference import Text2Speech

text2speech = Text2Speech.from_pretrained("model_name")
speech = text2speech("foobar")["wav"]
soundfile.write("out.wav", speech.numpy(), text2speech.fs, "PCM_16")

특정 모델을 로드하는 방법을 확인하려면 Use in ESPnet을 클릭하면 로드할 수 있는 작동하는 스니펫이 제공됩니다!

모델 공유

ESPnet는 Hugging Face에 쉽게 업로드할 수 있는 zip 파일을 출력합니다. 모델 공유에 대한 전체 가이드는 공식 가이드를 참고하세요.

run.sh 스크립트는 주어진 모델을 Hugging Face 저장소에 업로드할 수 있습니다.

./run.sh --stage 15 --skip_upload_hf false --hf_repo username/model_repo

추가 리소스

• ESPnet 문서.
• ESPnet 모델 주우 저장소.
• 통합 문서.