AutoencoderKLKVAEAudio

Variational autoencoder (VAE) konvolusional 1D dengan kerugian KL untuk audio, yang diperkenalkan oleh Tim Kandinsky Lab dalam KVAE-Audio. Model ini memampatkan waveform mentah pita penuh (48 kHz) menjadi latens kontinu yang ringkas dan merekonstruksinya dengan fidelitas tinggi untuk ucapan, musik, dan audio umum.

Model dapat dimuat dengan potongan kode berikut.

import torch
from diffusers import AutoencoderKLKVAEAudio

vae = AutoencoderKLKVAEAudio.from_pretrained("kandinskylab/KVAE-Audio", subfolder="diffusers", dtype=torch.float32)

AutoencoderKLKVAEAudio

kelas diffusers.AutoencoderKLKVAEAudio

< source >

( encoder_dim: int = 64encoder_rates: list = [2, 3, 4, 5, 8]latent_dim: int = 2048codebook_dim: int = 64decoder_dim: int = 1536decoder_rates: list = [8, 5, 4, 3, 2]sample_rate: int = 48000num_channels: int = 1attn_num_heads: int = 8 )

Parameter

encoder_dim (int, opsional, default 64) — Dimensi channel dasar untuk encoder; digandakan di setiap tahap downsampling.
encoder_rates (list[int], opsional, default [2, 3, 4, 5, 8]) — Strides untuk downsampling di encoder.
latent_dim (int, opsional, default 2048) — Dimensi channel dari output encoder (sebelum bottleneck in_proj).
codebook_dim (int, opsional, default 64) — Dimensi channel dari ruang laten distribusi posterior (setelah bottleneck in_proj).
decoder_dim (int, opsional, default 1536) — Dimensi channel dasar untuk decoder; dibagi dua di setiap tahap upsampling.
decoder_rates (list[int], opsional, defaultnya [8, 5, 4, 3, 2]) — Strides untuk upsampling di decoder.
sample_rate (int, opsional, default 48000) — Laju sampling, dalam Hz, yang digunakan saat model dilatih.
num_channels (int, opsional, default 1) — Jumlah channel dalam data audio (1 untuk mono).
attn_num_heads (int, opsional, default 8) — Jumlah head dalam blok self-attention yang diterapkan pada output encoder.

Autoencoder konvolusional 1D untuk mengkodekan bentuk gelombang audio mentah menjadi latens kontinu dan mendekodekannya kembali menjadi bentuk gelombang. Diperkenalkan dalam KVAE-Audio.

Model ini mewarisi dari ModelMixin. Periksa dokumentasi kelas induk untuk metode generiknya yang diimplementasikan untuk semua model (seperti mengunduh atau menyimpan).

decode

< source >

( z: Tensorreturn_dict: bool = True ) → DecoderOutput or tuple

Parameter

z (torch.Tensor) — Batch input dari vektor laten.
return_dict (bool, opsional, default True) — Apakah akan mengembalikan DecoderOutput alih-alih tuple biasa.

Mengembalikan

DecoderOutput atau tuple

If return_dict is True, a DecoderOutput is returned, otherwise a plain tuple is returned.

Decode batch of latents menjadi waveform audio.

encode

< source >

( audio_data: Tensorreturn_dict: bool = True )

Parameter

audio_data (torch.Tensor dengan bentuk (batch_size, num_channels, num_samples)) — Batch input dari waveform audio mentah.
return_dict (bool, opsional, default True) — Apakah akan mengembalikan ~models.autoencoder_kl.AutoencoderKLOutput alih-alih tuple biasa.

Enkodekan batch waveform audio menjadi latents.

forward

< source >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → DecoderOutput or tuple

Parameter

sample (torch.Tensor dengan bentuk (batch_size, num_channels, num_samples)) — Batch input dari waveform audio mentah.
sample_posterior (bool, opsional, default False) — Apakah akan mengambil sampel dari posterior.
return_dict (bool, opsional, default True) — Apakah akan mengembalikan DecoderOutput alih-alih tuple biasa.
generator (torch.Generator, opsional) — torch.Generator untuk membuat sampling menjadi deterministik.

Mengembalikan

DecoderOutput atau tuple

Jika return_dict bernilai True, sebuah DecoderOutput akan dikembalikan, selain itu sebuah tuple biasa akan dikembalikan.

Update on GitHub

Diffusers

AutoencoderKLKVAEAudio