Hugging Face's logo

Diffusers documentation

AutoencoderKLKVAEAudio

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AutoencoderKLKVAEAudio

Un autoencoder variacional (VAE) de convolución 1D con pérdida KL para audio, introducido por el equipo de Kandinsky Lab en KVAE-Audio. Comprime las formas de onda crudas de banda completa (48 kHz) en latentes continuos compactos y las reconstruye con alta fidelidad en el habla, la música y el audio en general.

El modelo se puede cargar con el siguiente fragmento de código.

import torch
from diffusers import AutoencoderKLKVAEAudio

vae = AutoencoderKLKVAEAudio.from_pretrained("kandinskylab/KVAE-Audio", subfolder="diffusers", dtype=torch.float32)

AutoencoderKLKVAEAudio

clase diffusers.AutoencoderKLKVAEAudio

< >

( encoder_dim: int = 64encoder_rates: list = [2, 3, 4, 5, 8]latent_dim: int = 2048codebook_dim: int = 64decoder_dim: int = 1536decoder_rates: list = [8, 5, 4, 3, 2]sample_rate: int = 48000num_channels: int = 1attn_num_heads: int = 8 )

Parámetros

  • encoder_dim (int, opcional, valor predeterminado 64) — Dimensión base de canales para el codificador; se duplica en cada etapa de muestreo descendente.
  • encoder_rates (list[int], opcional, por defecto [2, 3, 4, 5, 8]) — Pasos para el muestreo descendente en el codificador.
  • latent_dim (int, opcional, valor predeterminado 2048) — Dimensión de canal de la salida del codificador (antes del cuello de botella in_proj).
  • codebook_dim (int, opcional, valor predeterminado 64) — Dimensión de canal del espacio latente de la distribución posterior (después del cuello de botella in_proj).
  • decoder_dim (int, opcional, valor predeterminado 1536) — Dimensión base de canales para el decodificador; se reduce a la mitad en cada etapa de muestreo ascendente.
  • decoder_rates (list[int], opcional, valor predeterminado [8, 5, 4, 3, 2]) — Pasos para el remuestreo ascendente en el decodificador.
  • sample_rate (int, opcional, valor predeterminado 48000) — La tasa de muestreo, en Hz, con la que se entrenó el modelo.
  • num_channels (int, opcional, valor predeterminado 1) — Número de canales en los datos de audio (1 para mono).
  • attn_num_heads (int, opcional, valor predeterminado 8) — Número de cabezas en el bloque de autoatención aplicado a la salida del codificador.

Un autoencoder convolucional 1D para codificar formas de onda de audio en bruto en latentes continuos y decodificarlos de nuevo en formas de onda. Introducido en KVAE-Audio.

Este modelo hereda de ModelMixin. Consulta la documentación de la clase superior para sus métodos genéricos implementados para todos los modelos (como la descarga o el guardado).

decode

< >

( z: Tensorreturn_dict: bool = True ) → DecoderOutput or tuple

Parámetros

  • z (torch.Tensor) — Lote de entrada de vectores latentes.
  • return_dict (bool, opcional, valor predeterminado True) — Si se debe devolver un DecoderOutput en lugar de una tupla simple.

Devuelve

DecoderOutput o tuple

If return_dict is True, a DecoderOutput is returned, otherwise a plain tuple is returned.

Decodificar un lote de latentes en formas de onda de audio.

encode

< >

( audio_data: Tensorreturn_dict: bool = True )

Parámetros

  • audio_data (torch.Tensor de forma (batch_size, num_channels, num_samples)) — Lote de entrada de formas de onda de audio sin procesar.
  • return_dict (bool, opcional, valor predeterminado True) — Si se debe devolver un ~models.autoencoder_kl.AutoencoderKLOutput en lugar de una tupla simple.

Codifica un lote de formas de onda de audio en latentes.

forward

< >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → DecoderOutput or tuple

Parámetros

  • sample (torch.Tensor de forma (batch_size, num_channels, num_samples)) — Lote de entrada de formas de onda de audio sin procesar.
  • sample_posterior (bool, opcional, por defecto False) — Si se muestrea de la posterior.
  • return_dict (bool, opcional, valor predeterminado True) — Indica si se debe devolver un DecoderOutput en lugar de una tupla simple.
  • generator (torch.Generator, opcional) — Un torch.Generator para hacer que la muestreo sea determinista.

Devuelve

DecoderOutput o tuple

Si return_dict es True, se devuelve un DecoderOutput; en caso contrario, se devuelve una tuple simple.

Update on GitHub

←AutoencoderKLKVAE AutoencoderKLKVAEVideo→