Hugging Face's logo

Diffusers documentation

AutoencoderOobleck

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AutoencoderOobleck

El modelo de autoencoder variacional (VAE) Oobleck con pérdida KL se introdujo en Stability-AI/stable-audio-tools y Stable Audio Open de Stability AI. El modelo se utiliza en 🤗 Diffusers para codificar las formas de onda de audio en latentes y para decodificar las representaciones latentes en formas de onda de audio.

El resumen del artículo es:

Los modelos generativos abiertos son de vital importancia para la comunidad, ya que permiten realizar ajustes finos y sirven como líneas base al presentar nuevos modelos. Sin embargo, la mayoría de los modelos actuales de texto a audio son privados y no están accesibles para que artistas e investigadores construyan sobre ellos. Aquí describimos la arquitectura y el proceso de entrenamiento de un nuevo modelo de texto a audio de pesos abiertos, entrenado con datos de Creative Commons. Nuestra evaluación muestra que el rendimiento del modelo es competitivo con el estado del arte en diversas métricas. Notablemente, los resultados de FDopenl3 reportados (que miden el realismo de las generaciones) muestran su potencial para la síntesis de sonido estéreo de alta calidad a 44.1 kHz.

AutoencoderOobleck

clase diffusers.AutoencoderOobleck

< >

( encoder_hidden_size = 128downsampling_ratios = [2, 4, 4, 8, 8]channel_multiples = [1, 2, 4, 8, 16]decoder_channels = 128decoder_input_channels = 64audio_channels = 2sampling_rate = 44100 )

Parámetros

  • encoder_hidden_size (int, opcional, valor predeterminado 128) — Dimensión de la representación intermedia del codificador.
  • downsampling_ratios (list[int], opcional, valor predeterminado [2, 4, 4, 8, 8]) — Proporciones para el downsampling en el codificador. Se utilizan en orden inverso para el upsampling en el decodificador.
  • channel_multiples (list[int], opcional, valor predeterminado [1, 2, 4, 8, 16]) — Multiplicadores utilizados para determinar los tamaños ocultos de las capas ocultas.
  • decoder_channels (int, opcional, valor predeterminado 128) — Dimensión de la representación intermedia para el decodificador.
  • decoder_input_channels (int, opcional, valor predeterminado 64) — Dimensión de entrada para el decodificador. Corresponde a la dimensión latente.
  • audio_channels (int, opcional, valor predeterminado 2) — Número de canales en los datos de audio. 1 para mono o 2 para estéreo.
  • sampling_rate (int, opcional, valor predeterminado 44100) — La tasa de muestreo a la que la forma de onda de audio debe digitalizarse, expresada en hercios (Hz).

Un autoencoder para codificar formas de onda en latentes y decodificar representaciones latentes en formas de onda. Introducido por primera vez en Stable Audio.

Este modelo hereda de ModelMixin. Consulta la documentación de la clase superior para sus métodos genéricos implementados para todos los modelos (como la descarga o el guardado).

decode

< >

( z: FloatTensorreturn_dict: bool = Truegenerator = None ) → ~models.vae.OobleckDecoderOutput or tuple

Parámetros

  • z (torch.Tensor) — Lote de entrada de vectores latentes.
  • return_dict (bool, opcional, valor predeterminado True) — Si se debe devolver un ~models.vae.OobleckDecoderOutput en lugar de una tupla simple.

Devuelve

~models.vae.OobleckDecoderOutput o tuple

If return_dict is True, a ~models.vae.OobleckDecoderOutput is returned, otherwise a plain tuple is returned.

Decodificar un lote de imágenes.

encode

< >

( x: Tensorreturn_dict: bool = True )

Parámetros

  • x (torch.Tensor) — Lote de entrada de imágenes.
  • return_dict (bool, opcional, valor predeterminado True) — Si se debe devolver un ~models.autoencoder_kl.AutoencoderKLOutput en lugar de una tupla simple.

Codifica un lote de imágenes en latentes.

forward

< >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → ~models.vae.OobleckDecoderOutput or tuple

Parámetros

  • sample (torch.Tensor) — Muestra de entrada.
  • sample_posterior (bool, opcional, por defecto False) — Si se muestrea de la posterior.
  • return_dict (bool, opcional, valor predeterminado True) — Indica si se debe devolver un OobleckDecoderOutput en lugar de una tupla simple.
  • generator (torch.Generator, opcional) — Un torch.Generator para hacer que la muestreo sea determinista.

Devuelve

~models.vae.OobleckDecoderOutput o tuple

Si return_dict es True, se devuelve un ~models.vae.OobleckDecoderOutput, en caso contrario se devuelve una tuple simple.

OobleckDecoderOutput

clase diffusers.models.autoencoders.autoencoder_oobleck.OobleckDecoderOutput

< >

( sample: Tensor )

Parámetros

  • sample (torch.Tensor de forma (batch_size, audio_channels, sequence_length)) — La muestra de salida decodificada de la última capa del modelo.

Salida del método de decodificación.

AutoencoderOobleckOutput

clase diffusers.models.autoencoders.autoencoder_oobleck.AutoencoderOobleckOutput

< >

( latent_dist: OobleckDiagonalGaussianDistribution )

Parámetros

  • latent_dist (OobleckDiagonalGaussianDistribution) — Salidas codificadas de Encoder representadas como la media y la desviación estándar de OobleckDiagonalGaussianDistribution. OobleckDiagonalGaussianDistribution permite muestrear latentes de la distribución.

Salida del método de codificación de AutoencoderOobleck.

Update on GitHub

←LTX2VideoDiffusionDecoderModel Tiny AutoEncoder→