AutoencoderOobleck

Le modèle de variational autoencoder (VAE) Oobleck avec perte KL a été introduit dans Stability-AI/stable-audio-tools et Stable Audio Open par Stability AI. Le modèle est utilisé dans 🤗 Diffusers pour encoder les formes d'onde audio en latents et pour décoder les représentations latentes en formes d'onde audio.

L'abstract de l'article est :

Les modèles génératifs ouverts sont d’une importance vitale pour la communauté, car ils permettent le fine-tuning et servent de références lors de la présentation de nouveaux modèles. Cependant, la plupart des modèles actuels de texte vers audio sont privés et ne sont pas accessibles aux artistes et aux chercheurs pour qu’ils puissent s’en servir de base. Nous décrivons ici l’architecture et le processus d’entraînement d’un nouveau modèle de texte vers audio à poids ouverts, entraîné avec des données Creative Commons. Notre évaluation montre que les performances du modèle sont compétitives par rapport à l’état de l’art sur diverses métriques. Notamment, les résultats FDopenl3 rapportés (mesurant le réalisme des générations) mettent en évidence son potentiel pour la synthèse sonore stéréo de haute qualité à 44,1 kHz.

AutoencoderOobleck

classe diffusers.AutoencoderOobleck

< source >

( encoder_hidden_size = 128downsampling_ratios = [2, 4, 4, 8, 8]channel_multiples = [1, 2, 4, 8, 16]decoder_channels = 128decoder_input_channels = 64audio_channels = 2sampling_rate = 44100 )

Paramètres

encoder_hidden_size (int, facultatif, valeur par défaut 128) — Dimension de la représentation intermédiaire pour l'encodeur.
downsampling_ratios (list[int], facultatif, par défaut [2, 4, 4, 8, 8]) — Ratios de sous-échantillonnage dans l'encodeur. Ils sont utilisés dans l'ordre inverse pour le sur-échantillonnage dans le décodeur.
channel_multiples (list[int], facultatif, par défaut [1, 2, 4, 8, 16]) — Multiples utilisés pour déterminer les tailles cachées des couches cachées.
decoder_channels (int, facultatif, valeur par défaut 128) — Dimension de la représentation intermédiaire pour le décodeur.
decoder_input_channels (int, facultatif, valeur par défaut 64) — Dimension d'entrée du décodeur. Correspond à la dimension latente.
audio_channels (int, facultatif, valeur par défaut 2) — Nombre de canaux dans les données audio. Soit 1 pour le mono, soit 2 pour le stéréo.
sampling_rate (int, facultatif, valeur par défaut 44100) — La fréquence d'échantillonnage à laquelle la forme d'onde audio doit être numérisée, exprimée en hertz (Hz).

Un auto-encodeur pour encoder les formes d'onde en latents et décoder les représentations latentes en formes d'onde. Introduit pour la première fois dans Stable Audio.

Ce modèle hérite de ModelMixin. Consultez la documentation de la classe parente pour ses méthodes génériques implémentées pour tous les modèles (téléchargement ou sauvegarde, par exemple).

décoder

< source >

( z: FloatTensorreturn_dict: bool = Truegenerator = None ) → ~models.vae.OobleckDecoderOutput or tuple

Paramètres

z (torch.Tensor) — Lot d’entrée de vecteurs latents.
return_dict (bool, facultatif, par défaut True) — Indique s'il faut retourner un ~models.vae.OobleckDecoderOutput plutôt qu'un simple tuple.

Retourne

~models.vae.OobleckDecoderOutput ou tuple

If return_dict is True, a ~models.vae.OobleckDecoderOutput is returned, otherwise a plain tuple is returned.

Décoder un lot d'images.

encode

< source >

( x: Tensorreturn_dict: bool = True )

Paramètres

x (torch.Tensor) — Lot d'images en entrée.
return_dict (bool, facultatif, par défaut True) — Indique s'il faut retourner un ~models.autoencoder_kl.AutoencoderKLOutput plutôt qu'un simple tuple.

Encode un lot d'images en latents.

forward

< source >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → ~models.vae.OobleckDecoderOutput or tuple

Paramètres

sample (torch.Tensor) — Échantillon d'entrée.
sample_posterior (bool, facultatif, par défaut False) — Indique s'il faut échantillonner à partir de la postérieure.
return_dict (bool, facultatif, par défaut True) — Indique s'il faut retourner un OobleckDecoderOutput plutôt qu'un simple tuple.
generator (torch.Generator, facultatif) — Un torch.Generator pour rendre l'échantillonnage déterministe.

Retourne

~models.vae.OobleckDecoderOutput ou tuple

Si return_dict est True, un ~models.vae.OobleckDecoderOutput est renvoyé, sinon un simple tuple est renvoyé.

OobleckDecoderOutput

classe diffusers.models.autoencoders.autoencoder_oobleck.OobleckDecoderOutput

< source >

( sample: Tensor )

Paramètres

sample (torch.Tensor de forme (batch_size, audio_channels, sequence_length)) — L'échantillon de sortie décodé de la dernière couche du modèle.

Sortie de la méthode de décodage.

AutoencoderOobleckOutput

classe diffusers.models.autoencoders.autoencoder_oobleck.AutoencoderOobleckOutput

< source >

( latent_dist: OobleckDiagonalGaussianDistribution )

Paramètres

latent_dist (OobleckDiagonalGaussianDistribution) — Sorties encodées de Encoder représentées par la moyenne et l'écart-type de OobleckDiagonalGaussianDistribution. OobleckDiagonalGaussianDistribution permet d'échantillonner des latents à partir de la distribution.

Sortie de la méthode d'encodage d'AutoencoderOobleck.

Update on GitHub