DDPM

Denoising Diffusion Probabilistic Models (DDPM), de Jonathan Ho, Ajay Jain e Pieter Abbeel, propõe um modelo baseado em difusão com o mesmo nome. Na biblioteca 🤗 Diffusers, DDPM se refere ao discrete denoising scheduler do artigo, bem como ao pipeline.

O resumo do artigo é:

Apresentamos resultados de alta qualidade em síntese de imagens usando modelos probabilísticos de difusão, uma classe de modelos de variáveis latentes inspirada em considerações da termodinâmica de não equilíbrio. Nossos melhores resultados são obtidos treinando em um limite variacional ponderado projetado de acordo com uma nova conexão entre modelos probabilísticos de difusão e correspondência de escores de desruído com dinâmica de Langevin, e nossos modelos admitem naturalmente um esquema progressivo de descompressão com perdas que pode ser interpretado como uma generalização da decodificação autoregressiva. No conjunto de dados incondicional CIFAR10, obtemos uma pontuação Inception de 9,46 e uma pontuação FID do estado da arte de 3,17. Em 256x256 LSUN, obtemos qualidade de amostras semelhante à do ProgressiveGAN.

O código original pode ser encontrado em hohonathanho/diffusion.

Certifique-se de consultar o guia de Schedulers para aprender a explorar o compromisso entre a velocidade e a qualidade do scheduler, e veja a seção reutilização de componentes entre pipelines para aprender a carregar eficientemente os mesmos componentes em vários pipelines.

DDPMPipeline

>>> from diffusers import DDPMPipeline

>>> # load model and scheduler
>>> pipe = DDPMPipeline.from_pretrained("google/ddpm-cat-256")

>>> # run pipeline in inference (sample random noise and denoise)
>>> image = pipe().images[0]

>>> # save image
>>> image.save("ddpm_generated_image.png")

ImagePipelineOutput