UVit2DModel

El modelo U-ViT es un UNet basado en vision transformer (ViT). Este modelo incorpora elementos de ViT (considera todas las entradas, como el tiempo, las condiciones y los parches de imagen con ruido, como tokens) y de UNet (conexiones de salto largas entre las capas superficiales y profundas). La conexión de salto es importante para predecir características a nivel de píxel. Se aplica un bloque convolucional adicional de 3x3 antes de la salida final para mejorar la calidad de la imagen.

El resumen del artículo es:

Actualmente, aplicar modelos de difusión en el espacio de píxeles de imágenes de alta resolución es difícil. En su lugar, los enfoques existentes se centran en la difusión en espacios de menor dimensión (difusión latente) o en múltiples niveles de superresolución de generación, conocidos como cascadas. La desventaja es que estos enfoques añaden complejidad adicional al marco de difusión. Este trabajo busca mejorar la difusión de desruido para imágenes de alta resolución manteniendo el modelo lo más simple posible. El artículo se centra en la pregunta de investigación: ¿Cómo se puede entrenar un modelo estándar de difusión de desruido en imágenes de alta resolución y, aun así, obtener un rendimiento comparable a estos enfoques alternativos? Los cuatro hallazgos principales son: 1) el programa de ruido debe ajustarse para imágenes de alta resolución, 2) es suficiente escalar solo una parte particular de la arquitectura, 3) se debe añadir dropout en ubicaciones específicas de la arquitectura y 4) el muestreo descendente es una estrategia efectiva para evitar mapas de características de alta resolución. Combinando estas técnicas simples pero efectivas, logramos el estado del arte en la generación de imágenes entre los modelos de difusión, sin modificadores de muestreo, en ImageNet.

UVit2DModel

UVit2DConvEmbed

UVitBlock

ConvNextBlock

ConvMlmLayer

Update on GitHub