UVit2DModel

Le modèle U-ViT est un UNet basé sur un vision transformer (ViT). Ce modèle intègre des éléments du ViT (considère toutes les entrées, telles que le temps, les conditions et les patches d'image bruités, comme des tokens) et de l'UNet (connexions de saut longues entre les couches superficielles et profondes). La connexion de saut est importante pour la prédiction des caractéristiques au niveau des pixels. Un bloc convolutif 3x3 supplémentaire est appliqué avant la sortie finale pour améliorer la qualité de l'image.

L'abstract de l'article est :

Actuellement, l’application de modèles de diffusion dans l’espace pixel d’images haute résolution est difficile. Les approches existantes se concentrent plutôt sur la diffusion dans des espaces de plus faible dimension (diffusion latente) ou sur plusieurs niveaux de super-résolution de génération, appelés cascades. L’inconvénient est que ces approches ajoutent une complexité supplémentaire au cadre de diffusion. Cet article vise à améliorer la diffusion de débruitage pour les images haute résolution tout en gardant le modèle aussi simple que possible. L’article est centré sur la question de recherche suivante : comment entraîner des modèles de diffusion de débruitage standard sur des images haute résolution et obtenir tout de même des performances comparables à ces approches alternatives ? Les quatre principaux résultats sont : 1) le calendrier de bruit doit être ajusté pour les images haute résolution, 2) il suffit de mettre à l’échelle une partie particulière de l’architecture, 3) un dropout doit être ajouté à des emplacements spécifiques de l’architecture, et 4) le sous-échantillonnage est une stratégie efficace pour éviter les cartes de caractéristiques haute résolution. En combinant ces techniques simples mais efficaces, nous atteignons l’état de l’art en génération d’images parmi les modèles de diffusion, sans modificateurs d’échantillonnage, sur ImageNet.

UVit2DModel

UVit2DConvEmbed

UVitBlock

ConvNextBlock

ConvMlmLayer