Hugging Face's logo

Diffusers documentation

SanaVideoTransformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SanaVideoTransformer3DModel

Un modèle Diffusion Transformer pour des données 3D (vidéo) issu de SANA-Video: Efficient Video Generation with Block Linear Diffusion Transformer de NVIDIA et du MIT HAN Lab, par Junsong Chen, Yuyang Zhao, Jincheng Yu, Ruihang Chu, Junyu Chen, Shuai Yang, Xianbang Wang, Yicheng Pan, Daquan Zhou, Huan Ling, Haozhe Liu, Hongwei Yi, Hao Zhang, Muyang Li, Yukang Chen, Han Cai, Sanja Fidler, Ping Luo, Song Han, Enze Xie.

L'abstract de l'article est :

Nous présentons SANA-Video, un petit modèle de diffusion capable de générer efficacement des vidéos jusqu'à une résolution de 720x1280 et d'une durée d'une minute. SANA-Video synthétise des vidéos haute résolution, de haute qualité et longues, avec un fort alignement texte-vidéo, à une vitesse remarquablement rapide, et peut être déployé sur un GPU RTX 5090. Deux conceptions clés garantissent notre génération de vidéos efficace, performante et longue : (1) Linear DiT : nous exploitons l'attention linéaire comme opération centrale, ce qui est plus efficace que l'attention standard compte tenu du grand nombre de jetons traités dans la génération de vidéos. (2) Cache KV à mémoire constante pour l'attention linéaire par blocs : nous concevons une approche autorégressive par blocs pour la génération de vidéos longues en utilisant un état à mémoire constante, dérivé des propriétés cumulatives de l'attention linéaire. Ce cache KV fournit au Linear DiT un contexte global à un coût mémoire fixe, éliminant le besoin d'un cache KV traditionnel et permettant une génération efficace de vidéos d'une minute. En outre, nous explorons des filtres de données et des stratégies d'entraînement efficaces, réduisant le coût d'entraînement à 12 jours sur 64 GPU H100, soit seulement 1 % du coût de MovieGen. Compte tenu de son faible coût, SANA-Video atteint des performances compétitives par rapport aux petits modèles de diffusion modernes de pointe (par exemple, Wan 2.1-1.3B et SkyReel-V2-1.3B) tout en étant 16 fois plus rapide en latence mesurée. De plus, SANA-Video peut être déployé sur des GPU RTX 5090 avec une précision NVFP4, accélérant la vitesse d'inférence de la génération d'une vidéo 720p de 5 secondes de 71 s à 29 s (accélération de 2,4 fois). En résumé, SANA-Video permet une génération de vidéos de haute qualité à faible coût.

Le modèle peut être chargé à l'aide du fragment de code suivant.

from diffusers import SanaVideoTransformer3DModel
import torch

transformer = SanaVideoTransformer3DModel.from_pretrained("Efficient-Large-Model/SANA-Video_2B_480p_diffusers", subfolder="transformer", dtype=torch.bfloat16)

SanaVideoTransformer3DModel

classe diffusers.SanaVideoTransformer3DModel

< >

( in_channels: int = 16out_channels: int | None = 16num_attention_heads: int = 20attention_head_dim: int = 112num_layers: int = 20num_cross_attention_heads: int | None = 20cross_attention_head_dim: int | None = 112cross_attention_dim: int | None = 2240caption_channels: int = 2304mlp_ratio: float = 2.5dropout: float = 0.0attention_bias: bool = Falsesample_size: int = 30patch_size: tuple[int, int, int] = (1, 2, 2)norm_elementwise_affine: bool = Falsenorm_eps: float = 1e-06interpolation_scale: int | None = Noneguidance_embeds: bool = Falseguidance_embeds_scale: float = 0.1qk_norm: str | None = 'rms_norm_across_heads'rope_max_seq_len: int = 1024 )

Paramètres

  • in_channels (int, par défaut 16) — Le nombre de canaux dans l'entrée.
  • out_channels (int, facultatif, par défaut 16) — Le nombre de canaux dans la sortie.
  • num_attention_heads (int, par défaut 20) — Le nombre de têtes à utiliser pour l'attention multi-têtes.
  • attention_head_dim (int, par défaut 112) — Le nombre de canaux dans chaque tête.
  • num_layers (int, par défaut 20) — Le nombre de blocs Transformer à utiliser.
  • num_cross_attention_heads (int, facultatif, valeur par défaut 20) — Le nombre de têtes à utiliser pour l'attention croisée.
  • cross_attention_head_dim (int, facultatif, valeur par défaut 112) — Le nombre de canaux par tête pour l'attention croisée.
  • cross_attention_dim (int, facultatif, valeur par défaut 2240) — Le nombre de canaux dans la sortie de l'attention croisée.
  • caption_channels (int, par défaut 2304) — Le nombre de canaux dans les embeddings de légende.
  • mlp_ratio (float, par défaut 2.5) — Le ratio d'expansion à utiliser dans la couche GLUMBConv.
  • dropout (float, par défaut 0.0) — La probabilité de dropout.
  • attention_bias (bool, par défaut False) — Indique s'il faut utiliser un biais dans la couche d'attention.
  • sample_size (int, par défaut 32) — La taille de base du latent d'entrée.
  • patch_size (int, par défaut 1) — La taille des patches à utiliser dans la couche d'embedding de patches.
  • norm_elementwise_affine (bool, par défaut False) — Indique s'il faut utiliser l'affinité élément par élément dans la couche de normalisation.
  • norm_eps (float, par défaut 1e-6) — La valeur epsilon pour la couche de normalisation.
  • qk_norm (str, facultatif, par défaut None) — La normalisation à utiliser pour la requête et la clé.

Un modèle Transformer 3D introduit dans la famille de modèles Sana-Video.

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensortimestep: Tensorguidance: typing.Optional[torch.Tensor] = Noneencoder_attention_mask: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonecontrolnet_block_samples: tuple[torch.Tensor] | None = Nonereturn_dict: bool = True )

Paramètres

  • hidden_states (torch.Tensor de forme (batch_size, in_channels, num_frames, height, width)) — hidden_states d'entrée.
  • encoder_hidden_states (torch.Tensor de forme (batch_size, sequence_len, embed_dims)) — Embeddings conditionnels (embeddings calculés à partir des conditions d’entrée telles que les prompts) à utiliser.
  • timestep (torch.LongTensor) — Utilisé pour indiquer l'étape de débruitage.
  • guidance (torch.Tensor, optional) — Guidance scale embedding.
  • encoder_attention_mask (torch.Tensor, facultatif) — Masque d'attention croisée appliqué à encoder_hidden_states.
  • attention_mask (torch.Tensor, facultatif) — Masque d'auto-attention appliqué à hidden_states.
  • attention_kwargs (dict, facultatif) — Un dictionnaire de kwargs qui, s'il est spécifié, est transmis à l'AttentionProcessor défini sous self.processor dans diffusers.models.attention_processor.
  • controlnet_block_samples (tuple de torch.Tensor, facultatif) — Une liste de tenseurs qui, si elle est spécifiée, est ajoutée aux résidus des blocs du transformer.
  • return_dict (bool, facultatif, par défaut True) — Indique s'il faut retourner un ~models.transformer_2d.Transformer2DModelOutput plutôt qu'un simple tuple.

La méthode forward du SanaVideoTransformer3DModel.

Transformer2DModelOutput

classe diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Paramètres

  • sample (torch.Tensor de forme (batch_size, num_channels, height, width) ou (batch size, num_vector_embeds - 1, num_latent_pixels) si Transformer2DModel est discret) — Les états cachés en sortie, conditionnés par l'entrée encoder_hidden_states. Si discret, renvoie les distributions de probabilité pour les pixels latents non bruités.

La sortie de Transformer2DModel.

Update on GitHub

←SanaTransformer2DModel SanaWMLTX2RefinerTransformer3DModel→