Hugging Face's logo

Diffusers documentation

LatteTransformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LatteTransformer3DModel

Un modèle Diffusion Transformer pour des données 3D issu de Latte.

LatteTransformer3DModel

classe diffusers.LatteTransformer3DModel

< >

( num_attention_heads: int = 16attention_head_dim: int = 88in_channels: int | None = Noneout_channels: int | None = Nonenum_layers: int = 1dropout: float = 0.0cross_attention_dim: int | None = Noneattention_bias: bool = Falsesample_size: int = 64patch_size: int | None = Noneactivation_fn: str = 'geglu'num_embeds_ada_norm: int | None = Nonenorm_type: str = 'layer_norm'norm_elementwise_affine: bool = Truenorm_eps: float = 1e-05caption_channels: int = Nonevideo_length: int = 16 )

forward

< >

( hidden_states: Tensortimestep: typing.Optional[torch.LongTensor] = Noneencoder_hidden_states: typing.Optional[torch.Tensor] = Noneencoder_attention_mask: typing.Optional[torch.Tensor] = Noneenable_temporal_attentions: bool = Truereturn_dict: bool = True )

Paramètres

  • hidden_states (torch.Tensor de forme (batch size, channel, num_frame, height, width)) — hidden_states d'entrée.
  • timestep ( torch.LongTensor, facultatif) — Utilisé pour indiquer l'étape de débruitage. Timestep facultatif à appliquer en tant qu'embedding dans AdaLayerNorm.
  • encoder_hidden_states ( torch.FloatTensor de forme (batch size, sequence len, embed dims), facultatif) — Embeddings conditionnels pour la couche d'attention croisée. S'ils ne sont pas fournis, l'attention croisée se comporte par défaut comme une auto-attention.
  • encoder_attention_mask ( torch.Tensor, facultatif) — Masque d'attention croisée appliqué aux encoder_hidden_states. Deux formats pris en charge :
    • Masque (batcheight, sequence_length) True = conserver, False = supprimer.
    • Biais (batcheight, 1, sequence_length) 0 = conserver, -10000 = supprimer.

    Si ndim == 2 : sera interprété comme un masque, puis converti en un biais cohérent avec le format ci-dessus. Ce biais sera ajouté aux scores d'attention croisée.

  • enable_temporal_attentions — (bool, facultatif, valeur par défaut True) : Indique s'il faut activer les attentions temporelles.
  • return_dict (bool, facultatif, par défaut True) — Indique s'il faut retourner un ~models.unet_2d_condition.UNet2DConditionOutput plutôt qu'un simple tuple.

La méthode forward du LatteTransformer3DModel.

Update on GitHub

←Krea2Transformer2DModel LongCatImageTransformer2DModel→