Hugging Face's logo

Diffusers documentation

LTXVideoTransformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LTXVideoTransformer3DModel

Un modèle Diffusion Transformer pour des données 3D de LTX a été introduit par Lightricks.

Le modèle peut être chargé à l'aide du fragment de code suivant.

from diffusers import LTXVideoTransformer3DModel

transformer = LTXVideoTransformer3DModel.from_pretrained("Lightricks/LTX-Video", subfolder="transformer", dtype=torch.bfloat16).to("cuda")  # or "mps", "xpu", "cpu"

LTXVideoTransformer3DModel

classe diffusers.LTXVideoTransformer3DModel

< >

( in_channels: int = 128out_channels: int = 128patch_size: int = 1patch_size_t: int = 1num_attention_heads: int = 32attention_head_dim: int = 64cross_attention_dim: int = 2048num_layers: int = 28activation_fn: str = 'gelu-approximate'qk_norm: str = 'rms_norm_across_heads'norm_elementwise_affine: bool = Falsenorm_eps: float = 1e-06caption_channels: int = 4096attention_bias: bool = Trueattention_out_bias: bool = True )

Paramètres

  • in_channels (int, par défaut 128) — Le nombre de canaux dans l'entrée.
  • out_channels (int, par défaut 128) — Le nombre de canaux dans la sortie.
  • patch_size (int, par défaut 1) — La taille des patches spatiaux à utiliser dans la couche d'encodage de patches.
  • patch_size_t (int, par défaut 1) — La taille des patches temporels à utiliser dans la couche d'incorporation de patches.
  • num_attention_heads (int, par défaut 32) — Le nombre de têtes à utiliser pour l'attention multi-têtes.
  • attention_head_dim (int, par défaut 64) — Le nombre de canaux dans chaque tête.
  • cross_attention_dim (int, par défaut 2048 ) — Le nombre de canaux pour les têtes d'attention croisée.
  • num_layers (int, par défaut 28) — Le nombre de blocs Transformer à utiliser.
  • activation_fn (str, par défaut "gelu-approximate") — Fonction d'activation à utiliser dans le réseau de neurones à propagation avant.
  • qk_norm (str, par défaut "rms_norm_across_heads") — La couche de normalisation à utiliser.

Un modèle Transformer pour des données de type vidéo utilisé dans LTX.

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensortimestep: LongTensorencoder_attention_mask: Tensornum_frames: int | None = Noneheight: int | None = Nonewidth: int | None = Nonerope_interpolation_scale: typing.Union[tuple[float, float, float], torch.Tensor, NoneType] = Nonevideo_coords: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True ) → torch.Tensor

Paramètres

  • hidden_states (torch.Tensor de forme (batch_size, sequence_length, in_channels)) — hidden_states d'entrée.
  • encoder_hidden_states (torch.Tensor de forme (batch_size, sequence_len, embed_dims)) — Embeddings conditionnels (embeddings calculés à partir des conditions d’entrée telles que les prompts) à utiliser.
  • timestep (torch.LongTensor) — Utilisé pour indiquer l'étape de débruitage.
  • encoder_attention_mask (torch.Tensor) — Masque appliqué à encoder_hidden_states lors de l'attention.
  • num_frames (int, facultatif) — Nombre de frames de la vidéo utilisées pour calculer les embeddings positionnels rotatifs.
  • height (int, facultatif) — Hauteur du latent utilisé pour calculer les embeddings positionnels rotatifs.
  • width (int, facultatif) — Largeur du latent utilisé pour calculer les embeddings positionnels rotatifs.
  • rope_interpolation_scale (tuple de float ou torch.Tensor, facultatif) — Échelle d'interpolation utilisée par les embeddings positionnels rotatifs.
  • video_coords (torch.Tensor, facultatif) — Coordonnées vidéo précalculées utilisées par les embeddings positionnels rotatifs.
  • attention_kwargs (dict, facultatif) — Un dictionnaire de kwargs qui, s'il est spécifié, est transmis à l'AttentionProcessor défini sous self.processor dans diffusers.models.attention_processor.
  • return_dict (bool, facultatif, par défaut True) — Indique s'il faut retourner un ~models.transformer_2d.Transformer2DModelOutput plutôt qu'un simple tuple.

Retourne

torch.Tensor

Le tenseur de sortie débruité de forme (batch_size, sequence_length, out_channels).

La méthode forward du LTXVideoTransformer3DModel.

Transformer2DModelOutput

classe diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Paramètres

  • sample (torch.Tensor de forme (batch_size, num_channels, height, width) ou (batch size, num_vector_embeds - 1, num_latent_pixels) si Transformer2DModel est discret) — Les états cachés en sortie, conditionnés par l'entrée encoder_hidden_states. Si discret, renvoie les distributions de probabilité pour les pixels latents non bruités.

La sortie de Transformer2DModel.

Update on GitHub

←LTX2VideoTransformer3DModel Lumina2Transformer2DModel→