Hugging Face's logo

Diffusers documentation

AllegroTransformer3DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AllegroTransformer3DModel

Model Diffusion Transformer untuk data 3D dari Allegro diperkenalkan dalam Allegro: Open the Black Box of Commercial-Level Video Generation Model oleh RhymesAI.

Model dapat dimuat dengan potongan kode berikut.

from diffusers import AllegroTransformer3DModel

transformer = AllegroTransformer3DModel.from_pretrained("rhymes-ai/Allegro", subfolder="transformer", dtype=torch.bfloat16).to("cuda")  # or "mps", "xpu", "cpu"

AllegroTransformer3DModel

kelas diffusers.AllegroTransformer3DModel

< >

( patch_size: int = 2patch_size_t: int = 1num_attention_heads: int = 24attention_head_dim: int = 96in_channels: int = 4out_channels: int = 4num_layers: int = 32dropout: float = 0.0cross_attention_dim: int = 2304attention_bias: bool = Truesample_height: int = 90sample_width: int = 160sample_frames: int = 22activation_fn: str = 'gelu-approximate'norm_elementwise_affine: bool = Falsenorm_eps: float = 1e-06caption_channels: int = 4096interpolation_scale_h: float = 2.0interpolation_scale_w: float = 2.0interpolation_scale_t: float = 2.2 )

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensortimestep: LongTensorattention_mask: typing.Optional[torch.Tensor] = Noneencoder_attention_mask: typing.Optional[torch.Tensor] = Noneimage_rotary_emb: tuple[torch.Tensor, torch.Tensor] | None = Nonereturn_dict: bool = True )

Parameter

  • hidden_states (torch.Tensor dengan bentuk (batch_size, num_channels, num_frames, height, width)) — hidden_states masukan.
  • encoder_hidden_states (torch.Tensor dengan bentuk (batch_size, sequence_len, embed_dims)) — Embedding kondisional (embedding yang dihitung dari kondisi input seperti prompt) yang akan digunakan.
  • timestep (torch.LongTensor) — Digunakan untuk menunjukkan langkah denoising.
  • attention_mask (torch.Tensor, opsional) — Mask self-attention yang diterapkan pada hidden_states.
  • encoder_attention_mask (torch.Tensor, opsional) — Mask cross-attention yang diterapkan pada encoder_hidden_states.
  • image_rotary_emb (tuple dari torch.Tensor, opsional) — Embedding posisi rotasi yang telah dihitung sebelumnya.
  • return_dict (bool, opsional, default True) — Apakah akan mengembalikan ~models.transformer_2d.Transformer2DModelOutput alih-alih tuple biasa.

Metode forward dari AllegroTransformer3DModel.

Transformer2DModelOutput

kelas diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parameter

  • sample (torch.Tensor dengan bentuk (batch_size, num_channels, height, width) atau (batch size, num_vector_embeds - 1, num_latent_pixels) jika Transformer2DModel bersifat diskrit) — Output hidden states yang dikondisikan pada input encoder_hidden_states. Jika diskrit, mengembalikan distribusi probabilitas untuk latent pixels yang tidak berisik.

Output dari Transformer2DModel.

Update on GitHub

←AceStepTransformer1DModel AnyFlowFARTransformer3DModel→