Hugging Face's logo

Diffusers documentation

HunyuanDiT2DModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HunyuanDiT2DModel

Model Diffusion Transformer untuk data 2D dari Hunyuan-DiT.

HunyuanDiT2DModel

kelas diffusers.HunyuanDiT2DModel

< >

( num_attention_heads: int = 16attention_head_dim: int = 88in_channels: int | None = Nonepatch_size: int | None = Noneactivation_fn: str = 'gelu-approximate'sample_size = 32hidden_size = 1152num_layers: int = 28mlp_ratio: float = 4.0learn_sigma: bool = Truecross_attention_dim: int = 1024norm_type: str = 'layer_norm'cross_attention_dim_t5: int = 2048pooled_projection_dim: int = 1024text_len: int = 77text_len_t5: int = 256use_style_cond_and_image_meta_size: bool = True )

Parameter

  • num_attention_heads (int, opsional, default 16) — Jumlah head yang digunakan untuk multi-head attention.
  • attention_head_dim (int, opsional, defaultnya 88) — Jumlah saluran di setiap head.
  • in_channels (int, opsional) — Jumlah channel pada input dan output (dinyatakan jika input bersifat kontinu).
  • patch_size (int, opsional) — Ukuran patch yang digunakan untuk input.
  • activation_fn (str, opsional, defaultnya "geglu") — Fungsi aktivasi yang digunakan dalam feed-forward.
  • sample_size (int, opsional) — Lebar dari gambar laten. Ini tetap selama pelatihan karena digunakan untuk mempelajari sejumlah position embeddings.
  • dropout (float, opsional, default 0.0) — Probabilitas dropout yang digunakan.
  • cross_attention_dim (int, opsional) — Jumlah dimensi dalam embedding teks clip.
  • hidden_size (int, opsional) — Ukuran lapisan tersembunyi pada lapisan embedding kondisional.
  • num_layers (int, opsional, default 1) — Jumlah lapisan blok Transformer yang akan digunakan.
  • mlp_ratio (float, opsional, default 4.0) — Rasio ukuran lapisan tersembunyi terhadap ukuran input.
  • learn_sigma (bool, opsional, default True) — Apakah akan memprediksi varians.
  • cross_attention_dim_t5 (int, opsional) — Jumlah dimensi dalam t5 text embedding.
  • pooled_projection_dim (int, opsional) — Ukuran dari pooled projection.
  • text_len (int, opsional) — Panjang dari embedding teks klip.
  • text_len_t5 (int, opsional) — Panjang embedding teks T5.
  • use_style_cond_and_image_meta_size (bool, opsional) — Apakah akan menggunakan kondisi gaya dan ukuran meta gambar. True untuk versi <=1.1, False untuk versi >= 1.2

HunYuanDiT: Model difusi dengan tulang punggung Transformer.

Warisi ModelMixin dan ConfigMixin agar kompatibel dengan sampler StableDiffusionPipeline dari diffusers.

enable_forward_chunking

< >

( chunk_size: int | None = Nonedim: int = 0 )

Parameter

  • chunk_size (int, opsional) — Ukuran chunk dari lapisan feed-forward. Jika tidak ditentukan, lapisan feed-forward akan dijalankan secara individual untuk setiap tensor dengan dim=dim.
  • dim (int, opsional, default 0) — Dimensi di mana komputasi feed-forward harus di-chunk. Pilih antara dim=0 (batch) atau dim=1 (panjang sekuens).

Menetapkan prosesor perhatian untuk menggunakan chunking feed forward.

forward

< >

( hidden_statestimestepencoder_hidden_states = Nonetext_embedding_mask = Noneencoder_hidden_states_t5 = Nonetext_embedding_mask_t5 = Noneimage_meta_size = Nonestyle = Noneimage_rotary_emb = Nonecontrolnet_block_samples = Nonereturn_dict = True )

Parameter

  • hidden_states (torch.Tensor dengan bentuk (batch size, dim, height, width)) — Tensor input.
  • timestep ( torch.LongTensor, opsional) — Digunakan untuk menunjukkan langkah denoising.
  • encoder_hidden_states ( torch.Tensor dengan bentuk (batch size, sequence len, embed dims), opsional) — Embedding kondisional untuk lapisan cross attention. Ini adalah output dari BertModel.
  • text_embedding_mask — torch.Tensor Mask perhatian dengan bentuk (batch, key_tokens) diterapkan pada encoder_hidden_states. Ini adalah output dari BertModel.
  • encoder_hidden_states_t5 ( torch.Tensor dengan bentuk (batch size, sequence len, embed dims), opsional) — Embedding kondisional untuk lapisan cross attention. Ini adalah keluaran dari T5 Text Encoder.
  • text_embedding_mask_t5 — torch.Tensor Mask perhatian dengan bentuk (batch, key_tokens) diterapkan pada encoder_hidden_states. Ini adalah output dari T5 Text Encoder.
  • image_meta_size (torch.Tensor) — Conditional embedding yang menunjukkan ukuran gambar
  • style — torch.Tensor: Embedding kondisional yang menunjukkan gaya
  • image_rotary_emb (torch.Tensor) — Embedding rotasi gambar yang diterapkan pada tensor query dan key selama perhitungan attention.
  • controlnet_block_samples (list dari torch.Tensor, opsional) — Daftar tensor yang, jika ditentukan, akan ditambahkan ke residual dari blok transformer.
  • return_dict — bool Apakah akan mengembalikan kamus.

Metode forward dari HunyuanDiT2DModel.

fuse_qkv_projections

< >

( )

Mengaktifkan proyeksi QKV yang digabungkan. Untuk modul self-attention, semua matriks proyeksi (yaitu, query, key, value) digabungkan. Untuk modul cross-attention, matriks proyeksi key dan value digabungkan.

> API ini 🧪 bersifat eksperimental.

set_default_attn_processor

< >

( )

Menonaktifkan prosesor perhatian kustom dan mengatur implementasi perhatian default.

unfuse_qkv_projections

< >

( )

Menonaktifkan proyeksi QKV yang digabungkan jika diaktifkan.

> API ini 🧪 bersifat eksperimental.

Update on GitHub

←HiDreamImageTransformer2DModel HunyuanImageTransformer2DModel→