Diffusers documentation

HunyuanVideo-1.5

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HunyuanVideo-1.5

HunyuanVideo-1.5는 83억 개의 파라미터만으로 최첨단 수준의 시각적 품질과 모션 일관성을 달성하는 경량화되었으면서도 강력한 비디오 생성 모델로, 소비자 등급 GPU에서 효율적인 추론을 가능하게 합니다. 이러한 성과는 정밀한 데이터 큐레이션, 선택적 및 슬라이딩 타일 어텐션(SSTA)을 갖춘 고급 DiT 아키텍처, 글리프 인식 텍스트 인코딩을 통한 향상된 이중 언어 이해, 점진적 사전 학습 및 사후 학습, 그리고 효율적인 비디오 초해상도 네트워크 등 여러 핵심 구성 요소에 기반합니다. 이러한 설계들을 활용하여, 다양한 길이와 해상도에서 고품질 텍스트-비디오 및 이미지-비디오 생성이 가능한 통합 프레임워크를 개발했습니다. 광범위한 실험을 통해, 이 컴팩트하고 숙련된 모델이 오픈소스 모델 중 새로운 최첨단 수준을 설정했음을 입증했습니다.

원본 HunyuanVideo 체크포인트는 모두 Tencent 조직에서 찾을 수 있습니다.

HunyuanVideo 모델에 대한 추가적인 비디오 생성 작업 예시를 보려면 오른쪽 사이드바의 해당 모델을 클릭하세요.

아래 예시에서는 가중치가 Diffusers와 호환되는 레이아웃으로 저장되어 있으므로 hunyuanvideo-community의 체크포인트를 사용합니다.

…

<hfoptions id="usage"> <hfoption id="memory">

다양한 메모리 절약 기법에 대한 자세한 내용은 메모리 사용량 줄이기 가이드를 참조하세요.

import torch
from diffusers import AutoModel, HunyuanVideo15Pipeline
from diffusers.utils import export_to_video


pipeline = HunyuanVideo15Pipeline.from_pretrained(
    "HunyuanVideo-1.5-Diffusers-480p_t2v",
    dtype=torch.bfloat16,
)

# model-offloading and tiling
pipeline.enable_model_cpu_offload()
pipeline.vae.enable_tiling()

prompt = "A fluffy teddy bear sits on a bed of soft pillows surrounded by children's toys."
video = pipeline(prompt=prompt, num_frames=61, num_inference_steps=30).frames[0]
export_to_video(video, "output.mp4", fps=15)

The input is a single word "Notes". 참고

  • HunyuanVideo1.5는 가변 길이 시퀀스에 대해 어텐션 마스크를 사용합니다. 최적의 성능을 위해 패딩을 효율적으로 처리하는 어텐션 백엔드를 사용하는 것을 권장합니다.

    • H100/H800: _flash_3_hub 또는 _flash_3_varlen_hub
    • A100/A800/RTX 4090: flash_hub 또는 flash_varlen_hub
    • 기타 GPU: sage_hub

다른 백엔드를 사용하는 방법에 대한 자세한 내용은 Attention backends 가이드를 참조하세요.

pipe.transformer.set_attention_backend("flash_hub")  # or your preferred backend
  • HunyuanVideo15Pipeline은 guider를 사용하며 런타임에 guidance_scale 파라미터를 받지 않습니다.

pipe.guider를 사용하여 기본 guider 구성을 확인할 수 있습니다:

>>> pipe.guider 
ClassifierFreeGuidance {
  "_class_name": "ClassifierFreeGuidance",
  "_diffusers_version": "0.36.0.dev0",
  "enabled": true,
  "guidance_rescale": 0.0,
  "guidance_scale": 6.0,
  "start": 0.0,
  "stop": 1.0,
  "use_original_formulation": false
}

State:
  step: None
  num_inference_steps: None
  timestep: None
  count_prepared: 0
  enabled: True
  num_conditions: 2

guider 구성을 업데이트하려면 pipe.guider = pipe.guider.new(...)을 실행할 수 있습니다.

pipe.guider = pipe.guider.new(guidance_scale=5.0)

Guider에 대한 자세한 내용은 여기에서 확인하세요.

HunyuanVideo15Pipeline

클래스 diffusers.HunyuanVideo15Pipeline

< >

( text_encoder: Qwen2_5_VLTextModeltokenizer: Qwen2Tokenizertransformer: HunyuanVideo15Transformer3DModelvae: AutoencoderKLHunyuanVideo15scheduler: FlowMatchEulerDiscreteSchedulertext_encoder_2: T5EncoderModeltokenizer_2: ByT5Tokenizerguider: ClassifierFreeGuidance )

매개변수

  • transformer (HunyuanVideo15Transformer3DModel) — 인코딩된 비디오 잠재 변수를 디노이즈하기 위한 조건부 Transformer (MMDiT) 아키텍처.
  • scheduler (FlowMatchEulerDiscreteScheduler) — 인코딩된 비디오 latents의 노이즈를 제거하기 위해 transformer와 함께 사용되는 스케줄러입니다.
  • vae (AutoencoderKLHunyuanVideo15) — 잠재 표현으로 비디오를 인코딩 및 디코딩하는 Variational Auto-Encoder (VAE) 모델.
  • text_encoder (Qwen2.5-VL-7B-Instruct) — 구체적으로 Qwen2.5-VL-7B-Instruct의 Qwen2.5-VL-7B-Instruct 변형입니다.
  • tokenizer (Qwen2Tokenizer) — [Qwen2Tokenizer] 클래스의 토크나이저입니다.
  • text_encoder_2 (T5EncoderModel) — T5EncoderModel 변형입니다.
  • tokenizer_2 (ByT5Tokenizer) — [ByT5Tokenizer] 클래스의 토크나이저
  • guider (ClassifierFreeGuidance) — [ClassifierFreeGuidance]classifier free guidance를 위해.

HunyuanVideo1.5를 사용한 텍스트-비디오 생성을 위한 Pipeline

이 모델은 DiffusionPipeline에서 상속됩니다. 모든 파이프라인에 대해 구현된 일반적 메서드(다운로드, 저장, 특정 디바이스에서 실행 등)에 대해서는 상위 클래스 문서를 확인하세요.

__call__

< >

( prompt: str | list[str] = Nonenegative_prompt: str | list[str] = Noneheight: int | None = Nonewidth: int | None = Nonenum_frames: int = 121num_inference_steps: int = 50sigmas: list[float] = Nonenum_videos_per_prompt: int | None = 1generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = Noneprompt_embeds: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_mask: typing.Optional[torch.Tensor] = Noneprompt_embeds_2: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask_2: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_2: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_mask_2: typing.Optional[torch.Tensor] = Noneoutput_type: str | None = 'np'return_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = None ) → ~HunyuanVideo15PipelineOutput or tuple

매개변수

  • prompt (str 또는 list[str], 선택 사항) — 이미지 생성을 안내할 프롬프트입니다. 정의되지 않은 경우 대신 prompt_embeds를 전달해야 합니다.
  • negative_prompt (str 또는 list[str], 선택 사항) — 이미지 생성을 안내하지 않을 프롬프트입니다. 정의되지 않은 경우, 대신 negative_prompt_embeds를 전달해야 합니다.
  • height (int, 선택 사항) — 생성된 비디오의 픽셀 단위 높이입니다.
  • width (int, 선택 사항) — 생성된 비디오의 픽셀 단위 너비입니다.
  • num_frames (int, 기본값 121) — 생성된 비디오의 프레임 수입니다.
  • num_inference_steps (int, 기본값 50) — 디노이징 단계의 수입니다. 디노이징 단계가 많을수록 일반적으로 더 높은 품질의 비디오를 생성하지만, 추론 속도가 느려집니다.
  • sigmas (list[float], 선택 사항) — set_timesteps 메서드에 sigmas 인수를 지원하는 스케줄러의 노이즈 제거 과정에 사용할 커스텀 시그마입니다. 정의되지 않은 경우, num_inference_steps가 전달될 때의 기본 동작이 사용됩니다.
  • num_videos_per_prompt (int, 선택 사항, 기본값 1) — 프롬프트당 생성할 비디오의 수입니다.
  • generator (torch.Generator 또는 list[torch.Generator], 선택 사항) — 생성을 결정적으로 만들기 위한 torch.Generator.
  • latents (torch.Tensor, 선택 사항) — 가우시안 분포에서 샘플링된 사전 생성된 노이즈 latents로, 비디오 생성의 입력으로 사용됩니다. 동일한 생성을 다른 프롬프트로 조정하는 데 사용할 수 있습니다. 제공되지 않으면, 제공된 랜덤 generator를 사용하여 샘플링하여 latents 텐서를 생성합니다.
  • prompt_embeds (torch.Tensor, 선택) — 미리 생성된 텍스트 임베딩입니다. 텍스트 입력(프롬프트 가중치)을 쉽게 조정하는 데 사용할 수 있습니다. 제공되지 않으면 prompt 입력 인자에서 텍스트 임베딩이 생성됩니다.
  • prompt_embeds_mask (torch.Tensor, 선택 사항) — 프롬프트 임베딩용 사전 생성된 마스크입니다.
  • negative_prompt_embeds (torch.Tensor, 선택 사항) — 미리 생성된 negative text embeddings입니다. 텍스트 입력을 쉽게 조정하는 데 사용할 수 있으며, 예를 들어 프롬프트 가중치 설정에 활용할 수 있습니다. 제공되지 않으면 negative_prompt 입력 인자로부터 negative_prompt_embeds가 생성됩니다.
  • negative_prompt_embeds_mask (torch.Tensor, 선택 사항) — 음성 프롬프트 임베딩에 사용할 사전 생성된 마스크입니다.
  • prompt_embeds_2 (torch.Tensor, 선택) — 두 번째 텍스트 인코더에서 생성된 사전 생성 텍스트 임베딩입니다. 텍스트 입력을 쉽게 조정하는 데 사용할 수 있습니다.
  • prompt_embeds_mask_2 (torch.Tensor, 선택 사항) — 두 번째 텍스트 인코더의 프롬프트 임베딩에 대한 사전 생성된 마스크입니다.
  • negative_prompt_embeds_2 (torch.Tensor, 선택 사항) — 두 번째 텍스트 인코더에서 생성된 사전 생성된 부정 텍스트 임베딩입니다.
  • negative_prompt_embeds_mask_2 (torch.Tensor, 선택 사항) — 두 번째 텍스트 인코더의 negative prompt embeddings에 사용할 미리 생성된 mask입니다.
  • output_type (str, 선택 사항, 기본값 "np") — 생성된 비디오의 출력 형식입니다. “np”, “pt”, “latent” 중 하나를 선택합니다.
  • return_dict (bool, 선택 사항, 기본값 True) — 일반 튜플 대신 HunyuanVideo15PipelineOutput를 반환할지 여부.
  • attention_kwargs (dict, 선택 사항) — 지정된 경우 diffusers.models.attention_processor의 self.processor에서 정의된 AttentionProcessor로 전달되는 kwargs 사전입니다.

반환값

~HunyuanVideo15PipelineOutput 또는 tuple

return_dict가 True인 경우 HunyuanVideo15PipelineOutput가 반환되고, 그렇지 않으면 첫 번째 요소가 생성된 비디오 목록인 tuple이 반환됩니다.

생성을 위한 pipeline의 호출 함수.

예:

>>> import torch
>>> from diffusers import HunyuanVideo15Pipeline
>>> from diffusers.utils import export_to_video

>>> model_id = "hunyuanvideo-community/HunyuanVideo-1.5-480p_t2v"
>>> pipe = HunyuanVideo15Pipeline.from_pretrained(model_id, torch_dtype=torch.float16)
>>> pipe.vae.enable_tiling()
>>> pipe.to("cuda")

>>> output = pipe(
...     prompt="A cat walks on the grass, realistic",
...     num_inference_steps=50,
... ).frames[0]
>>> export_to_video(output, "output.mp4", fps=15)

encode_prompt

< >

( prompt: str | list[str]device: typing.Optional[torch.device] = Nonedtype: typing.Optional[torch.dtype] = Nonebatch_size: int = 1num_videos_per_prompt: int = 1prompt_embeds: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask: typing.Optional[torch.Tensor] = Noneprompt_embeds_2: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask_2: typing.Optional[torch.Tensor] = None )

매개변수

  • prompt (str 또는 list[str], 선택 사항) — 인코딩할 프롬프트
  • device — (torch.device): torch device
  • batch_size (int) — 프롬프트의 배치 크기, 기본값은 1
  • num_videos_per_prompt (int) — 프롬프트당 생성할 이미지 수
  • prompt_embeds (torch.Tensor, 선택 사항) — 미리 생성된 텍스트 임베딩입니다. 제공되지 않으면 prompt 입력 인자로부터 텍스트 임베딩이 생성됩니다.
  • prompt_embeds_mask (torch.Tensor, 선택 사항) — 미리 생성된 텍스트 마스크입니다. 제공되지 않으면 prompt 입력 인자로부터 텍스트 마스크가 생성됩니다.
  • prompt_embeds_2 (torch.Tensor, 선택 사항) — ByT5에서 생성된 글리프 텍스트 임베딩입니다. 제공되지 않으면 prompt 입력 인수를 사용하여 self.tokenizer_2와 self.text_encoder_2로 생성됩니다.
  • prompt_embeds_mask_2 (torch.Tensor, 선택 사항) — ByT5에서 사전 생성된 글리프 텍스트 마스크입니다. 제공되지 않으면 prompt 입력 인수를 사용하여 self.tokenizer_2와 self.text_encoder_2로 생성됩니다.

prepare_cond_latents_and_mask

< >

( latentsdtype: typing.Optional[torch.dtype]device: typing.Optional[torch.device] ) → tuple

매개변수

  • latents — 주요 latents 텐서 (B, C, F, H, W)

반환값

tuple

(cond_latents_concat, mask_concat) - t2v의 경우 둘 다 zero tensor입니다

t2v 생성을 위한 조건부 latents와 mask를 준비합니다.

HunyuanVideo15ImageToVideoPipeline

클래스 diffusers.HunyuanVideo15ImageToVideoPipeline

< >

( text_encoder: Qwen2_5_VLTextModeltokenizer: Qwen2Tokenizertransformer: HunyuanVideo15Transformer3DModelvae: AutoencoderKLHunyuanVideo15scheduler: FlowMatchEulerDiscreteSchedulertext_encoder_2: T5EncoderModeltokenizer_2: ByT5Tokenizerguider: ClassifierFreeGuidanceimage_encoder: SiglipVisionModelfeature_extractor: SiglipImageProcessorPil )

매개변수

  • transformer (HunyuanVideo15Transformer3DModel) — 인코딩된 비디오 잠재 변수를 디노이즈하기 위한 조건부 Transformer (MMDiT) 아키텍처.
  • scheduler (FlowMatchEulerDiscreteScheduler) — 인코딩된 비디오 latents의 노이즈를 제거하기 위해 transformer와 함께 사용되는 스케줄러입니다.
  • vae (AutoencoderKLHunyuanVideo15) — 잠재 표현으로 비디오를 인코딩 및 디코딩하는 Variational Auto-Encoder (VAE) 모델.
  • text_encoder (Qwen2.5-VL-7B-Instruct) — 구체적으로 Qwen2.5-VL-7B-Instruct의 Qwen2.5-VL-7B-Instruct 변형입니다.
  • tokenizer (Qwen2Tokenizer) — [Qwen2Tokenizer] 클래스의 토크나이저입니다.
  • text_encoder_2 (T5EncoderModel) — T5EncoderModel 변형입니다.
  • tokenizer_2 (ByT5Tokenizer) — [ByT5Tokenizer] 클래스의 토크나이저
  • guider (ClassifierFreeGuidance) — [ClassifierFreeGuidance]classifier free guidance를 위해.
  • image_encoder (SiglipVisionModel) — SiglipVisionModel 변형입니다.
  • feature_extractor (SiglipImageProcessor) — SiglipImageProcessor 변형입니다.

HunyuanVideo1.5를 사용한 이미지-비디오 생성을 위한 Pipeline

이 모델은 DiffusionPipeline에서 상속됩니다. 모든 파이프라인에 대해 구현된 일반적 메서드(다운로드, 저장, 특정 디바이스에서 실행 등)에 대해서는 상위 클래스 문서를 확인하세요.

__call__

< >

( image: Imageprompt: str | list[str] = Nonenegative_prompt: str | list[str] = Nonenum_frames: int = 121num_inference_steps: int = 50sigmas: list[float] = Nonenum_videos_per_prompt: int | None = 1generator: typing.Union[torch.Generator, list[torch.Generator], NoneType] = Nonelatents: typing.Optional[torch.Tensor] = Noneprompt_embeds: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_mask: typing.Optional[torch.Tensor] = Noneprompt_embeds_2: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask_2: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_2: typing.Optional[torch.Tensor] = Nonenegative_prompt_embeds_mask_2: typing.Optional[torch.Tensor] = Noneoutput_type: str | None = 'np'return_dict: bool = Trueattention_kwargs: dict[str, typing.Any] | None = None ) → ~HunyuanVideo15PipelineOutput or tuple

매개변수

  • image (PIL.Image.Image) — 비디오 생성의 조건으로 사용할 입력 이미지.
  • prompt (str 또는 list[str], 선택 사항) — 비디오 생성을 안내할 프롬프트입니다. 정의되지 않은 경우, 대신 prompt_embeds를 전달해야 합니다.
  • negative_prompt (str 또는 list[str], 선택 사항) — 비디오 생성을 안내하지 않을 프롬프트입니다. 정의되지 않은 경우, 대신 negative_prompt_embeds를 전달해야 합니다.
  • num_frames (int, 기본값 121) — 생성된 비디오의 프레임 수입니다.
  • num_inference_steps (int, 기본값 50) — 디노이징 단계의 수입니다. 디노이징 단계가 많을수록 일반적으로 더 높은 품질의 비디오를 생성하지만, 추론 속도가 느려집니다.
  • sigmas (list[float], 선택 사항) — set_timesteps 메서드에 sigmas 인수를 지원하는 스케줄러의 노이즈 제거 과정에 사용할 커스텀 시그마입니다. 정의되지 않은 경우, num_inference_steps가 전달될 때의 기본 동작이 사용됩니다.
  • num_videos_per_prompt (int, 선택 사항, 기본값 1) — 프롬프트당 생성할 비디오의 수입니다.
  • generator (torch.Generator 또는 list[torch.Generator], 선택 사항) — 생성을 결정적으로 만들기 위한 torch.Generator.
  • latents (torch.Tensor, 선택 사항) — 가우시안 분포에서 샘플링된 사전 생성된 노이즈 latents로, 비디오 생성의 입력으로 사용됩니다. 동일한 생성을 다른 프롬프트로 조정하는 데 사용할 수 있습니다. 제공되지 않으면, 제공된 랜덤 generator를 사용하여 샘플링하여 latents 텐서를 생성합니다.
  • prompt_embeds (torch.Tensor, 선택) — 미리 생성된 텍스트 임베딩입니다. 텍스트 입력(프롬프트 가중치)을 쉽게 조정하는 데 사용할 수 있습니다. 제공되지 않으면 prompt 입력 인자에서 텍스트 임베딩이 생성됩니다.
  • prompt_embeds_mask (torch.Tensor, 선택 사항) — 프롬프트 임베딩용 사전 생성된 마스크입니다.
  • negative_prompt_embeds (torch.Tensor, 선택 사항) — 미리 생성된 negative text embeddings입니다. 텍스트 입력을 쉽게 조정하는 데 사용할 수 있으며, 예를 들어 프롬프트 가중치 설정에 활용할 수 있습니다. 제공되지 않으면 negative_prompt 입력 인자로부터 negative_prompt_embeds가 생성됩니다.
  • negative_prompt_embeds_mask (torch.Tensor, 선택 사항) — 음성 프롬프트 임베딩에 사용할 사전 생성된 마스크입니다.
  • prompt_embeds_2 (torch.Tensor, 선택) — 두 번째 텍스트 인코더에서 생성된 사전 생성 텍스트 임베딩입니다. 텍스트 입력을 쉽게 조정하는 데 사용할 수 있습니다.
  • prompt_embeds_mask_2 (torch.Tensor, 선택 사항) — 두 번째 텍스트 인코더의 프롬프트 임베딩에 대한 사전 생성된 마스크입니다.
  • negative_prompt_embeds_2 (torch.Tensor, 선택 사항) — 두 번째 텍스트 인코더에서 생성된 사전 생성된 부정 텍스트 임베딩입니다.
  • negative_prompt_embeds_mask_2 (torch.Tensor, 선택 사항) — 두 번째 텍스트 인코더의 negative prompt embeddings에 사용할 미리 생성된 mask입니다.
  • output_type (str, 선택 사항, 기본값 "np") — 생성된 비디오의 출력 형식입니다. “np”, “pt”, “latent” 중 하나를 선택합니다.
  • return_dict (bool, 선택 사항, 기본값 True) — 일반 튜플 대신 HunyuanVideo15PipelineOutput를 반환할지 여부.
  • attention_kwargs (dict, 선택 사항) — 지정된 경우 diffusers.models.attention_processor의 self.processor에서 정의된 AttentionProcessor로 전달되는 kwargs 사전입니다.

반환값

~HunyuanVideo15PipelineOutput 또는 tuple

return_dict가 True인 경우 HunyuanVideo15PipelineOutput가 반환되고, 그렇지 않으면 첫 번째 요소가 생성된 비디오 목록인 tuple이 반환됩니다.

생성을 위한 pipeline의 호출 함수.

예:

>>> import torch
>>> from diffusers import HunyuanVideo15ImageToVideoPipeline
>>> from diffusers.utils import export_to_video

>>> model_id = "hunyuanvideo-community/HunyuanVideo-1.5-480p_i2v"
>>> pipe = HunyuanVideo15ImageToVideoPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
>>> pipe.vae.enable_tiling()
>>> pipe.to("cuda")

>>> image = load_image("https://huggingface.co/datasets/YiYiXu/testing-images/resolve/main/wan_i2v_input.JPG")

>>> output = pipe(
...     prompt="Summer beach vacation style, a white cat wearing sunglasses sits on a surfboard. The fluffy-furred feline gazes directly at the camera with a relaxed expression. Blurred beach scenery forms the background featuring crystal-clear waters, distant green hills, and a blue sky dotted with white clouds. The cat assumes a naturally relaxed posture, as if savoring the sea breeze and warm sunlight. A close-up shot highlights the feline's intricate details and the refreshing atmosphere of the seaside.",
...     image=image,
...     num_inference_steps=50,
... ).frames[0]
>>> export_to_video(output, "output.mp4", fps=24)

encode_prompt

< >

( prompt: str | list[str]device: typing.Optional[torch.device] = Nonedtype: typing.Optional[torch.dtype] = Nonebatch_size: int = 1num_videos_per_prompt: int = 1prompt_embeds: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask: typing.Optional[torch.Tensor] = Noneprompt_embeds_2: typing.Optional[torch.Tensor] = Noneprompt_embeds_mask_2: typing.Optional[torch.Tensor] = None )

매개변수

  • prompt (str 또는 list[str], 선택 사항) — 인코딩할 프롬프트
  • device — (torch.device): torch device
  • batch_size (int) — 프롬프트의 배치 크기, 기본값은 1
  • num_videos_per_prompt (int) — 프롬프트당 생성할 이미지 수
  • prompt_embeds (torch.Tensor, 선택 사항) — 미리 생성된 텍스트 임베딩입니다. 제공되지 않으면 prompt 입력 인자로부터 텍스트 임베딩이 생성됩니다.
  • prompt_embeds_mask (torch.Tensor, 선택 사항) — 미리 생성된 텍스트 마스크입니다. 제공되지 않으면 prompt 입력 인자로부터 텍스트 마스크가 생성됩니다.
  • prompt_embeds_2 (torch.Tensor, 선택 사항) — ByT5에서 생성된 글리프 텍스트 임베딩입니다. 제공되지 않으면 prompt 입력 인수를 사용하여 self.tokenizer_2와 self.text_encoder_2로 생성됩니다.
  • prompt_embeds_mask_2 (torch.Tensor, 선택 사항) — ByT5에서 사전 생성된 글리프 텍스트 마스크입니다. 제공되지 않으면 prompt 입력 인수를 사용하여 self.tokenizer_2와 self.text_encoder_2로 생성됩니다.

prepare_cond_latents_and_mask

< >

( latents: Tensorimage: Imagebatch_size: intheight: intwidth: intdtype: dtypedevice: device ) → tuple

매개변수

  • latents — 주요 latents 텐서 (B, C, F, H, W)

반환값

tuple

(cond_latents_concat, mask_concat) - t2v의 경우 둘 다 zero tensor입니다

t2v 생성을 위한 조건부 latents와 mask를 준비합니다.

HunyuanVideo15PipelineOutput

클래스 diffusers.pipelines.hunyuan_video1_5.pipeline_output.HunyuanVideo15PipelineOutput

< >

( frames: Tensor )

매개변수

  • frames (torch.Tensor, np.ndarray, 또는 list[list[PIL.Image.Image]]) — 비디오 출력 목록 - batch_size, 길이의 중첩 목록일 수 있으며, 각 하위 목록에는 num_frames. 길이의 노이즈 제거된 PIL 이미지 시퀀스가 포함됩니다. 또한 (batch_size, num_frames, channels, height, width) 형상의 NumPy 배열 또는 Torch 텐서일 수도 있습니다.

HunyuanVideo1.5 파이프라인의 출력 클래스입니다.

Update on GitHub