Diffusers documentation

Tạo Video từ Văn bản với AnimateDiff

Diffusers

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Tạo Video từ Văn bản với AnimateDiff

Tổng quan

AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning của Yuwei Guo, Ceyuan Yang, Anyi Rao, Yaohui Wang, Yu Qiao, Dahua Lin, Bo Dai.

Tóm tắt của bài báo như sau:

Với sự phát triển của các mô hình text-to-image (ví dụ: Stable Diffusion) và các kỹ thuật cá nhân hóa tương ứng như DreamBooth và LoRA, bất kỳ ai cũng có thể hiện thực hóa trí tưởng tượng của mình thành các hình ảnh chất lượng cao với chi phí hợp lý. Tiếp theo đó, nhu cầu về các kỹ thuật tạo chuyển động cho hình ảnh ngày càng lớn nhằm kết hợp thêm động lực chuyển động với các hình ảnh tĩnh đã được tạo ra. Trong báo cáo này, chúng tôi đề xuất một khung làm việc thực tiễn để tạo chuyển động cho hầu hết các mô hình text-to-image cá nhân hóa hiện có một cách triệt để, giúp tiết kiệm công sức trong việc tinh chỉnh riêng cho từng mô hình. Nền tảng cốt lõi của khung làm việc được đề xuất là chèn một module mô hình hóa chuyển động mới được khởi tạo vào mô hình text-to-image đã đóng băng và huấn luyện nó trên các đoạn video để chưng cất các tiên nghiệm chuyển động hợp lý. Sau khi huấn luyện, chỉ cần tiêm module mô hình hóa chuyển động này, tất cả các phiên bản cá nhân hóa được dẫn xuất từ cùng một mô hình T2I cơ sở sẽ dễ dàng trở thành các mô hình điều khiển bằng văn bản, tạo ra các hình ảnh động đa dạng và mang tính cá nhân hóa. Chúng tôi tiến hành đánh giá trên một số mô hình text-to-image cá nhân hóa đại diện công khai, trải qua các bức ảnh anime và ảnh chụp chân thực, và chứng minh rằng khung làm việc do chúng tôi đề xuất giúp các mô hình này tạo ra các đoạn phim hoạt hình mượt mà theo thời gian trong khi vẫn giữ nguyên lĩnh vực và sự đa dạng của đầu ra. Mã nguồn và trọng số được huấn luyện trước sẽ được công bố công khai tại this https URL.

Các Pipeline khả dụng

Pipeline	Nhiệm vụ	Demo
AnimateDiffPipeline	Đánh giá khả năng tạo video từ văn bản với AnimateDiff
AnimateDiffControlNetPipeline	Tạo video từ video có kiểm soát bằng AnimateDiff sử dụng ControlNet
AnimateDiffSparseControlNetPipeline	Tạo video từ video có kiểm soát với AnimateDiff sử dụng SparseCtrl
AnimateDiffSDXLPipeline	Tạo video từ video với AnimateDiff
AnimateDiffVideoToVideoPipeline	Tạo video từ video với AnimateDiff
AnimateDiffVideoToVideoControlNetPipeline	Tạo Video từ Video bằng AnimateDiff sử dụng ControlNet

Các checkpoint khả dụng

Các checkpoint của Motion Adapter có thể được tìm thấy dưới guoyww. Các checkpoint này được thiết kế để hoạt động với bất kỳ mô hình nào dựa trên Stable Diffusion 1.4/1.5.

Ví dụ sử dụng

AnimateDiffPipeline

AnimateDiff hoạt động với một checkpoint MotionAdapter và một checkpoint mô hình Stable Diffusion. MotionAdapter là một tập hợp các Motion Module chịu trách nhiệm thêm chuyển động nhất quán giữa các khung hình. Các module này được áp dụng sau các khối Resnet và Attention trong UNet của Stable Diffusion.

Ví dụ sau minh họa cách sử dụng checkpoint MotionAdapter với Diffusers để suy luận dựa trên StableDiffusion-1.4/1.5.

import torch
from diffusers import AnimateDiffPipeline, DDIMScheduler, MotionAdapter
from diffusers.utils import export_to_gif

# Load the motion adapter
adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-2", dtype=torch.float16)
# load SD 1.5 based finetuned model
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffPipeline.from_pretrained(model_id, motion_adapter=adapter, dtype=torch.float16)
scheduler = DDIMScheduler.from_pretrained(
    model_id,
    subfolder="scheduler",
    clip_sample=False,
    timestep_spacing="linspace",
    beta_schedule="linear",
    steps_offset=1,
)
pipe.scheduler = scheduler

# enable memory savings
pipe.vae.enable_slicing()
pipe.enable_model_cpu_offload()

output = pipe(
    prompt=(
        "masterpiece, bestquality, highlydetailed, ultradetailed, sunset, "
        "orange sky, warm lighting, fishing boats, ocean waves seagulls, "
        "rippling water, wharf, silhouette, serene atmosphere, dusk, evening glow, "
        "golden hour, coastal landscape, seaside scenery"
    ),
    negative_prompt="bad quality, worse quality",
    num_frames=16,
    guidance_scale=7.5,
    num_inference_steps=25,
    generator=torch.Generator("cpu").manual_seed(42),
)
frames = output.frames[0]
export_to_gif(frames, "animation.gif")

Dưới đây là một số kết quả mẫu:

tác phẩm, chất lượng tốt nhất, hoàng hôn.
masterpiece, bestquality, sunset

AnimateDiff thường hoạt động tốt hơn với các mô hình Stable Diffusion đã được tinh chỉnh. Nếu bạn dự định sử dụng một scheduler có khả năng cắt mẫu (clip samples), hãy đảm bảo tắt tính năng này bằng cách đặt clip_sample=False trong scheduler, vì điều này cũng có thể gây ảnh hưởng tiêu cực đến các mẫu được tạo ra. Ngoài ra, các checkpoint của AnimateDiff có thể nhạy cảm với lịch beta (beta schedule) của scheduler. Chúng tôi khuyến nghị đặt giá trị này thành linear.

AnimateDiffControlNetPipeline

AnimateDiff cũng có thể được sử dụng cùng với ControlNet. ControlNet được giới thiệu trong Adding Conditional Control to Text-to-Image Diffusion Models bởi Lvmin Zhang, Anyi Rao và Maneesh Agrawala. Với một mô hình ControlNet, bạn có thể cung cấp một hình ảnh điều khiển bổ sung để điều kiện hóa và kiểm soát quá trình tạo nội dung của Stable Diffusion. Ví dụ, nếu bạn cung cấp các bản đồ độ sâu, mô hình ControlNet sẽ tạo ra một video giữ nguyên thông tin không gian từ các bản đồ độ sâu đó. Đây là một cách linh hoạt và chính xác hơn để kiểm soát quá trình tạo video.

import torch
from diffusers import AnimateDiffControlNetPipeline, AutoencoderKL, ControlNetModel, MotionAdapter, LCMScheduler
from diffusers.utils import export_to_gif, load_video

# Additionally, you will need a preprocess videos before they can be used with the ControlNet
# HF maintains just the right package for it: `pip install controlnet_aux`
from controlnet_aux.processor import ZoeDetector

# Download controlnets from https://huggingface.co/lllyasviel/ControlNet-v1-1 to use .from_single_file
# Download Diffusers-format controlnets, such as https://huggingface.co/lllyasviel/sd-controlnet-depth, to use .from_pretrained()
controlnet = ControlNetModel.from_single_file("control_v11f1p_sd15_depth.pth", dtype=torch.float16)

# We use AnimateLCM for this example but one can use the original motion adapters as well (for example, https://huggingface.co/guoyww/animatediff-motion-adapter-v1-5-3)
motion_adapter = MotionAdapter.from_pretrained("wangfuyun/AnimateLCM")

vae = AutoencoderKL.from_pretrained("stabilityai/sd-vae-ft-mse", dtype=torch.float16)
pipe: AnimateDiffControlNetPipeline = AnimateDiffControlNetPipeline.from_pretrained(
    "SG161222/Realistic_Vision_V5.1_noVAE",
    motion_adapter=motion_adapter,
    controlnet=controlnet,
    vae=vae,
).to(device="cuda", dtype=torch.float16)  # or "mps", "xpu", "cpu"
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config, beta_schedule="linear")
pipe.load_lora_weights("wangfuyun/AnimateLCM", weight_name="AnimateLCM_sd15_t2v_lora.safetensors", adapter_name="lcm-lora")
pipe.set_adapters(["lcm-lora"], [0.8])

depth_detector = ZoeDetector.from_pretrained("lllyasviel/Annotators").to("cuda")
video = load_video("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-vid2vid-input-1.gif")
conditioning_frames = []

with pipe.progress_bar(total=len(video)) as progress_bar:
    for frame in video:
        conditioning_frames.append(depth_detector(frame))
        progress_bar.update()

prompt = "a panda, playing a guitar, sitting in a pink boat, in the ocean, mountains in background, realistic, high quality"
negative_prompt = "bad quality, worst quality"

video = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_frames=len(video),
    num_inference_steps=10,
    guidance_scale=2.0,
    conditioning_frames=conditioning_frames,
    generator=torch.Generator().manual_seed(42),
).frames[0]

export_to_gif(video, "animatediff_controlnet.gif", fps=8)

Dưới đây là một số kết quả mẫu:

Video nguồn	Video đầu ra
cáo rửa chén chơi guitar	một con gấu trúc, đang chơi guitar, ngồi trên một chiếc thuyền màu hồng, giữa đại dương, núi non ở phía sau, chân thực, chất lượng cao

AnimateDiffSparseControlNetPipeline

SparseCtrl: Thêm các điều khiển thưa vào các mô hình khuếch tán từ văn bản sang video để đạt được sinh có kiểm soát trong các mô hình khuếch tán từ văn bản sang video của Yuwei Guo, Ceyuan Yang, Anyi Rao, Maneesh Agrawala, Dahua Lin và Bo Dai.

Tóm tắt từ bài báo là:

Việc phát triển text-to-video (T2V), tức là tạo video từ một prompt văn bản cho trước, đã được thúc đẩy đáng kể trong những năm gần đây. Tuy nhiên, việc chỉ dựa vào prompt văn bản thường dẫn đến bố cục khung hình mơ hồ do sự không chắc chắn về không gian. Do đó, cộng đồng nghiên cứu tận dụng các tín hiệu cấu trúc dày đặc, chẳng hạn như chuỗi depth/edge cho từng khung hình, để tăng cường khả năng kiểm soát, nhưng việc thu thập các tín hiệu này làm tăng gánh nặng suy luận. Trong công trình này, chúng tôi giới thiệu SparseCtrl để cho phép kiểm soát cấu trúc linh hoạt bằng các tín hiệu thưa theo thời gian, chỉ yêu cầu một hoặc một vài đầu vào, như minh họa trong Hình 1. Phương pháp này tích hợp một bộ mã hóa điều kiện bổ sung để xử lý các tín hiệu thưa này trong khi giữ nguyên mô hình T2V đã được huấn luyện trước. Cách tiếp cận đề xuất tương thích với nhiều loại dữ liệu khác nhau, bao gồm phác thảo, bản đồ depth và hình ảnh RGB, cung cấp khả năng kiểm soát thực tế hơn cho việc tạo video và thúc đẩy các ứng dụng như storyboarding, depth rendering, keyframe animation và nội suy. Các thí nghiệm rộng rãi chứng minh khả năng tổng quát hóa của SparseCtrl trên cả các bộ tạo T2V gốc và T2V cá nhân hóa. Mã nguồn và mô hình sẽ được công bố công khai tại this https URL.

SparseCtrl giới thiệu các checkpoint sau cho việc tạo video từ văn bản có kiểm soát:

Sử dụng SparseCtrl Scribble

import torch

from diffusers import AnimateDiffSparseControlNetPipeline
from diffusers.models import AutoencoderKL, MotionAdapter, SparseControlNetModel
from diffusers.schedulers import DPMSolverMultistepScheduler
from diffusers.utils import export_to_gif, load_image


model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
motion_adapter_id = "guoyww/animatediff-motion-adapter-v1-5-3"
controlnet_id = "guoyww/animatediff-sparsectrl-scribble"
lora_adapter_id = "guoyww/animatediff-motion-lora-v1-5-3"
vae_id = "stabilityai/sd-vae-ft-mse"
device = "cuda"  # or "mps", "xpu", "cpu"

motion_adapter = MotionAdapter.from_pretrained(motion_adapter_id, dtype=torch.float16).to(device)
controlnet = SparseControlNetModel.from_pretrained(controlnet_id, dtype=torch.float16).to(device)
vae = AutoencoderKL.from_pretrained(vae_id, dtype=torch.float16).to(device)
scheduler = DPMSolverMultistepScheduler.from_pretrained(
    model_id,
    subfolder="scheduler",
    beta_schedule="linear",
    algorithm_type="dpmsolver++",
    use_karras_sigmas=True,
)
pipe = AnimateDiffSparseControlNetPipeline.from_pretrained(
    model_id,
    motion_adapter=motion_adapter,
    controlnet=controlnet,
    vae=vae,
    scheduler=scheduler,
    dtype=torch.float16,
).to(device)
pipe.load_lora_weights(lora_adapter_id, adapter_name="motion_lora")
pipe.fuse_lora(lora_scale=1.0)

prompt = "an aerial view of a cyberpunk city, night time, neon lights, masterpiece, high quality"
negative_prompt = "low quality, worst quality, letterboxed"

image_files = [
    "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-scribble-1.png",
    "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-scribble-2.png",
    "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-scribble-3.png"
]
condition_frame_indices = [0, 8, 15]
conditioning_frames = [load_image(img_file) for img_file in image_files]

video = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_inference_steps=25,
    conditioning_frames=conditioning_frames,
    controlnet_conditioning_scale=1.0,
    controlnet_frame_indices=condition_frame_indices,
    generator=torch.Generator().manual_seed(1337),
).frames[0]
export_to_gif(video, "output.gif")

Dưới đây là một số kết quả mẫu:

an aerial view of a cyberpunk city, night time, neon lights, masterpiece, high quality

Sử dụng SparseCtrl RGB

import torch

from diffusers import AnimateDiffSparseControlNetPipeline
from diffusers.models import AutoencoderKL, MotionAdapter, SparseControlNetModel
from diffusers.schedulers import DPMSolverMultistepScheduler
from diffusers.utils import export_to_gif, load_image


model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
motion_adapter_id = "guoyww/animatediff-motion-adapter-v1-5-3"
controlnet_id = "guoyww/animatediff-sparsectrl-rgb"
lora_adapter_id = "guoyww/animatediff-motion-lora-v1-5-3"
vae_id = "stabilityai/sd-vae-ft-mse"
device = "cuda"  # or "mps", "xpu", "cpu"

motion_adapter = MotionAdapter.from_pretrained(motion_adapter_id, dtype=torch.float16).to(device)
controlnet = SparseControlNetModel.from_pretrained(controlnet_id, dtype=torch.float16).to(device)
vae = AutoencoderKL.from_pretrained(vae_id, dtype=torch.float16).to(device)
scheduler = DPMSolverMultistepScheduler.from_pretrained(
    model_id,
    subfolder="scheduler",
    beta_schedule="linear",
    algorithm_type="dpmsolver++",
    use_karras_sigmas=True,
)
pipe = AnimateDiffSparseControlNetPipeline.from_pretrained(
    model_id,
    motion_adapter=motion_adapter,
    controlnet=controlnet,
    vae=vae,
    scheduler=scheduler,
    dtype=torch.float16,
).to(device)
pipe.load_lora_weights(lora_adapter_id, adapter_name="motion_lora")

image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-firework.png")

video = pipe(
    prompt="closeup face photo of man in black clothes, night city street, bokeh, fireworks in background",
    negative_prompt="low quality, worst quality",
    num_inference_steps=25,
    conditioning_frames=image,
    controlnet_frame_indices=[0],
    controlnet_conditioning_scale=1.0,
    generator=torch.Generator().manual_seed(42),
).frames[0]
export_to_gif(video, "output.gif")

Dưới đây là một số kết quả mẫu:

closeup face photo of man in black clothes, night city street, bokeh, fireworks in background

AnimateDiffSDXLPipeline

AnimateDiff cũng có thể được sử dụng với các mô hình SDXL. Đây hiện là một tính năng thử nghiệm vì chỉ có bản phát hành beta của checkpoint bộ thích ứng chuyển động.

import torch
from diffusers.models import MotionAdapter
from diffusers import AnimateDiffSDXLPipeline, DDIMScheduler
from diffusers.utils import export_to_gif

adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-sdxl-beta", dtype=torch.float16)

model_id = "stabilityai/stable-diffusion-xl-base-1.0"
scheduler = DDIMScheduler.from_pretrained(
    model_id,
    subfolder="scheduler",
    clip_sample=False,
    timestep_spacing="linspace",
    beta_schedule="linear",
    steps_offset=1,
)
pipe = AnimateDiffSDXLPipeline.from_pretrained(
    model_id,
    motion_adapter=adapter,
    scheduler=scheduler,
    dtype=torch.float16,
    variant="fp16",
).to("cuda")  # or "mps", "xpu", "cpu"

# enable memory savings
pipe.vae.enable_slicing()
pipe.vae.enable_tiling()

output = pipe(
    prompt="a panda surfing in the ocean, realistic, high quality",
    negative_prompt="low quality, worst quality",
    num_inference_steps=20,
    guidance_scale=8,
    width=1024,
    height=1024,
    num_frames=16,
)

frames = output.frames[0]
export_to_gif(frames, "animation.gif")

AnimateDiffVideoToVideoPipeline

AnimateDiff cũng có thể được sử dụng để tạo ra các video có ngoại hình tương tự hoặc cho phép chỉnh sửa phong cách/đặc điểm nhân vật/nền hoặc các yếu tố khác bắt đầu từ một video ban đầu, giúp bạn khám phá liền mạch các khả năng sáng tạo.

import imageio
import requests
import torch
from diffusers import AnimateDiffVideoToVideoPipeline, DDIMScheduler, MotionAdapter
from diffusers.utils import export_to_gif
from io import BytesIO
from PIL import Image

# Load the motion adapter
adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-2", dtype=torch.float16)
# load SD 1.5 based finetuned model
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffVideoToVideoPipeline.from_pretrained(model_id, motion_adapter=adapter, dtype=torch.float16)
scheduler = DDIMScheduler.from_pretrained(
    model_id,
    subfolder="scheduler",
    clip_sample=False,
    timestep_spacing="linspace",
    beta_schedule="linear",
    steps_offset=1,
)
pipe.scheduler = scheduler

# enable memory savings
pipe.vae.enable_slicing()
pipe.enable_model_cpu_offload()

# helper function to load videos
def load_video(file_path: str):
    images = []

    if file_path.startswith(('http://', 'https://')):
        # If the file_path is a URL
        response = requests.get(file_path)
        response.raise_for_status()
        content = BytesIO(response.content)
        vid = imageio.get_reader(content)
    else:
        # Assuming it's a local file path
        vid = imageio.get_reader(file_path)

    for frame in vid:
        pil_image = Image.fromarray(frame)
        images.append(pil_image)

    return images

video = load_video("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/animatediff-vid2vid-input-1.gif")

output = pipe(
    video = video,
    prompt="panda playing a guitar, on a boat, in the ocean, high quality",
    negative_prompt="bad quality, worse quality",
    guidance_scale=7.5,
    num_inference_steps=25,
    strength=0.5,
    generator=torch.Generator("cpu").manual_seed(42),
)
frames = output.frames[0]
export_to_gif(frames, "animation.gif")

Dưới đây là một số kết quả mẫu:

Video nguồn	Video đầu ra
cáo rửa chén chơi guitar	panda đang chơi guitar
chụp cận cảnh Margot Robbie, pháo hoa ở phía sau, chất lượng cao	chụp cận cảnh tony stark, robert downey jr, pháo hoa

AnimateDiffVideoToVideoControlNetPipeline

AnimateDiff có thể được sử dụng cùng với ControlNets để tăng cường quá trình tạo video từ video bằng cách cho phép kiểm soát chính xác đầu ra. ControlNet được giới thiệu trong Adding Conditional Control to Text-to-Image Diffusion Models bởi Lvmin Zhang, Anyi Rao và Maneesh Agrawala, cho phép bạn điều kiện hóa Stable Diffusion bằng một hình ảnh điều khiển bổ sung để đảm bảo thông tin không gian được duy trì xuyên suốt video.

Pipeline này cho phép bạn điều kiện hóa quá trình tạo của mình dựa trên cả video gốc và một chuỗi hình ảnh điều khiển.

import torch
from PIL import Image
from tqdm.auto import tqdm

from controlnet_aux.processor import OpenposeDetector
from diffusers import AnimateDiffVideoToVideoControlNetPipeline
from diffusers.utils import export_to_gif, load_video
from diffusers import AutoencoderKL, ControlNetModel, MotionAdapter, LCMScheduler

# Load the ControlNet
controlnet = ControlNetModel.from_pretrained("lllyasviel/sd-controlnet-openpose", dtype=torch.float16)
# Load the motion adapter
motion_adapter = MotionAdapter.from_pretrained("wangfuyun/AnimateLCM")
# Load SD 1.5 based finetuned model
vae = AutoencoderKL.from_pretrained("stabilityai/sd-vae-ft-mse", dtype=torch.float16)
pipe = AnimateDiffVideoToVideoControlNetPipeline.from_pretrained(
    "SG161222/Realistic_Vision_V5.1_noVAE",
    motion_adapter=motion_adapter,
    controlnet=controlnet,
    vae=vae,
).to(device="cuda", dtype=torch.float16)  # or "mps", "xpu", "cpu"

# Enable LCM to speed up inference
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config, beta_schedule="linear")
pipe.load_lora_weights("wangfuyun/AnimateLCM", weight_name="AnimateLCM_sd15_t2v_lora.safetensors", adapter_name="lcm-lora")
pipe.set_adapters(["lcm-lora"], [0.8])

video = load_video("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/diffusers/dance.gif")
video = [frame.convert("RGB") for frame in video]

prompt = "astronaut in space, dancing"
negative_prompt = "bad quality, worst quality, jpeg artifacts, ugly"

# Create controlnet preprocessor
open_pose = OpenposeDetector.from_pretrained("lllyasviel/Annotators").to("cuda")

# Preprocess controlnet images
conditioning_frames = []
for frame in tqdm(video):
    conditioning_frames.append(open_pose(frame))

strength = 0.8
with torch.inference_mode():
    video = pipe(
        video=video,
        prompt=prompt,
        negative_prompt=negative_prompt,
        num_inference_steps=10,
        guidance_scale=2.0,
        controlnet_conditioning_scale=0.75,
        conditioning_frames=conditioning_frames,
        strength=strength,
        generator=torch.Generator().manual_seed(42),
    ).frames[0]

video = [frame.resize(conditioning_frames[0].size) for frame in video]
export_to_gif(video, f"animatediff_vid2vid_controlnet.gif", fps=8)

Dưới đây là một số kết quả mẫu:

Video nguồn	Video đầu ra
cô gái anime, đang nhảy	thiên hà vũ trụ, khiêu vũ

Ánh sáng và bố cục được chuyển từ Video Nguồn.

Sử dụng Motion LoRAs

Motion LoRAs là một tập hợp các LoRAs hoạt động với checkpoint guoyww/animatediff-motion-adapter-v1-5-2. Các LoRAs này chịu trách nhiệm thêm các loại chuyển động cụ thể vào các bản dựng hoạt hình.

import torch
from diffusers import AnimateDiffPipeline, DDIMScheduler, MotionAdapter
from diffusers.utils import export_to_gif

# Load the motion adapter
adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-2", dtype=torch.float16)
# load SD 1.5 based finetuned model
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffPipeline.from_pretrained(model_id, motion_adapter=adapter, dtype=torch.float16)
pipe.load_lora_weights(
    "guoyww/animatediff-motion-lora-zoom-out", adapter_name="zoom-out"
)

scheduler = DDIMScheduler.from_pretrained(
    model_id,
    subfolder="scheduler",
    clip_sample=False,
    beta_schedule="linear",
    timestep_spacing="linspace",
    steps_offset=1,
)
pipe.scheduler = scheduler

# enable memory savings
pipe.vae.enable_slicing()
pipe.enable_model_cpu_offload()

output = pipe(
    prompt=(
        "masterpiece, bestquality, highlydetailed, ultradetailed, sunset, "
        "orange sky, warm lighting, fishing boats, ocean waves seagulls, "
        "rippling water, wharf, silhouette, serene atmosphere, dusk, evening glow, "
        "golden hour, coastal landscape, seaside scenery"
    ),
    negative_prompt="bad quality, worse quality",
    num_frames=16,
    guidance_scale=7.5,
    num_inference_steps=25,
    generator=torch.Generator("cpu").manual_seed(42),
)
frames = output.frames[0]
export_to_gif(frames, "animation.gif")

tác phẩm, chất lượng tốt nhất, hoàng hôn.
masterpiece, bestquality, sunset

Sử dụng Motion LoRAs với PEFT

Bạn cũng có thể tận dụng backend PEFT để kết hợp các Motion LoRA và tạo ra các hoạt ảnh phức tạp hơn.

Trước tiên, hãy cài đặt PEFT bằng

pip install peft

Sau đó, bạn có thể sử dụng mã sau để kết hợp các Motion LoRA.

import torch
from diffusers import AnimateDiffPipeline, DDIMScheduler, MotionAdapter
from diffusers.utils import export_to_gif

# Load the motion adapter
adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-2", dtype=torch.float16)
# load SD 1.5 based finetuned model
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffPipeline.from_pretrained(model_id, motion_adapter=adapter, dtype=torch.float16)

pipe.load_lora_weights(
    "diffusers/animatediff-motion-lora-zoom-out", adapter_name="zoom-out",
)
pipe.load_lora_weights(
    "diffusers/animatediff-motion-lora-pan-left", adapter_name="pan-left",
)
pipe.set_adapters(["zoom-out", "pan-left"], adapter_weights=[1.0, 1.0])

scheduler = DDIMScheduler.from_pretrained(
    model_id,
    subfolder="scheduler",
    clip_sample=False,
    timestep_spacing="linspace",
    beta_schedule="linear",
    steps_offset=1,
)
pipe.scheduler = scheduler

# enable memory savings
pipe.vae.enable_slicing()
pipe.enable_model_cpu_offload()

output = pipe(
    prompt=(
        "masterpiece, bestquality, highlydetailed, ultradetailed, sunset, "
        "orange sky, warm lighting, fishing boats, ocean waves seagulls, "
        "rippling water, wharf, silhouette, serene atmosphere, dusk, evening glow, "
        "golden hour, coastal landscape, seaside scenery"
    ),
    negative_prompt="bad quality, worse quality",
    num_frames=16,
    guidance_scale=7.5,
    num_inference_steps=25,
    generator=torch.Generator("cpu").manual_seed(42),
)
frames = output.frames[0]
export_to_gif(frames, "animation.gif")

tác phẩm, chất lượng tốt nhất, hoàng hôn.
masterpiece, bestquality, sunset

Sử dụng FreeInit

FreeInit: Bridging Initialization Gap in Video Diffusion Models của Tianxing Wu, Chenyang Si, Yuming Jiang, Ziqi Huang, Ziwei Liu.

FreeInit là một phương pháp hiệu quả giúp cải thiện tính nhất quán theo thời gian và chất lượng tổng thể của các video được tạo bằng video-diffusion-models mà không cần thêm bất kỳ bước huấn luyện nào. Phương pháp này có thể được áp dụng một cách liền mạch vào AnimateDiff, ModelScope, VideoCrafter và nhiều mô hình tạo video khác tại thời điểm suy luận, và hoạt động bằng cách tinh chỉnh lặp đi lặp lại nhiễu khởi tạo latent. Chi tiết hơn có thể tìm thấy trong bài báo.

Ví dụ sau minh họa cách sử dụng FreeInit.

import torch
from diffusers import MotionAdapter, AnimateDiffPipeline, DDIMScheduler
from diffusers.utils import export_to_gif

adapter = MotionAdapter.from_pretrained("guoyww/animatediff-motion-adapter-v1-5-2")
model_id = "SG161222/Realistic_Vision_V5.1_noVAE"
pipe = AnimateDiffPipeline.from_pretrained(model_id, motion_adapter=adapter, dtype=torch.float16).to("cuda")  # or "mps", "xpu", "cpu"
pipe.scheduler = DDIMScheduler.from_pretrained(
    model_id,
    subfolder="scheduler",
    beta_schedule="linear",
    clip_sample=False,
    timestep_spacing="linspace",
    steps_offset=1
)

# enable memory savings
pipe.vae.enable_slicing()
pipe.vae.enable_tiling()

# enable FreeInit
# Refer to the enable_free_init documentation for a full list of configurable parameters
pipe.enable_free_init(method="butterworth", use_fast_sampling=True)

# run inference
output = pipe(
    prompt="a panda playing a guitar, on a boat, in the ocean, high quality",
    negative_prompt="bad quality, worse quality",
    num_frames=16,
    guidance_scale=7.5,
    num_inference_steps=20,
    generator=torch.Generator("cpu").manual_seed(666),
)

# disable FreeInit
pipe.disable_free_init()

frames = output.frames[0]
export_to_gif(frames, "animation.gif")

FreeInit không thực sự miễn phí - chất lượng được cải thiện phải trả giá bằng lượng tính toán bổ sung. Nó yêu cầu lấy mẫu thêm một vài lần tùy thuộc vào tham số num_iters được đặt khi bật tính năng này. Việc đặt tham số use_fast_sampling thành True có thể cải thiện hiệu suất tổng thể (với chi phí là chất lượng thấp hơn so với khi use_fast_sampling=False nhưng vẫn cho kết quả tốt hơn so với các mô hình tạo video thông thường).

Hãy chắc chắn xem qua hướng dẫn về Schedulers để tìm hiểu cách khám phá sự đánh đổi giữa tốc độ và chất lượng của scheduler, và xem phần tái sử dụng các thành phần giữa các pipeline để tìm hiểu cách nạp các thành phần giống nhau vào nhiều pipeline một cách hiệu quả.

Khi không bật FreeInit	Với FreeInit được bật
panda đang chơi guitar	panda đang chơi guitar

Sử dụng AnimateLCM

AnimateLCM là một checkpoint của module chuyển động và một LCM LoRA được tạo ra bằng cách sử dụng chiến lược học nhất quán, tách biệt quá trình chưng cất các tiên nghiệm sinh ảnh và các tiên nghiệm sinh chuyển động.

import torch
from diffusers import AnimateDiffPipeline, LCMScheduler, MotionAdapter
from diffusers.utils import export_to_gif

adapter = MotionAdapter.from_pretrained("wangfuyun/AnimateLCM")
pipe = AnimateDiffPipeline.from_pretrained("emilianJR/epiCRealism", motion_adapter=adapter)
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config, beta_schedule="linear")

pipe.load_lora_weights("wangfuyun/AnimateLCM", weight_name="sd15_lora_beta.safetensors", adapter_name="lcm-lora")

pipe.vae.enable_slicing()
pipe.enable_model_cpu_offload()

output = pipe(
    prompt="A space rocket with trails of smoke behind it launching into space from the desert, 4k, high resolution",
    negative_prompt="bad quality, worse quality, low resolution",
    num_frames=16,
    guidance_scale=1.5,
    num_inference_steps=6,
    generator=torch.Generator("cpu").manual_seed(0),
)
frames = output.frames[0]
export_to_gif(frames, "animatelcm.gif")

Tên lửa vũ trụ, 4K.
A space rocket, 4K

AnimateLCM cũng tương thích với các Motion LoRAs hiện có.

import torch
from diffusers import AnimateDiffPipeline, LCMScheduler, MotionAdapter
from diffusers.utils import export_to_gif

adapter = MotionAdapter.from_pretrained("wangfuyun/AnimateLCM")
pipe = AnimateDiffPipeline.from_pretrained("emilianJR/epiCRealism", motion_adapter=adapter)
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config, beta_schedule="linear")

pipe.load_lora_weights("wangfuyun/AnimateLCM", weight_name="sd15_lora_beta.safetensors", adapter_name="lcm-lora")
pipe.load_lora_weights("guoyww/animatediff-motion-lora-tilt-up", adapter_name="tilt-up")

pipe.set_adapters(["lcm-lora", "tilt-up"], [1.0, 0.8])
pipe.vae.enable_slicing()
pipe.enable_model_cpu_offload()

output = pipe(
    prompt="A space rocket with trails of smoke behind it launching into space from the desert, 4k, high resolution",
    negative_prompt="bad quality, worse quality, low resolution",
    num_frames=16,
    guidance_scale=1.5,
    num_inference_steps=6,
    generator=torch.Generator("cpu").manual_seed(0),
)
frames = output.frames[0]
export_to_gif(frames, "animatelcm-motion-lora.gif")

Tên lửa vũ trụ, 4K.
A space rocket, 4K

Sử dụng FreeNoise

FreeNoise: Khuyếch tán video dài hơn không cần tinh chỉnh thông qua lên lịch lại nhiễu của Haonan Qiu, Menghan Xia, Yong Zhang, Yingqing He, Xintao Wang, Ying Shan, Ziwei Liu.

FreeNoise là một cơ chế lấy mẫu có thể tạo ra các video dài hơn bằng các mô hình tạo video ngắn thông qua việc lên lịch lại nhiễu, chú ý thời gian trên các cửa sổ trượt và trung bình có trọng số các khung hình tiềm ẩn. Nó cũng có thể được sử dụng với nhiều prompt để cho phép tạo video nội suy. Chi tiết hơn có sẵn trong bài báo.

Các pipeline AnimateDiff hiện được hỗ trợ và có thể sử dụng với FreeNoise là:

Để sử dụng FreeNoise, bạn cần thêm một dòng duy nhất vào mã suy luận sau khi tải các pipeline của mình.

+ pipe.enable_free_noise()

Sau bước này, bạn có thể sử dụng một prompt duy nhất, hoặc truyền nhiều prompt dưới dạng từ điển các cặp số nguyên - chuỗi. Các khóa số nguyên của từ điển tương ứng với chỉ số khung hình mà tại đó ảnh hưởng của prompt đó là lớn nhất. Mỗi chỉ số khung hình phải ánh xạ đến một prompt chuỗi duy nhất. Các prompt cho các chỉ số khung hình trung gian, không được truyền trong từ điển, sẽ được tạo ra bằng cách nội suy giữa các prompt khung hình được truyền. Mặc định, nội suy tuyến tính đơn giản được sử dụng. Tuy nhiên, bạn có thể tùy chỉnh hành vi này bằng cách sử dụng callback cho tham số prompt_interpolation_callback khi bật FreeNoise.

Ví dụ đầy đủ:

import torch
from diffusers import AutoencoderKL, AnimateDiffPipeline, LCMScheduler, MotionAdapter
from diffusers.utils import export_to_video, load_image

# Load pipeline
dtype = torch.float16
motion_adapter = MotionAdapter.from_pretrained("wangfuyun/AnimateLCM", dtype=dtype)
vae = AutoencoderKL.from_pretrained("stabilityai/sd-vae-ft-mse", dtype=dtype)

pipe = AnimateDiffPipeline.from_pretrained("emilianJR/epiCRealism", motion_adapter=motion_adapter, vae=vae, dtype=dtype)
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config, beta_schedule="linear")

pipe.load_lora_weights(
    "wangfuyun/AnimateLCM", weight_name="AnimateLCM_sd15_t2v_lora.safetensors", adapter_name="lcm_lora"
)
pipe.set_adapters(["lcm_lora"], [0.8])

# Enable FreeNoise for long prompt generation
pipe.enable_free_noise(context_length=16, context_stride=4)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

# Can be a single prompt, or a dictionary with frame timesteps
prompt = {
    0: "A caterpillar on a leaf, high quality, photorealistic",
    40: "A caterpillar transforming into a cocoon, on a leaf, near flowers, photorealistic",
    80: "A cocoon on a leaf, flowers in the background, photorealistic",
    120: "A cocoon maturing and a butterfly being born, flowers and leaves visible in the background, photorealistic",
    160: "A beautiful butterfly, vibrant colors, sitting on a leaf, flowers in the background, photorealistic",
    200: "A beautiful butterfly, flying away in a forest, photorealistic",
    240: "A cyberpunk butterfly, neon lights, glowing",
}
negative_prompt = "bad quality, worst quality, jpeg artifacts"

# Run inference
output = pipe(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_frames=256,
    guidance_scale=2.5,
    num_inference_steps=10,
    generator=torch.Generator("cpu").manual_seed(0),
)

# Save video
frames = output.frames[0]
export_to_video(frames, "output.mp4", fps=16)

Tiết kiệm bộ nhớ FreeNoise

Vì FreeNoise xử lý nhiều khung hình cùng lúc, có những phần trong mô hình mà bộ nhớ cần thiết vượt quá dung lượng khả dụng trên các GPU tiêu dùng thông thường. Các nút thắt cổ chai bộ nhớ chính mà chúng tôi xác định là các khối chú ý không gian và thời gian, các khối lấy mẫu lên và lấy mẫu xuống, các khối resnet và các lớp feed-forward. Vì hầu hết các khối này chỉ hoạt động hiệu quả trên chiều kênh/độ nhúng, người ta có thể thực hiện suy luận theo từng lô (chunked inference) trên các chiều batch. Chiều batch trong AnimateDiff có bản chất là không gian ([B x F, H x W, C]) hoặc thời gian (B x H x W, F, C) (lưu ý rằng điều này có vẻ trái với trực giác, nhưng các chiều batch ở đây là chính xác, vì các khối không gian xử lý trên chiều B x F trong khi các khối thời gian xử lý trên chiều B x H x W). Chúng tôi giới thiệu SplitInferenceModule giúp dễ dàng chia nhỏ theo bất kỳ chiều nào và thực hiện suy luận. Điều này tiết kiệm được nhiều bộ nhớ nhưng đổi lại là thời gian suy luận dài hơn.

# Load pipeline and adapters
# ...
+ pipe.enable_free_noise_split_inference()
+ pipe.unet.enable_forward_chunking(16)

Gọi phương thức pipe.enable_free_noise_split_inference chấp nhận hai tham số: spatial_split_size (mặc định là 256) và temporal_split_size (mặc định là 16). Các giá trị này có thể được cấu hình dựa trên lượng VRAM bạn có sẵn. Kích thước chia nhỏ thấp hơn dẫn đến mức sử dụng bộ nhớ thấp hơn nhưng suy luận chậm hơn, trong khi kích thước chia nhỏ lớn hơn cho phép suy luận nhanh hơn với chi phí là sử dụng nhiều bộ nhớ hơn.

Sử dụng from_single_file với MotionAdapter

diffusers>=0.30.0 hỗ trợ nạp các checkpoint AnimateDiff vào MotionAdapter ở định dạng gốc thông qua from_single_file

from diffusers import MotionAdapter

ckpt_path = "https://huggingface.co/Lightricks/LongAnimateDiff/blob/main/lt_long_mm_32_frames.ckpt"

adapter = MotionAdapter.from_single_file(ckpt_path, dtype=torch.float16)
pipe = AnimateDiffPipeline.from_pretrained("emilianJR/epiCRealism", motion_adapter=adapter)

Diffusers

Tạo Video từ Văn bản với AnimateDiff

Tổng quan

Các Pipeline khả dụng

Các checkpoint khả dụng

Ví dụ sử dụng

AnimateDiffPipeline

AnimateDiffControlNetPipeline

AnimateDiffSparseControlNetPipeline

Sử dụng SparseCtrl Scribble

Sử dụng SparseCtrl RGB

AnimateDiffSDXLPipeline

AnimateDiffVideoToVideoPipeline

AnimateDiffVideoToVideoControlNetPipeline

Sử dụng Motion LoRAs

Sử dụng Motion LoRAs với PEFT

Sử dụng FreeInit

Sử dụng AnimateLCM

Sử dụng FreeNoise

Tiết kiệm bộ nhớ FreeNoise

Sử dụng from_single_file với MotionAdapter

AnimateDiffPipeline

lớp diffusers.AnimateDiffPipeline

__call__

encode_prompt

AnimateDiffControlNetPipeline

lớp diffusers.AnimateDiffControlNetPipeline

__call__

encode_prompt

AnimateDiffSparseControlNetPipeline

lớp diffusers.AnimateDiffSparseControlNetPipeline

__call__

encode_prompt

AnimateDiffSDXLPipeline

lớp diffusers.AnimateDiffSDXLPipeline

__call__

encode_prompt

get_guidance_scale_embedding

AnimateDiffVideoToVideoPipeline

lớp diffusers.AnimateDiffVideoToVideoPipeline

__call__

encode_prompt

AnimateDiffVideoToVideoControlNetPipeline

lớp diffusers.AnimateDiffVideoToVideoControlNetPipeline

__call__

encode_prompt

AnimateDiffPipelineOutput

lớp diffusers.pipelines.animatediff.AnimateDiffPipelineOutput

call

call

call

call

call

call