Diffusers documentation

DeepFloyd IF

Diffusers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

DeepFloyd IF

Tổng quan

DeepFloyd IF là một mô hình text-to-image mã nguồn mở tiên tiến mới với mức độ chân thực cao và khả năng hiểu ngôn ngữ. Mô hình này có cấu trúc mô-đun, bao gồm một text encoder đóng băng và ba mô-đun pixel diffusion nối tiếp:

Giai đoạn 1: một mô hình cơ bản tạo ra hình ảnh 64x64 px dựa trên câu lệnh văn bản,
Giai đoạn 2: một mô hình siêu phân giải 64x64 px => 256x256 px, và
Giai đoạn 3: mô hình siêu phân giải 256x256 px => 1024x1024 px Giai đoạn 1 và Giai đoạn 2 sử dụng text encoder đóng băng dựa trên transformer T5 để trích xuất text embeddings, sau đó các embeddings này được đưa vào kiến trúc UNet được tăng cường với cross-attention và attention pooling. Giai đoạn 3 là mô hình x4 Upscaling của Stability AI. Kết quả là một mô hình cực kỳ hiệu quả, vượt trội hơn các mô hình state-of-the-art hiện tại, đạt điểm FID zero-shot là 6.66 trên bộ dữ liệu COCO. Công việc của chúng tôi nhấn mạnh tiềm năng của các kiến trúc UNet lớn hơn trong giai đoạn đầu tiên của các mô hình diffusion dạng cascaded và phác thảo một tương lai đầy hứa hẹn cho việc tổng hợp ảnh từ văn bản.

Cách sử dụng

Trước khi bạn có thể sử dụng IF, bạn cần chấp nhận các điều khoản sử dụng. Để thực hiện:

Hãy đảm bảo bạn có tài khoản Hugging Face và đã đăng nhập.
Chấp nhận giấy phép trên thẻ mô hình của DeepFloyd/IF-I-XL-v1.0. Việc chấp nhận giấy phép trên thẻ mô hình của giai đoạn I sẽ tự động chấp nhận cho các mô hình IF khác.
Hãy đảm bảo bạn đã đăng nhập cục bộ. Cài đặt huggingface_hub:

pip install huggingface_hub --upgrade

chạy hàm đăng nhập trong một shell Python:

from huggingface_hub import login

login()

và nhập token truy cập Hugging Face Hub của bạn.

Tiếp theo, chúng ta cài đặt diffusers và các phụ thuộc:

pip install -q diffusers accelerate transformers

Các phần dưới đây cung cấp các ví dụ chi tiết hơn về cách sử dụng IF. Cụ thể:

Đánh giá chất lượng hình ảnh
Đánh giá
Inpainting
Tái sử dụng trọng số mô hình
Tối ưu hóa tốc độ
Tối ưu hóa bộ nhớ

Các checkpoint khả dụng

Giai đoạn 1
Giai đoạn 2
- DeepFloyd/IF-II-L-v1.0
- DeepFloyd/IF-II-M-v1.0
Giai đoạn 3
- stabilityai/stable-diffusion-x4-upscaler

Google Colab

Tạo hình ảnh từ văn bản

Mặc định, diffusers sử dụng model cpu offloading để chạy toàn bộ pipeline IF với chỉ 14 GB VRAM.

from diffusers import DiffusionPipeline
from diffusers.utils import pt_to_pil, make_image_grid
import torch

# stage 1
stage_1 = DiffusionPipeline.from_pretrained("DeepFloyd/IF-I-XL-v1.0", variant="fp16", dtype=torch.float16)
stage_1.enable_model_cpu_offload()

# stage 2
stage_2 = DiffusionPipeline.from_pretrained(
    "DeepFloyd/IF-II-L-v1.0", text_encoder=None, variant="fp16", dtype=torch.float16
)
stage_2.enable_model_cpu_offload()

# stage 3
safety_modules = {
    "feature_extractor": stage_1.feature_extractor,
    "safety_checker": stage_1.safety_checker,
    "watermarker": stage_1.watermarker,
}
stage_3 = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-x4-upscaler", **safety_modules, dtype=torch.float16
)
stage_3.enable_model_cpu_offload()

prompt = 'a photo of a kangaroo wearing an orange hoodie and blue sunglasses standing in front of the eiffel tower holding a sign that says "very deep learning"'
generator = torch.manual_seed(1)

# text embeds
prompt_embeds, negative_embeds = stage_1.encode_prompt(prompt)

# stage 1
stage_1_output = stage_1(
    prompt_embeds=prompt_embeds, negative_prompt_embeds=negative_embeds, generator=generator, output_type="pt"
).images
#pt_to_pil(stage_1_output)[0].save("./if_stage_I.png")

# stage 2
stage_2_output = stage_2(
    image=stage_1_output,
    prompt_embeds=prompt_embeds,
    negative_prompt_embeds=negative_embeds,
    generator=generator,
    output_type="pt",
).images
#pt_to_pil(stage_2_output)[0].save("./if_stage_II.png")

# stage 3
stage_3_output = stage_3(prompt=prompt, image=stage_2_output, noise_level=100, generator=generator).images
#stage_3_output[0].save("./if_stage_III.png")
make_image_grid([pt_to_pil(stage_1_output)[0], pt_to_pil(stage_2_output)[0], stage_3_output[0]], rows=1, rows=3)

Tạo ảnh từ ảnh có hướng dẫn bằng văn bản

Cùng một bộ trọng số mô hình IF có thể được sử dụng cho việc dịch chuyển ảnh sang ảnh có hướng dẫn bằng văn bản hoặc tạo biến thể ảnh. Trong trường hợp này, hãy đảm bảo tải trọng số bằng cách sử dụng các pipeline IFImg2ImgPipeline và IFImg2ImgSuperResolutionPipeline.

Lưu ý: Bạn cũng có thể di chuyển trực tiếp trọng số của các pipeline text-to-image sang các pipeline image-to-image mà không cần nạp chúng hai lần bằng cách sử dụng đối số components như đã giải thích tại đây.

from diffusers import IFImg2ImgPipeline, IFImg2ImgSuperResolutionPipeline, DiffusionPipeline
from diffusers.utils import pt_to_pil, load_image, make_image_grid
import torch

# download image
url = "https://raw.githubusercontent.com/CompVis/stable-diffusion/main/assets/stable-samples/img2img/sketch-mountains-input.jpg"
original_image = load_image(url)
original_image = original_image.resize((768, 512))

# stage 1
stage_1 = IFImg2ImgPipeline.from_pretrained("DeepFloyd/IF-I-XL-v1.0", variant="fp16", dtype=torch.float16)
stage_1.enable_model_cpu_offload()

# stage 2
stage_2 = IFImg2ImgSuperResolutionPipeline.from_pretrained(
    "DeepFloyd/IF-II-L-v1.0", text_encoder=None, variant="fp16", dtype=torch.float16
)
stage_2.enable_model_cpu_offload()

# stage 3
safety_modules = {
    "feature_extractor": stage_1.feature_extractor,
    "safety_checker": stage_1.safety_checker,
    "watermarker": stage_1.watermarker,
}
stage_3 = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-x4-upscaler", **safety_modules, dtype=torch.float16
)
stage_3.enable_model_cpu_offload()

prompt = "A fantasy landscape in style minecraft"
generator = torch.manual_seed(1)

# text embeds
prompt_embeds, negative_embeds = stage_1.encode_prompt(prompt)

# stage 1
stage_1_output = stage_1(
    image=original_image,
    prompt_embeds=prompt_embeds,
    negative_prompt_embeds=negative_embeds,
    generator=generator,
    output_type="pt",
).images
#pt_to_pil(stage_1_output)[0].save("./if_stage_I.png")

# stage 2
stage_2_output = stage_2(
    image=stage_1_output,
    original_image=original_image,
    prompt_embeds=prompt_embeds,
    negative_prompt_embeds=negative_embeds,
    generator=generator,
    output_type="pt",
).images
#pt_to_pil(stage_2_output)[0].save("./if_stage_II.png")

# stage 3
stage_3_output = stage_3(prompt=prompt, image=stage_2_output, generator=generator, noise_level=100).images
#stage_3_output[0].save("./if_stage_III.png")
make_image_grid([original_image, pt_to_pil(stage_1_output)[0], pt_to_pil(stage_2_output)[0], stage_3_output[0]], rows=1, rows=4)

Tạo Inpainting có hướng dẫn bằng văn bản

Cùng một bộ trọng số mô hình IF có thể được sử dụng cho việc dịch chuyển ảnh sang ảnh có hướng dẫn bằng văn bản hoặc tạo biến thể ảnh. Trong trường hợp này, hãy đảm bảo tải trọng số bằng cách sử dụng các pipeline IFInpaintingPipeline và IFInpaintingSuperResolutionPipeline.

Lưu ý: Bạn cũng có thể di chuyển trực tiếp trọng số của các pipeline text-to-image sang các pipeline image-to-image mà không cần nạp chúng hai lần bằng cách sử dụng hàm ~DiffusionPipeline.components() như đã giải thích tại đây.

from diffusers import IFInpaintingPipeline, IFInpaintingSuperResolutionPipeline, DiffusionPipeline
from diffusers.utils import pt_to_pil, load_image, make_image_grid
import torch

# download image
url = "https://huggingface.co/datasets/diffusers/docs-images/resolve/main/if/person.png"
original_image = load_image(url)

# download mask
url = "https://huggingface.co/datasets/diffusers/docs-images/resolve/main/if/glasses_mask.png"
mask_image = load_image(url)

# stage 1
stage_1 = IFInpaintingPipeline.from_pretrained("DeepFloyd/IF-I-XL-v1.0", variant="fp16", dtype=torch.float16)
stage_1.enable_model_cpu_offload()

# stage 2
stage_2 = IFInpaintingSuperResolutionPipeline.from_pretrained(
    "DeepFloyd/IF-II-L-v1.0", text_encoder=None, variant="fp16", dtype=torch.float16
)
stage_2.enable_model_cpu_offload()

# stage 3
safety_modules = {
    "feature_extractor": stage_1.feature_extractor,
    "safety_checker": stage_1.safety_checker,
    "watermarker": stage_1.watermarker,
}
stage_3 = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-x4-upscaler", **safety_modules, dtype=torch.float16
)
stage_3.enable_model_cpu_offload()

prompt = "blue sunglasses"
generator = torch.manual_seed(1)

# text embeds
prompt_embeds, negative_embeds = stage_1.encode_prompt(prompt)

# stage 1
stage_1_output = stage_1(
    image=original_image,
    mask_image=mask_image,
    prompt_embeds=prompt_embeds,
    negative_prompt_embeds=negative_embeds,
    generator=generator,
    output_type="pt",
).images
#pt_to_pil(stage_1_output)[0].save("./if_stage_I.png")

# stage 2
stage_2_output = stage_2(
    image=stage_1_output,
    original_image=original_image,
    mask_image=mask_image,
    prompt_embeds=prompt_embeds,
    negative_prompt_embeds=negative_embeds,
    generator=generator,
    output_type="pt",
).images
#pt_to_pil(stage_1_output)[0].save("./if_stage_II.png")

# stage 3
stage_3_output = stage_3(prompt=prompt, image=stage_2_output, generator=generator, noise_level=100).images
#stage_3_output[0].save("./if_stage_III.png")
make_image_grid([original_image, mask_image, pt_to_pil(stage_1_output)[0], pt_to_pil(stage_2_output)[0], stage_3_output[0]], rows=1, rows=5)

Chuyển đổi giữa các pipeline khác nhau

Ngoài việc được nạp bằng from_pretrained, Pipelines cũng có thể được nạp trực tiếp từ các Pipeline khác.

from diffusers import IFPipeline, IFSuperResolutionPipeline

pipe_1 = IFPipeline.from_pretrained("DeepFloyd/IF-I-XL-v1.0")
pipe_2 = IFSuperResolutionPipeline.from_pretrained("DeepFloyd/IF-II-L-v1.0")


from diffusers import IFImg2ImgPipeline, IFImg2ImgSuperResolutionPipeline

pipe_1 = IFImg2ImgPipeline(**pipe_1.components)
pipe_2 = IFImg2ImgSuperResolutionPipeline(**pipe_2.components)


from diffusers import IFInpaintingPipeline, IFInpaintingSuperResolutionPipeline

pipe_1 = IFInpaintingPipeline(**pipe_1.components)
pipe_2 = IFInpaintingSuperResolutionPipeline(**pipe_2.components)

Tối ưu hóa cho tốc độ

Tối ưu hóa đơn giản nhất để chạy IF nhanh hơn là di chuyển tất cả các thành phần của mô hình sang GPU.

pipe = DiffusionPipeline.from_pretrained("DeepFloyd/IF-I-XL-v1.0", variant="fp16", dtype=torch.float16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

Bạn cũng có thể chạy quá trình khuếch tán với số bước thời gian ngắn hơn.

Điều này có thể được thực hiện bằng cách sử dụng đối số num_inference_steps:

pipe("<prompt>", num_inference_steps=30)

Hoặc với đối số timesteps:

from diffusers.pipelines.deepfloyd_if import fast27_timesteps

pipe("<prompt>", timesteps=fast27_timesteps)

Khi thực hiện tạo biến thể ảnh hoặc inpainting, bạn cũng có thể giảm số lượng bước thời gian (timesteps) bằng đối số strength. Đối số strength là lượng nhiễu được thêm vào ảnh đầu vào, đồng thời xác định số bước cần chạy trong quá trình khử nhiễu. Giá trị nhỏ hơn sẽ làm thay đổi ảnh ít hơn nhưng chạy nhanh hơn.

pipe = IFImg2ImgPipeline.from_pretrained("DeepFloyd/IF-I-XL-v1.0", variant="fp16", dtype=torch.float16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

image = pipe(image=image, prompt="<prompt>", strength=0.3).images

Bạn cũng có thể sử dụng torch.compile. Lưu ý rằng chúng tôi chưa kiểm tra torch.compile một cách đầy đủ với IF và nó có thể không cho kết quả như mong đợi.

from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained("DeepFloyd/IF-I-XL-v1.0", variant="fp16", dtype=torch.float16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

pipe.text_encoder = torch.compile(pipe.text_encoder, mode="reduce-overhead", fullgraph=True)
pipe.unet = torch.compile(pipe.unet, mode="reduce-overhead", fullgraph=True)

Tối ưu hóa cho bộ nhớ

Khi tối ưu hóa bộ nhớ GPU, chúng ta có thể sử dụng các API offloading CPU chuẩn của diffusers.

Hoặc việc offload CPU dựa trên model,

pipe = DiffusionPipeline.from_pretrained("DeepFloyd/IF-I-XL-v1.0", variant="fp16", dtype=torch.float16)
pipe.enable_model_cpu_offload()

hoặc phương pháp offload CPU dựa trên lớp (layer) mang tính quyết liệt hơn.

pipe = DiffusionPipeline.from_pretrained("DeepFloyd/IF-I-XL-v1.0", variant="fp16", dtype=torch.float16)
pipe.enable_sequential_cpu_offload()

Ngoài ra, T5 có thể được nạp ở độ chính xác 8bit

from transformers import T5EncoderModel

text_encoder = T5EncoderModel.from_pretrained(
    "DeepFloyd/IF-I-XL-v1.0", subfolder="text_encoder", device_map="auto", load_in_8bit=True, variant="8bit"
)

from diffusers import DiffusionPipeline

pipe = DiffusionPipeline.from_pretrained(
    "DeepFloyd/IF-I-XL-v1.0",
    text_encoder=text_encoder,  # pass the previously instantiated 8bit text encoder
    unet=None,
    device_map="auto",
)

prompt_embeds, negative_embeds = pipe.encode_prompt("<prompt>")

Đối với các máy bị giới hạn RAM CPU như Google Colab free tier, nơi chúng ta không thể nạp tất cả các thành phần của mô hình vào CPU cùng lúc, chúng ta có thể chỉ nạp thủ công pipeline với text encoder hoặc UNet khi các thành phần mô hình tương ứng được cần đến.

from diffusers import IFPipeline, IFSuperResolutionPipeline
import torch
import gc
from transformers import T5EncoderModel
from diffusers.utils import pt_to_pil, make_image_grid

text_encoder = T5EncoderModel.from_pretrained(
    "DeepFloyd/IF-I-XL-v1.0", subfolder="text_encoder", device_map="auto", load_in_8bit=True, variant="8bit"
)

# text to image
pipe = DiffusionPipeline.from_pretrained(
    "DeepFloyd/IF-I-XL-v1.0",
    text_encoder=text_encoder,  # pass the previously instantiated 8bit text encoder
    unet=None,
    device_map="auto",
)

prompt = 'a photo of a kangaroo wearing an orange hoodie and blue sunglasses standing in front of the eiffel tower holding a sign that says "very deep learning"'
prompt_embeds, negative_embeds = pipe.encode_prompt(prompt)

# Remove the pipeline so we can re-load the pipeline with the unet
del text_encoder
del pipe
gc.collect()
torch.cuda.empty_cache()

pipe = IFPipeline.from_pretrained(
    "DeepFloyd/IF-I-XL-v1.0", text_encoder=None, variant="fp16", dtype=torch.float16, device_map="auto"
)

generator = torch.Generator().manual_seed(0)
stage_1_output = pipe(
    prompt_embeds=prompt_embeds,
    negative_prompt_embeds=negative_embeds,
    output_type="pt",
    generator=generator,
).images

#pt_to_pil(stage_1_output)[0].save("./if_stage_I.png")

# Remove the pipeline so we can load the super-resolution pipeline
del pipe
gc.collect()
torch.cuda.empty_cache()

# First super resolution

pipe = IFSuperResolutionPipeline.from_pretrained(
    "DeepFloyd/IF-II-L-v1.0", text_encoder=None, variant="fp16", dtype=torch.float16, device_map="auto"
)

generator = torch.Generator().manual_seed(0)
stage_2_output = pipe(
    image=stage_1_output,
    prompt_embeds=prompt_embeds,
    negative_prompt_embeds=negative_embeds,
    output_type="pt",
    generator=generator,
).images

#pt_to_pil(stage_2_output)[0].save("./if_stage_II.png")
make_image_grid([pt_to_pil(stage_1_output)[0], pt_to_pil(stage_2_output)[0]], rows=1, rows=2)

Các Pipeline khả dụng:

Pipeline	Nhiệm vụ	Colab
pipeline_if.py	Đánh giá chất lượng hình ảnh	-
pipeline_if_superresolution.py	Đánh giá chất lượng hình ảnh	-
pipeline_if_img2img.py	Đánh giá	-
pipeline_if_img2img_superresolution.py	Đánh giá	-
pipeline_if_inpainting.py	Đánh giá	-
pipeline_if_inpainting_superresolution.py	Đánh giá	-

Diffusers

DeepFloyd IF

Tổng quan

Cách sử dụng

Tạo hình ảnh từ văn bản

Tạo ảnh từ ảnh có hướng dẫn bằng văn bản

Tạo Inpainting có hướng dẫn bằng văn bản

Chuyển đổi giữa các pipeline khác nhau

Tối ưu hóa cho tốc độ

Tối ưu hóa cho bộ nhớ

Các Pipeline khả dụng:

IFPipeline

lớp diffusers.IFPipeline

__call__

encode_prompt

IFSuperResolutionPipeline

lớp diffusers.IFSuperResolutionPipeline

__call__

encode_prompt

IFImg2ImgPipeline

lớp diffusers.IFImg2ImgPipeline

__call__

encode_prompt

IFImg2ImgSuperResolutionPipeline

class diffusers.IFImg2ImgSuperResolutionPipeline

__call__

encode_prompt

IFInpaintingPipeline

lớp diffusers.IFInpaintingPipeline

__call__

encode_prompt

IFInpaintingSuperResolutionPipeline

class diffusers.IFInpaintingSuperResolutionPipeline

__call__

encode_prompt

call

call

call

call

call

call