Hugging Face's logo

Diffusers documentation

ControlNetUnionModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

ControlNetUnionModel

ControlNetUnionModel es una implementación de ControlNet para Stable Diffusion XL.

El modelo ControlNet se introdujo en ControlNetPlus por xinsir6. Admite múltiples entradas de condicionamiento sin aumentar la computación.

Diseñamos una nueva arquitectura que puede soportar más de 10 tipos de control en la generación de imágenes a partir de texto condicional y que puede generar imágenes de alta resolución visualmente comparables con midjourney. La red se basa en la arquitectura original de ControlNet; proponemos dos nuevos módulos para: 1 Extender la ControlNet original para soportar diferentes condiciones de imagen usando el mismo parámetro de red. 2 Soportar la entrada de múltiples condiciones sin aumentar el offload de cómputo, lo cual es especialmente importante para los diseñadores que desean editar la imagen en detalle; las diferentes condiciones usan el mismo codificador de condición, sin añadir cálculos ni parámetros adicionales.

Cargando

Por defecto, el ControlNetUnionModel debe cargarse con from_pretrained().

from diffusers import StableDiffusionXLControlNetUnionPipeline, ControlNetUnionModel

controlnet = ControlNetUnionModel.from_pretrained("xinsir/controlnet-union-sdxl-1.0")
pipe = StableDiffusionXLControlNetUnionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", controlnet=controlnet)

ControlNetUnionModel

clase diffusers.ControlNetUnionModel

< >

( in_channels: int = 4conditioning_channels: int = 3flip_sin_to_cos: bool = Truefreq_shift: int = 0down_block_types: tuple = ('CrossAttnDownBlock2D', 'CrossAttnDownBlock2D', 'CrossAttnDownBlock2D', 'DownBlock2D')only_cross_attention: bool | tuple[bool] = Falseblock_out_channels: tuple = (320, 640, 1280, 1280)layers_per_block: int = 2downsample_padding: int = 1mid_block_scale_factor: float = 1act_fn: str = 'silu'norm_num_groups: int | None = 32norm_eps: float = 1e-05cross_attention_dim: int = 1280transformer_layers_per_block: int | tuple[int, ...] = 1encoder_hid_dim: int | None = Noneencoder_hid_dim_type: str | None = Noneattention_head_dim: int | tuple[int, ...] = 8num_attention_heads: int | tuple[int, ...] | None = Noneuse_linear_projection: bool = Falseclass_embed_type: str | None = Noneaddition_embed_type: str | None = Noneaddition_time_embed_dim: int | None = Nonenum_class_embeds: int | None = Noneupcast_attention: bool = Falseresnet_time_scale_shift: str = 'default'projection_class_embeddings_input_dim: int | None = Nonecontrolnet_conditioning_channel_order: str = 'rgb'conditioning_embedding_out_channels: tuple[int, ...] | None = (48, 96, 192, 384)global_pool_conditions: bool = Falseaddition_embed_type_num_heads: int = 64num_control_type: int = 6num_trans_channel: int = 320num_trans_head: int = 8num_trans_layer: int = 1num_proj_channel: int = 320 )

Parámetros

  • in_channels (int, por defecto 4) — El número de canales en la muestra de entrada.
  • flip_sin_to_cos (bool, por defecto True) — Si se debe cambiar el sin por el cos en la incrustación temporal.
  • freq_shift (int, por defecto 0) — El desplazamiento de frecuencia que se aplica a la incrustación temporal.
  • down_block_types (tuple[str], por defecto ("CrossAttnDownBlock2D", "CrossAttnDownBlock2D", "CrossAttnDownBlock2D", "DownBlock2D")) — La tupla de bloques de muestreo descendente a utilizar.
  • only_cross_attention (bool | tuple[bool], por defecto False) —
  • block_out_channels (tuple[int], por defecto (320, 640, 1280, 1280)) — La tupla de canales de salida para cada bloque.
  • layers_per_block (int, por defecto 2) — El número de capas por bloque.
  • downsample_padding (int, por defecto 1) — El relleno a utilizar para la convolución de reducción de muestreo.
  • mid_block_scale_factor (float, por defecto 1) — El factor de escala a utilizar para el bloque intermedio.
  • act_fn (str, por defecto “silu”) — La función de activación a utilizar.
  • norm_num_groups (int, opcional, valor predeterminado 32) — El número de grupos a utilizar para la normalización. Si es None, se omiten las capas de normalización y activación en el posprocesamiento.
  • norm_eps (float, por defecto 1e-5) — La epsilon a utilizar para la normalización.
  • cross_attention_dim (int, por defecto 1280) — La dimensión de las características de atención cruzada.
  • transformer_layers_per_block (int o tuple[int], opcional, valor predeterminado 1) — El número de bloques de transformador de tipo BasicTransformerBlock. Solo es relevante para ~models.unet_2d_blocks.CrossAttnDownBlock2D, ~models.unet_2d_blocks.CrossAttnUpBlock2D, ~models.unet_2d_blocks.UNetMidBlock2DCrossAttn.
  • encoder_hid_dim (int, opcional, valor predeterminado None) — Si encoder_hid_dim_type está definido, encoder_hidden_states se proyectará desde la dimensión encoder_hid_dim hasta cross_attention_dim.
  • encoder_hid_dim_type (str, opcional, valor predeterminado None) — Si se especifica, encoder_hidden_states y posiblemente otras incrustaciones se proyectan hacia abajo a incrustaciones de texto de dimensión cross_attention según encoder_hid_dim_type.
  • attention_head_dim (int | tuple[int], por defecto 8) — La dimensión de las cabezas de atención.
  • use_linear_projection (bool, por defecto False) —
  • class_embed_type (str, opcional, valor predeterminado None) — El tipo de incrustación de clase que se utilizará y que finalmente se suma a las incrustaciones de tiempo. Elija entre None, "timestep", "identity", "projection" o "simple_projection".
  • addition_embed_type (str, opcional, valor predeterminado None) — Configura un embedding opcional que se sumará con los embeddings de tiempo. Elige entre None o “text”. “text” utilizará la capa TextTimeEmbedding.
  • num_class_embeds (int, opcional, valor predeterminado 0) — Dimensión de entrada de la matriz de incrustación aprendible que se proyectará a time_embed_dim, al realizar condicionamiento por clase con class_embed_type igual a None.
  • upcast_attention (bool, por defecto False) —
  • resnet_time_scale_shift (str, por defecto "default") — Configuración de desplazamiento de escala de tiempo para los bloques ResNet (ver ResnetBlock2D). Elija entre default o scale_shift.
  • projection_class_embeddings_input_dim (int, opcional, valor predeterminado None) — La dimensión de la entrada class_labels cuando class_embed_type="projection". Obligatorio cuando class_embed_type="projection".
  • controlnet_conditioning_channel_order (str, por defecto "rgb") — El orden de los canales de la imagen condicional. Se convertirá a rgb si es bgr.
  • conditioning_embedding_out_channels (tuple[int], opcional, valor predeterminado (48, 96, 192, 384)) — La tupla de canales de salida de cada bloque en la capa conditioning_embedding.
  • global_pool_conditions (bool, por defecto False) —

Un modelo ControlNetUnion.

forward

< >

( sample: Tensortimestep: typing.Union[torch.Tensor, float, int]encoder_hidden_states: Tensorcontrolnet_cond: listcontrol_type: Tensorcontrol_type_idx: listconditioning_scale: float | list[float] = 1.0class_labels: typing.Optional[torch.Tensor] = Nonetimestep_cond: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneadded_cond_kwargs: dict[str, torch.Tensor] | None = Nonecross_attention_kwargs: dict[str, typing.Any] | None = Nonefrom_multi: bool = Falseguess_mode: bool = Falsereturn_dict: bool = True ) → ~models.controlnet.ControlNetOutput or tuple

Parámetros

  • sample (torch.Tensor) — El tensor de entrada con ruido.
  • timestep (torch.Tensor | float | int) — El número de pasos de tiempo para desruidar una entrada.
  • encoder_hidden_states (torch.Tensor) — Los estados ocultos del codificador.
  • controlnet_cond (list[torch.Tensor]) — Los tensores de entrada condicional.
  • control_type (torch.Tensor) — Un tensor de forma (batch, num_control_type) con valores 0 o 1 según si se utiliza el tipo de control.
  • control_type_idx (list[int]) — Los índices de control_type.
  • conditioning_scale (float, por defecto 1.0) — El factor de escala para las salidas de ControlNet.
  • class_labels (torch.Tensor, opcional, valor predeterminado None) — Etiquetas de clase opcionales para la condición. Sus incrustaciones se sumarán con las incrustaciones del paso de tiempo.
  • timestep_cond (torch.Tensor, opcional, valor predeterminado None) — Incrustaciones condicionales adicionales para el paso de tiempo. Si se proporcionan, las incrustaciones se sumarán con la timestep_embedding pasada a través de la capa self.time_embedding para obtener las incrustaciones finales del paso de tiempo.
  • attention_mask (torch.Tensor, opcional, valor predeterminado None) — Una máscara de atención de forma (batch, key_tokens) se aplica a encoder_hidden_states. Si el valor es 1, la máscara se conserva; en caso contrario, si es 0, se descarta. La máscara se convierte en un sesgo que suma valores negativos grandes a las puntuaciones de atención correspondientes a los tokens “descartados”.
  • added_cond_kwargs (dict) — Condiciones adicionales para el UNet de Stable Diffusion XL.
  • cross_attention_kwargs (dict[str], opcional, valor predeterminado None) — Un diccionario de kwargs que, si se especifica, se pasa al AttnProcessor.
  • from_multi (bool, por defecto False) — Usa la escalado estándar cuando se llama desde MultiControlNetUnionModel.
  • guess_mode (bool, por defecto False) — En este modo, el codificador de ControlNet intenta reconocer el contenido de la entrada lo mejor posible, incluso si eliminas todos los prompts. Se recomienda un guidance_scale entre 3.0 y 5.0.
  • return_dict (bool, por defecto True) — Indica si se debe devolver un ~models.controlnet.ControlNetOutput en lugar de una tupla simple.

Devuelve

~models.controlnet.ControlNetOutput o tuple

Si return_dict es True, se devuelve un ~models.controlnet.ControlNetOutput; en caso contrario, se devuelve una tupla cuyo primer elemento es el tensor de la muestra.

El método forward de ControlNetUnionModel.

from_unet

< >

( unet: UNet2DConditionModelcontrolnet_conditioning_channel_order: str = 'rgb'conditioning_embedding_out_channels: tuple[int, ...] | None = (16, 32, 96, 256)load_weights_from_unet: bool = True )

Parámetros

  • unet (UNet2DConditionModel) — Los pesos del modelo UNet que se copiarán al ControlNetUnionModel. Todas las opciones de configuración también se copian cuando sea aplicable.

Instancia un ControlNetUnionModel a partir de UNet2DConditionModel.

set_attention_slice

< >

( slice_size: str | int | list[int] )

Parámetros

  • slice_size (str o int o list(int), opcional, valor predeterminado "auto") — Cuando es "auto", la entrada a las cabezas de atención se divide a la mitad, por lo que la atención se calcula en dos pasos. Si es "max", se ahorra la máxima cantidad de memoria ejecutando solo una porción a la vez. Si se proporciona un número, se usan tantas porciones como attention_head_dim // slice_size. En este caso, attention_head_dim debe ser un múltiplo de slice_size.

Habilitar el cálculo de atención segmentada.

Cuando esta opción está habilitada, el módulo de atención divide el tensor de entrada en fragmentos para calcular la atención en varias etapas. Esto es útil para ahorrar algo de memoria a cambio de una pequeña disminución en la velocidad.

set_default_attn_processor

< >

( )

Desactiva los procesadores de atención personalizados y establece la implementación de atención predeterminada.

Update on GitHub

←ControlNetModel FluxControlNetModel→