# MaskFormer

Este es un modelo introducido recientemente, por lo que la API no ha sido probada de manera exhaustiva. Es posible que existan algunos errores o cambios menores que rompan la compatibilidad y que se deban corregir en el futuro. Si notas algo extraño, abre un [Github Issue](https://github.com/huggingface/transformers/issues/new?assignees=&labels=&template=bug-report.md&title).

## Resumen

El modelo MaskFormer se propuso en [Per-Pixel Classification is Not All You Need for Semantic Segmentation](https://huggingface.co/papers/2107.06278) por Bowen Cheng, Alexander G. Schwing y Alexander Kirillov. MaskFormer aborda la segmentación semántica con un paradigma de clasificación de máscaras en lugar de realizar la clasificación clásica a nivel de píxel.

El resumen del artículo es el siguiente:

*Los enfoques modernos suelen formular la segmentación semántica como una tarea de clasificación por píxel, mientras que la segmentación a nivel de instancia se maneja con una clasificación de máscaras alternativa. Nuestra clave: la clasificación de máscaras es lo suficientemente general para resolver tanto las tareas de segmentación semántica como a nivel de instancia de manera unificada, utilizando exactamente el mismo modelo, pérdida y procedimiento de entrenamiento. Siguiendo esta observación, proponemos MaskFormer, un modelo simple de clasificación de máscaras que predice un conjunto de máscaras binarias, cada una asociada con una predicción de etiqueta de clase global única. En general, el método basado en clasificación de máscaras propuesto simplifica el panorama de los enfoques efectivos para las tareas de segmentación semántica y panóptica y muestra excelentes resultados empíricos. En particular, observamos que MaskFormer supera a las líneas base de clasificación por píxel cuando el número de clases es grande. Nuestro método basado en clasificación de máscaras supera tanto a los modelos actuales de segmentación semántica (55.6 mIoU en ADE20K) como de segmentación panóptica (52.7 PQ en COCO) del estado del arte.*

La figura siguiente ilustra la arquitectura de MaskFormer. Tomada del [artículo original](https://huggingface.co/papers/2107.06278).

Este modelo fue aportado por [francesco](https://huggingface.co/francesco). El código original se puede encontrar [aquí](https://github.com/facebookresearch/MaskFormer).

## Consejos de uso

- El decodificador Transformer de MaskFormer es idéntico al decodificador de [DETR](detr). Durante el entrenamiento, los autores de DETR encontraron útil utilizar pérdidas auxiliares en el decodificador, especialmente para ayudar al modelo a predecir el número correcto de objetos de cada clase. Si se establece el parámetro `use_auxiliary_loss` de [MaskFormerConfig](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerConfig) en `True`, se añaden redes neuronales feedforward de predicción y pérdidas húngaras después de cada capa del decodificador (compartiendo parámetros las FFN).
- Si desea entrenar el modelo en un entorno distribuido en varios nodos, debe actualizar la función `get_num_masks` dentro de la clase `MaskFormerLoss` de `modeling_maskformer.py`. Al entrenar en varios nodos, este valor debe establecerse como el número promedio de máscaras objetivo en todos los nodos, como se puede ver en la implementación original [aquí](https://github.com/facebookresearch/MaskFormer/blob/da3e60d85fdeedcb31476b5edd7d328826ce56cc/mask_former/modeling/criterion.py#L169).
- Se puede usar [MaskFormerImageProcessor](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerImageProcessor) para preparar las imágenes y los objetivos opcionales para el modelo.
- Para obtener la segmentación final, dependiendo de la tarea, puedes llamar a [post_process_semantic_segmentation()](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerImageProcessor.post_process_semantic_segmentation) o [post_process_panoptic_segmentation()](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerImageProcessor.post_process_panoptic_segmentation). Ambas tareas pueden resolverse utilizando la salida de [MaskFormerForInstanceSegmentation](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerForInstanceSegmentation); la segmentación panóptica acepta un argumento opcional `label_ids_to_fuse` para fusionar las instancias del objeto u objetos objetivo (p. ej., el cielo).

## Recursos

- Todos los cuadernos que ilustran la inferencia y el ajuste fino con datos personalizados con MaskFormer se pueden encontrar [aquí](https://github.com/NielsRogge/Transformers-Tutorials/tree/master/MaskFormer).

## Salidas específicas de MaskFormer[[transformers.models.maskformer.modeling_maskformer.MaskFormerModelOutput]]

#### transformers.models.maskformer.modeling_maskformer.MaskFormerModelOutput[[transformers.models.maskformer.modeling_maskformer.MaskFormerModelOutput]]

```python
transformers.models.maskformer.modeling_maskformer.MaskFormerModelOutput(encoder_last_hidden_state: typing.Optional[torch.Tensor] = None, pixel_decoder_last_hidden_state: typing.Optional[torch.Tensor] = None, transformer_decoder_last_hidden_state: typing.Optional[torch.Tensor] = None, encoder_hidden_states: tuple[torch.Tensor] | None = None, pixel_decoder_hidden_states: tuple[torch.Tensor] | None = None, transformer_decoder_hidden_states: tuple[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor] | None = None, attentions: tuple[torch.Tensor] | None = None)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/maskformer/modeling_maskformer.py#L136)

**Parámetros:**

encoder_last_hidden_state (`torch.Tensor` de forma `(batch_size, num_channels, height, width)`) : Últimos estados ocultos (mapa de características final) de la última etapa del modelo codificador (backbone).

pixel_decoder_last_hidden_state (`torch.Tensor` de forma `(batch_size, num_channels, height, width)`) : Últimos estados ocultos (mapa de características final) de la última etapa del modelo decodificador de píxeles (FPN).

transformer_decoder_last_hidden_state (`torch.Tensor` de forma `(batch_size, sequence_length, hidden_size)`) : Estados ocultos finales (mapa de características final) de la última etapa del modelo decodificador de transformador.

encoder_hidden_states (`tuple(torch.Tensor)`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) : Tupla de `torch.Tensor` (una para la salida de los embeddings + una para la salida de cada etapa) de forma `(batch_size, num_channels, height, width)`. Estados ocultos (también llamados mapas de características) del modelo codificador en la salida de cada etapa.

pixel_decoder_hidden_states (`tuple(torch.Tensor)`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) : Tupla de `torch.Tensor` (una para la salida de los embeddings + una para la salida de cada etapa) de forma `(batch_size, num_channels, height, width)`. Estados ocultos (también llamados mapas de características) del modelo decodificador de píxeles en la salida de cada etapa.

transformer_decoder_hidden_states (`tuple(torch.Tensor)`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) : Tupla de `torch.Tensor` (una para la salida de los embeddings + una para la salida de cada etapa) de forma `(batch_size, sequence_length, hidden_size)`. Estados ocultos (también llamados mapas de características) del decodificador del transformer en la salida de cada etapa.

hidden_states `tuple(torch.Tensor)`, *opcional*, devuelto cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) : Tupla de `torch.Tensor` que contiene `encoder_hidden_states`, `pixel_decoder_hidden_states` y `decoder_hidden_states`

hidden_states (`tuple[torch.Tensor]`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) : Tupla de `torch.Tensor` (uno para la salida de los embeddings, si el modelo tiene una capa de embedding, + uno para la salida de cada capa) de forma `(batch_size, sequence_length, hidden_size)`. Estados ocultos del modelo en la salida de cada capa más las salidas de embedding iniciales opcionales.

attentions (`tuple[torch.Tensor]`, *opcional*, se devuelve cuando se pasa `output_attentions=True` o cuando `config.output_attentions=True`) : Tupla de `torch.Tensor` (uno por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`. Pesos de atención después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

Clase para las salidas de [MaskFormerModel](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerModel). Esta clase devuelve todos los estados ocultos necesarios para calcular los logits.

#### transformers.models.maskformer.modeling_maskformer.MaskFormerForInstanceSegmentationOutput[[transformers.models.maskformer.modeling_maskformer.MaskFormerForInstanceSegmentationOutput]]

```python
transformers.models.maskformer.modeling_maskformer.MaskFormerForInstanceSegmentationOutput(loss: typing.Optional[torch.Tensor] = None, class_queries_logits: typing.Optional[torch.Tensor] = None, masks_queries_logits: typing.Optional[torch.Tensor] = None, auxiliary_logits: typing.Optional[torch.Tensor] = None, encoder_last_hidden_state: typing.Optional[torch.Tensor] = None, pixel_decoder_last_hidden_state: typing.Optional[torch.Tensor] = None, transformer_decoder_last_hidden_state: typing.Optional[torch.Tensor] = None, encoder_hidden_states: tuple[torch.Tensor] | None = None, pixel_decoder_hidden_states: tuple[torch.Tensor] | None = None, transformer_decoder_hidden_states: tuple[torch.Tensor] | None = None, hidden_states: tuple[torch.Tensor] | None = None, attentions: tuple[torch.Tensor] | None = None)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/maskformer/modeling_maskformer.py#L182)

**Parámetros:**

loss (`torch.Tensor`, *opcional*) : La pérdida calculada, que se devuelve cuando hay etiquetas presentes.

class_queries_logits (`torch.Tensor`, *opcional*) : Un tensor de forma `(batch_size, num_queries, num_labels + 1)` que representa las clases propuestas para cada consulta. Tenga en cuenta que el `+ 1` es necesario porque incorporamos la clase nula.

masks_queries_logits (`torch.Tensor`, *opcional*) : Un tensor de forma `(batch_size, num_queries, height, width)` que representa las máscaras propuestas para cada consulta.

auxiliary_logits (`Dict[str, torch.Tensor]`, *opcional*, devuelto cuando `output_auxiliary_logits=True`) : Diccionario que contiene predicciones auxiliares para cada capa del decodificador cuando las pérdidas auxiliares están habilitadas.

encoder_last_hidden_state (`torch.Tensor` de forma `(batch_size, num_channels, height, width)`) : Últimos estados ocultos (mapa de características final) de la última etapa del modelo codificador (backbone).

pixel_decoder_last_hidden_state (`torch.Tensor` de forma `(batch_size, num_channels, height, width)`) : Últimos estados ocultos (mapa de características final) de la última etapa del modelo decodificador de píxeles (FPN).

transformer_decoder_last_hidden_state (`torch.Tensor` de forma `(batch_size, sequence_length, hidden_size)`) : Estados ocultos finales (mapa de características final) de la última etapa del modelo decodificador de transformador.

encoder_hidden_states (`tuple(torch.Tensor)`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) : Tupla de `torch.Tensor` (una para la salida de los embeddings + una para la salida de cada etapa) de forma `(batch_size, num_channels, height, width)`. Estados ocultos (también llamados mapas de características) del modelo codificador en la salida de cada etapa.

pixel_decoder_hidden_states (`tuple(torch.Tensor)`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) : Tupla de `torch.Tensor` (una para la salida de los embeddings + una para la salida de cada etapa) de forma `(batch_size, num_channels, height, width)`. Estados ocultos (también llamados mapas de características) del modelo decodificador de píxeles en la salida de cada etapa.

transformer_decoder_hidden_states (`tuple(torch.Tensor)`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) : Tupla de `torch.Tensor` (una para la salida de los embeddings + una para la salida de cada etapa) de forma `(batch_size, sequence_length, hidden_size)`. Estados ocultos del decodificador del transformer en la salida de cada etapa.

hidden_states `tuple(torch.Tensor)`, *opcional*, devuelto cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) : Tupla de `torch.Tensor` que contiene `encoder_hidden_states`, `pixel_decoder_hidden_states` y `decoder_hidden_states`.

hidden_states (`tuple[torch.Tensor]`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) : Tupla de `torch.Tensor` (uno para la salida de los embeddings, si el modelo tiene una capa de embedding, + uno para la salida de cada capa) de forma `(batch_size, sequence_length, hidden_size)`. Estados ocultos del modelo en la salida de cada capa más las salidas de embedding iniciales opcionales.

attentions (`tuple[torch.Tensor]`, *opcional*, se devuelve cuando se pasa `output_attentions=True` o cuando `config.output_attentions=True`) : Tupla de `torch.Tensor` (uno por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`. Pesos de atención después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

Clase para las salidas de [MaskFormerForInstanceSegmentation](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerForInstanceSegmentation).

Esta salida se puede pasar directamente a [post_process_semantic_segmentation()](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerImageProcessor.post_process_semantic_segmentation) o [post_process_instance_segmentation()](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerImageProcessor.post_process_instance_segmentation) o [post_process_panoptic_segmentation()](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerImageProcessor.post_process_panoptic_segmentation) según la tarea. Consulte [`~MaskFormerImageProcessor] para obtener detalles sobre su uso.

## MaskFormerDetrConfig[[transformers.MaskFormerDetrConfig]]

#### transformers.MaskFormerDetrConfig[[transformers.MaskFormerDetrConfig]]

```python
transformers.MaskFormerDetrConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, is_encoder_decoder: bool = True, backbone_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, num_channels: int = 3, num_queries: int = 100, encoder_layers: int = 6, encoder_ffn_dim: int = 2048, encoder_attention_heads: int = 8, decoder_layers: int = 6, decoder_ffn_dim: int = 2048, decoder_attention_heads: int = 8, encoder_layerdrop: float | int = 0.0, decoder_layerdrop: float | int = 0.0, activation_function: str = 'relu', d_model: int = 256, dropout: float | int = 0.1, attention_dropout: float | int = 0.0, activation_dropout: float | int = 0.0, init_std: float = 0.02, init_xavier_std: float = 1.0, auxiliary_loss: bool = False, position_embedding_type: str = 'sine', dilation: bool = False, class_cost: int = 1, bbox_cost: int = 5, giou_cost: int = 2, mask_loss_coefficient: int = 1, dice_loss_coefficient: int = 1, bbox_loss_coefficient: int = 5, giou_loss_coefficient: int = 2, eos_coefficient: float = 0.1)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/maskformer/configuration_maskformer.py#L32)

**Parámetros:**

is_encoder_decoder (`bool`, *opcional*, valor predeterminado `True`) : Indica si el modelo se utiliza como codificador/decodificador o no.

backbone_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *opcional*) : La configuración del modelo de base.

num_channels (`int`, *opcional*, valor predeterminado `3`) : El número de canales de entrada.

num_queries (`int`, *opcional*, valor predeterminado 100) : Número de consultas de objetos, es decir, ranuras de detección. Este es el número máximo de objetos que [ConditionalDetrModel](/docs/transformers/v5.23.0/es/model_doc/conditional_detr#transformers.ConditionalDetrModel) puede detectar en una sola imagen. Para COCO, recomendamos 100 consultas.

encoder_layers (`int`, *opcional*, valor predeterminado `6`) : Número de capas ocultas en el codificador Transformer. Usará el mismo valor que `num_layers` si no se establece.

encoder_ffn_dim (`int`, *opcional*, valor predeterminado `2048`) : Dimensionalidad de la capa "intermedia" (a menudo denominada feed-forward) en el codificador.

encoder_attention_heads (`int`, *opcional*, valor predeterminado `8`) : Número de cabezas de atención para cada capa de atención en el codificador Transformer.

decoder_layers (`int`, *opcional*, valor predeterminado `6`) : Número de capas ocultas en el decodificador Transformer. Usará el mismo valor que `num_layers` si no se establece.

decoder_ffn_dim (`int`, *opcional*, valor predeterminado `2048`) : Dimensionalidad de la capa "intermedia" (a menudo denominada feed-forward) en el decodificador.

decoder_attention_heads (`int`, *opcional*, valor predeterminado `8`) : Número de cabezas de atención para cada capa de atención en el decodificador del Transformer.

encoder_layerdrop (`Union[float, int]`, *opcional*, valor predeterminado `0.0`) : La probabilidad de LayerDrop para el codificador. Consulte el [artículo de LayerDrop](see https://huggingface.co/papers/1909.11556) para obtener más detalles.

decoder_layerdrop (`Union[float, int]`, *opcional*, valor predeterminado `0.0`) : La probabilidad de LayerDrop para el decodificador. Consulte el [artículo de LayerDrop](see https://huggingface.co/papers/1909.11556) para obtener más detalles.

activation_function (`str`, *opcional*, valor predeterminado `relu`) : La función de activación no lineal (función o cadena) en el decodificador. Por ejemplo, `"gelu"`, `"relu"`, `"silu"`, etc.

d_model (`int`, *opcional*, valor predeterminado `256`) : Tamaño de las capas del codificador y de la capa pooler.

dropout (`Union[float, int]`, *opcional*, valor predeterminado `0.1`) : La proporción para todas las capas de dropout.

attention_dropout (`Union[float, int]`, *opcional*, valor predeterminado `0.0`) : La proporción de dropout para las probabilidades de atención.

activation_dropout (`Union[float, int]`, *opcional*, valor predeterminado `0.0`) : La proporción de dropout para las activaciones dentro de la capa totalmente conectada.

init_std (`float`, *opcional*, valor predeterminado `0.02`) : La desviación estándar de truncated_normal_initializer para inicializar todas las matrices de pesos.

init_xavier_std (`float`, *opcional*, valor predeterminado `1.0`) : El factor de escala utilizado para la inicialización de Xavier de los pesos de la atención cruzada.

auxiliary_loss (`bool`, *opcional*, valor predeterminado `False`) : Si se deben utilizar las pérdidas de decodificación auxiliares (pérdidas en cada capa del decodificador).

position_embedding_type (`str`, *opcional*, valor predeterminado `"sine"`) : Tipo de incrustaciones de posición que se utilizará sobre las características de la imagen. Uno de `"sine"` o `"learned"`.

dilation (`bool`, *opcional*, valor predeterminado `False`) : Si se debe reemplazar el stride con la dilatación en el último bloque convolucional (DC5). Solo se admite cuando `use_timm_backbone` = `True`.

class_cost (`int`, *opcional*, valor predeterminado `1`) : Peso relativo del error de clasificación en el coste de correspondencia húngara.

bbox_cost (`int`, *opcional*, valor predeterminado `5`) : Peso relativo del error de la caja delimitadora L1 en el costo de correspondencia húngara.

giou_cost (`int`, *opcional*, valor predeterminado `2`) : Peso relativo de la pérdida de IoU generalizada en el costo de correspondencia húngara.

mask_loss_coefficient (`int`, *opcional*, valor predeterminado `1`) : Peso relativo de la pérdida focal en la pérdida de segmentación panóptica.

dice_loss_coefficient (`int`, *opcional*, valor predeterminado `1`) : Peso relativo de la pérdida dice en la pérdida de segmentación panóptica.

bbox_loss_coefficient (`int`, *opcional*, valor predeterminado `5`) : Peso relativo de la pérdida de caja delimitadora L1 en la pérdida de segmentación panóptica.

giou_loss_coefficient (`int`, *opcional*, valor predeterminado `2`) : Peso relativo de la pérdida de IoU generalizada en la pérdida de segmentación panóptica.

eos_coefficient (`float`, *opcional*, valor predeterminado `0.1`) : Peso de clasificación relativo de la clase 'no-object' en la función de pérdida de detección de objetos.

Esta es la clase de configuración para almacenar la configuración de un MaskFormerModel. Se utiliza para instanciar un modelo Maskformer según los argumentos especificados, definiendo la arquitectura del modelo. Instanciar una configuración con los valores predeterminados producirá una configuración similar a la de [facebook/maskformer-swin-base-ade](https://huggingface.co/facebook/maskformer-swin-base-ade)

Los objetos de configuración heredan de [PreTrainedConfig](/docs/transformers/v5.23.0/es/main_classes/configuration#transformers.PreTrainedConfig) y se pueden utilizar para controlar las salidas del modelo. Consulte la documentación de [PreTrainedConfig](/docs/transformers/v5.23.0/es/main_classes/configuration#transformers.PreTrainedConfig) para obtener más información.

Ejemplos:

```python
>>> from transformers import MaskFormerDetrConfig, MaskFormerDetrModel

>>> # Initializing a MASK_FORMER_DETR facebook/mask_former_detr-resnet-50 style configuration
>>> configuration = MaskFormerDetrConfig()

>>> # Initializing a model (with random weights) from the facebook/mask_former_detr-resnet-50 style configuration
>>> model = MaskFormerDetrModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## MaskFormerConfig[[transformers.MaskFormerConfig]]

#### transformers.MaskFormerConfig[[transformers.MaskFormerConfig]]

```python
transformers.MaskFormerConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, fpn_feature_size: int = 256, mask_feature_size: int = 256, no_object_weight: float = 0.1, use_auxiliary_loss: bool = False, backbone_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, decoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, init_std: float = 0.02, init_xavier_std: float = 1.0, dice_weight: float = 1.0, cross_entropy_weight: float = 1.0, mask_weight: float = 20.0, output_auxiliary_logits: bool | None = None)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/maskformer/configuration_maskformer.py#L126)

**Parámetros:**

fpn_feature_size (`int`, *opcional*, valor predeterminado 256) : Tamaño de las características de la Feature Pyramid Network.

mask_feature_size (`int`, *opcional*, valor predeterminado 256) : El tamaño de las características de las máscaras; este valor también se utilizará para especificar el tamaño de las características de la Feature Pyramid Network.

no_object_weight (`float`, *opcional*, valor predeterminado `0.1`) : Peso de clasificación relativo de la clase sin objeto en la función de pérdida de detección de objetos.

use_auxiliary_loss (`bool`, *opcional*, valor predeterminado `False`) : Si se debe calcular la pérdida utilizando las predicciones intermedias del decodificador transformer.

backbone_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *opcional*) : La configuración del modelo de base.

decoder_config (`Dict`, *opcional*) : La configuración que se pasa al modelo decodificador del transformer; si no se establece, se usará la configuración base de `detr-resnet-50`.

init_std (`float`, *opcional*, valor predeterminado `0.02`) : La desviación estándar de truncated_normal_initializer para inicializar todas las matrices de pesos.

init_xavier_std (`float`, *opcional*, valor predeterminado `1.0`) : El factor de escala utilizado para la inicialización de Xavier de los pesos de la atención cruzada.

dice_weight (`float`, *opcional*, valor predeterminado `1.0`) : Peso relativo de la pérdida dice en la pérdida de segmentación panóptica.

cross_entropy_weight (`float`, *opcional*, valor predeterminado 1.0) : El peso para la pérdida de entropía cruzada.

mask_weight (`float`, *opcional*, valor predeterminado `20.0`) : Peso relativo de la pérdida focal en la pérdida de segmentación panóptica.

output_auxiliary_logits (`bool`, *opcional*) : Indica si el modelo debe o no producir sus `auxiliary_logits`.

**Excepciones:** ``ValueError``

- ``ValueError`` -- Se lanza si el tipo de modelo de backbone seleccionado no está en `["swin"]` o el tipo de modelo de decoder seleccionado no está en `["detr"]`

Esta es la clase de configuración para almacenar la configuración de un MaskFormerModel. Se utiliza para instanciar un modelo Maskformer según los argumentos especificados, definiendo la arquitectura del modelo. Instanciar una configuración con los valores predeterminados producirá una configuración similar a la de [facebook/maskformer-swin-base-ade](https://huggingface.co/facebook/maskformer-swin-base-ade)

Los objetos de configuración heredan de [PreTrainedConfig](/docs/transformers/v5.23.0/es/main_classes/configuration#transformers.PreTrainedConfig) y se pueden utilizar para controlar las salidas del modelo. Consulte la documentación de [PreTrainedConfig](/docs/transformers/v5.23.0/es/main_classes/configuration#transformers.PreTrainedConfig) para obtener más información.

Ejemplos:

```python
>>> from transformers import MaskFormerConfig, MaskFormerModel

>>> # Initializing a MaskFormer facebook/maskformer-swin-base-ade configuration
>>> configuration = MaskFormerConfig()

>>> # Initializing a model (with random weights) from the facebook/maskformer-swin-base-ade style configuration
>>> model = MaskFormerModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## MaskFormerImageProcessor[[transformers.MaskFormerImageProcessor]]

#### transformers.MaskFormerImageProcessor[[transformers.MaskFormerImageProcessor]]

```python
transformers.MaskFormerImageProcessor(**kwargs: *<class 'transformers.models.maskformer.image_processing_maskformer.MaskFormerImageProcessorKwargs'>)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/maskformer/image_processing_maskformer.py#L257)

**Parámetros:**

do_convert_rgb (`bool`, *kwargs*, *opcional*) : Si se debe convertir la imagen a RGB.

do_resize (`bool`, *kwargs*, *opcional*, valor predeterminado `True`) : Si se debe redimensionar la imagen.

size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*, por defecto `{'shortest_edge' : 800, 'longest_edge': 1333}`): Describe las dimensiones máximas de entrada para el modelo.

default_to_square (`bool`, *kwargs*, *opcional*, valor predeterminado `False`) : Si se debe usar una imagen cuadrada por defecto al redimensionar, cuando size es un int.

crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Tamaño de la imagen de salida tras aplicar `center_crop`.

resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*, por defecto `2`) : Filtro de remuestreo que se utilizará si se redimensiona la imagen. Puede ser uno de los valores de la enumeración `PILImageResampling`. Solo tiene efecto si `do_resize` está establecido en `True`.

do_rescale (`bool`, *kwargs*, *opcional*, valor predeterminado `True`) : Indica si se debe reescalar la imagen.

rescale_factor (`float`, *kwargs*, *opcional*, valor predeterminado `0.00392156862745098`) : Factor de reescalado para reescalar la imagen si `do_rescale` está establecido en `True`.

do_normalize (`bool`, *kwargs*, *opcional*, valor predeterminado `True`) : Si se debe normalizar la imagen.

image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opcional*, valor predeterminado `[0.485, 0.456, 0.406]`) : Media de la imagen a utilizar para la normalización. Solo tiene efecto si `do_normalize` está establecido en `True`.

image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opcional*, valor predeterminado `[0.229, 0.224, 0.225]`) : Desviación estándar de la imagen que se utilizará para la normalización. Solo tiene efecto si `do_normalize` está establecido en `True`.

do_pad (`bool`, *kwargs*, *opcional*) : Indica si se debe aplicar relleno a la imagen. El relleno se realiza hasta el tamaño más grande del lote o hasta un tamaño cuadrado fijo por imagen. La estrategia exacta de relleno depende del modelo.

pad_size (`SizeDict`, *kwargs*, *opcional*) : El tamaño al que se rellenan las imágenes. Debe ser mayor que el tamaño de cualquier imagen proporcionada para el preprocesamiento. Si no se proporciona `pad_size`, las imágenes se rellenarán hasta la mayor altura y anchura del lote.

do_center_crop (`bool`, *kwargs*, *opcional*) : Si se debe recortar la imagen centrada.

data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *opcional*) : Solo se admite `ChannelDimension.FIRST`. Se añadió para garantizar la compatibilidad con los procesadores lentos.

input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *opcional*) : El formato de la dimensión de canal para la imagen de entrada. Si no se establece, el formato de la dimensión de canal se infiere a partir de la imagen de entrada. Puede ser uno de: - `"channels_first"` o `ChannelDimension.FIRST`: imagen en formato (num_channels, height, width). - `"channels_last"` o `ChannelDimension.LAST`: imagen en formato (height, width, num_channels). - `"none"` o `ChannelDimension.NONE`: imagen en formato (height, width).

device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : El dispositivo en el que se procesarán los vídeos. Si no se establece, el dispositivo se infiere a partir de los vídeos de entrada.

return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Devuelve tensores apilados si se establece en `'pt'`; en caso contrario, devuelve una lista de tensores.

disable_grouping (`bool`, *kwargs*, *opcional*) : Si se debe deshabilitar el agrupamiento de imágenes por tamaño para procesarlas de forma individual y no en lotes. Si es None, se establecerá en True si las imágenes están en CPU, y en False en caso contrario. Esta elección se basa en observaciones empíricas, como se detalla aquí: https://github.com/huggingface/transformers/pull/38157

image_seq_length (`int`, *kwargs*, *opcional*) : El número de tokens de imagen que se utilizarán para cada imagen en la entrada. Se añadió por compatibilidad con versiones anteriores, pero en los modelos futuros esto debería configurarse como un atributo del procesador.

ignore_index (`int`, *kwargs*, *opcional*) : Etiqueta que se asignará a los píxeles de fondo en los mapas de segmentación. Si se proporciona, los píxeles del mapa de segmentación marcados con 0 (fondo) se reemplazarán con `ignore_index`.

do_reduce_labels (`bool`, *kwargs*, *opcional*, valor predeterminado `False`) : Indica si se debe restar 1 a todos los valores de etiqueta de los mapas de segmentación. Se utiliza habitualmente en conjuntos de datos donde 0 se emplea para el fondo y el propio fondo no está incluido en todas las clases del conjunto de datos (p. ej., ADE20k). La etiqueta de fondo se reemplazará por `ignore_index`.

num_labels (`int`, *kwargs*, *opcional*) : El número de etiquetas en el mapa de segmentación.

size_divisor (`int`, *kwargs*, *opcional*, valor predeterminado `32`) : Algunos backbones requieren que las imágenes sean divisibles por un número determinado. Si no se especifica, se usa el valor empleado en Swin Transformer.

Construye un procesador de imágenes MaskFormerImageProcessor.

#### preprocess[[transformers.MaskFormerImageProcessor.preprocess]]

```python
preprocess(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']], segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None, instance_id_to_semantic_id: list[dict[int, int]] | dict[int, int] | None = None, **kwargs: *<class 'transformers.models.maskformer.image_processing_maskformer.MaskFormerImageProcessorKwargs'>)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/maskformer/image_processing_maskformer.py#L380)

**Parámetros:**

images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`) : Imagen a preprocesar. Espera una imagen única o un lote de imágenes con valores de píxeles que van de 0 a 255. Si se pasan imágenes con valores de píxeles entre 0 y 1, establezca `do_rescale=False`.

segmentation_maps (`ImageInput`, *opcional*) : Los mapas de segmentación.

instance_id_to_semantic_id (`Union[list[dict[int, int]], dict[int, int]]`, *opcional*) : Un mapeo de IDs de instancia a IDs semánticos.

do_convert_rgb (`bool`, *kwargs*, *opcional*) : Si se debe convertir la imagen a RGB.

do_resize (`bool`, *kwargs*, *opcional*) : Si se debe redimensionar la imagen.

size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Describe las dimensiones máximas de entrada del modelo.

default_to_square (`bool`, *kwargs*, *opcional*) : Si el tamaño es un entero, si se debe usar una imagen cuadrada por defecto al redimensionar.

crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Tamaño de la imagen de salida tras aplicar `center_crop`.

resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*) : Filtro de remuestreo que se utilizará si se redimensiona la imagen. Puede ser uno de los valores de la enumeración `PILImageResampling`. Solo tiene efecto si `do_resize` está establecido en `True`.

do_rescale (`bool`, *kwargs*, *opcional*) : Si se debe reescalar la imagen.

rescale_factor (`float`, *kwargs*, *opcional*) : Factor de reescalado para reescalar la imagen si `do_rescale` está establecido en `True`.

do_normalize (`bool`, *kwargs*, *opcional*) : Si se debe normalizar la imagen.

image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opcional*) : Media de la imagen a utilizar para la normalización. Solo tiene efecto si `do_normalize` está establecido en `True`.

image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opcional*) : Desviación estándar de la imagen a utilizar para la normalización. Solo tiene efecto si `do_normalize` está establecido en `True`.

do_pad (`bool`, *kwargs*, *opcional*) : Indica si se debe aplicar relleno a la imagen. El relleno se realiza hasta el tamaño más grande del lote o hasta un tamaño cuadrado fijo por imagen. La estrategia exacta de relleno depende del modelo.

pad_size (`SizeDict`, *kwargs*, *opcional*) : El tamaño al que se rellenan las imágenes. Debe ser mayor que el tamaño de cualquier imagen proporcionada para el preprocesamiento. Si no se proporciona `pad_size`, las imágenes se rellenarán hasta la mayor altura y anchura del lote.

do_center_crop (`bool`, *kwargs*, *opcional*) : Si se debe recortar la imagen centrada.

data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *opcional*) : Solo se admite `ChannelDimension.FIRST`. Se añadió para garantizar la compatibilidad con los procesadores lentos.

input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *opcional*) : El formato de la dimensión de canal para la imagen de entrada. Si no se establece, el formato de la dimensión de canal se infiere a partir de la imagen de entrada. Puede ser uno de: - `"channels_first"` o `ChannelDimension.FIRST`: imagen en formato (num_channels, height, width). - `"channels_last"` o `ChannelDimension.LAST`: imagen en formato (height, width, num_channels). - `"none"` o `ChannelDimension.NONE`: imagen en formato (height, width).

device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : El dispositivo en el que se procesarán los vídeos. Si no se establece, el dispositivo se infiere a partir de los vídeos de entrada.

return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Devuelve tensores apilados si se establece en `'pt'`; en caso contrario, devuelve una lista de tensores.

disable_grouping (`bool`, *kwargs*, *opcional*) : Si se debe deshabilitar el agrupamiento de imágenes por tamaño para procesarlas de forma individual y no en lotes. Si es None, se establecerá en True si las imágenes están en CPU, y en False en caso contrario. Esta elección se basa en observaciones empíricas, como se detalla aquí: https://github.com/huggingface/transformers/pull/38157

image_seq_length (`int`, *kwargs*, *opcional*) : El número de tokens de imagen que se utilizarán para cada imagen en la entrada. Se añadió por compatibilidad con versiones anteriores, pero en los modelos futuros esto debería configurarse como un atributo del procesador.

ignore_index (`int`, *kwargs*, *opcional*) : Etiqueta que se asignará a los píxeles de fondo en los mapas de segmentación. Si se proporciona, los píxeles del mapa de segmentación marcados con 0 (fondo) se reemplazarán con `ignore_index`.

do_reduce_labels (`bool`, *kwargs*, *opcional*, valor predeterminado `False`) : Indica si se debe restar 1 a todos los valores de etiqueta de los mapas de segmentación. Se utiliza habitualmente en conjuntos de datos donde 0 se emplea para el fondo y el propio fondo no está incluido en todas las clases del conjunto de datos (p. ej., ADE20k). La etiqueta de fondo se reemplazará por `ignore_index`.

num_labels (`int`, *kwargs*, *opcional*) : El número de etiquetas en el mapa de segmentación.

size_divisor (`int`, *kwargs*, *opcional*, valor predeterminado `32`) : Algunos backbones requieren que las imágenes sean divisibles por un número determinado. Si no se especifica, se usa el valor empleado en Swin Transformer.

**Devuelve:** `~image_processing_base.BatchFeature`

- **data** (`dict`) -- Diccionario de listas/arrays/tensores devueltos por el método __call__ ('pixel_values', etc.).
- **tensor_type** (`Union[None, str, TensorType]`, *opcional*) -- Puede especificar un tensor_type aquí para convertir las listas de enteros en Tensors de PyTorch/Numpy durante la inicialización.

#### post_process_semantic_segmentation[[transformers.MaskFormerImageProcessor.post_process_semantic_segmentation]]

```python
post_process_semantic_segmentation(outputs, target_sizes: list[tuple[int, int]] | None = None, return_segmentation_scores: bool = False)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/maskformer/image_processing_maskformer.py#L546)

**Parámetros:**

outputs ([MaskFormerForInstanceSegmentation](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerForInstanceSegmentation)) : Salidas crudas del modelo.

target_sizes (`list[tuple[int, int]]`, *opcional*) : Lista de longitud (batch_size), donde cada elemento de la lista (`tuple[int, int]]`) corresponde al tamaño final solicitado (altura, ancho) de cada predicción. Si se deja en None, las predicciones no se redimensionarán.

return_segmentation_scores (`bool`, *opcional*, valor predeterminado `False`) : Indica si se deben devolver las puntuaciones de segmentación junto con el mapa de segmentación. Cuando `True`, cada elemento de la lista devuelta es un `SemanticSegmentationPostProcessorOutput` con los campos `segmentation` (IDs de clase, forma `(height, width)`) y `segmentation_scores` (forma `(num_classes, height, width)`).

**Devuelve:** `list[torch.Tensor]` o `list[SemanticSegmentationPostProcessorOutput]`

Cuando `return_segmentation_scores=False` (valor predeterminado), se devuelve una lista de longitud `batch_size` en la que cada elemento es un mapa de segmentación de forma `(height, width)` con IDs de clase. Cuando `return_segmentation_scores=True`, se devuelve una lista de `SemanticSegmentationPostProcessorOutput` con los campos `segmentation` (IDs de clase, forma `(height, width)`) y `segmentation_scores` (forma `(num_classes, height, width)`). En ambos casos, `(height, width)` corresponde al tamaño objetivo (si se especifica `target_sizes`).

Convierte la salida de [MaskFormerForInstanceSegmentation](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerForInstanceSegmentation) en mapas de segmentación semántica. Solo admite PyTorch.

#### post_process_instance_segmentation[[transformers.MaskFormerImageProcessor.post_process_instance_segmentation]]

```python
post_process_instance_segmentation(outputs, threshold: float = 0.5, mask_threshold: float = 0.5, overlap_mask_area_threshold: float = 0.8, target_sizes: list[tuple[int, int]] | None = None, return_coco_annotation: bool | None = False, return_binary_maps: bool | None = False)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/maskformer/image_processing_maskformer.py#L616)

**Parámetros:**

outputs ([MaskFormerForInstanceSegmentation](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerForInstanceSegmentation)) : Salidas crudas del modelo.

threshold (`float`, *opcional*, valor predeterminado 0.5) : Umbral de puntuación de probabilidad para conservar las máscaras de instancias predichas.

mask_threshold (`float`, *opcional*, valor predeterminado 0.5) : Umbral a utilizar al convertir las máscaras predichas en valores binarios.

overlap_mask_area_threshold (`float`, *opcional*, valor predeterminado 0.8) : Umbral del área de la máscara de solapamiento para fusionar o descartar pequeñas partes desconectadas dentro de cada máscara de instancia binaria.

target_sizes (`list[Tuple]`, *opcional*) : Lista de longitud (batch_size), donde cada elemento de la lista (`tuple[int, int]]`) corresponde al tamaño final solicitado (altura, ancho) de cada predicción. Si se deja en None, las predicciones no se redimensionarán.

return_coco_annotation (`bool`, *opcional*, valor predeterminado `False`) : Si se establece en `True`, los mapas de segmentación se devuelven en el formato de codificación por longitud de ejecución (RLE) de COCO.

return_binary_maps (`bool`, *opcional*, valor predeterminado `False`) : Si se establece en `True`, los mapas de segmentación se devuelven como un tensor concatenado de mapas de segmentación binarios (uno por cada instancia detectada).

**Devuelve:** `list[Dict]`

Una lista de diccionarios, uno por imagen, donde cada diccionario contiene dos claves:
- **segmentation** -- Un tensor de forma `(height, width)` donde cada píxel representa un `segment_id`, o una codificación de longitud de ejecución (RLE) `list[List]` del mapa de segmentación si return_coco_annotation está establecido en `True`, o un tensor de forma `(num_instances, height, width)` si return_binary_maps está establecido en `True`. Se establece en `None` si no se encuentra ninguna máscara por encima de `threshold`.
- **segments_info** -- Un diccionario que contiene información adicional sobre cada segmento.
  - **id** -- Un entero que representa el `segment_id`.
  - **label_id** -- Un entero que representa el identificador de etiqueta / clase semántica correspondiente a `segment_id`.
  - **score** -- Puntuación de predicción del segmento con `segment_id`.

Convierte la salida de `MaskFormerForInstanceSegmentationOutput` en predicciones de segmentación de instancias. Solo admite PyTorch. Si las instancias podrían superponerse, establezca `True` en return_coco_annotation o return_binary_maps para obtener el resultado de segmentación correcto.

#### post_process_panoptic_segmentation[[transformers.MaskFormerImageProcessor.post_process_panoptic_segmentation]]

```python
post_process_panoptic_segmentation(outputs, threshold: float = 0.5, mask_threshold: float = 0.5, overlap_mask_area_threshold: float = 0.8, label_ids_to_fuse: set[int] | None = None, target_sizes: list[tuple[int, int]] | None = None)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/maskformer/image_processing_maskformer.py#L733)

**Parámetros:**

outputs (`MaskFormerForInstanceSegmentationOutput`) : Las salidas de [MaskFormerForInstanceSegmentation](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerForInstanceSegmentation).

threshold (`float`, *opcional*, valor predeterminado 0.5) : Umbral de puntuación de probabilidad para conservar las máscaras de instancias predichas.

mask_threshold (`float`, *opcional*, valor predeterminado 0.5) : Umbral a utilizar al convertir las máscaras predichas en valores binarios.

overlap_mask_area_threshold (`float`, *opcional*, valor predeterminado 0.8) : Umbral del área de la máscara de solapamiento para fusionar o descartar pequeñas partes desconectadas dentro de cada máscara de instancia binaria.

label_ids_to_fuse (`Set[int]`, *opcional*) : Las etiquetas en este estado fusionarán todas sus instancias. Por ejemplo, podríamos decir que solo puede haber un cielo en una imagen, pero varias personas, por lo que el ID de la etiqueta de cielo estaría en ese conjunto, pero no el de persona.

target_sizes (`list[Tuple]`, *opcional*) : Lista de longitud (batch_size), donde cada elemento de la lista (`tuple[int, int]]`) corresponde al tamaño final solicitado (altura, ancho) de cada predicción del batch. Si se deja en None, las predicciones no se redimensionarán.

**Devuelve:** `list[Dict]`

Una lista de diccionarios, uno por imagen, donde cada diccionario contiene dos claves:
- **segmentation** -- un tensor de forma `(height, width)` en el que cada píxel representa un `segment_id`, establecido en `None` si no se encuentra ninguna máscara por encima de `threshold`. Si se especifica `target_sizes`, la segmentación se redimensiona a la entrada correspondiente de `target_sizes`.
- **segments_info** -- Un diccionario que contiene información adicional sobre cada segmento.
  - **id** -- un entero que representa el `segment_id`.
  - **label_id** -- Un entero que representa el identificador de etiqueta / clase semántica correspondiente a `segment_id`.
  - **was_fused** -- un valor booleano, `True` si `label_id` estaba en `label_ids_to_fuse`, `False` en caso contrario. Se fusionaron varias instancias de la misma clase / etiqueta y se les asignó un único `segment_id`.
  - **score** -- Puntuación de predicción del segmento con `segment_id`.

Convierte la salida de `MaskFormerForInstanceSegmentationOutput` en predicciones de segmentación panóptica de imagen. Solo admite PyTorch.

## MaskFormerImageProcessorPil[[transformers.MaskFormerImageProcessorPil]]

#### transformers.MaskFormerImageProcessorPil[[transformers.MaskFormerImageProcessorPil]]

```python
transformers.MaskFormerImageProcessorPil(**kwargs: *<class 'transformers.models.maskformer.image_processing_pil_maskformer.MaskFormerImageProcessorKwargs'>)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/maskformer/image_processing_pil_maskformer.py#L270)

**Parámetros:**

do_convert_rgb (`bool`, *kwargs*, *opcional*) : Si se debe convertir la imagen a RGB.

do_resize (`bool`, *kwargs*, *opcional*, valor predeterminado `True`) : Si se debe redimensionar la imagen.

size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*, por defecto `{'shortest_edge' : 800, 'longest_edge': 1333}`): Describe las dimensiones máximas de entrada para el modelo.

default_to_square (`bool`, *kwargs*, *opcional*, valor predeterminado `False`) : Si se debe usar una imagen cuadrada por defecto al redimensionar, cuando size es un int.

crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Tamaño de la imagen de salida tras aplicar `center_crop`.

resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*, por defecto `2`) : Filtro de remuestreo que se utilizará si se redimensiona la imagen. Puede ser uno de los valores de la enumeración `PILImageResampling`. Solo tiene efecto si `do_resize` está establecido en `True`.

do_rescale (`bool`, *kwargs*, *opcional*, valor predeterminado `True`) : Indica si se debe reescalar la imagen.

rescale_factor (`float`, *kwargs*, *opcional*, valor predeterminado `0.00392156862745098`) : Factor de reescalado para reescalar la imagen si `do_rescale` está establecido en `True`.

do_normalize (`bool`, *kwargs*, *opcional*, valor predeterminado `True`) : Si se debe normalizar la imagen.

image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opcional*, valor predeterminado `[0.485, 0.456, 0.406]`) : Media de la imagen a utilizar para la normalización. Solo tiene efecto si `do_normalize` está establecido en `True`.

image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opcional*, valor predeterminado `[0.229, 0.224, 0.225]`) : Desviación estándar de la imagen que se utilizará para la normalización. Solo tiene efecto si `do_normalize` está establecido en `True`.

do_pad (`bool`, *kwargs*, *opcional*) : Indica si se debe aplicar relleno a la imagen. El relleno se realiza hasta el tamaño más grande del lote o hasta un tamaño cuadrado fijo por imagen. La estrategia exacta de relleno depende del modelo.

pad_size (`SizeDict`, *kwargs*, *opcional*) : El tamaño al que se rellenan las imágenes. Debe ser mayor que el tamaño de cualquier imagen proporcionada para el preprocesamiento. Si no se proporciona `pad_size`, las imágenes se rellenarán hasta la mayor altura y anchura del lote.

do_center_crop (`bool`, *kwargs*, *opcional*) : Si se debe recortar la imagen centrada.

data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *opcional*) : Solo se admite `ChannelDimension.FIRST`. Se añadió para garantizar la compatibilidad con los procesadores lentos.

input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *opcional*) : El formato de la dimensión de canal para la imagen de entrada. Si no se establece, el formato de la dimensión de canal se infiere a partir de la imagen de entrada. Puede ser uno de: - `"channels_first"` o `ChannelDimension.FIRST`: imagen en formato (num_channels, height, width). - `"channels_last"` o `ChannelDimension.LAST`: imagen en formato (height, width, num_channels). - `"none"` o `ChannelDimension.NONE`: imagen en formato (height, width).

device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : El dispositivo en el que se procesarán los vídeos. Si no se establece, el dispositivo se infiere a partir de los vídeos de entrada.

return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Devuelve tensores apilados si se establece en `'pt'`; en caso contrario, devuelve una lista de tensores.

disable_grouping (`bool`, *kwargs*, *opcional*) : Si se debe deshabilitar el agrupamiento de imágenes por tamaño para procesarlas de forma individual y no en lotes. Si es None, se establecerá en True si las imágenes están en CPU, y en False en caso contrario. Esta elección se basa en observaciones empíricas, como se detalla aquí: https://github.com/huggingface/transformers/pull/38157

image_seq_length (`int`, *kwargs*, *opcional*) : El número de tokens de imagen que se utilizarán para cada imagen en la entrada. Se añadió por compatibilidad con versiones anteriores, pero en los modelos futuros esto debería configurarse como un atributo del procesador.

ignore_index (`int`, *kwargs*, *opcional*) : Etiqueta que se asignará a los píxeles de fondo en los mapas de segmentación. Si se proporciona, los píxeles del mapa de segmentación marcados con 0 (fondo) se reemplazarán con `ignore_index`.

do_reduce_labels (`bool`, *kwargs*, *opcional*, valor predeterminado `False`) : Indica si se debe restar 1 a todos los valores de etiqueta de los mapas de segmentación. Se utiliza habitualmente en conjuntos de datos donde 0 se emplea para el fondo y el propio fondo no está incluido en todas las clases del conjunto de datos (p. ej., ADE20k). La etiqueta de fondo se reemplazará por `ignore_index`.

num_labels (`int`, *kwargs*, *opcional*) : El número de etiquetas en el mapa de segmentación.

size_divisor (`int`, *kwargs*, *opcional*, valor predeterminado `32`) : Algunos backbones requieren que las imágenes sean divisibles por un número determinado. Si no se especifica, se usa el valor empleado en Swin Transformer.

Construye un procesador de imágenes MaskFormerImageProcessor.

#### preprocess[[transformers.MaskFormerImageProcessorPil.preprocess]]

```python
preprocess(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']], segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None, instance_id_to_semantic_id: list[dict[int, int]] | dict[int, int] | None = None, **kwargs: *<class 'transformers.models.maskformer.image_processing_pil_maskformer.MaskFormerImageProcessorKwargs'>)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/maskformer/image_processing_pil_maskformer.py#L438)

**Parámetros:**

images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`) : Imagen a preprocesar. Espera una imagen única o un lote de imágenes con valores de píxeles que van de 0 a 255. Si se pasan imágenes con valores de píxeles entre 0 y 1, establezca `do_rescale=False`.

segmentation_maps (`ImageInput`, *opcional*) : Los mapas de segmentación.

instance_id_to_semantic_id (`Union[list[dict[int, int]], dict[int, int]]`, *opcional*) : Un mapeo de IDs de instancia a IDs semánticos.

do_convert_rgb (`bool`, *kwargs*, *opcional*) : Si se debe convertir la imagen a RGB.

do_resize (`bool`, *kwargs*, *opcional*) : Si se debe redimensionar la imagen.

size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Describe las dimensiones máximas de entrada del modelo.

default_to_square (`bool`, *kwargs*, *opcional*) : Si el tamaño es un entero, si se debe usar una imagen cuadrada por defecto al redimensionar.

crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Tamaño de la imagen de salida tras aplicar `center_crop`.

resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*) : Filtro de remuestreo que se utilizará si se redimensiona la imagen. Puede ser uno de los valores de la enumeración `PILImageResampling`. Solo tiene efecto si `do_resize` está establecido en `True`.

do_rescale (`bool`, *kwargs*, *opcional*) : Si se debe reescalar la imagen.

rescale_factor (`float`, *kwargs*, *opcional*) : Factor de reescalado para reescalar la imagen si `do_rescale` está establecido en `True`.

do_normalize (`bool`, *kwargs*, *opcional*) : Si se debe normalizar la imagen.

image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opcional*) : Media de la imagen a utilizar para la normalización. Solo tiene efecto si `do_normalize` está establecido en `True`.

image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opcional*) : Desviación estándar de la imagen a utilizar para la normalización. Solo tiene efecto si `do_normalize` está establecido en `True`.

do_pad (`bool`, *kwargs*, *opcional*) : Indica si se debe aplicar relleno a la imagen. El relleno se realiza hasta el tamaño más grande del lote o hasta un tamaño cuadrado fijo por imagen. La estrategia exacta de relleno depende del modelo.

pad_size (`SizeDict`, *kwargs*, *opcional*) : El tamaño al que se rellenan las imágenes. Debe ser mayor que el tamaño de cualquier imagen proporcionada para el preprocesamiento. Si no se proporciona `pad_size`, las imágenes se rellenarán hasta la mayor altura y anchura del lote.

do_center_crop (`bool`, *kwargs*, *opcional*) : Si se debe recortar la imagen centrada.

data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *opcional*) : Solo se admite `ChannelDimension.FIRST`. Se añadió para garantizar la compatibilidad con los procesadores lentos.

input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *opcional*) : El formato de la dimensión de canal para la imagen de entrada. Si no se establece, el formato de la dimensión de canal se infiere a partir de la imagen de entrada. Puede ser uno de: - `"channels_first"` o `ChannelDimension.FIRST`: imagen en formato (num_channels, height, width). - `"channels_last"` o `ChannelDimension.LAST`: imagen en formato (height, width, num_channels). - `"none"` o `ChannelDimension.NONE`: imagen en formato (height, width).

device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : El dispositivo en el que se procesarán los vídeos. Si no se establece, el dispositivo se infiere a partir de los vídeos de entrada.

return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Devuelve tensores apilados si se establece en `'pt'`; en caso contrario, devuelve una lista de tensores.

disable_grouping (`bool`, *kwargs*, *opcional*) : Si se debe deshabilitar el agrupamiento de imágenes por tamaño para procesarlas de forma individual y no en lotes. Si es None, se establecerá en True si las imágenes están en CPU, y en False en caso contrario. Esta elección se basa en observaciones empíricas, como se detalla aquí: https://github.com/huggingface/transformers/pull/38157

image_seq_length (`int`, *kwargs*, *opcional*) : El número de tokens de imagen que se utilizarán para cada imagen en la entrada. Se añadió por compatibilidad con versiones anteriores, pero en los modelos futuros esto debería configurarse como un atributo del procesador.

ignore_index (`int`, *kwargs*, *opcional*) : Etiqueta que se asignará a los píxeles de fondo en los mapas de segmentación. Si se proporciona, los píxeles del mapa de segmentación marcados con 0 (fondo) se reemplazarán con `ignore_index`.

do_reduce_labels (`bool`, *kwargs*, *opcional*, valor predeterminado `False`) : Indica si se debe restar 1 a todos los valores de etiqueta de los mapas de segmentación. Se utiliza habitualmente en conjuntos de datos donde 0 se emplea para el fondo y el propio fondo no está incluido en todas las clases del conjunto de datos (p. ej., ADE20k). La etiqueta de fondo se reemplazará por `ignore_index`.

num_labels (`int`, *kwargs*, *opcional*) : El número de etiquetas en el mapa de segmentación.

size_divisor (`int`, *kwargs*, *opcional*, valor predeterminado `32`) : Algunos backbones requieren que las imágenes sean divisibles por un número determinado. Si no se especifica, se usa el valor empleado en Swin Transformer.

**Devuelve:** `~image_processing_base.BatchFeature`

- **data** (`dict`) -- Diccionario de listas/arrays/tensores devueltos por el método __call__ ('pixel_values', etc.).
- **tensor_type** (`Union[None, str, TensorType]`, *opcional*) -- Puede especificar un tensor_type aquí para convertir las listas de enteros en Tensors de PyTorch/Numpy durante la inicialización.

#### post_process_semantic_segmentation[[transformers.MaskFormerImageProcessorPil.post_process_semantic_segmentation]]

```python
post_process_semantic_segmentation(outputs, target_sizes: list[tuple[int, int]] | None = None, return_segmentation_scores: bool = False)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/maskformer/image_processing_pil_maskformer.py#L583)

**Parámetros:**

outputs ([MaskFormerForInstanceSegmentation](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerForInstanceSegmentation)) : Salidas crudas del modelo.

target_sizes (`list[tuple[int, int]]`, *opcional*) : Lista de longitud (batch_size), donde cada elemento de la lista (`tuple[int, int]]`) corresponde al tamaño final solicitado (altura, ancho) de cada predicción. Si se deja en None, las predicciones no se redimensionarán.

return_segmentation_scores (`bool`, *opcional*, valor predeterminado `False`) : Indica si se deben devolver las puntuaciones de segmentación junto con el mapa de segmentación. Cuando `True`, cada elemento de la lista devuelta es un `SemanticSegmentationPostProcessorOutput` con los campos `segmentation` (IDs de clase, forma `(height, width)`) y `segmentation_scores` (forma `(num_classes, height, width)`).

**Devuelve:** `list[torch.Tensor]` o `list[SemanticSegmentationPostProcessorOutput]`

Cuando `return_segmentation_scores=False` (valor predeterminado), se devuelve una lista de longitud `batch_size` en la que cada elemento es un mapa de segmentación de forma `(height, width)` con IDs de clase. Cuando `return_segmentation_scores=True`, se devuelve una lista de `SemanticSegmentationPostProcessorOutput` con los campos `segmentation` (IDs de clase, forma `(height, width)`) y `segmentation_scores` (forma `(num_classes, height, width)`). En ambos casos, `(height, width)` corresponde al tamaño objetivo (si se especifica `target_sizes`).

Convierte la salida de [MaskFormerForInstanceSegmentation](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerForInstanceSegmentation) en mapas de segmentación semántica. Solo admite PyTorch.

#### post_process_instance_segmentation[[transformers.MaskFormerImageProcessorPil.post_process_instance_segmentation]]

```python
post_process_instance_segmentation(outputs, threshold: float = 0.5, mask_threshold: float = 0.5, overlap_mask_area_threshold: float = 0.8, target_sizes: list[tuple[int, int]] | None = None, return_coco_annotation: bool | None = False, return_binary_maps: bool | None = False)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/maskformer/image_processing_pil_maskformer.py#L653)

**Parámetros:**

outputs ([MaskFormerForInstanceSegmentation](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerForInstanceSegmentation)) : Salidas crudas del modelo.

threshold (`float`, *opcional*, valor predeterminado 0.5) : Umbral de puntuación de probabilidad para conservar las máscaras de instancias predichas.

mask_threshold (`float`, *opcional*, valor predeterminado 0.5) : Umbral a utilizar al convertir las máscaras predichas en valores binarios.

overlap_mask_area_threshold (`float`, *opcional*, valor predeterminado 0.8) : Umbral del área de la máscara de solapamiento para fusionar o descartar pequeñas partes desconectadas dentro de cada máscara de instancia binaria.

target_sizes (`list[Tuple]`, *opcional*) : Lista de longitud (batch_size), donde cada elemento de la lista (`tuple[int, int]]`) corresponde al tamaño final solicitado (altura, ancho) de cada predicción. Si se deja en None, las predicciones no se redimensionarán.

return_coco_annotation (`bool`, *opcional*, valor predeterminado `False`) : Si se establece en `True`, los mapas de segmentación se devuelven en el formato de codificación por longitud de ejecución (RLE) de COCO.

return_binary_maps (`bool`, *opcional*, valor predeterminado `False`) : Si se establece en `True`, los mapas de segmentación se devuelven como un tensor concatenado de mapas de segmentación binarios (uno por cada instancia detectada).

**Devuelve:** `list[Dict]`

Una lista de diccionarios, uno por imagen, donde cada diccionario contiene dos claves:
- **segmentation** -- Un tensor de forma `(height, width)` donde cada píxel representa un `segment_id`, o una codificación de longitud de ejecución (RLE) `list[List]` del mapa de segmentación si return_coco_annotation está establecido en `True`, o un tensor de forma `(num_instances, height, width)` si return_binary_maps está establecido en `True`. Se establece en `None` si no se encuentra ninguna máscara por encima de `threshold`.
- **segments_info** -- Un diccionario que contiene información adicional sobre cada segmento.
  - **id** -- Un entero que representa el `segment_id`.
  - **label_id** -- Un entero que representa el identificador de etiqueta / clase semántica correspondiente a `segment_id`.
  - **score** -- Puntuación de predicción del segmento con `segment_id`.

Convierte la salida de `MaskFormerForInstanceSegmentationOutput` en predicciones de segmentación de instancias. Solo admite PyTorch. Si las instancias podrían superponerse, establezca `True` en return_coco_annotation o return_binary_maps para obtener el resultado de segmentación correcto.

#### post_process_panoptic_segmentation[[transformers.MaskFormerImageProcessorPil.post_process_panoptic_segmentation]]

```python
post_process_panoptic_segmentation(outputs, threshold: float = 0.5, mask_threshold: float = 0.5, overlap_mask_area_threshold: float = 0.8, label_ids_to_fuse: set[int] | None = None, target_sizes: list[tuple[int, int]] | None = None)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/maskformer/image_processing_pil_maskformer.py#L771)

**Parámetros:**

outputs (`MaskFormerForInstanceSegmentationOutput`) : Las salidas de [MaskFormerForInstanceSegmentation](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerForInstanceSegmentation).

threshold (`float`, *opcional*, valor predeterminado 0.5) : Umbral de puntuación de probabilidad para conservar las máscaras de instancias predichas.

mask_threshold (`float`, *opcional*, valor predeterminado 0.5) : Umbral a utilizar al convertir las máscaras predichas en valores binarios.

overlap_mask_area_threshold (`float`, *opcional*, valor predeterminado 0.8) : Umbral del área de la máscara de solapamiento para fusionar o descartar pequeñas partes desconectadas dentro de cada máscara de instancia binaria.

label_ids_to_fuse (`Set[int]`, *opcional*) : Las etiquetas en este estado fusionarán todas sus instancias. Por ejemplo, podríamos decir que solo puede haber un cielo en una imagen, pero varias personas, por lo que el ID de la etiqueta de cielo estaría en ese conjunto, pero no el de persona.

target_sizes (`list[Tuple]`, *opcional*) : Lista de longitud (batch_size), donde cada elemento de la lista (`tuple[int, int]]`) corresponde al tamaño final solicitado (altura, ancho) de cada predicción del batch. Si se deja en None, las predicciones no se redimensionarán.

**Devuelve:** `list[Dict]`

Una lista de diccionarios, uno por imagen, donde cada diccionario contiene dos claves:
- **segmentation** -- un tensor de forma `(height, width)` en el que cada píxel representa un `segment_id`, establecido en `None` si no se encuentra ninguna máscara por encima de `threshold`. Si se especifica `target_sizes`, la segmentación se redimensiona a la entrada correspondiente de `target_sizes`.
- **segments_info** -- Un diccionario que contiene información adicional sobre cada segmento.
  - **id** -- un entero que representa el `segment_id`.
  - **label_id** -- Un entero que representa el identificador de etiqueta / clase semántica correspondiente a `segment_id`.
  - **was_fused** -- un valor booleano, `True` si `label_id` estaba en `label_ids_to_fuse`, `False` en caso contrario. Se fusionaron varias instancias de la misma clase / etiqueta y se les asignó un único `segment_id`.
  - **score** -- Puntuación de predicción del segmento con `segment_id`.

Convierte la salida de `MaskFormerForInstanceSegmentationOutput` en predicciones de segmentación panóptica de imagen. Solo admite PyTorch.

## MaskFormerModel[[transformers.MaskFormerModel]]

#### transformers.MaskFormerModel[[transformers.MaskFormerModel]]

```python
transformers.MaskFormerModel(config: MaskFormerConfig)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/maskformer/modeling_maskformer.py#L1749)

**Parámetros:**

config ([MaskFormerConfig](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerConfig)) : Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método [from_pretrained()](/docs/transformers/v5.23.0/es/main_classes/model#transformers.PreTrainedModel.from_pretrained) para cargar los pesos del modelo.

El modelo Maskformer básico que emite estados ocultos sin ningún cabezal específico en la parte superior.

Este modelo hereda de [PreTrainedModel](/docs/transformers/v5.23.0/es/main_classes/model#transformers.PreTrainedModel). Consulte la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).

Este modelo también es una subclase de [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.

#### forward[[transformers.MaskFormerModel.forward]]

```python
forward(pixel_values: Tensor, pixel_mask: typing.Optional[torch.Tensor] = None, output_hidden_states: bool | None = None, output_attentions: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/maskformer/modeling_maskformer.py#L1759)

**Parámetros:**

pixel_values (`torch.Tensor` de forma `(batch_size, num_channels, image_size, image_size)`) : Los tensores correspondientes a las imágenes de entrada. Los valores de píxeles se pueden obtener mediante [MaskFormerImageProcessor](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerImageProcessor). Consulte [MaskFormerImageProcessor.__call__()](/docs/transformers/v5.23.0/es/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) para obtener más detalles (`processor_class` utiliza [MaskFormerImageProcessor](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerImageProcessor) para procesar las imágenes).

pixel_mask (`torch.Tensor` de forma `(batch_size, height, width)`, *opcional*) : Máscara para evitar realizar atención sobre los valores de píxeles de relleno. Valores de la máscara seleccionados en `[0, 1]`:  - 1 para píxeles reales (es decir, **no enmascarados**), - 0 para píxeles de relleno (es decir, **enmascarados**).  [¿Qué son las máscaras de atención?](../glossary#attention-mask)

output_hidden_states (`bool`, *opcional*) : Indica si se deben devolver los estados ocultos de todas las capas. Consulte `hidden_states` en los tensores devueltos para obtener más detalles.

output_attentions (`bool`, *opcional*) : Indica si se deben devolver los tensores de atención de todas las capas de atención. Consulte `attentions` en los tensores devueltos para obtener más detalles.

return_dict (`bool`, *opcional*) : Indica si se debe devolver un [ModelOutput](/docs/transformers/v5.23.0/es/main_classes/output#transformers.utils.ModelOutput) en lugar de una tupla simple.

**Devuelve:** [MaskFormerModelOutput](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.models.maskformer.modeling_maskformer.MaskFormerModelOutput) o `tuple(torch.Tensor)`

Un [MaskFormerModelOutput](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.models.maskformer.modeling_maskformer.MaskFormerModelOutput) o una tupla de `torch.Tensor` (si se pasa `return_dict=False` o cuando `config.return_dict=False`) que comprende varios elementos según la configuración ([MaskFormerConfig](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerConfig)) y las entradas.

El método forward de [MaskFormerModel](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerModel) sobrescribe el método especial `__call__`.

Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de `Module` después, en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de preprocesamiento y posprocesamiento, mientras que la segunda los ignora silenciosamente.

- **encoder_last_hidden_state** (`torch.Tensor` de forma `(batch_size, num_channels, height, width)`) -- Últimos estados ocultos (mapa de características final) de la última etapa del modelo codificador (backbone).
- **pixel_decoder_last_hidden_state** (`torch.Tensor` de forma `(batch_size, num_channels, height, width)`) -- Estados ocultos finales (mapa de características final) de la última etapa del modelo decodificador de píxeles (FPN).
- **transformer_decoder_last_hidden_state** (`torch.Tensor` de forma `(batch_size, sequence_length, hidden_size)`) -- Estados ocultos finales (mapa de características final) de la última etapa del modelo decodificador transformer.
- **encoder_hidden_states** (`tuple(torch.Tensor)`, *opcional*, devuelto cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) -- Tupla de `torch.Tensor` (una para la salida de las incrustaciones + una para la salida de cada etapa) de forma `(batch_size, num_channels, height, width)`. Estados ocultos (también llamados mapas de características) del modelo codificador en la salida de cada etapa.
- **pixel_decoder_hidden_states** (`tuple(torch.Tensor)`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) -- Tupla de `torch.Tensor` (una para la salida de los embeddings + una para la salida de cada etapa) de forma `(batch_size, num_channels, height, width)`. Estados ocultos (también llamados mapas de características) del modelo pixel decoder en la salida de cada etapa.
- **transformer_decoder_hidden_states** (`tuple(torch.Tensor)`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) -- Tupla de `torch.Tensor` (una para la salida de los embeddings + una para la salida de cada etapa) de forma `(batch_size, sequence_length, hidden_size)`. Estados ocultos (también llamados mapas de características) del decodificador transformer en la salida de cada etapa. hidden_states `tuple(torch.Tensor)`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`): Tupla de `torch.Tensor` que contiene `encoder_hidden_states`, `pixel_decoder_hidden_states` y `decoder_hidden_states`
- **hidden_states** (`tuple[torch.Tensor]`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) -- Tupla de `torch.Tensor` (una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma `(batch_size, sequence_length, hidden_size)`.

  Estados ocultos del modelo en la salida de cada capa más las salidas opcionales de la incrustación inicial.
- **attentions** (`tuple[torch.Tensor]`, *opcional*, se devuelve cuando se pasa `output_attentions=True` o cuando `config.output_attentions=True`) -- Tupla de `torch.Tensor` (una por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`.

  Pesos de atención tras el softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

Ejemplos:

```python
>>> from transformers import AutoImageProcessor, MaskFormerModel
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> # load MaskFormer fine-tuned on ADE20k semantic segmentation
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/maskformer-swin-base-ade")
>>> model = MaskFormerModel.from_pretrained("facebook/maskformer-swin-base-ade")

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> inputs = image_processor(image, return_tensors="pt")

>>> # forward pass
>>> outputs = model(**inputs)

>>> # the decoder of MaskFormer outputs hidden states of shape (batch_size, num_queries, hidden_size)
>>> transformer_decoder_last_hidden_state = outputs.transformer_decoder_last_hidden_state
>>> list(transformer_decoder_last_hidden_state.shape)
[1, 100, 256]
```

## MaskFormerForInstanceSegmentation[[transformers.MaskFormerForInstanceSegmentation]]

#### transformers.MaskFormerForInstanceSegmentation[[transformers.MaskFormerForInstanceSegmentation]]

```python
transformers.MaskFormerForInstanceSegmentation(config: MaskFormerConfig)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/maskformer/modeling_maskformer.py#L1848)

#### forward[[transformers.MaskFormerForInstanceSegmentation.forward]]

```python
forward(pixel_values: Tensor, mask_labels: list[torch.Tensor] | None = None, class_labels: list[torch.Tensor] | None = None, pixel_mask: typing.Optional[torch.Tensor] = None, output_auxiliary_logits: bool | None = None, output_hidden_states: bool | None = None, output_attentions: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/maskformer/modeling_maskformer.py#L1930)

**Parámetros:**

pixel_values (`torch.Tensor` de forma `(batch_size, num_channels, image_size, image_size)`) : Los tensores correspondientes a las imágenes de entrada. Los valores de píxeles se pueden obtener mediante [MaskFormerImageProcessor](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerImageProcessor). Consulte [MaskFormerImageProcessor.__call__()](/docs/transformers/v5.23.0/es/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) para obtener más detalles (`processor_class` utiliza [MaskFormerImageProcessor](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerImageProcessor) para procesar las imágenes).

mask_labels (`list[torch.Tensor]`, *opcional*) : Lista de etiquetas de máscara de forma `(num_labels, height, width)` para alimentar a un modelo

class_labels (`list[torch.LongTensor]`, *opcional*) : lista de etiquetas de clase objetivo de forma `(num_labels, height, width)` para alimentar a un modelo. Identifican las etiquetas de `mask_labels`, p. ej., la etiqueta de `mask_labels[i][j]` si `class_labels[i][j]`.

pixel_mask (`torch.Tensor` de forma `(batch_size, height, width)`, *opcional*) : Máscara para evitar realizar atención sobre los valores de píxeles de relleno. Valores de la máscara seleccionados en `[0, 1]`:  - 1 para píxeles reales (es decir, **no enmascarados**), - 0 para píxeles de relleno (es decir, **enmascarados**).  [¿Qué son las máscaras de atención?](../glossary#attention-mask)

output_auxiliary_logits (`bool`, *opcional*) : Si se deben o no generar logits auxiliares.

output_hidden_states (`bool`, *opcional*) : Indica si se deben devolver los estados ocultos de todas las capas. Consulte `hidden_states` en los tensores devueltos para obtener más detalles.

output_attentions (`bool`, *opcional*) : Indica si se deben devolver los tensores de atención de todas las capas de atención. Consulte `attentions` en los tensores devueltos para obtener más detalles.

return_dict (`bool`, *opcional*) : Indica si se debe devolver un [ModelOutput](/docs/transformers/v5.23.0/es/main_classes/output#transformers.utils.ModelOutput) en lugar de una tupla simple.

**Devuelve:** [MaskFormerForInstanceSegmentationOutput](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.models.maskformer.modeling_maskformer.MaskFormerForInstanceSegmentationOutput) o `tuple(torch.Tensor)`

Un [MaskFormerForInstanceSegmentationOutput](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.models.maskformer.modeling_maskformer.MaskFormerForInstanceSegmentationOutput) o una tupla de `torch.Tensor` (si se pasa `return_dict=False` o cuando `config.return_dict=False`) que comprende varios elementos según la configuración ([MaskFormerConfig](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerConfig)) y las entradas.

El método forward de [MaskFormerForInstanceSegmentation](/docs/transformers/v5.23.0/es/model_doc/maskformer#transformers.MaskFormerForInstanceSegmentation) sobrescribe el método especial `__call__`.

Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de `Module` después, en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de preprocesamiento y posprocesamiento, mientras que la segunda los ignora silenciosamente.

- **loss** (`torch.Tensor`, *opcional*) -- La pérdida calculada, devuelta cuando hay etiquetas presentes.
- **class_queries_logits** (`torch.Tensor`, *opcional*) -- Un tensor de forma `(batch_size, num_queries, num_labels + 1)` que representa las clases propuestas para cada consulta. Tenga en cuenta que el `+ 1` es necesario porque incorporamos la clase nula.
- **masks_queries_logits** (`torch.Tensor`, *opcional*) -- Un tensor de forma `(batch_size, num_queries, height, width)` que representa las máscaras propuestas para cada consulta.
- **auxiliary_logits** (`Dict[str, torch.Tensor]`, *opcional*, se devuelve cuando `output_auxiliary_logits=True`) -- Diccionario que contiene predicciones auxiliares para cada capa del decodificador cuando las pérdidas auxiliares están habilitadas.
- **encoder_last_hidden_state** (`torch.Tensor` de forma `(batch_size, num_channels, height, width)`) -- Últimos estados ocultos (mapa de características final) de la última etapa del modelo codificador (backbone).
- **pixel_decoder_last_hidden_state** (`torch.Tensor` de forma `(batch_size, num_channels, height, width)`) -- Estados ocultos finales (mapa de características final) de la última etapa del modelo decodificador de píxeles (FPN).
- **transformer_decoder_last_hidden_state** (`torch.Tensor` de forma `(batch_size, sequence_length, hidden_size)`) -- Estados ocultos finales (mapa de características final) de la última etapa del modelo decodificador transformer.
- **encoder_hidden_states** (`tuple(torch.Tensor)`, *opcional*, devuelto cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) -- Tupla de `torch.Tensor` (una para la salida de las incrustaciones + una para la salida de cada etapa) de forma `(batch_size, num_channels, height, width)`. Estados ocultos (también llamados mapas de características) del modelo codificador en la salida de cada etapa.
- **pixel_decoder_hidden_states** (`tuple(torch.Tensor)`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) -- Tupla de `torch.Tensor` (una para la salida de los embeddings + una para la salida de cada etapa) de forma `(batch_size, num_channels, height, width)`. Estados ocultos (también llamados mapas de características) del modelo pixel decoder en la salida de cada etapa.
- **transformer_decoder_hidden_states** (`tuple(torch.Tensor)`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) -- Tupla de `torch.Tensor` (una para la salida de los embeddings + una para la salida de cada etapa) de forma `(batch_size, sequence_length, hidden_size)`. Estados ocultos del decodificador del transformer en la salida de cada etapa. hidden_states `tuple(torch.Tensor)`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`): Tupla de `torch.Tensor` que contiene `encoder_hidden_states`, `pixel_decoder_hidden_states` y `decoder_hidden_states`.
- **hidden_states** (`tuple[torch.Tensor]`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) -- Tupla de `torch.Tensor` (una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma `(batch_size, sequence_length, hidden_size)`.

  Estados ocultos del modelo en la salida de cada capa más las salidas opcionales de la incrustación inicial.
- **attentions** (`tuple[torch.Tensor]`, *opcional*, se devuelve cuando se pasa `output_attentions=True` o cuando `config.output_attentions=True`) -- Tupla de `torch.Tensor` (una por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`.

  Pesos de atención tras el softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

Ejemplos:

Ejemplo de segmentación semántica:

```python
>>> from transformers import AutoImageProcessor, MaskFormerForInstanceSegmentation
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> # load MaskFormer fine-tuned on ADE20k semantic segmentation
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/maskformer-swin-base-ade")
>>> model = MaskFormerForInstanceSegmentation.from_pretrained("facebook/maskformer-swin-base-ade")

>>> url = (
...     "https://huggingface.co/datasets/hf-internal-testing/fixtures_ade20k/resolve/main/ADE_val_00000001.jpg"
... )
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)
>>> # model predicts class_queries_logits of shape `(batch_size, num_queries)`
>>> # and masks_queries_logits of shape `(batch_size, num_queries, height, width)`
>>> class_queries_logits = outputs.class_queries_logits
>>> masks_queries_logits = outputs.masks_queries_logits

>>> # you can pass them to image_processor for postprocessing
>>> predicted_semantic_map = image_processor.post_process_semantic_segmentation(
...     outputs, target_sizes=[(image.height, image.width)]
... )[0]

>>> # we refer to the demo notebooks for visualization (see "Resources" section in the MaskFormer docs)
>>> list(predicted_semantic_map.shape)
[512, 683]
```

Ejemplo de segmentación panóptica:

```python
>>> from transformers import AutoImageProcessor, MaskFormerForInstanceSegmentation
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> # load MaskFormer fine-tuned on COCO panoptic segmentation
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/maskformer-swin-base-coco")
>>> model = MaskFormerForInstanceSegmentation.from_pretrained("facebook/maskformer-swin-base-coco")

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)
>>> # model predicts class_queries_logits of shape `(batch_size, num_queries)`
>>> # and masks_queries_logits of shape `(batch_size, num_queries, height, width)`
>>> class_queries_logits = outputs.class_queries_logits
>>> masks_queries_logits = outputs.masks_queries_logits

>>> # you can pass them to image_processor for postprocessing
>>> result = image_processor.post_process_panoptic_segmentation(outputs, target_sizes=[(image.height, image.width)])[0]

>>> # we refer to the demo notebooks for visualization (see "Resources" section in the MaskFormer docs)
>>> predicted_panoptic_map = result["segmentation"]
>>> list(predicted_panoptic_map.shape)
[480, 640]
```

