# Mask2Former

## Resumen

El modelo Mask2Former se propuso en [Masked-attention Mask Transformer for Universal Image Segmentation](https://huggingface.co/papers/2112.01527) por Bowen Cheng, Ishan Misra, Alexander G. Schwing, Alexander Kirillov y Rohit Girdhar. Mask2Former es un marco unificado para la segmentación panóptica, de instancias y semántica, y presenta mejoras significativas en rendimiento y eficiencia en comparación con [MaskFormer](maskformer).

El resumen del artículo es el siguiente:

*La segmentación de imágenes agrupa píxeles con diferentes semánticas, por ejemplo, pertenencia a una categoría o instancia. Cada elección de semántica define una tarea. Aunque solo difieren las semánticas de cada tarea, la investigación actual se centra en diseñar arquitecturas especializadas para cada una. Presentamos Masked-attention Mask Transformer (Mask2Former), una nueva arquitectura capaz de abordar cualquier tarea de segmentación de imágenes (panóptica, de instancia o semántica). Sus componentes clave incluyen la atención enmascarada, que extrae características localizadas al restringir la atención cruzada dentro de las regiones de máscara predichas. Además de reducir el esfuerzo de investigación al menos tres veces, supera a las mejores arquitecturas especializadas por un margen significativo en cuatro conjuntos de datos populares. En particular, Mask2Former establece un nuevo estado del arte para la segmentación panóptica (57.8 PQ en COCO), la segmentación de instancia (50.1 AP en COCO) y la segmentación semántica (57.7 mIoU en ADE20K).*

 Arquitectura de Mask2Former. Tomada del artículo original.

Este modelo fue aportado por [Shivalika Singh](https://huggingface.co/shivi) y [Alara Dirik](https://huggingface.co/adirik). El código original se puede encontrar [aquí](https://github.com/facebookresearch/Mask2Former).

## Consejos de uso

- Mask2Former utiliza los mismos pasos de preprocesamiento y posprocesamiento que [MaskFormer](maskformer). Utilice [Mask2FormerImageProcessor](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerImageProcessor) o [AutoImageProcessor](/docs/transformers/v5.23.0/es/model_doc/auto#transformers.AutoImageProcessor) para preparar las imágenes y los objetivos opcionales para el modelo.
- Para obtener la segmentación final, dependiendo de la tarea, puedes llamar a [post_process_semantic_segmentation()](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerImageProcessor.post_process_semantic_segmentation) o [post_process_instance_segmentation()](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerImageProcessor.post_process_instance_segmentation) o [post_process_panoptic_segmentation()](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerImageProcessor.post_process_panoptic_segmentation). Las tres tareas pueden resolverse utilizando la salida de [Mask2FormerForUniversalSegmentation](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerForUniversalSegmentation); la segmentación panóptica acepta un argumento opcional `label_ids_to_fuse` para fusionar las instancias del objeto u objetos objetivo (p. ej. el cielo).

## Recursos

Una lista de recursos oficiales de Hugging Face y de la comunidad (indicados por 🌎) para ayudarte a empezar con Mask2Former.

- Los cuadernos de demostración sobre inferencia y ajuste fino de Mask2Former con datos personalizados se encuentran [aquí](https://github.com/NielsRogge/Transformers-Tutorials/tree/master/Mask2Former).

Si te interesa enviar un recurso para que se incluya aquí, no dudes en abrir una Pull Request y lo revisaremos. Lo ideal es que el recurso demuestre algo nuevo en lugar de duplicar un recurso existente.

## Mask2FormerConfig[[transformers.Mask2FormerConfig]]

#### transformers.Mask2FormerConfig[[transformers.Mask2FormerConfig]]

```python
transformers.Mask2FormerConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, backbone_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, feature_size: int = 256, mask_feature_size: int = 256, hidden_dim: int = 256, encoder_feedforward_dim: int = 1024, activation_function: str = 'relu', encoder_layers: int = 6, decoder_layers: int = 10, num_attention_heads: int = 8, dropout: float | int = 0.0, dim_feedforward: int = 2048, pre_norm: bool = False, enforce_input_projection: bool = False, common_stride: int = 4, ignore_value: int = 255, num_queries: int = 100, no_object_weight: float = 0.1, class_weight: float = 2.0, mask_weight: float = 5.0, dice_weight: float = 5.0, train_num_points: int = 12544, oversample_ratio: float = 3.0, importance_sample_ratio: float = 0.75, init_std: float = 0.02, init_xavier_std: float = 1.0, use_auxiliary_loss: bool = True, feature_strides: list[int] | tuple[int, ...] = (4, 8, 16, 32), output_auxiliary_logits: bool | None = None)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/configuration_mask2former.py#L28)

**Parámetros:**

backbone_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *opcional*) : La configuración del modelo de base.

feature_size (`int`, *opcional*, valor predeterminado 256) : Las características (canales) de los mapas de características resultantes.

mask_feature_size (`int`, *opcional*, valor predeterminado 256) : El tamaño de las características de las máscaras; este valor también se utilizará para especificar el tamaño de las características de la Feature Pyramid Network.

hidden_dim (`int`, *opcional*, valor predeterminado `256`) : Dimensión de las representaciones ocultas.

encoder_feedforward_dim (`int`, *opcional*, valor predeterminado 1024) : Dimensión de la red feedforward del codificador de deformable detr utilizado como parte del decodificador de píxeles.

activation_function (`str`, *opcional*, valor predeterminado `relu`) : La función de activación no lineal (función o cadena) en el decodificador. Por ejemplo, `"gelu"`, `"relu"`, `"silu"`, etc.

encoder_layers (`int`, *opcional*, valor predeterminado `6`) : Número de capas ocultas en el codificador Transformer. Usará el mismo valor que `num_layers` si no se establece.

decoder_layers (`int`, *opcional*, valor predeterminado `10`) : Número de capas ocultas en el decodificador Transformer. Si no se establece, se usará el mismo valor que `num_layers`.

num_attention_heads (`int`, *opcional*, valor predeterminado `8`) : Número de cabezas de atención para cada capa de atención en el decodificador del Transformer.

dropout (`Union[float, int]`, *opcional*, valor predeterminado `0.0`) : La proporción para todas las capas de dropout.

dim_feedforward (`int`, *opcional*, valor predeterminado 2048) : Dimensión de las características en la red feedforward del decodificador transformer.

pre_norm (`bool`, *opcional*, valor predeterminado `False`) : Si se debe usar pre-LayerNorm o no en el decodificador del transformer.

enforce_input_projection (`bool`, *opcional*, valor predeterminado `False`) : Indica si se debe añadir una convolución de proyección de entrada 1x1, incluso si los canales de entrada y la dimensión oculta son idénticos en el decodificador Transformer.

common_stride (`int`, *opcional*, valor predeterminado: 4) : Parámetro utilizado para determinar el número de niveles de FPN que se usan como parte del decodificador de píxeles.

ignore_value (`int`, *opcional*, valor predeterminado 255) : Identificador de categoría que se ignorará durante el entrenamiento.

num_queries (`int`, *opcional*, valor predeterminado 100) : Número de consultas para el decodificador.

no_object_weight (`float`, *opcional*, valor predeterminado `0.1`) : Peso de clasificación relativo de la clase sin objeto en la función de pérdida de detección de objetos.

class_weight (`float`, *opcional*, valor predeterminado `2.0`) : Peso relativo del error de clasificación en el coste de correspondencia húngara.

mask_weight (`float`, *opcional*, valor predeterminado `5.0`) : Peso relativo de la focal loss en la pérdida de segmentación panóptica.

dice_weight (`float`, *opcional*, valor predeterminado `5.0`) : Peso relativo de la pérdida dice en la pérdida de segmentación panóptica.

train_num_points (`str` o `function`, *opcional*, valor predeterminado 12544) : Número de puntos utilizados para el muestreo durante el cálculo de la pérdida.

oversample_ratio (`float`, *opcional*, valor predeterminado 3.0) : Parámetro de sobremuestreo utilizado para calcular el número de puntos muestreados

importance_sample_ratio (`float`, *opcional*, valor predeterminado 0.75) : Proporción de puntos que se muestrean mediante muestreo por importancia.

init_std (`float`, *opcional*, valor predeterminado `0.02`) : La desviación estándar de truncated_normal_initializer para inicializar todas las matrices de pesos.

init_xavier_std (`float`, *opcional*, valor predeterminado `1.0`) : El factor de escala utilizado para la inicialización de Xavier de los pesos de la atención cruzada.

use_auxiliary_loss (`bool`, *opcional*, valor predeterminado `True`) : Si se calcula la pérdida utilizando predicciones intermedias del decodificador transformer.

feature_strides (`list[int]`, *opcional*, valor predeterminado `[4, 8, 16, 32]`) : Pasos de características correspondientes a las características generadas por la red backbone.

output_auxiliary_logits (`bool`, *opcional*) : Indica si el modelo debe o no producir sus `auxiliary_logits`.

Esta es la clase de configuración para almacenar la configuración de un Mask2FormerModel. Se utiliza para instanciar un modelo Mask2Former según los argumentos especificados, definiendo la arquitectura del modelo. Instanciar una configuración con los valores predeterminados producirá una configuración similar a la de [facebook/mask2former-swin-small-coco-instance](https://huggingface.co/facebook/mask2former-swin-small-coco-instance)

Los objetos de configuración heredan de [PreTrainedConfig](/docs/transformers/v5.23.0/es/main_classes/configuration#transformers.PreTrainedConfig) y se pueden utilizar para controlar las salidas del modelo. Consulte la documentación de [PreTrainedConfig](/docs/transformers/v5.23.0/es/main_classes/configuration#transformers.PreTrainedConfig) para obtener más información.

Ejemplos:

```python
>>> from transformers import Mask2FormerConfig, Mask2FormerModel

>>> # Initializing a Mask2Former facebook/mask2former-swin-small-coco-instance configuration
>>> configuration = Mask2FormerConfig()

>>> # Initializing a model (with random weights) from the facebook/mask2former-swin-small-coco-instance style configuration
>>> model = Mask2FormerModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## Salidas específicas de MaskFormer[[transformers.models.mask2former.modeling_mask2former.Mask2FormerModelOutput]]

#### transformers.models.mask2former.modeling_mask2former.Mask2FormerModelOutput[[transformers.models.mask2former.modeling_mask2former.Mask2FormerModelOutput]]

```python
transformers.models.mask2former.modeling_mask2former.Mask2FormerModelOutput(encoder_last_hidden_state: typing.Optional[torch.Tensor] = None, pixel_decoder_last_hidden_state: typing.Optional[torch.Tensor] = None, transformer_decoder_last_hidden_state: typing.Optional[torch.Tensor] = None, encoder_hidden_states: tuple[torch.Tensor] | None = None, pixel_decoder_hidden_states: tuple[torch.Tensor] | None = None, transformer_decoder_hidden_states: tuple[torch.Tensor] | None = None, transformer_decoder_intermediate_states: tuple[torch.Tensor] | None = None, masks_queries_logits: tuple[torch.Tensor] | None = None, attentions: tuple[torch.Tensor] | None = None)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/modeling_mask2former.py#L143)

**Parámetros:**

encoder_last_hidden_state (`torch.Tensor` de forma `(batch_size, num_channels, height, width)`, *opcional*) : Últimos estados ocultos (mapa de características final) de la última etapa del modelo codificador (backbone). Se devuelve cuando se pasa `output_hidden_states=True`.

pixel_decoder_last_hidden_state (`torch.Tensor` de forma `(batch_size, num_channels, height, width)`, *opcional*) : Estados ocultos finales (mapa de características final) de la última etapa del modelo decodificador de píxeles.

transformer_decoder_last_hidden_state (`tuple(torch.Tensor)`) : Salida final del decodificador del transformer `(batch_size, sequence_length, hidden_size)`.

encoder_hidden_states (`tuple(torch.Tensor)`, *opcional*) : Tupla de `torch.Tensor` (uno para la salida de los embeddings + uno para la salida de cada etapa) de forma `(batch_size, num_channels, height, width)`. Estados ocultos (también llamados mapas de características) del modelo codificador en la salida de cada etapa. Se devuelve cuando se pasa `output_hidden_states=True`.

pixel_decoder_hidden_states (`tuple(torch.Tensor)`, , *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) : Tupla de `torch.Tensor` (uno para la salida de los embeddings + uno para la salida de cada etapa) de forma `(batch_size, num_channels, height, width)`. Estados ocultos (también llamados mapas de características) del modelo decodificador de píxeles en la salida de cada etapa. Se devuelve cuando se pasa `output_hidden_states=True`.

transformer_decoder_hidden_states (`tuple(torch.Tensor)`, *opcional*) : Tupla de `torch.Tensor` (uno para la salida de los embeddings + uno para la salida de cada etapa) de forma `(batch_size, sequence_length, hidden_size)`. Estados ocultos (también llamados mapas de características) del decodificador del transformer en la salida de cada etapa. Se devuelve cuando se pasa `output_hidden_states=True`.

transformer_decoder_intermediate_states (`tuple(torch.Tensor)` de forma `(num_queries, 1, hidden_size)`) : Activaciones intermedias del decodificador, es decir, la salida de cada capa del decodificador, cada una de ellas pasada por un layernorm.

masks_queries_logits (`tuple(torch.Tensor)` de forma `(batch_size, num_queries, height, width)`) : Predicciones de máscaras de cada capa en el decodificador del transformer.

attentions (`tuple(tuple(torch.Tensor))`, *opcional*, se devuelve cuando se pasa `output_attentions=True`) : Tupla de `tuple(torch.Tensor)` (una por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`. Pesos de autoatención del decodificador del transformer.

attentions (`tuple[torch.Tensor]`, *opcional*, se devuelve cuando se pasa `output_attentions=True` o cuando `config.output_attentions=True`) : Tupla de `torch.Tensor` (uno por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`. Pesos de atención después del softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

Clase para las salidas de [Mask2FormerModel](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerModel). Esta clase devuelve todos los estados ocultos necesarios para calcular los logits.

#### transformers.models.mask2former.modeling_mask2former.Mask2FormerForUniversalSegmentationOutput[[transformers.models.mask2former.modeling_mask2former.Mask2FormerForUniversalSegmentationOutput]]

```python
transformers.models.mask2former.modeling_mask2former.Mask2FormerForUniversalSegmentationOutput(loss: typing.Optional[torch.Tensor] = None, class_queries_logits: typing.Optional[torch.Tensor] = None, masks_queries_logits: typing.Optional[torch.Tensor] = None, auxiliary_logits: list[dict[str, torch.Tensor]] | None = None, encoder_last_hidden_state: typing.Optional[torch.Tensor] = None, pixel_decoder_last_hidden_state: typing.Optional[torch.Tensor] = None, transformer_decoder_last_hidden_state: typing.Optional[torch.Tensor] = None, encoder_hidden_states: tuple[torch.Tensor] | None = None, pixel_decoder_hidden_states: tuple[torch.Tensor] | None = None, transformer_decoder_hidden_states: typing.Optional[torch.Tensor] = None, attentions: tuple[torch.Tensor] | None = None)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/modeling_mask2former.py#L196)

**Parámetros:**

loss (`torch.Tensor`, *opcional*) : La pérdida calculada, que se devuelve cuando hay etiquetas presentes.

class_queries_logits (`torch.Tensor`, *opcional*) : Un tensor de forma `(batch_size, num_queries, num_labels + 1)` que representa las clases propuestas para cada consulta. Tenga en cuenta que el `+ 1` es necesario porque incorporamos la clase nula.

masks_queries_logits (`torch.Tensor`, *opcional*) : Un tensor de forma `(batch_size, num_queries, height, width)` que representa las máscaras propuestas para cada consulta.

auxiliary_logits (`list[Dict(str, torch.Tensor)]`, *opcional*) : Lista de predicciones de clase y máscara de cada capa del decodificador del transformer.

encoder_last_hidden_state (`torch.Tensor` de forma `(batch_size, num_channels, height, width)`) : Últimos estados ocultos (mapa de características final) de la última etapa del modelo codificador (backbone).

pixel_decoder_last_hidden_state (`torch.Tensor` de forma `(batch_size, num_channels, height, width)`) : Estados ocultos finales (mapa de características final) de la última etapa del modelo decodificador de píxeles.

transformer_decoder_last_hidden_state (`tuple(torch.Tensor)`) : Salida final del decodificador del transformer `(batch_size, sequence_length, hidden_size)`.

encoder_hidden_states (`tuple(torch.Tensor)`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) : Tupla de `torch.Tensor` (una para la salida de los embeddings + una para la salida de cada etapa) de forma `(batch_size, num_channels, height, width)`. Estados ocultos (también llamados mapas de características) del modelo codificador en la salida de cada etapa.

pixel_decoder_hidden_states (`tuple(torch.Tensor)`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) : Tupla de `torch.Tensor` (una para la salida de los embeddings + una para la salida de cada etapa) de forma `(batch_size, num_channels, height, width)`. Estados ocultos (también llamados mapas de características) del modelo decodificador de píxeles en la salida de cada etapa.

transformer_decoder_hidden_states (`tuple(torch.Tensor)`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) : Tupla de `torch.Tensor` (una para la salida de los embeddings + una para la salida de cada etapa) de forma `(batch_size, sequence_length, hidden_size)`. Estados ocultos (también llamados mapas de características) del decodificador del transformer en la salida de cada etapa.

attentions (`tuple(tuple(torch.Tensor))`, *opcional*, se devuelve cuando se pasa `output_attentions=True` o cuando `config.output_attentions=True`) : Tupla de `tuple(torch.Tensor)` (una por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`. Pesos de Self y Cross Attentions del decodificador del transformer.

Clase para las salidas de `Mask2FormerForUniversalSegmentationOutput`.

Esta salida se puede pasar directamente a [post_process_semantic_segmentation()](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerImageProcessor.post_process_semantic_segmentation) o [post_process_instance_segmentation()](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerImageProcessor.post_process_instance_segmentation) o [post_process_panoptic_segmentation()](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerImageProcessor.post_process_panoptic_segmentation) para calcular los mapas de segmentación finales. Consulte [`~Mask2FormerImageProcessor] para obtener más detalles sobre su uso.

## Mask2FormerModel[[transformers.Mask2FormerModel]]

#### transformers.Mask2FormerModel[[transformers.Mask2FormerModel]]

```python
transformers.Mask2FormerModel(config: Mask2FormerConfig)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/modeling_mask2former.py#L2224)

**Parámetros:**

config ([Mask2FormerConfig](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerConfig)) : Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método [from_pretrained()](/docs/transformers/v5.23.0/es/main_classes/model#transformers.PreTrainedModel.from_pretrained) para cargar los pesos del modelo.

El modelo Mask2Former básico que emite estados ocultos sin ningún cabezal específico en la parte superior.

Este modelo hereda de [PreTrainedModel](/docs/transformers/v5.23.0/es/main_classes/model#transformers.PreTrainedModel). Consulte la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).

Este modelo también es una subclase de [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.

#### forward[[transformers.Mask2FormerModel.forward]]

```python
forward(pixel_values: Tensor, pixel_mask: typing.Optional[torch.Tensor] = None, output_hidden_states: bool | None = None, output_attentions: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/modeling_mask2former.py#L2234)

**Parámetros:**

pixel_values (`torch.Tensor` de forma `(batch_size, num_channels, image_size, image_size)`) : Los tensores correspondientes a las imágenes de entrada. Los valores de píxeles se pueden obtener mediante [Mask2FormerImageProcessor](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerImageProcessor). Consulte [Mask2FormerImageProcessor.__call__()](/docs/transformers/v5.23.0/es/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) para obtener más detalles (`processor_class` utiliza [Mask2FormerImageProcessor](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerImageProcessor) para procesar las imágenes).

pixel_mask (`torch.Tensor` de forma `(batch_size, height, width)`, *opcional*) : Máscara para evitar realizar atención sobre los valores de píxeles de relleno. Valores de la máscara seleccionados en `[0, 1]`:  - 1 para píxeles reales (es decir, **no enmascarados**), - 0 para píxeles de relleno (es decir, **enmascarados**).  [¿Qué son las máscaras de atención?](../glossary#attention-mask)

output_hidden_states (`bool`, *opcional*) : Indica si se deben devolver los estados ocultos de todas las capas. Consulte `hidden_states` en los tensores devueltos para obtener más detalles.

output_attentions (`bool`, *opcional*) : Indica si se deben devolver los tensores de atención de todas las capas de atención. Consulte `attentions` en los tensores devueltos para obtener más detalles.

return_dict (`bool`, *opcional*) : Indica si se debe devolver un [ModelOutput](/docs/transformers/v5.23.0/es/main_classes/output#transformers.utils.ModelOutput) en lugar de una tupla simple.

**Devuelve:** [Mask2FormerModelOutput](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.models.mask2former.modeling_mask2former.Mask2FormerModelOutput) o `tuple(torch.Tensor)`

Un [Mask2FormerModelOutput](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.models.mask2former.modeling_mask2former.Mask2FormerModelOutput) o una tupla de `torch.Tensor` (si se pasa `return_dict=False` o cuando `config.return_dict=False`) que comprende varios elementos según la configuración ([Mask2FormerConfig](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerConfig)) y las entradas.

El método forward de [Mask2FormerModel](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerModel) reemplaza el método especial `__call__`.

Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de `Module` después, en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de preprocesamiento y posprocesamiento, mientras que la segunda los ignora silenciosamente.

- **encoder_last_hidden_state** (`torch.Tensor` de forma `(batch_size, num_channels, height, width)`, *opcional*) -- Estados ocultos finales (mapa de características final) de la última etapa del modelo codificador (backbone). Se devuelve cuando se pasa `output_hidden_states=True`.
- **pixel_decoder_last_hidden_state** (`torch.Tensor` de forma `(batch_size, num_channels, height, width)`, *opcional*) -- Estados ocultos finales (mapa de características final) de la última etapa del modelo decodificador de píxeles.
- **transformer_decoder_last_hidden_state** (`tuple(torch.Tensor)`) -- Salida final del decodificador transformer `(batch_size, sequence_length, hidden_size)`.
- **encoder_hidden_states** (`tuple(torch.Tensor)`, *opcional*) -- Tupla de `torch.Tensor` (una para la salida de las incrustaciones + una para la salida de cada etapa) de forma `(batch_size, num_channels, height, width)`. Estados ocultos (también llamados mapas de características) del modelo codificador en la salida de cada etapa. Se devuelve cuando se pasa `output_hidden_states=True`.
- **pixel_decoder_hidden_states** (`tuple(torch.Tensor)`, , *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) -- Tupla de `torch.Tensor` (una para la salida de los embeddings + una para la salida de cada etapa) de forma `(batch_size, num_channels, height, width)`. Estados ocultos (también llamados mapas de características) del modelo decodificador de píxeles en la salida de cada etapa. Se devuelve cuando se pasa `output_hidden_states=True`.
- **transformer_decoder_hidden_states** (`tuple(torch.Tensor)`, *opcional*) -- Tupla de `torch.Tensor` (una para la salida de los embeddings + una para la salida de cada etapa) de forma `(batch_size, sequence_length, hidden_size)`. Estados ocultos (también llamados mapas de características) del decodificador transformer en la salida de cada etapa. Se devuelve cuando se pasa `output_hidden_states=True`.
- **transformer_decoder_intermediate_states** (`tuple(torch.Tensor)` de forma `(num_queries, 1, hidden_size)`) -- Activaciones intermedias del decodificador, es decir, la salida de cada capa del decodificador, cada una de ellas pasada por un layernorm.
- **masks_queries_logits** (`tuple(torch.Tensor)` de forma `(batch_size, num_queries, height, width)`) Predicciones de máscaras de cada capa en el decodificador transformer. attentions (`tuple(tuple(torch.Tensor))`, *opcional*, devuelto cuando se pasa `output_attentions=True`) -- Tupla de `tuple(torch.Tensor)` (una por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`. Pesos de autoatención del decodificador transformer.
- **attentions** (`tuple[torch.Tensor]`, *opcional*, se devuelve cuando se pasa `output_attentions=True` o cuando `config.output_attentions=True`) -- Tupla de `torch.Tensor` (una por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`.

  Pesos de atención tras el softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.

## Mask2FormerForUniversalSegmentation[[transformers.Mask2FormerForUniversalSegmentation]]

#### transformers.Mask2FormerForUniversalSegmentation[[transformers.Mask2FormerForUniversalSegmentation]]

```python
transformers.Mask2FormerForUniversalSegmentation(config: Mask2FormerConfig)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/modeling_mask2former.py#L2300)

**Parámetros:**

config ([Mask2FormerConfig](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerConfig)) : Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método [from_pretrained()](/docs/transformers/v5.23.0/es/main_classes/model#transformers.PreTrainedModel.from_pretrained) para cargar los pesos del modelo.

El modelo Mask2Former con cabezas superiores para segmentación de instancias/semántica/panóptica.

Este modelo hereda de [PreTrainedModel](/docs/transformers/v5.23.0/es/main_classes/model#transformers.PreTrainedModel). Consulte la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).

Este modelo también es una subclase de [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.

#### forward[[transformers.Mask2FormerForUniversalSegmentation.forward]]

```python
forward(pixel_values: Tensor, mask_labels: list[torch.Tensor] | None = None, class_labels: list[torch.Tensor] | None = None, pixel_mask: typing.Optional[torch.Tensor] = None, output_hidden_states: bool | None = None, output_auxiliary_logits: bool | None = None, output_attentions: bool | None = None, return_dict: bool | None = None, **kwargs)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/modeling_mask2former.py#L2353)

**Parámetros:**

pixel_values (`torch.Tensor` de forma `(batch_size, num_channels, image_size, image_size)`) : Los tensores correspondientes a las imágenes de entrada. Los valores de píxeles se pueden obtener mediante [Mask2FormerImageProcessor](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerImageProcessor). Consulte [Mask2FormerImageProcessor.__call__()](/docs/transformers/v5.23.0/es/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) para obtener más detalles (`processor_class` utiliza [Mask2FormerImageProcessor](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerImageProcessor) para procesar las imágenes).

mask_labels (`list[torch.Tensor]`, *opcional*) : Lista de etiquetas de máscara de forma `(num_labels, height, width)` para alimentar a un modelo

class_labels (`list[torch.LongTensor]`, *opcional*) : lista de etiquetas de clase objetivo de forma `(num_labels, height, width)` para alimentar a un modelo. Identifican las etiquetas de `mask_labels`, p. ej., la etiqueta de `mask_labels[i][j]` si `class_labels[i][j]`.

pixel_mask (`torch.Tensor` de forma `(batch_size, height, width)`, *opcional*) : Máscara para evitar realizar atención sobre los valores de píxeles de relleno. Valores de la máscara seleccionados en `[0, 1]`:  - 1 para píxeles reales (es decir, **no enmascarados**), - 0 para píxeles de relleno (es decir, **enmascarados**).  [¿Qué son las máscaras de atención?](../glossary#attention-mask)

output_hidden_states (`bool`, *opcional*) : Indica si se deben devolver los estados ocultos de todas las capas. Consulte `hidden_states` en los tensores devueltos para obtener más detalles.

output_auxiliary_logits (`bool`, *opcional*) : Si se deben o no generar logits auxiliares.

output_attentions (`bool`, *opcional*) : Indica si se deben devolver los tensores de atención de todas las capas de atención. Consulte `attentions` en los tensores devueltos para obtener más detalles.

return_dict (`bool`, *opcional*) : Indica si se debe devolver un [ModelOutput](/docs/transformers/v5.23.0/es/main_classes/output#transformers.utils.ModelOutput) en lugar de una tupla simple.

**Devuelve:** [Mask2FormerForUniversalSegmentationOutput](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.models.mask2former.modeling_mask2former.Mask2FormerForUniversalSegmentationOutput) o `tuple(torch.Tensor)`

Un [Mask2FormerForUniversalSegmentationOutput](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.models.mask2former.modeling_mask2former.Mask2FormerForUniversalSegmentationOutput) o una tupla de `torch.Tensor` (si se pasa `return_dict=False` o cuando `config.return_dict=False`) que comprende varios elementos según la configuración ([Mask2FormerConfig](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerConfig)) y las entradas.

El método forward de [Mask2FormerForUniversalSegmentation](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerForUniversalSegmentation) reemplaza el método especial `__call__`.

Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de `Module` después, en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de preprocesamiento y posprocesamiento, mientras que la segunda los ignora silenciosamente.

- **loss** (`torch.Tensor`, *opcional*) -- La pérdida calculada, devuelta cuando hay etiquetas presentes.
- **class_queries_logits** (`torch.Tensor`, *opcional*) -- Un tensor de forma `(batch_size, num_queries, num_labels + 1)` que representa las clases propuestas para cada consulta. Tenga en cuenta que el `+ 1` es necesario porque incorporamos la clase nula.
- **masks_queries_logits** (`torch.Tensor`, *opcional*) -- Un tensor de forma `(batch_size, num_queries, height, width)` que representa las máscaras propuestas para cada consulta.
- **auxiliary_logits** (`list[Dict(str, torch.Tensor)]`, *opcional*) -- Lista de predicciones de clase y máscara de cada capa del decodificador del transformer.
- **encoder_last_hidden_state** (`torch.Tensor` de forma `(batch_size, num_channels, height, width)`) -- Últimos estados ocultos (mapa de características final) de la última etapa del modelo codificador (backbone).
- **pixel_decoder_last_hidden_state** (`torch.Tensor` de forma `(batch_size, num_channels, height, width)`) -- Estados ocultos finales (mapa de características final) de la última etapa del modelo decodificador de píxeles.
- **transformer_decoder_last_hidden_state** (`tuple(torch.Tensor)`) -- Salida final del decodificador transformer `(batch_size, sequence_length, hidden_size)`.
- **encoder_hidden_states** (`tuple(torch.Tensor)`, *opcional*, devuelto cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) -- Tupla de `torch.Tensor` (una para la salida de las incrustaciones + una para la salida de cada etapa) de forma `(batch_size, num_channels, height, width)`. Estados ocultos (también llamados mapas de características) del modelo codificador en la salida de cada etapa.
- **pixel_decoder_hidden_states** (`tuple(torch.Tensor)`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) -- Tupla de `torch.Tensor` (una para la salida de los embeddings + una para la salida de cada etapa) de forma `(batch_size, num_channels, height, width)`. Estados ocultos (también llamados mapas de características) del modelo pixel decoder en la salida de cada etapa.
- **transformer_decoder_hidden_states** (`tuple(torch.Tensor)`, *opcional*, se devuelve cuando se pasa `output_hidden_states=True` o cuando `config.output_hidden_states=True`) -- Tupla de `torch.Tensor` (una para la salida de los embeddings + una para la salida de cada etapa) de forma `(batch_size, sequence_length, hidden_size)`. Estados ocultos (también llamados mapas de características) del decodificador transformer en la salida de cada etapa.
- **attentions** (`tuple(tuple(torch.Tensor))`, *opcional*, se devuelve cuando se pasa `output_attentions=True` o cuando `config.output_attentions=True`) -- Tupla de `tuple(torch.Tensor)` (una por cada capa) de forma `(batch_size, num_heads, sequence_length, sequence_length)`. Pesos de Self y Cross Attentions del decodificador del transformer.

Ejemplos:

Ejemplo de segmentación de instancias:

```python
>>> from transformers import AutoImageProcessor, Mask2FormerForUniversalSegmentation
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import torch

>>> # Load Mask2Former trained on COCO instance segmentation dataset
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/mask2former-swin-small-coco-instance")
>>> model = Mask2FormerForUniversalSegmentation.from_pretrained(
...     "facebook/mask2former-swin-small-coco-instance"
... )

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))
>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> # Model predicts class_queries_logits of shape `(batch_size, num_queries)`
>>> # and masks_queries_logits of shape `(batch_size, num_queries, height, width)`
>>> class_queries_logits = outputs.class_queries_logits
>>> masks_queries_logits = outputs.masks_queries_logits

>>> # Perform post-processing to get instance segmentation map
>>> pred_instance_map = image_processor.post_process_instance_segmentation(
...     outputs, target_sizes=[(image.height, image.width)]
... )[0]
>>> print(pred_instance_map.shape)
torch.Size([480, 640])
```

Ejemplo de segmentación semántica:
```python
>>> from transformers import AutoImageProcessor, Mask2FormerForUniversalSegmentation
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import torch

>>> # Load Mask2Former trained on ADE20k semantic segmentation dataset
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/mask2former-swin-small-ade-semantic")
>>> model = Mask2FormerForUniversalSegmentation.from_pretrained("facebook/mask2former-swin-small-ade-semantic")

>>> url = (
...     "https://huggingface.co/datasets/hf-internal-testing/fixtures_ade20k/resolve/main/ADE_val_00000001.jpg"
... )
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))
>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> # Model predicts class_queries_logits of shape `(batch_size, num_queries)`
>>> # and masks_queries_logits of shape `(batch_size, num_queries, height, width)`
>>> class_queries_logits = outputs.class_queries_logits
>>> masks_queries_logits = outputs.masks_queries_logits

>>> # Perform post-processing to get semantic segmentation map
>>> pred_semantic_map = image_processor.post_process_semantic_segmentation(
...     outputs, target_sizes=[(image.height, image.width)]
... )[0]
>>> print(pred_semantic_map.shape)
torch.Size([512, 683])
```

Ejemplo de segmentación panóptica:

```python
>>> from transformers import AutoImageProcessor, Mask2FormerForUniversalSegmentation
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> import torch

>>> # Load Mask2Former trained on CityScapes panoptic segmentation dataset
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/mask2former-swin-small-cityscapes-panoptic")
>>> model = Mask2FormerForUniversalSegmentation.from_pretrained(
...     "facebook/mask2former-swin-small-cityscapes-panoptic"
... )

>>> url = "https://cdn-media.huggingface.co/Inference-API/Sample-results-on-the-Cityscapes-dataset-The-above-images-show-how-our-method-can-handle.png"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))
>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> # Model predicts class_queries_logits of shape `(batch_size, num_queries)`
>>> # and masks_queries_logits of shape `(batch_size, num_queries, height, width)`
>>> class_queries_logits = outputs.class_queries_logits
>>> masks_queries_logits = outputs.masks_queries_logits

>>> # Perform post-processing to get panoptic segmentation map
>>> pred_panoptic_map = image_processor.post_process_panoptic_segmentation(
...     outputs, target_sizes=[(image.height, image.width)]
... )[0]["segmentation"]
>>> print(pred_panoptic_map.shape)
torch.Size([338, 676])
```

## Mask2FormerImageProcessor[[transformers.Mask2FormerImageProcessor]]

#### transformers.Mask2FormerImageProcessor[[transformers.Mask2FormerImageProcessor]]

```python
transformers.Mask2FormerImageProcessor(**kwargs: *<class 'transformers.models.mask2former.image_processing_mask2former.Mask2FormerImageProcessorKwargs'>)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/image_processing_mask2former.py#L263)

**Parámetros:**

do_convert_rgb (`bool`, *kwargs*, *opcional*) : Si se debe convertir la imagen a RGB.

do_resize (`bool`, *kwargs*, *opcional*, valor predeterminado `True`) : Si se debe redimensionar la imagen.

size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*, por defecto `{'shortest_edge' : 800, 'longest_edge': 1333}`): Describe las dimensiones máximas de entrada para el modelo.

default_to_square (`bool`, *kwargs*, *opcional*, valor predeterminado `False`) : Si se debe usar una imagen cuadrada por defecto al redimensionar, cuando size es un int.

crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Tamaño de la imagen de salida tras aplicar `center_crop`.

resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*, por defecto `2`) : Filtro de remuestreo que se utilizará si se redimensiona la imagen. Puede ser uno de los valores de la enumeración `PILImageResampling`. Solo tiene efecto si `do_resize` está establecido en `True`.

do_rescale (`bool`, *kwargs*, *opcional*, valor predeterminado `True`) : Indica si se debe reescalar la imagen.

rescale_factor (`float`, *kwargs*, *opcional*, valor predeterminado `0.00392156862745098`) : Factor de reescalado para reescalar la imagen si `do_rescale` está establecido en `True`.

do_normalize (`bool`, *kwargs*, *opcional*, valor predeterminado `True`) : Si se debe normalizar la imagen.

image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opcional*, valor predeterminado `[0.485, 0.456, 0.406]`) : Media de la imagen a utilizar para la normalización. Solo tiene efecto si `do_normalize` está establecido en `True`.

image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opcional*, valor predeterminado `[0.229, 0.224, 0.225]`) : Desviación estándar de la imagen que se utilizará para la normalización. Solo tiene efecto si `do_normalize` está establecido en `True`.

do_pad (`bool`, *kwargs*, *opcional*) : Indica si se debe aplicar relleno a la imagen. El relleno se realiza hasta el tamaño más grande del lote o hasta un tamaño cuadrado fijo por imagen. La estrategia exacta de relleno depende del modelo.

pad_size (`SizeDict`, *kwargs*, *opcional*) : El tamaño al que se rellenan las imágenes. Debe ser mayor que el tamaño de cualquier imagen proporcionada para el preprocesamiento. Si no se proporciona `pad_size`, las imágenes se rellenarán hasta la mayor altura y anchura del lote.

do_center_crop (`bool`, *kwargs*, *opcional*) : Si se debe recortar la imagen centrada.

data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *opcional*) : Solo se admite `ChannelDimension.FIRST`. Se añadió para garantizar la compatibilidad con los procesadores lentos.

input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *opcional*) : El formato de la dimensión de canal para la imagen de entrada. Si no se establece, el formato de la dimensión de canal se infiere a partir de la imagen de entrada. Puede ser uno de: - `"channels_first"` o `ChannelDimension.FIRST`: imagen en formato (num_channels, height, width). - `"channels_last"` o `ChannelDimension.LAST`: imagen en formato (height, width, num_channels). - `"none"` o `ChannelDimension.NONE`: imagen en formato (height, width).

device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : El dispositivo en el que se procesarán los vídeos. Si no se establece, el dispositivo se infiere a partir de los vídeos de entrada.

return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Devuelve tensores apilados si se establece en `'pt'`; en caso contrario, devuelve una lista de tensores.

disable_grouping (`bool`, *kwargs*, *opcional*) : Si se debe deshabilitar el agrupamiento de imágenes por tamaño para procesarlas de forma individual y no en lotes. Si es None, se establecerá en True si las imágenes están en CPU, y en False en caso contrario. Esta elección se basa en observaciones empíricas, como se detalla aquí: https://github.com/huggingface/transformers/pull/38157

image_seq_length (`int`, *kwargs*, *opcional*) : El número de tokens de imagen que se utilizarán para cada imagen en la entrada. Se añadió por compatibilidad con versiones anteriores, pero en los modelos futuros esto debería configurarse como un atributo del procesador.

ignore_index (`int`, *kwargs*, *opcional*) : Etiqueta que se asignará a los píxeles de fondo en los mapas de segmentación. Si se proporciona, los píxeles del mapa de segmentación marcados con 0 (fondo) se reemplazarán con `ignore_index`.

do_reduce_labels (`bool`, *kwargs*, *opcional*, valor predeterminado `False`) : Indica si se debe restar 1 a todos los valores de etiqueta de los mapas de segmentación. Se utiliza habitualmente en conjuntos de datos donde 0 se emplea para el fondo y el propio fondo no está incluido en todas las clases del conjunto de datos (p. ej., ADE20k). La etiqueta de fondo se reemplazará por `ignore_index`.

num_labels (`int`, *kwargs*, *opcional*) : El número de etiquetas en el mapa de segmentación.

size_divisor (`int`, *kwargs*, *opcional*, valor predeterminado `32`) : Algunos backbones requieren que las imágenes sean divisibles por un número determinado. Si no se especifica, se usa el valor empleado en Swin Transformer.

Construye un procesador de imágenes Mask2FormerImageProcessor.

#### preprocess[[transformers.Mask2FormerImageProcessor.preprocess]]

```python
preprocess(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']], segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None, instance_id_to_semantic_id: list[dict[int, int]] | dict[int, int] | None = None, **kwargs: *<class 'transformers.models.mask2former.image_processing_mask2former.Mask2FormerImageProcessorKwargs'>)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/image_processing_mask2former.py#L386)

**Parámetros:**

images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`) : Imagen a preprocesar. Espera una imagen única o un lote de imágenes con valores de píxeles que van de 0 a 255. Si se pasan imágenes con valores de píxeles entre 0 y 1, establezca `do_rescale=False`.

segmentation_maps (`ImageInput`, *opcional*) : Los mapas de segmentación.

instance_id_to_semantic_id (`Union[list[dict[int, int]], dict[int, int]]`, *opcional*) : Un mapeo de IDs de instancia a IDs semánticos.

do_convert_rgb (`bool`, *kwargs*, *opcional*) : Si se debe convertir la imagen a RGB.

do_resize (`bool`, *kwargs*, *opcional*) : Si se debe redimensionar la imagen.

size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Describe las dimensiones máximas de entrada del modelo.

default_to_square (`bool`, *kwargs*, *opcional*) : Si el tamaño es un entero, si se debe usar una imagen cuadrada por defecto al redimensionar.

crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Tamaño de la imagen de salida tras aplicar `center_crop`.

resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*) : Filtro de remuestreo que se utilizará si se redimensiona la imagen. Puede ser uno de los valores de la enumeración `PILImageResampling`. Solo tiene efecto si `do_resize` está establecido en `True`.

do_rescale (`bool`, *kwargs*, *opcional*) : Si se debe reescalar la imagen.

rescale_factor (`float`, *kwargs*, *opcional*) : Factor de reescalado para reescalar la imagen si `do_rescale` está establecido en `True`.

do_normalize (`bool`, *kwargs*, *opcional*) : Si se debe normalizar la imagen.

image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opcional*) : Media de la imagen a utilizar para la normalización. Solo tiene efecto si `do_normalize` está establecido en `True`.

image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opcional*) : Desviación estándar de la imagen a utilizar para la normalización. Solo tiene efecto si `do_normalize` está establecido en `True`.

do_pad (`bool`, *kwargs*, *opcional*) : Indica si se debe aplicar relleno a la imagen. El relleno se realiza hasta el tamaño más grande del lote o hasta un tamaño cuadrado fijo por imagen. La estrategia exacta de relleno depende del modelo.

pad_size (`SizeDict`, *kwargs*, *opcional*) : El tamaño al que se rellenan las imágenes. Debe ser mayor que el tamaño de cualquier imagen proporcionada para el preprocesamiento. Si no se proporciona `pad_size`, las imágenes se rellenarán hasta la mayor altura y anchura del lote.

do_center_crop (`bool`, *kwargs*, *opcional*) : Si se debe recortar la imagen centrada.

data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *opcional*) : Solo se admite `ChannelDimension.FIRST`. Se añadió para garantizar la compatibilidad con los procesadores lentos.

input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *opcional*) : El formato de la dimensión de canal para la imagen de entrada. Si no se establece, el formato de la dimensión de canal se infiere a partir de la imagen de entrada. Puede ser uno de: - `"channels_first"` o `ChannelDimension.FIRST`: imagen en formato (num_channels, height, width). - `"channels_last"` o `ChannelDimension.LAST`: imagen en formato (height, width, num_channels). - `"none"` o `ChannelDimension.NONE`: imagen en formato (height, width).

device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : El dispositivo en el que se procesarán los vídeos. Si no se establece, el dispositivo se infiere a partir de los vídeos de entrada.

return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Devuelve tensores apilados si se establece en `'pt'`; en caso contrario, devuelve una lista de tensores.

disable_grouping (`bool`, *kwargs*, *opcional*) : Si se debe deshabilitar el agrupamiento de imágenes por tamaño para procesarlas de forma individual y no en lotes. Si es None, se establecerá en True si las imágenes están en CPU, y en False en caso contrario. Esta elección se basa en observaciones empíricas, como se detalla aquí: https://github.com/huggingface/transformers/pull/38157

image_seq_length (`int`, *kwargs*, *opcional*) : El número de tokens de imagen que se utilizarán para cada imagen en la entrada. Se añadió por compatibilidad con versiones anteriores, pero en los modelos futuros esto debería configurarse como un atributo del procesador.

ignore_index (`int`, *kwargs*, *opcional*) : Etiqueta que se asignará a los píxeles de fondo en los mapas de segmentación. Si se proporciona, los píxeles del mapa de segmentación marcados con 0 (fondo) se reemplazarán con `ignore_index`.

do_reduce_labels (`bool`, *kwargs*, *opcional*, valor predeterminado `False`) : Indica si se debe restar 1 a todos los valores de etiqueta de los mapas de segmentación. Se utiliza habitualmente en conjuntos de datos donde 0 se emplea para el fondo y el propio fondo no está incluido en todas las clases del conjunto de datos (p. ej., ADE20k). La etiqueta de fondo se reemplazará por `ignore_index`.

num_labels (`int`, *kwargs*, *opcional*) : El número de etiquetas en el mapa de segmentación.

size_divisor (`int`, *kwargs*, *opcional*, valor predeterminado `32`) : Algunos backbones requieren que las imágenes sean divisibles por un número determinado. Si no se especifica, se usa el valor empleado en Swin Transformer.

**Devuelve:** `~image_processing_base.BatchFeature`

- **data** (`dict`) -- Diccionario de listas/arrays/tensores devueltos por el método __call__ ('pixel_values', etc.).
- **tensor_type** (`Union[None, str, TensorType]`, *opcional*) -- Puede especificar un tensor_type aquí para convertir las listas de enteros en Tensors de PyTorch/Numpy durante la inicialización.

#### post_process_semantic_segmentation[[transformers.Mask2FormerImageProcessor.post_process_semantic_segmentation]]

```python
post_process_semantic_segmentation(outputs, target_sizes: list[tuple[int, int]] | None = None, return_segmentation_scores: bool = False)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/image_processing_mask2former.py#L550)

**Parámetros:**

outputs ([Mask2FormerForUniversalSegmentation](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerForUniversalSegmentation)) : Salidas sin procesar del modelo.

target_sizes (`list[tuple[int, int]]`, *opcional*) : Lista de longitud (batch_size), donde cada elemento de la lista (`tuple[int, int]]`) corresponde al tamaño final solicitado (altura, ancho) de cada predicción. Si se deja en None, las predicciones no se redimensionarán.

return_segmentation_scores (`bool`, *opcional*, valor predeterminado `False`) : Indica si se deben devolver las puntuaciones de segmentación junto con el mapa de segmentación. Cuando `True`, cada elemento de la lista devuelta es un `SemanticSegmentationPostProcessorOutput` con los campos `segmentation` (IDs de clase, forma `(height, width)`) y `segmentation_scores` (forma `(num_classes, height, width)`).

**Devuelve:** `list[torch.Tensor]` o `list[SemanticSegmentationPostProcessorOutput]`

Cuando `return_segmentation_scores=False` (valor predeterminado), se devuelve una lista de longitud `batch_size` en la que cada elemento es un mapa de segmentación de forma `(height, width)` con IDs de clase. Cuando `return_segmentation_scores=True`, se devuelve una lista de `SemanticSegmentationPostProcessorOutput` con los campos `segmentation` (IDs de clase, forma `(height, width)`) y `segmentation_scores` (forma `(num_classes, height, width)`). En ambos casos, `(height, width)` corresponde al tamaño objetivo (si se especifica `target_sizes`).

Convierte la salida de [Mask2FormerForUniversalSegmentation](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerForUniversalSegmentation) en mapas de segmentación semántica. Solo admite PyTorch.

#### post_process_instance_segmentation[[transformers.Mask2FormerImageProcessor.post_process_instance_segmentation]]

```python
post_process_instance_segmentation(outputs, threshold: float = 0.5, mask_threshold: float = 0.5, overlap_mask_area_threshold: float = 0.8, target_sizes: list[tuple[int, int]] | None = None, return_coco_annotation: bool | None = False, return_binary_maps: bool | None = False)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/image_processing_mask2former.py#L627)

**Parámetros:**

outputs ([Mask2FormerForUniversalSegmentation](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerForUniversalSegmentation)) : Salidas sin procesar del modelo.

threshold (`float`, *opcional*, valor predeterminado 0.5) : Umbral de puntuación de probabilidad para conservar las máscaras de instancias predichas.

mask_threshold (`float`, *opcional*, valor predeterminado 0.5) : Umbral a utilizar al convertir las máscaras predichas en valores binarios.

overlap_mask_area_threshold (`float`, *opcional*, valor predeterminado 0.8) : Umbral del área de la máscara de solapamiento para fusionar o descartar pequeñas partes desconectadas dentro de cada máscara de instancia binaria.

target_sizes (`List[Tuple]`, *opcional*) : Lista de longitud (batch_size), donde cada elemento de la lista (`Tuple[int, int]]`) corresponde al tamaño final solicitado (altura, ancho) de cada predicción. Si se deja en None, las predicciones no se redimensionarán.

return_coco_annotation (`bool`, *opcional*, valor predeterminado `False`) : Si se establece en `True`, los mapas de segmentación se devuelven en el formato de codificación por longitud de ejecución (RLE) de COCO.

return_binary_maps (`bool`, *opcional*, valor predeterminado `False`) : Si se establece en `True`, los mapas de segmentación se devuelven como un tensor concatenado de mapas de segmentación binarios (uno por cada instancia detectada).

**Devuelve:** `List[Dict]`

Una lista de diccionarios, uno por imagen, donde cada diccionario contiene dos claves:
- **segmentation** -- Un tensor de forma `(height, width)` en el que cada píxel representa un `segment_id`, o una codificación por longitud de ejecución (RLE) de `List[List]` del mapa de segmentación si return_coco_annotation está establecido en `True`, o un tensor de forma `(num_instances, height, width)` si return_binary_maps está establecido en `True`. Se establece en `None` si no se encuentra ninguna máscara por encima de `threshold`.
- **segments_info** -- Un diccionario que contiene información adicional sobre cada segmento.
  - **id** -- Un entero que representa el `segment_id`.
  - **label_id** -- Un entero que representa el identificador de etiqueta / clase semántica correspondiente a `segment_id`.
  - **score** -- Puntuación de predicción del segmento con `segment_id`.

Convierte la salida de `Mask2FormerForUniversalSegmentationOutput` en predicciones de segmentación de instancias. Solo admite PyTorch. Si las instancias podrían superponerse, establezca `True` en return_coco_annotation o return_binary_maps para obtener el resultado de segmentación correcto.

#### post_process_panoptic_segmentation[[transformers.Mask2FormerImageProcessor.post_process_panoptic_segmentation]]

```python
post_process_panoptic_segmentation(outputs, threshold: float = 0.5, mask_threshold: float = 0.5, overlap_mask_area_threshold: float = 0.8, label_ids_to_fuse: set[int] | None = None, target_sizes: list[tuple[int, int]] | None = None)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/image_processing_mask2former.py#L748)

**Parámetros:**

outputs (`Mask2FormerForUniversalSegmentationOutput`) : Las salidas de [Mask2FormerForUniversalSegmentation](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerForUniversalSegmentation).

threshold (`float`, *opcional*, valor predeterminado 0.5) : Umbral de puntuación de probabilidad para conservar las máscaras de instancias predichas.

mask_threshold (`float`, *opcional*, valor predeterminado 0.5) : Umbral a utilizar al convertir las máscaras predichas en valores binarios.

overlap_mask_area_threshold (`float`, *opcional*, valor predeterminado 0.8) : Umbral del área de la máscara de solapamiento para fusionar o descartar pequeñas partes desconectadas dentro de cada máscara de instancia binaria.

label_ids_to_fuse (`Set[int]`, *opcional*) : Las etiquetas en este estado fusionarán todas sus instancias. Por ejemplo, podríamos decir que solo puede haber un cielo en una imagen, pero varias personas, por lo que el ID de la etiqueta de cielo estaría en ese conjunto, pero no el de persona.

target_sizes (`List[Tuple]`, *opcional*) : Lista de longitud (batch_size), donde cada elemento de la lista (`Tuple[int, int]]`) corresponde al tamaño final solicitado (altura, ancho) de cada predicción del batch. Si se deja en None, las predicciones no se redimensionarán.

**Devuelve:** `List[Dict]`

Una lista de diccionarios, uno por imagen, donde cada diccionario contiene dos claves:
- **segmentation** -- un tensor de forma `(height, width)` en el que cada píxel representa un `segment_id`, establecido en `None` si no se encuentra ninguna máscara por encima de `threshold`. Si se especifica `target_sizes`, la segmentación se redimensiona a la entrada correspondiente de `target_sizes`.
- **segments_info** -- Un diccionario que contiene información adicional sobre cada segmento.
  - **id** -- un entero que representa el `segment_id`.
  - **label_id** -- Un entero que representa el identificador de etiqueta / clase semántica correspondiente a `segment_id`.
  - **was_fused** -- un valor booleano, `True` si `label_id` estaba en `label_ids_to_fuse`, `False` en caso contrario. Se fusionaron varias instancias de la misma clase / etiqueta y se les asignó un único `segment_id`.
  - **score** -- Puntuación de predicción del segmento con `segment_id`.

Convierte la salida de `Mask2FormerForUniversalSegmentationOutput` en predicciones de segmentación panóptica de imagen. Solo admite PyTorch.

## Mask2FormerImageProcessorPil[[transformers.Mask2FormerImageProcessorPil]]

#### transformers.Mask2FormerImageProcessorPil[[transformers.Mask2FormerImageProcessorPil]]

```python
transformers.Mask2FormerImageProcessorPil(**kwargs: *<class 'transformers.models.mask2former.image_processing_pil_mask2former.Mask2FormerImageProcessorKwargs'>)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/image_processing_pil_mask2former.py#L274)

#### preprocess[[transformers.Mask2FormerImageProcessorPil.preprocess]]

```python
preprocess(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']], segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None, instance_id_to_semantic_id: list[dict[int, int]] | dict[int, int] | None = None, **kwargs: *<class 'transformers.models.mask2former.image_processing_pil_mask2former.Mask2FormerImageProcessorKwargs'>)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/image_processing_pil_mask2former.py#L442)

**Parámetros:**

images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`) : Imagen a preprocesar. Espera una imagen única o un lote de imágenes con valores de píxeles que van de 0 a 255. Si se pasan imágenes con valores de píxeles entre 0 y 1, establezca `do_rescale=False`.

segmentation_maps (`ImageInput`, *opcional*) : Los mapas de segmentación.

instance_id_to_semantic_id (`Union[list[dict[int, int]], dict[int, int]]`, *opcional*) : Un mapeo de IDs de instancia a IDs semánticos.

do_convert_rgb (`bool`, *kwargs*, *opcional*) : Si se debe convertir la imagen a RGB.

do_resize (`bool`, *kwargs*, *opcional*) : Si se debe redimensionar la imagen.

size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Describe las dimensiones máximas de entrada del modelo.

default_to_square (`bool`, *kwargs*, *opcional*) : Si el tamaño es un entero, si se debe usar una imagen cuadrada por defecto al redimensionar.

crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Tamaño de la imagen de salida tras aplicar `center_crop`.

resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*) : Filtro de remuestreo que se utilizará si se redimensiona la imagen. Puede ser uno de los valores de la enumeración `PILImageResampling`. Solo tiene efecto si `do_resize` está establecido en `True`.

do_rescale (`bool`, *kwargs*, *opcional*) : Si se debe reescalar la imagen.

rescale_factor (`float`, *kwargs*, *opcional*) : Factor de reescalado para reescalar la imagen si `do_rescale` está establecido en `True`.

do_normalize (`bool`, *kwargs*, *opcional*) : Si se debe normalizar la imagen.

image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opcional*) : Media de la imagen a utilizar para la normalización. Solo tiene efecto si `do_normalize` está establecido en `True`.

image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opcional*) : Desviación estándar de la imagen a utilizar para la normalización. Solo tiene efecto si `do_normalize` está establecido en `True`.

do_pad (`bool`, *kwargs*, *opcional*) : Indica si se debe aplicar relleno a la imagen. El relleno se realiza hasta el tamaño más grande del lote o hasta un tamaño cuadrado fijo por imagen. La estrategia exacta de relleno depende del modelo.

pad_size (`SizeDict`, *kwargs*, *opcional*) : El tamaño al que se rellenan las imágenes. Debe ser mayor que el tamaño de cualquier imagen proporcionada para el preprocesamiento. Si no se proporciona `pad_size`, las imágenes se rellenarán hasta la mayor altura y anchura del lote.

do_center_crop (`bool`, *kwargs*, *opcional*) : Si se debe recortar la imagen centrada.

data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *opcional*) : Solo se admite `ChannelDimension.FIRST`. Se añadió para garantizar la compatibilidad con los procesadores lentos.

input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *opcional*) : El formato de la dimensión de canal para la imagen de entrada. Si no se establece, el formato de la dimensión de canal se infiere a partir de la imagen de entrada. Puede ser uno de: - `"channels_first"` o `ChannelDimension.FIRST`: imagen en formato (num_channels, height, width). - `"channels_last"` o `ChannelDimension.LAST`: imagen en formato (height, width, num_channels). - `"none"` o `ChannelDimension.NONE`: imagen en formato (height, width).

device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : El dispositivo en el que se procesarán los vídeos. Si no se establece, el dispositivo se infiere a partir de los vídeos de entrada.

return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Devuelve tensores apilados si se establece en `'pt'`; en caso contrario, devuelve una lista de tensores.

disable_grouping (`bool`, *kwargs*, *opcional*) : Si se debe deshabilitar el agrupamiento de imágenes por tamaño para procesarlas de forma individual y no en lotes. Si es None, se establecerá en True si las imágenes están en CPU, y en False en caso contrario. Esta elección se basa en observaciones empíricas, como se detalla aquí: https://github.com/huggingface/transformers/pull/38157

image_seq_length (`int`, *kwargs*, *opcional*) : El número de tokens de imagen que se utilizarán para cada imagen en la entrada. Se añadió por compatibilidad con versiones anteriores, pero en los modelos futuros esto debería configurarse como un atributo del procesador.

ignore_index (`int`, *kwargs*, *opcional*) : Etiqueta que se asignará a los píxeles de fondo en los mapas de segmentación. Si se proporciona, los píxeles del mapa de segmentación marcados con 0 (fondo) se reemplazarán con `ignore_index`.

do_reduce_labels (`bool`, *kwargs*, *opcional*, valor predeterminado `False`) : Indica si se debe restar 1 a todos los valores de etiqueta de los mapas de segmentación. Se utiliza habitualmente en conjuntos de datos donde 0 se emplea para el fondo y el propio fondo no está incluido en todas las clases del conjunto de datos (p. ej., ADE20k). La etiqueta de fondo se reemplazará por `ignore_index`.

num_labels (`int`, *kwargs*, *opcional*) : El número de etiquetas en el mapa de segmentación.

size_divisor (`int`, *kwargs*, *opcional*, valor predeterminado `32`) : Algunos backbones requieren que las imágenes sean divisibles por un número determinado. Si no se especifica, se usa el valor empleado en Swin Transformer.

**Devuelve:** `~image_processing_base.BatchFeature`

- **data** (`dict`) -- Diccionario de listas/arrays/tensores devueltos por el método __call__ ('pixel_values', etc.).
- **tensor_type** (`Union[None, str, TensorType]`, *opcional*) -- Puede especificar un tensor_type aquí para convertir las listas de enteros en Tensors de PyTorch/Numpy durante la inicialización.

#### post_process_semantic_segmentation[[transformers.Mask2FormerImageProcessorPil.post_process_semantic_segmentation]]

```python
post_process_semantic_segmentation(outputs, target_sizes: list[tuple[int, int]] | None = None, return_segmentation_scores: bool = False)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/image_processing_pil_mask2former.py#L587)

**Parámetros:**

outputs ([Mask2FormerForUniversalSegmentation](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerForUniversalSegmentation)) : Salidas sin procesar del modelo.

target_sizes (`list[tuple[int, int]]`, *opcional*) : Lista de longitud (batch_size), donde cada elemento de la lista (`tuple[int, int]]`) corresponde al tamaño final solicitado (altura, ancho) de cada predicción. Si se deja en None, las predicciones no se redimensionarán.

return_segmentation_scores (`bool`, *opcional*, valor predeterminado `False`) : Indica si se deben devolver las puntuaciones de segmentación junto con el mapa de segmentación. Cuando `True`, cada elemento de la lista devuelta es un `SemanticSegmentationPostProcessorOutput` con los campos `segmentation` (IDs de clase, forma `(height, width)`) y `segmentation_scores` (forma `(num_classes, height, width)`).

**Devuelve:** `list[torch.Tensor]` o `list[SemanticSegmentationPostProcessorOutput]`

Cuando `return_segmentation_scores=False` (valor predeterminado), se devuelve una lista de longitud `batch_size` en la que cada elemento es un mapa de segmentación de forma `(height, width)` con IDs de clase. Cuando `return_segmentation_scores=True`, se devuelve una lista de `SemanticSegmentationPostProcessorOutput` con los campos `segmentation` (IDs de clase, forma `(height, width)`) y `segmentation_scores` (forma `(num_classes, height, width)`). En ambos casos, `(height, width)` corresponde al tamaño objetivo (si se especifica `target_sizes`).

Convierte la salida de [Mask2FormerForUniversalSegmentation](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerForUniversalSegmentation) en mapas de segmentación semántica. Solo admite PyTorch.

#### post_process_instance_segmentation[[transformers.Mask2FormerImageProcessorPil.post_process_instance_segmentation]]

```python
post_process_instance_segmentation(outputs, threshold: float = 0.5, mask_threshold: float = 0.5, overlap_mask_area_threshold: float = 0.8, target_sizes: list[tuple[int, int]] | None = None, return_coco_annotation: bool | None = False, return_binary_maps: bool | None = False)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/image_processing_pil_mask2former.py#L664)

**Parámetros:**

outputs ([Mask2FormerForUniversalSegmentation](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerForUniversalSegmentation)) : Salidas sin procesar del modelo.

threshold (`float`, *opcional*, valor predeterminado 0.5) : Umbral de puntuación de probabilidad para conservar las máscaras de instancias predichas.

mask_threshold (`float`, *opcional*, valor predeterminado 0.5) : Umbral a utilizar al convertir las máscaras predichas en valores binarios.

overlap_mask_area_threshold (`float`, *opcional*, valor predeterminado 0.8) : Umbral del área de la máscara de solapamiento para fusionar o descartar pequeñas partes desconectadas dentro de cada máscara de instancia binaria.

target_sizes (`List[Tuple]`, *opcional*) : Lista de longitud (batch_size), donde cada elemento de la lista (`Tuple[int, int]]`) corresponde al tamaño final solicitado (altura, ancho) de cada predicción. Si se deja en None, las predicciones no se redimensionarán.

return_coco_annotation (`bool`, *opcional*, valor predeterminado `False`) : Si se establece en `True`, los mapas de segmentación se devuelven en el formato de codificación por longitud de ejecución (RLE) de COCO.

return_binary_maps (`bool`, *opcional*, valor predeterminado `False`) : Si se establece en `True`, los mapas de segmentación se devuelven como un tensor concatenado de mapas de segmentación binarios (uno por cada instancia detectada).

**Devuelve:** `List[Dict]`

Una lista de diccionarios, uno por imagen, donde cada diccionario contiene dos claves:
- **segmentation** -- Un tensor de forma `(height, width)` en el que cada píxel representa un `segment_id`, o una codificación por longitud de ejecución (RLE) de `List[List]` del mapa de segmentación si return_coco_annotation está establecido en `True`, o un tensor de forma `(num_instances, height, width)` si return_binary_maps está establecido en `True`. Se establece en `None` si no se encuentra ninguna máscara por encima de `threshold`.
- **segments_info** -- Un diccionario que contiene información adicional sobre cada segmento.
  - **id** -- Un entero que representa el `segment_id`.
  - **label_id** -- Un entero que representa el identificador de etiqueta / clase semántica correspondiente a `segment_id`.
  - **score** -- Puntuación de predicción del segmento con `segment_id`.

Convierte la salida de `Mask2FormerForUniversalSegmentationOutput` en predicciones de segmentación de instancias. Solo admite PyTorch. Si las instancias podrían superponerse, establezca `True` en return_coco_annotation o return_binary_maps para obtener el resultado de segmentación correcto.

#### post_process_panoptic_segmentation[[transformers.Mask2FormerImageProcessorPil.post_process_panoptic_segmentation]]

```python
post_process_panoptic_segmentation(outputs, threshold: float = 0.5, mask_threshold: float = 0.5, overlap_mask_area_threshold: float = 0.8, label_ids_to_fuse: set[int] | None = None, target_sizes: list[tuple[int, int]] | None = None)
```

[Fuente](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/mask2former/image_processing_pil_mask2former.py#L786)

**Parámetros:**

outputs (`Mask2FormerForUniversalSegmentationOutput`) : Las salidas de [Mask2FormerForUniversalSegmentation](/docs/transformers/v5.23.0/es/model_doc/mask2former#transformers.Mask2FormerForUniversalSegmentation).

threshold (`float`, *opcional*, valor predeterminado 0.5) : Umbral de puntuación de probabilidad para conservar las máscaras de instancias predichas.

mask_threshold (`float`, *opcional*, valor predeterminado 0.5) : Umbral a utilizar al convertir las máscaras predichas en valores binarios.

overlap_mask_area_threshold (`float`, *opcional*, valor predeterminado 0.8) : Umbral del área de la máscara de solapamiento para fusionar o descartar pequeñas partes desconectadas dentro de cada máscara de instancia binaria.

label_ids_to_fuse (`Set[int]`, *opcional*) : Las etiquetas en este estado fusionarán todas sus instancias. Por ejemplo, podríamos decir que solo puede haber un cielo en una imagen, pero varias personas, por lo que el ID de la etiqueta de cielo estaría en ese conjunto, pero no el de persona.

target_sizes (`List[Tuple]`, *opcional*) : Lista de longitud (batch_size), donde cada elemento de la lista (`Tuple[int, int]]`) corresponde al tamaño final solicitado (altura, ancho) de cada predicción del batch. Si se deja en None, las predicciones no se redimensionarán.

**Devuelve:** `List[Dict]`

Una lista de diccionarios, uno por imagen, donde cada diccionario contiene dos claves:
- **segmentation** -- un tensor de forma `(height, width)` en el que cada píxel representa un `segment_id`, establecido en `None` si no se encuentra ninguna máscara por encima de `threshold`. Si se especifica `target_sizes`, la segmentación se redimensiona a la entrada correspondiente de `target_sizes`.
- **segments_info** -- Un diccionario que contiene información adicional sobre cada segmento.
  - **id** -- un entero que representa el `segment_id`.
  - **label_id** -- Un entero que representa el identificador de etiqueta / clase semántica correspondiente a `segment_id`.
  - **was_fused** -- un valor booleano, `True` si `label_id` estaba en `label_ids_to_fuse`, `False` en caso contrario. Se fusionaron varias instancias de la misma clase / etiqueta y se les asignó un único `segment_id`.
  - **score** -- Puntuación de predicción del segmento con `segment_id`.

Convierte la salida de `Mask2FormerForUniversalSegmentationOutput` en predicciones de segmentación panóptica de imagen. Solo admite PyTorch.

