Parámetros

• spatial_attention_block_skip_range (int, opcional, valor predeterminado None) — El número de veces que se omite una difusión específica de atención espacial antes de calcular los estados de atención para reutilizarlos. Si se establece en el valor N, el cálculo de la atención se omitirá N - 1 veces (es decir, se reutilizarán los estados de atención anteriores) antes de calcular nuevamente los nuevos estados de atención.
• temporal_attention_block_skip_range (int, opcional, valor predeterminado None) — El número de veces que se omite una difusión específica de atención temporal antes de calcular los estados de atención para reutilizar. Si se establece en el valor N, el cálculo de la atención se omitirá N - 1 veces (es decir, se reutilizarán los estados de atención antiguos) antes de calcular nuevamente los nuevos estados de atención.
• cross_attention_block_skip_range (int, opcional, valor predeterminado None) — El número de veces que se omite una difusión específica de atención cruzada antes de calcular los estados de atención para reutilizarlos. Si se establece en el valor N, el cálculo de la atención se omitirá N - 1 veces (es decir, se reutilizarán los estados de atención anteriores) antes de calcular nuevamente los nuevos estados de atención.
• spatial_attention_timestep_skip_range (tuple[int, int], por defecto (100, 800)) — El rango de pasos temporales que se omitirán en la capa de atención espacial. Los cálculos de atención se omitirán condicionalmente si el paso temporal actual se encuentra dentro del rango especificado.
• temporal_attention_timestep_skip_range (tuple[int, int], por defecto (100, 800)) — El rango de pasos temporales que se omitirán en la capa de atención temporal. Los cálculos de atención se omitirán condicionalmente si el paso temporal actual se encuentra dentro del rango especificado.
• cross_attention_timestep_skip_range (tuple[int, int], por defecto (100, 800)) — El rango de timesteps que se omitirá en la capa de cross-attention. Los cálculos de atención se omitirán condicionalmente si el timestep actual se encuentra dentro del rango especificado.
• spatial_attention_block_identifiers (tuple[str, ...]) — Los identificadores para comparar con los nombres de las capas y determinar si la capa es una capa de atención espacial.
• temporal_attention_block_identifiers (tuple[str, ...]) — Los identificadores que se comparan con los nombres de las capas para determinar si la capa es una capa de atención temporal.
• cross_attention_block_identifiers (tuple[str, ...]) — Los identificadores que se comparan con los nombres de las capas para determinar si la capa es una capa de atención cruzada.

Parámetros

• module (torch.nn.Module) — El módulo al que se aplicará Pyramid Attention Broadcast.
• config (PyramidAttentionBroadcastConfig | None, optional, por defecto None) — La configuración a utilizar para Pyramid Attention Broadcast.

Parámetros

• spatial_attention_block_skip_range (int, valor predeterminado 2) — Calcula los estados de atención cada N iteraciones. Si se establece en N, el cálculo de la atención se omitirá N - 1 veces (es decir, se reutilizarán los estados de atención en caché) antes de calcular nuevamente los nuevos estados de atención.
• temporal_attention_block_skip_range (int, opcional, valor predeterminado None) — Calcula los estados de atención cada N iteraciones. Si se establece en N, el cálculo de la atención se omitirá N - 1 veces (es decir, se reutilizarán los estados de atención en caché) antes de calcular nuevamente los nuevos estados de atención.
• spatial_attention_timestep_skip_range (tuple[float, float], por defecto (-1, 681)) — El rango de pasos de tiempo (timesteps) dentro del cual se puede omitir el cálculo de la atención espacial sin una pérdida significativa de calidad. Esto debe determinarse por el usuario en función del modelo subyacente. El primer valor de la tupla es el límite inferior y el segundo valor es el límite superior. Típicamente, los pasos de tiempo de difusión para el desruido (denoising) están en el rango inverso de 0 a 1000 (es decir, el desruido comienza en el paso 1000 y termina en el paso 0). Para los valores por defecto, esto significaría que la omisión del cálculo de la atención espacial solo sería aplicable después de alcanzar el paso de desruido 681, y continuaría hasta el final del proceso de desruido.
• temporal_attention_timestep_skip_range (tuple[float, float], opcional, valor predeterminado None) — El rango de pasos de tiempo (timesteps) dentro del cual se puede omitir el cálculo de la atención temporal sin una pérdida significativa de calidad. Esto debe determinarse por el usuario en función del modelo subyacente. El primer valor de la tupla es el límite inferior y el segundo valor es el límite superior. Por lo general, los pasos de tiempo de difusión para el desruido (denoising) están en el rango inverso de 0 a 1000 (es decir, el desruido comienza en el paso 1000 y termina en el paso 0).
• low_frequency_weight_update_timestep_range (tuple[int, int], por defecto (99, 901)) — El rango de pasos de tiempo en el que se aplica la actualización de la escalación de pesos de baja frecuencia. El primer valor de la tupla es el límite inferior y el segundo valor es el límite superior del rango de pasos de tiempo. La función de callback para la actualización se llama solo dentro de este rango.
• high_frequency_weight_update_timestep_range (tuple[int, int], por defecto (-1, 301)) — El rango de pasos de tiempo en el que se aplica la actualización de la escalada de pesos de alta frecuencia. El primer valor de la tupla es el límite inferior y el segundo valor es el límite superior del rango de pasos de tiempo. La función de callback para la actualización se llama solo dentro de este rango.
• alpha_low_frequency (float, por defecto 1.1) — El peso para escalar las actualizaciones de baja frecuencia. Se utiliza para aproximar la rama incondicional a partir de las salidas de la rama condicional.
• alpha_high_frequency (float, por defecto 1.1) — El peso para escalar las actualizaciones de alta frecuencia. Se utiliza para aproximar la rama incondicional a partir de las salidas de la rama condicional.
• unconditional_batch_skip_range (int, por defecto 5) — Procesa la rama incondicional cada N iteraciones. Si se establece en N, el cálculo de la rama incondicional se omitirá N - 1 veces (es decir, se reutilizarán los estados de la rama incondicional en caché) antes de calcular nuevamente los nuevos estados de la rama incondicional.
• unconditional_batch_timestep_skip_range (tuple[float, float], por defecto (-1, 641)) — El rango de pasos de tiempo dentro del cual se puede omitir el cálculo de la rama incondicional sin una pérdida significativa de calidad. Esto debe determinarse por el usuario en función del modelo subyacente. El primer valor de la tupla es el límite inferior y el segundo valor es el límite superior.
• spatial_attention_block_identifiers (tuple[str, ...], por defecto ("blocks.*attn1", "transformer_blocks.*attn1", "single_transformer_blocks.*attn1")) — Los identificadores para hacer coincidir los bloques de atención espacial en el modelo. Si el nombre del bloque contiene alguno de estos identificadores, se aplicará FasterCache a ese bloque. Esto puede ser el nombre completo de la capa, nombres parciales de capa o patrones de expresión regular. La coincidencia siempre se realizará mediante una coincidencia de expresión regular.
• temporal_attention_block_identifiers (tuple[str, ...], por defecto ("temporal_transformer_blocks.*attn1",)) — Los identificadores para hacer coincidir los bloques de atención temporal en el modelo. Si el nombre del bloque contiene alguno de estos identificadores, se aplicará FasterCache a ese bloque. Esto puede ser el nombre completo de la capa, un nombre parcial de la capa o patrones de expresión regular. La coincidencia siempre se realizará mediante una coincidencia de expresión regular.
• attention_weight_callback (Callable[[torch.nn.Module], float], por defecto None) — La función de callback para determinar el peso con el que se escalan las salidas de atención. Esta función debe recibir el módulo de atención como entrada y devolver un valor de tipo float. Se utiliza para aproximar la rama incondicional a partir de las salidas de la rama condicional. Si no se proporciona, el peso por defecto es 0.5 para todos los pasos de tiempo. Típicamente, tal como se describe en el artículo, este peso debe aumentar gradualmente de 0 a 1 a medida que avanza la inferencia. Se anima a los usuarios a experimentar y proporcionar programaciones de pesos personalizadas que tengan en cuenta el número de pasos de inferencia y el comportamiento del modelo subyacente a medida que avanza el desruido.
• low_frequency_weight_callback (Callable[[torch.nn.Module], float], por defecto None) — La función de callback para determinar el peso con el que se escalan las actualizaciones de baja frecuencia. Si no se proporciona, el peso por defecto es 1.1 para los pasos de tiempo dentro del rango especificado (tal como se describe en el artículo).
• high_frequency_weight_callback (Callable[[torch.nn.Module], float], por defecto None) — La función de callback para determinar el peso con el que se escalan las actualizaciones de alta frecuencia. Si no se proporciona, el peso por defecto es 1.1 para los pasos de tiempo dentro del rango especificado (tal como se describe en el artículo).
• tensor_format (str, por defecto "BCFHW") — El formato de los tensores de entrada. Debe ser uno de "BCFHW", "BFCHW" o "BCHW". El formato se utiliza para dividir los fotogramas latentes individuales a fin de calcular las componentes de baja y alta frecuencia.
• is_guidance_distilled (bool, por defecto False) — Indica si el modelo es de destilación de guía o no. Si el modelo es de destilación de guía, FasterCache no se aplicará a nivel de denoiser para omitir el cálculo de la rama incondicional (ya que no existe).
• _unconditional_conditional_input_kwargs_identifiers (list[str], por defecto ("hidden_states", "encoder_hidden_states", "timestep", "attention_mask", "encoder_attention_mask")) — Los identificadores para hacer coincidir los kwargs de entrada que contienen las entradas incondicionales y condicionales concatenadas por lote. Si el nombre de los kwargs de entrada contiene alguno de estos identificadores, FasterCache dividirá las entradas en ramas incondicional y condicional. Esto debe ser una lista de nombres exactos de kwargs de entrada que contienen las entradas incondicionales y condicionales concatenadas por lote.

Parámetros

• module (torch.nn.Module) — El módulo de pytorch al que se aplicará FasterCache. Por lo general, debe ser una arquitectura de transformer compatible con Diffusers, como CogVideoXTransformer3DModel, aunque también pueden funcionar implementaciones externas.
• config (FasterCacheConfig) — La configuración a utilizar para FasterCache.

Parámetros

• threshold (float, por defecto 0.05) — El umbral para determinar si se requiere o no una pasada hacia adelante a través de todas las capas del modelo. Un umbral más alto suele dar como resultado una pasada hacia adelante a través de un menor número de capas y una inferencia más rápida, pero puede llevar a una menor calidad de generación. Un umbral más bajo puede no resultar en una aceleración significativa de la generación. El umbral se compara con la diferencia absmean de los residuos entre las salidas actuales y las salidas en caché del primer bloque transformer. Si la diferencia es inferior al umbral, se omite la pasada hacia adelante.

Parámetros

• module (torch.nn.Module) — El módulo de pytorch al que se aplicará FBCache. Por lo general, debe ser una arquitectura de transformer compatible con Diffusers, como CogVideoXTransformer3DModel, aunque también pueden funcionar implementaciones externas.
• config (FirstBlockCacheConfig) — La configuración que se utilizará para aplicar el método FBCache.

Parámetros

• cache_interval (int, por defecto 5) — El intervalo entre pasos de cálculo completos. Después de un cálculo completo, las salidas en caché (predichas) se reutilizan durante este número de pasos de desruido posteriores antes de actualizarse con una nueva pasada completa hacia adelante.
• disable_cache_before_step (int, valor predeterminado 3) — El índice del paso de desruido antes del cual se desactiva la caché, lo que significa que se realiza un cálculo completo para los pasos iniciales (de 0 a disable_cache_before_step - 1) para recopilar datos para las aproximaciones de la serie de Taylor. Durante estos pasos, se actualizan los factores de Taylor, pero no se aplican la caché ni las predicciones. La caché comienza en este paso.
• disable_cache_after_step (int, opcional, valor predeterminado None) — El índice del paso de desruido a partir del cual se desactiva la caché. Si se establece, para los pasos >= a este valor, todos los módulos ejecutan cálculos completos sin predicciones ni actualizaciones de estado, garantizando la precisión en las etapas posteriores si es necesario.
• max_order (int, por defecto 1) — El orden más alto en la expansión de la serie de Taylor para aproximar las salidas del módulo. Los órdenes más altos proporcionan mejores aproximaciones, pero aumentan el uso de cómputo y memoria.
• taylor_factors_dtype (torch.dtype, por defecto torch.bfloat16) — Tipo de datos utilizado para almacenar y calcular los factores de la serie de Taylor. Una precisión más baja reduce la memoria, pero puede afectar la estabilidad; una precisión más alta mejora la exactitud a costa de usar más memoria.
• skip_predict_identifiers (list[str], opcional, valor predeterminado None) — Patrones de expresión regular (usando re.fullmatch) para nombres de módulos que se colocarán como “skip” en el modo “cache”. En este modo, el módulo se calcula por completo durante los pasos iniciales o de actualización, pero devuelve un tensor de ceros (que coincide con la forma registrada) durante los pasos de predicción para omitir el cálculo de forma económica.
• cache_identifiers (list[str], opcional, valor predeterminado None) — Patrones de expresiones regulares (usando re.fullmatch) para nombres de módulos que se colocarán en el modo de caché de series de Taylor, donde las salidas se aproximan y se almacenan en caché para su reutilización.
• use_lite_mode (bool, opcional, valor predeterminado False) — Habilita una variante ligera de TaylorSeer que minimiza el uso de memoria aplicando patrones predefinidos para omitir y almacenar en caché (p. ej., omitir bloques y almacenar en caché las proyecciones). Esto anula cualquier inactive_identifiers o active_identifiers personalizado.

Parámetros

• module (torch.nn.Module) — El subárbol del modelo al que se aplicarán los hooks.
• config (TaylorSeerCacheConfig) — Configuración de la caché.

Parámetros

• threshold (float, por defecto 0.06) — El umbral para el error acumulado. Si el error acumulado es inferior a este umbral, se omite el cálculo del bloque. Un umbral más alto permite un salto más agresivo (más rápido), pero puede degradar la calidad.
• max_skip_steps (int, por defecto 3) — El número máximo de pasos consecutivos que se pueden omitir (K en el artículo).
• retention_ratio (float, por defecto 0.2) — La fracción de pasos iniciales durante los cuales se desactiva el salto para garantizar la estabilidad. Por ejemplo, si num_inference_steps es 28 y retention_ratio es 0.2, los primeros 6 pasos nunca se omitirán.
• num_inference_steps (int, por defecto 28) — El número de pasos de inferencia utilizados en el pipeline. Esto es necesario para interpolar mag_ratios correctamente.
• mag_ratios (torch.Tensor, opcional) — Las relaciones de magnitud precalculadas para el modelo. Estas dependen del checkpoint. Si no se proporcionan, debe establecer calibrate=True para calcularlas para su modelo específico. Para los modelos Flux, puede usar diffusers.hooks.mag_cache.FLUX_MAG_RATIOS.
• calibrate (bool, por defecto False) — Si es True, habilita el modo de calibración. En este modo, no se omiten bloques. En su lugar, el hook calcula las proporciones de magnitud para la ejecución actual y las registra al final. Utilice esto para obtener mag_ratios para nuevos modelos o programadores.

Parámetros

• module (torch.nn.Module) — El módulo al que se aplicará MagCache.
• config (MagCacheConfig) — La configuración para MagCache.

Parámetros

• threshold (float, por defecto 0.25) — Presupuesto acumulado de L1 relativo. Valores más grandes reutilizan la caché con más frecuencia.
• residual_order (int, por defecto 1) — Orden utilizado para predecir el residual del transformer. 0 reutiliza directamente el residual más reciente y 1 extrapola linealmente a partir de las dos ejecuciones completas más recientes.
• retention_steps (int, por defecto 1) — Número de pasos iniciales del programador que siempre se ejecutan por completo.
• cache_end_steps (int, por defecto 1) — Número de pasos finales del programador que siempre se ejecutan por completo.
• max_consecutive_cached (int, por defecto 2) — Máximo número de reutilizaciones consecutivas de residuales por contexto de caché antes de forzar una ejecución completa. 0 deshabilita el límite.
• power_exp (float, por defecto 3.0) — Exponente del prior de potencia de señal limpia de SEA. SeaCache utiliza 3.0 para las características de video.
• raw_vision_callback (Callable, opcional) — Adaptador de modelo avanzado que devuelve los latentes visuales que forman la salida generada, cada uno con forma (C, T, H, W). Incluye los fotogramas de condicionamiento limpios dentro de la trayectoria de salida, pero excluye las pistas visuales separadas que no forman parte de la salida. Si se omite, se utiliza un adaptador integrado si está disponible.

Parámetros

• module (torch.nn.Module) — Módulo Transformer a cachear.
• config (SeaCacheConfig) — Configuración de SeaCache.