Hugging Face's logo

Diffusers documentation

GlmImageTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

GlmImageTransformer2DModel

Un modelo Diffusion Transformer para datos 2D de [GlmImageTransformer2DModel] (TODO).

GlmImageTransformer2DModel

clase diffusers.GlmImageTransformer2DModel

< >

( patch_size: int = 2in_channels: int = 16out_channels: int = 16num_layers: int = 30attention_head_dim: int = 40num_attention_heads: int = 64text_embed_dim: int = 1472time_embed_dim: int = 512condition_dim: int = 256prior_vq_quantizer_codebook_size: int = 16384 )

Parámetros

  • patch_size (int, por defecto 2) — El tamaño de los parches a utilizar en la capa de incrustación de parches.
  • in_channels (int, por defecto 16) — El número de canales en la entrada.
  • num_layers (int, por defecto 30) — El número de capas de bloques Transformer a utilizar.
  • attention_head_dim (int, por defecto 40) — El número de canales en cada cabeza.
  • num_attention_heads (int, por defecto 64) — El número de cabezas a utilizar para la atención multi-cabeza.
  • out_channels (int, por defecto 16) — El número de canales en la salida.
  • text_embed_dim (int, por defecto 1472) — Dimensión de entrada de las incrustaciones de texto del codificador de texto.
  • time_embed_dim (int, por defecto 512) — Dimensión de salida de las incrustaciones de paso de tiempo.
  • condition_dim (int, por defecto 256) — La dimensión de la incrustación de las condiciones de resolución estilo SDXL de entrada (original_size, target_size, crop_coords).
  • pos_embed_max_size (int, por defecto 128) — La resolución máxima de los embeddings posicionales, de la cual se toman rebanadas de forma H x W y se suman a los latentes parcheados de entrada, donde H y W son la altura y el ancho del latente, respectivamente. Un valor de 128 significa que la altura y el ancho máximos admitidos para la generación de imágenes es 128 * vae_scale_factor * patch_size => 128 * 8 * 2 => 2048.
  • sample_size (int, por defecto 128) — La resolución base de los latentes de entrada. Si no se proporciona altura/ancho durante la generación, este valor se utiliza para determinar la resolución como sample_size * vae_scale_factor => 128 * 8 => 1024

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensorprior_token_id: Tensorprior_token_drop: Tensortimestep: LongTensortarget_size: Tensorcrop_coords: Tensorattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = Trueattention_mask: typing.Optional[torch.Tensor] = Nonekv_caches: diffusers.models.transformers.transformer_glm_image.GlmImageKVCache | None = Noneimage_rotary_emb: tuple[torch.Tensor, torch.Tensor] | list[tuple[torch.Tensor, torch.Tensor]] | None = None )

Parámetros

  • hidden_states (torch.Tensor de forma (batch_size, in_channels, height, width)) — Entrada hidden_states.
  • encoder_hidden_states (torch.Tensor de forma (batch_size, sequence_len, embed_dims)) — Incrustaciones condicionales (incrustaciones calculadas a partir de las condiciones de entrada, como los prompts) que se deben utilizar.
  • prior_token_id (torch.Tensor) — Ids de tokens para la búsqueda de la incrustación previa.
  • prior_token_drop (torch.Tensor) — Máscara booleana que indica qué embeddings previos deben descartarse (ponerse a cero).
  • timestep (torch.LongTensor) — Se utiliza para indicar el paso de desruido.
  • target_size (torch.Tensor) — Tamaño de imagen objetivo para la condición.
  • crop_coords (torch.Tensor) — Coordenadas de recorte para la condición.
  • attention_kwargs (dict, opcional) — Un diccionario de kwargs que, si se especifica, se pasa al AttentionProcessor definido en self.processor dentro de diffusers.models.attention_processor.
  • return_dict (bool, opcional, valor predeterminado True) — Indica si se debe devolver un ~models.transformer_2d.Transformer2DModelOutput en lugar de una tupla simple.
  • attention_mask (torch.Tensor, opcional) — Máscara aplicada a las puntuaciones de atención.
  • kv_caches (GlmImageKVCache, opcional) — Cachés de claves/valores precalculados que se utilizan para acelerar la inferencia.
  • image_rotary_emb (tuple de torch.Tensor, opcional) — Incrustaciones posicionales rotatorias precalculadas.

El método forward de GlmImageTransformer2DModel.

Update on GitHub

←FluxTransformer2DModel HeliosTransformer3DModel→