Diffusers documentation
LongCatImageTransformer2DModel
LongCatImageTransformer2DModel
可以使用以下代码片段加载该模型。
from diffusers import LongCatImageTransformer2DModel
transformer = LongCatImageTransformer2DModel.from_pretrained("meituan-longcat/LongCat-Image ", subfolder="transformer", dtype=torch.bfloat16)LongCatImageTransformer2DModel
class diffusers.LongCatImageTransformer2DModel
< source >( patch_size: int = 1in_channels: int = 64num_layers: int = 19num_single_layers: int = 38attention_head_dim: int = 128num_attention_heads: int = 24joint_attention_dim: int = 3584pooled_projection_dim: int = 3584axes_dims_rope: list[int] = [16, 56, 56] )
Longcat-Image 中引入的 Transformer 模型。
forward
< source >( hidden_states: Tensorencoder_hidden_states: Tensor = Nonetimestep: LongTensor = Noneimg_ids: Tensor = Nonetxt_ids: Tensor = Noneguidance: Tensor = Nonereturn_dict: bool = True )
参数
- hidden_states（形状为
(batch size, channel, height, width)的torch.FloatTensor）— 输入的hidden_states。 - encoder_hidden_states (
torch.FloatTensor，形状为(batch size, sequence_len, embed_dims)) — 要使用的条件嵌入（由输入条件（例如提示词）计算得出的嵌入）。 - timestep (
torch.LongTensor) — 用于指示去噪步骤。 - img_ids (
torch.Tensor) — 用于计算旋转位置嵌入的图像位置 ID。 - txt_ids (
torch.Tensor) — 用于计算旋转位置嵌入的文本位置 ID。 - guidance (
torch.Tensor, 可选) — 用于模型引导蒸馏变体的引导尺度嵌入。 - return_dict (
bool，可选，默认为True) — 是否返回~models.transformer_2d.Transformer2DModelOutput而不是普通的元组。
前向方法。