Diffusers documentation

BriaFibo2Transformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

BriaFibo2Transformer2DModel

Bria Fibo 2.0 的单流 Transformer 基于 Z-Image 块构建。其文本条件通过 Qwen3-VL 以两种方式引入:Perceiver resampler 将文本编码器的隐藏状态转换为 gist tokens,使其与图像 tokens 共享同一数据流;此外,五个块在各自的 Qwen3-VL 层组中添加了带门控的交叉注意力。在执行编辑时,待编辑图像的潜变量作为干净 tokens 加入数据流,每张图像拥有独立的 RoPE 平面。

BriaFibo2Transformer2DModel

类 diffusers.BriaFibo2Transformer2DModel

< >

( in_channels: int = 32patch_size: int = 2dim: int = 3584n_layers: int = 44n_refiner_layers: int = 2n_heads: int = 28norm_eps: float = 1e-05cap_feat_dim: int = 7680injection_layer_ids: tuple = (6, 14, 22, 30, 38)perceiver_num_layers: int = 2min_num_gist_tokens: int = 256max_num_gist_tokens: int = 512gist_step: int = 64gist_min_text_len: int = 256gist_max_text_len: int = 2048rope_theta: float = 256.0t_scale: float = 1000.0axes_dims: tuple = (32, 48, 48)axes_lens: tuple = (2048, 512, 512) )

forward

< >

( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorencoder_attention_mask: typing.Optional[torch.Tensor] = Nonecontext_latents: list[torch.Tensor] | None = Nonereturn_dict: bool = True ) → Transformer2DModelOutput or tuple

参数

  • hidden_states(形状为 (batch_size, in_channels, height, width) 的 torch.Tensor)— 正在生成的图像的归一化 VAE 潜变量。
  • timestep(形状为 (batch_size,) 的 torch.Tensor)— [0, 1] 范围内的噪声水平:1 表示纯噪声,0 表示清晰图像。
  • encoder_hidden_states (torch.Tensor,形状为 (batch_size, 1 + len(injection_layer_ids), text_len, cap_feat_dim)) — 文本编码器特征:首先是 Perceiver 的特征束,随后是每个注入块对应的一个特征束。
  • encoder_attention_mask(形状为 (batch_size, text_len) 的 torch.Tensor,可选) — 真实文本 token 的布尔掩码,用于填充至相同长度的提示词批次。若未进行填充,请保持为 None。
  • context_latents (list[torch.Tensor], 可选) — 待编辑图像的归一化 VAE 潜变量,按顺序为每张图像提供一个形状为 (batch_size, in_channels, height, width) 的张量。每张图像可以具有不同的尺寸。它们的 token 作为干净 token 为生成过程提供条件,且不会被预测。
  • return_dict (bool,默认为 True) — 是否返回 Transformer2DModelOutput 而不是元组。

返回值

Transformer2DModelOutput 或 tuple

预测速度,形状为 hidden_states。如果 return_dict 为 False,则返回一个元组,其第一个元素为该张量。

Update on GitHub