Diffusers documentation
BriaFibo2Transformer2DModel
BriaFibo2Transformer2DModel
Bria Fibo 2.0 的单流 Transformer 基于 Z-Image 块构建。其文本条件通过 Qwen3-VL 以两种方式引入:Perceiver resampler 将文本编码器的隐藏状态转换为 gist tokens,使其与图像 tokens 共享同一数据流;此外,五个块在各自的 Qwen3-VL 层组中添加了带门控的交叉注意力。在执行编辑时,待编辑图像的潜变量作为干净 tokens 加入数据流,每张图像拥有独立的 RoPE 平面。
BriaFibo2Transformer2DModel
类 diffusers.BriaFibo2Transformer2DModel
< source >( in_channels: int = 32patch_size: int = 2dim: int = 3584n_layers: int = 44n_refiner_layers: int = 2n_heads: int = 28norm_eps: float = 1e-05cap_feat_dim: int = 7680injection_layer_ids: tuple = (6, 14, 22, 30, 38)perceiver_num_layers: int = 2min_num_gist_tokens: int = 256max_num_gist_tokens: int = 512gist_step: int = 64gist_min_text_len: int = 256gist_max_text_len: int = 2048rope_theta: float = 256.0t_scale: float = 1000.0axes_dims: tuple = (32, 48, 48)axes_lens: tuple = (2048, 512, 512) )
forward
< source >( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorencoder_attention_mask: typing.Optional[torch.Tensor] = Nonecontext_latents: list[torch.Tensor] | None = Nonereturn_dict: bool = True ) → Transformer2DModelOutput or tuple
参数
- hidden_states(形状为
(batch_size, in_channels, height, width)的torch.Tensor)— 正在生成的图像的归一化 VAE 潜变量。 - timestep(形状为
(batch_size,)的torch.Tensor)—[0, 1]范围内的噪声水平:1 表示纯噪声,0 表示清晰图像。 - encoder_hidden_states (
torch.Tensor,形状为(batch_size, 1 + len(injection_layer_ids), text_len, cap_feat_dim)) — 文本编码器特征:首先是 Perceiver 的特征束,随后是每个注入块对应的一个特征束。 - encoder_attention_mask(形状为
(batch_size, text_len)的torch.Tensor,可选) — 真实文本 token 的布尔掩码,用于填充至相同长度的提示词批次。若未进行填充,请保持为None。 - context_latents (
list[torch.Tensor], 可选) — 待编辑图像的归一化 VAE 潜变量,按顺序为每张图像提供一个形状为(batch_size, in_channels, height, width)的张量。每张图像可以具有不同的尺寸。它们的 token 作为干净 token 为生成过程提供条件,且不会被预测。 - return_dict (
bool,默认为True) — 是否返回 Transformer2DModelOutput 而不是元组。
返回值
Transformer2DModelOutput 或 tuple
预测速度,形状为
hidden_states。如果 return_dict 为 False,则返回一个元组,其第一个元素为该张量。