Hugging Face's logo

Diffusers documentation

FluxControlNetModel

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

FluxControlNetModel

FluxControlNetModel é uma implementação do ControlNet para Flux.1.

O modelo ControlNet foi introduzido em Adding Conditional Control to Text-to-Image Diffusion Models por Lvmin Zhang, Anyi Rao e Maneesh Agrawala. Ele oferece um maior grau de controle sobre a geração de imagens a partir de texto ao condicionar o modelo em entradas adicionais, como mapas de bordas, mapas de profundidade, mapas de segmentação e pontos-chave para detecção de pose.

O resumo do artigo é:

Apresentamos o ControlNet, uma arquitetura de rede neural para adicionar controles de condicionamento espacial a grandes modelos de difusão de texto para imagem pré-treinados. O ControlNet trava os grandes modelos de difusão prontos para produção e reutiliza suas camadas de codificação profundas e robustas, pré-treinadas com bilhões de imagens, como uma base forte para aprender um conjunto diversificado de controles condicionais. A arquitetura neural é conectada por “convoluções zero” (camadas de convolução inicializadas em zero) que crescem progressivamente os parâmetros a partir de zero e garantem que nenhum ruído prejudicial possa afetar o ajuste fino. Testamos vários controles de condicionamento, por exemplo, bordas, profundidade, segmentação, pose humana, etc., com o Stable Diffusion, usando condições únicas ou múltiplas, com ou sem prompts. Mostramos que o treinamento dos ControlNets é robusto com conjuntos de dados pequenos (<50k) e grandes (>1m). Resultados extensos mostram que o ControlNet pode facilitar aplicações mais amplas para controlar modelos de difusão de imagem.

Carregando do formato original

Por padrão, o FluxControlNetModel deve ser carregado com from_pretrained().

from diffusers import FluxControlNetPipeline
from diffusers.models import FluxControlNetModel, FluxMultiControlNetModel

controlnet = FluxControlNetModel.from_pretrained("InstantX/FLUX.1-dev-Controlnet-Canny")
pipe = FluxControlNetPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", controlnet=controlnet)

controlnet = FluxControlNetModel.from_pretrained("InstantX/FLUX.1-dev-Controlnet-Canny")
controlnet = FluxMultiControlNetModel([controlnet])
pipe = FluxControlNetPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", controlnet=controlnet)

FluxControlNetModel

classe diffusers.FluxControlNetModel

< >

( patch_size: int = 1in_channels: int = 64num_layers: int = 19num_single_layers: int = 38attention_head_dim: int = 128num_attention_heads: int = 24joint_attention_dim: int = 4096pooled_projection_dim: int = 768guidance_embeds: bool = Falseaxes_dims_rope: list[int] = [16, 56, 56]num_mode: int = Noneconditioning_embedding_channels: int = None )

forward

< >

( hidden_states: Tensorcontrolnet_cond: Tensorcontrolnet_mode: Tensor = Noneconditioning_scale: float = 1.0encoder_hidden_states: Tensor = Nonepooled_projections: Tensor = Nonetimestep: LongTensor = Noneimg_ids: Tensor = Nonetxt_ids: Tensor = Noneguidance: Tensor = Nonejoint_attention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Parâmetros

  • hidden_states (torch.FloatTensor de forma (batch size, channel, height, width)) — hidden_states de entrada.
  • controlnet_cond (torch.Tensor) — O tensor de entrada condicional com forma (batch_size, sequence_length, hidden_size).
  • controlnet_mode (torch.Tensor) — O tensor de modo de forma (batch_size, 1).
  • conditioning_scale (float, padrão 1.0) — Fator de escala para as saídas do ControlNet.
  • encoder_hidden_states (torch.FloatTensor de forma (batch size, sequence_len, embed_dims)) — Incorporações condicionais (incorporações calculadas a partir das condições de entrada, como prompts) a serem usadas.
  • pooled_projections (torch.FloatTensor de forma (batch_size, projection_dim)) — Projeções dos embeddings das condições de entrada.
  • timestep ( torch.LongTensor) — Usado para indicar o passo de desruido.
  • img_ids (torch.Tensor) — ids posicionais para os tokens de imagem.
  • txt_ids (torch.Tensor) — ids posicionais para os tokens de texto.
  • guidance (torch.Tensor, opcional) — Tensor de escala de orientação usado pelas variantes destiladas por orientação do modelo.
  • joint_attention_kwargs (dict, opcional) — Um dicionário de kwargs que, se especificado, é passado ao AttentionProcessor conforme definido em self.processor em diffusers.models.attention_processor.
  • return_dict (bool, opcional, padrão True) — Se deve ou não retornar um ~models.transformer_2d.Transformer2DModelOutput em vez de uma tupla simples.

O método forward do FluxTransformer2DModel.

FluxControlNetOutput

classe diffusers.models.controlnets.FluxControlNetOutput

< >

( controlnet_block_samples: tuple[torch.Tensor]controlnet_single_block_samples: tuple[torch.Tensor] )

Update on GitHub

←ControlNetUnionModel HunyuanDiT2DControlNetModel→