Diffusers documentation
SD3Transformer2D
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v0.42.1).
SD3Transformer2D
Esta clase es útil cuando solo se cargan pesos en un SD3Transformer2DModel. Si necesitas cargar pesos en el codificador de texto o en un codificador de texto y un SD3Transformer2DModel, consulta en su lugar la clase SD3LoraLoaderMixin.
La clase SD3Transformer2DLoadersMixin actualmente solo carga pesos de IP-Adapter, pero se utilizará en el futuro para guardar pesos y cargar LoRAs.
Para obtener más información sobre cómo cargar los pesos de LoRA, consulte la guía de carga de LoRA.
SD3Transformer2DLoadersMixin
Carga adaptadores IP y capas LoRA en un [SD3Transformer2DModel].
_load_ip_adapter_weights
< source >( state_dict: dictlow_cpu_mem_usage: bool = True )
Parámetros
- state_dict (
Dict) — State dict con las claves “ip_adapter”, que contiene los parámetros para los procesadores de atención, y “image_proj”, que contiene los parámetros para la red de proyección de imagen. - low_cpu_mem_usage (
bool, opcional, por defectoTruesi la versión de torch >= 1.9.0, en caso contrarioFalse) — Acelera la carga del modelo cargando solo los pesos preentrenados y sin inicializar los pesos. Esto también intenta no usar más de 1x el tamaño del modelo en memoria de CPU (incluida la memoria pico) durante la carga del modelo. Solo compatible con PyTorch >= 1.9.0. Si estás usando una versión anterior de PyTorch, establecer este argumento enTruegenerará un error.
Establece los procesadores de atención de IP-Adapter, la proyección de imagen y carga state_dict.