Diffusers documentation
SD3Transformer2D
SD3Transformer2D
Cette classe est utile lorsque vous chargez uniquement les poids dans un SD3Transformer2DModel. Si vous devez charger les poids dans l'encodeur de texte ou dans un encodeur de texte et un SD3Transformer2DModel, consultez plutôt la classe SD3LoraLoaderMixin.
La classe SD3Transformer2DLoadersMixin ne charge actuellement que les poids IP-Adapter, mais sera utilisée à l’avenir pour enregistrer les poids et charger les LoRAs.
Pour en savoir plus sur la manière de charger les poids LoRA, consultez le guide de chargement LoRA.
SD3Transformer2DLoadersMixin
Charger les IP-Adapters et les couches LoRA dans un [SD3Transformer2DModel].
_load_ip_adapter_weights
< source >( state_dict: dictlow_cpu_mem_usage: bool = True )
Paramètres
- state_dict (
Dict) — State dict with keys “ip_adapter”, which contains parameters for attention processors, and “image_proj”, which contains parameters for image projection net. - low_cpu_mem_usage (
bool, facultatif, par défautTruesi la version de torch est >= 1.9.0, sinonFalse) — Accélère le chargement du modèle en ne chargeant que les poids pré-entraînés et sans initialiser les poids. Cela permet également de ne pas utiliser plus de 1 fois la taille du modèle en mémoire CPU (y compris la mémoire de pointe) lors du chargement du modèle. Uniquement pris en charge pour PyTorch >= 1.9.0. Si vous utilisez une version plus ancienne de PyTorch, définir cet argument surTruedéclenchera une erreur.
Définit les processeurs d'attention IP-Adapter, la projection d'image et charge le state_dict.