SD3Transformer2D

이 클래스는 SD3Transformer2DModel에 오직 가중치를 로드할 때 유용합니다. 텍스트 인코더 또는 텍스트 인코더와 SD3Transformer2DModel에 가중치를 로드해야 하는 경우, 대신 SD3LoraLoaderMixin 클래스를 확인하세요.

SD3Transformer2DLoadersMixin 클래스는 현재 IP-Adapter 가중치만 로드하지만, 향후 가중치 저장 및 LoRA 로딩에 사용될 예정입니다.

LoRA 가중치를 로드하는 방법에 대해 자세히 알아보려면 LoRA 로드 가이드를 참조하세요.

SD3Transformer2DLoadersMixin

( )

[SD3Transformer2DModel]에 IP-Adapters와 LoRA 레이어를 로드합니다.

( state_dict: dictlow_cpu_mem_usage: bool = True )

매개변수

state_dict (Dict) — “ip_adapter” 키는 attention processor의 파라미터를, “image_proj” 키는 image projection net의 파라미터를 포함하는 state dict입니다.
low_cpu_mem_usage (bool, 선택 사항, torch 버전이 1.9.0 이상이면 기본값은 True, 그 외에는 False) — 가중치를 초기화하지 않고 사전 학습된 가중치만 로드하여 모델 로딩 속도를 높입니다. 또한 모델 로딩 중 CPU 메모리(피크 메모리 포함)를 모델 크기의 1배를 초과하지 않도록 시도합니다. PyTorch 1.9.0 이상에서만 지원됩니다. PyTorch의 이전 버전을 사용하는 경우 이 인수를 True로 설정하면 오류가 발생합니다.

IP-Adapter attention 프로세서, 이미지 프로젝션, state_dict를 설정하고 로드합니다.