Diffusers documentation
SD3Transformer2D
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v0.42.1).
SD3Transformer2D
Lớp này hữu ích khi chỉ nạp trọng số vào SD3Transformer2DModel. Nếu bạn cần nạp trọng số vào text encoder hoặc cả text encoder và SD3Transformer2DModel, hãy xem lớp SD3LoraLoaderMixin thay thế.
Lớp SD3Transformer2DLoadersMixin hiện tại chỉ tải trọng số IP-Adapter, nhưng sẽ được sử dụng trong tương lai để lưu trọng số và tải LoRA.
Để tìm hiểu thêm về cách tải trọng số LoRA, hãy xem hướng dẫn tải LoRA.
SD3Transformer2DLoadersMixin
Tải các lớp IP-Adapters và LoRA vào [SD3Transformer2DModel].
_load_ip_adapter_weights
< source >( state_dict: dictlow_cpu_mem_usage: bool = True )
Tham số
- state_dict (
Dict) — State dict với các khóa “ip_adapter”, chứa các tham số cho attention processors, và “image_proj”, chứa các tham số cho image projection net. - low_cpu_mem_usage (
bool, tùy chọn, mặc định làTruenếu phiên bản torch >= 1.9.0, ngược lại làFalse) — Tăng tốc quá trình tải mô hình bằng cách chỉ tải trọng số được huấn luyện trước mà không khởi tạo trọng số. Điều này cũng cố gắng không sử dụng nhiều hơn 1 lần kích thước mô hình trong bộ nhớ CPU (bao gồm bộ nhớ đỉnh) trong khi tải mô hình. Chỉ hỗ trợ cho PyTorch >= 1.9.0. Nếu bạn đang sử dụng phiên bản PyTorch cũ hơn, việc đặt tham số này thànhTruesẽ gây ra lỗi.
Đặt các bộ xử lý chú ý IP-Adapter, dự ảnh và nạp state_dict.