Khử lượng tử hóa một mô hình

Dequantizing chuyển các trọng số đã lượng tử hóa trở lại một kiểu dữ liệu độ chính xác cao hơn như bf16. Hãy dequantize một mô hình để tinh chỉnh hoàn toàn nó, để chạy nó trên phần cứng mà các kernel của phương pháp không hỗ trợ, hoặc để chuyển đổi nó sang một định dạng khác. Kết quả sẽ sử dụng bộ nhớ nhiều như một mô hình chưa được lượng tử hóa, và nó không khôi phục được độ chính xác đã mất do làm tròn.

Transformers thực hiện khử lượng tử hóa theo hai cách, tùy thuộc vào phương pháp.

Các phương thức khác sẽ gây ra NotImplementedError từ dequantize().

Khử lượng tử hóa sau khi tải

Gọi dequantize() trên một model đã được nạp. Mặc định, nó sẽ dùng dtype mà model được nạp vào. Truyền dtype để chọn một dtype khác.

import torch
from transformers import AutoModelForCausalLM, BitsAndBytesConfig

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-0.6B",
    quantization_config=BitsAndBytesConfig(load_in_4bit=True),
    device_map="auto",
)
model = model.dequantize(dtype=torch.bfloat16)

dequantize() cũng xóa quantization_config, do đó save_pretrained() sẽ lưu một checkpoint độ chính xác đầy đủ thông thường.

Khử lượng tử hóa khi tải

Truyền dequantize=True vào config của một phương thức hỗ trợ tính năng này. Các trọng số sẽ được khử lượng tử hóa khi tải, do đó các kernel đã lượng tử hóa sẽ không bao giờ được sử dụng. Ví dụ bên dưới tải các trọng số MXFP4 của gpt-oss ở dạng bf16.

from transformers import AutoModelForCausalLM, Mxfp4Config

model = AutoModelForCausalLM.from_pretrained(
    "openai/gpt-oss-20b",
    quantization_config=Mxfp4Config(dequantize=True),
    device_map="auto",
)

Một số phương thức tự động khử lượng tử hóa khi kernel của chúng không thể chạy. Ví dụ, GGUF sẽ chuyển sang khử lượng tử hóa khi không có kernel nào hỗ trợ các kiểu lượng tử hóa của tệp.