AQLM

La Cuantización Aditiva de Modelos de Lenguaje (AQLM) cuantiza varios pesos de forma conjunta y aprovecha las interdependencias entre ellos. AQLM representa grupos de 8 a 16 pesos como una suma de múltiples códigos vectoriales.

AQLM también permite el ajuste fino con LoRA mediante la biblioteca PEFT, y es totalmente compatible con torch.compile para una inferencia y un entrenamiento aún más rápidos.

Ejecuta el siguiente comando para instalar la biblioteca AQLM con soporte de kernel para inferencia y entrenamiento tanto en GPU como en CPU.

pip install aqlm[gpu,cpu]

Cargue un modelo cuantizado con AQLM mediante from_pretrained().

from transformers import AutoTokenizer, AutoModelForCausalLM

quantized_model = AutoModelForCausalLM.from_pretrained(
    "ISTA-DASLab/Mixtral-8x7b-AQLM-2Bit-1x16-hf",
    dtype="auto", 
    device_map="auto"
)

Configuraciones

Las configuraciones de cuantización AQLM varían principalmente en el número de libros de códigos utilizados, así como en el tamaño de los libros de códigos en bits. Las configuraciones más populares y los núcleos de inferencia compatibles se muestran a continuación.

Recursos

Ejecuta el cuaderno de demostración de AQLM para ver más ejemplos sobre cómo cuantizar un modelo, subir un modelo cuantizado al Hub y mucho más.

Para más cuadernos de demostración de ejemplo, visite el repositorio de AQLM.