GGUF

Hugging Face Hub поддерживает все форматы файлов, но имеет встроенные функции для формата GGUF — бинарного формата, оптимизированного для быстрого загрузки и сохранения моделей, что делает его высокоэффективным для задач инференса. GGUF разработан для использования с GGML и другими исполнителями. GGUF был создан @ggerganov, который также является разработчиком llama.cpp — популярного фреймворка инференса LLM на C/C++. Модели, изначально разработанные в фреймворках вроде PyTorch, можно конвертировать в формат GGUF для использования с этими движками.

Как видно на этом графике, в отличие от форматов файлов, содержащих только тензоры, таких как safetensors – который также является рекомендуемым форматом моделей для Hub – GGUF кодирует как тензоры, так и стандартизированный набор метаданных.

Поиск файлов GGUF

Вы можете просмотреть все модели с файлами GGUF, отфильтровав их по тегу GGUF: hf.co/models?library=gguf. Кроме того, вы можете использовать инструмент ggml-org/gguf-my-repo для конвертации/квантования весов вашей модели в веса формата GGUF.

Например, вы можете посмотреть TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF, чтобы увидеть файлы GGUF в действии.

Просмотрщик метаданных и информации о тензорах

В Hub есть просмотрщик для файлов GGUF, который позволяет пользователю ознакомиться с метаданными и информацией о тензорах (имя, форма, точность). Просмотрщик доступен на странице модели (пример) и на странице с файлами (пример).

Использование с инструментами с открытым исходным кодом

• llama.cpp
• LM Studio
• GPT4All
• Ollama

Разбор метаданных с помощью @huggingface/gguf

Мы также создали парсер GGUF на JavaScript, который работает с файлами, размещёнными на удалённых хостах (например, Hugging Face Hub).

npm install @huggingface/gguf

import { gguf } from "@huggingface/gguf";
// remote GGUF file from https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF
const URL_LLAMA = "https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF/resolve/191239b/llama-2-7b-chat.Q2_K.gguf";
const { metadata, tensorInfos } = await gguf(URL_LLAMA);

Подробнее — здесь.

Типы квантования

Если в таблице выше есть неточности, пожалуйста, создайте PR для этого файла.