LM Studio ile GGUF kullanımı

LM Studio, yerel yapay zeka modelleriyle bilgisayarınızda doğrudan deney yapmanızı ve geliştirme yapmanızı sağlayan bir masaüstü uygulamasıdır. LM Studio, llama.cpp üzerine inşa edilmiştir ve Mac (Apple Silicon), Windows ve Linux üzerinde çalışır!

Hugging Face'ten modelleri LM Studio'ya alma

Öncelikle Hugging Face'te Yerel Uygulama Ayarları altında LM Studio'yu etkinleştirin.

Seçenek 1: Doğrudan Hugging Face'ten ‘Use this model’ düğmesini kullanın

Herhangi bir GGUF veya MLX LLM için “Use this model” açılır listesine tıklayın ve LM Studio’yu seçin. Bu, LM Studio’ya zaten sahipseniz modeli doğrudan LM Studio içinde çalıştırır, sahip değilseniz size bir indirme seçeneği gösterir.

Trend olan bir modelle LM Studio'yu denemek için modelleri buradan bulabilirsiniz: https://huggingface.co/models?library=gguf\&sort=trending

Seçenek 2: LM Studio’nun Uygulama İçi İndiricisini Kullanın

LM Studio uygulamasını açın ve Mac'te ⌘ + Shift + M, PC'de ise Ctrl + Shift + M tuşlarına basarak (M, Models yani Modeller anlamına gelir) herhangi bir model arayın. Arama çubuğuna Hugging Face URL'lerini bile yapıştırabilirsiniz!

Her model için açılır listeyi genişleterek birden fazla kuantizasyon seçeneğini görüntüleyebilirsiniz. LM Studio, donanımınız için önerilen seçeneği vurgular ve hangi seçeneklerin desteklendiğini belirtir.

Seçenek 3: lms, LM Studio'nun CLI'sini kullanın:

Terminal tabanlı bir iş akışı tercih ediyorsanız, LM Studio'nun CLI'si olan lms'i kullanın.

Komut satırından modelleri arayın:

Anahtar kelimeyle ara

lms get qwen

Aramayı MLX veya GGUF sonuçlarına göre filtrele

lms get qwen \--mlx  # or \--gguf

Hugging Face'ten herhangi bir model indirin:

Tam bir Hugging Face URL'si kullanın

lms get https://huggingface.co/lmstudio-community/Ministral-3-8B-Reasoning-2512-GGUF

Bir model kuantizasyonu seçin

Performans, bellek kullanımı ve doğruluk arasında denge kuran bir model kuantizasyon seviyesi seçebilirsiniz.

Bu, @ belirteci ile yapılır, örneğin:

lms get https://huggingface.co/lmstudio-community/Ministral-3-8B-Reasoning-2512-GGUF@Q6\_K

Modeli indirdiniz – Peki şimdi ne yapacaksınız?

Yukarıdaki seçeneklerden birini izleyerek bir model indirdiniz, şimdi LM Studio ile başlayalım!

LM Studio Uygulamasına Başlama

LM Studio uygulamasında, indirilen modellerin listesini görüntülemek ve yüklemek için birini seçmek üzere model yükleyiciye gidin. Model yükleme parametrelerini özelleştirebilirsiniz; ancak LM Studio, donanımınızda model performansını optimize eden yükleme parametrelerini varsayılan olarak seçer.

Modelin yüklenmesi tamamlandığında (ilerleme çubuğuyla gösterildiği gibi), uygulamamızın sohbet arayüzünü kullanarak sohbet etmeye başlayabilirsiniz!

Veya modellerinizle etkileşime geçmek için LM Studio'nun CLI'sini kullanın

Komutların listesini burada görebilirsiniz. lms'yi kullanmadan önce LM Studio'yu en az bir kez çalıştırmanız gerektiğini unutmayın.

En yeni modelleri takip etme

En yeni ve en iyi yerel LLM'lerin yayınlandığı anda güncel kalmak için Hugging Face'teki LM Studio Community sayfasını takip edin.