🎨 Встановлення LM Studio

Красивий графічний інтерфейс

Не потрібен термінал! Зручний сучасний інтерфейс з чатом, налаштуваннями та керуванням моделями — усе мишкою.

Порівняння моделей поруч

Запустіть дві моделі поруч у спліт-режимі — порівнюйте відповіді, швидкість та якість в реальному часі.

Llama 3.1

Розміри: 8B / 70B / 405B
8B Q4_K_M: ~5 ГБ VRAM, 4.7 ГБ на диску
70B Q4_K_M: ~40 ГБ VRAM, 38 ГБ на диску
Призначення: Універсальна, чат, аналіз, tools
Пошук у LM Studio: llama 3.1

Mistral Medium 3.5

Розмір: 128B
128B Q4 (cloud only): хмарний запуск
Призначення: Флагманська model, vision+tools+thinking
Пошук у LM Studio: mistral medium

Granite 4.1

Розміри: 3B / 8B / 30B
3B Q4_K_M: ~2 ГБ VRAM, 1.8 ГБ на диску
8B Q4_K_M: ~5.5 ГБ VRAM, 5 ГБ на диску
Призначення: Enterprise: RAG, tools, JSON, код
Пошук у LM Studio: granite 4.1

Kimi K2.6

Розмір: cloud only
Призначення: Агентна модель: кодування, дизайн, мультіагентні системи
Пошук у LM Studio: kimi k2

DeepSeek V4 Flash

Розмір: 284B MoE (13B activated), cloud only
Призначення: Швидкий reasoning, 1M контекст
Пошук у LM Studio: deepseek v4

1️⃣ Завантажте першу модель

Після першого запуску LM Studio запропонує завантажити модель. Оберіть Llama 3.1 8B — це найкраща модель для початку: хороша якість, помірні вимоги до заліза (8 ГБ RAM). Або скористайтеся пошуком всередині додатку, щоб знайти інші моделі на HuggingFace.

Моделі для початку:
  🦙 Llama 3.1 8B Instruct (GGUF)    — універсальна, найкраща для чату
  🔮 Qwen 3.6 27B (GGUF)             — кодування, агентні задачі, міркування
  ✨ Gemma 4 E4B (GGUF)              — від Google, компактна, vision
  🧠 DeepSeek R1 8B (GGUF)           — reasoning, аналіз, міркування

2️⃣ Почніть розмову в чаті

Коли модель завантажена, перейдіть на вкладку Chat у LM Studio. Виберіть модель у спадному списку та починайте спілкуватись! Ви можете налаштувати температуру, довжину відповіді та системний промпт у панелі налаштувань праворуч.

3️⃣ Спробуйте режим API-сервера

Перейдіть на вкладку Local Server (іконка ⟵→ у бічній панелі). Завантажте модель та натисніть «Start Server». LM Studio запустить OpenAI-сумісний сервер на порту 1234 — тепер ви можете використовувати його з будь-яким клієнтом або скриптом.

🚀 Запуск API-сервера

У LM Studio перейдіть на вкладку Local Server. Виберіть модель, натисніть «Start Server». Сервер запуститься на http://localhost:1234 та підтримує endpoints:

• POST /v1/chat/completions — чат-запити (як у ChatGPT)
• POST /v1/completions — текстові доповнення
• GET /v1/models — список доступних моделей

📡 Приклад: запит через curl

Надішліть запит до LM Studio так само, як до OpenAI API:

curl http://localhost:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.1-8b-instruct",
    "messages": [
      {"role": "system", "content": "Ти — українськомовний асистент."},
      {"role": "user", "content": "Розкажи жарт українською"}
    ],
    "temperature": 0.7
  }'

📩 Відповідь сервера

LM Studio повертає відповідь у стандартному форматі OpenAI:

{
  "id": "chatcmpl-abc123",
  "object": "chat.completion",
  "model": "llama-3.1-8b-instruct",
  "choices": [{
    "index": 0,
    "message": {
      "role": "assistant",
      "content": "Чому програміст не п'є чай? Бо він частіше п'є каву, поки код компілюється!"
    },
    "finish_reason": "stop"
  }],
  "usage": {
    "prompt_tokens": 24,
    "completion_tokens": 18,
    "total_tokens": 42
  }
}

🤖 Використання з Hermes Agent

LM Studio — ідеальне джерело моделі для Hermes Agent. Налаштуйте Hermes на використання LM Studio як провайдера:

# У конфігурації Hermes (~/.hermes/config.yaml)
provider: openai
base_url: http://localhost:1234/v1
model: llama-3.1-8b-instruct
api_key: lm-studio   # будь-яке значення, LM Studio не перевіряє ключ

🐍 Приклад: Python з OpenAI SDK

Використовуйте офіційний Python SDK OpenAI, просто змінивши base_url:

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:1234/v1",
    api_key="lm-studio"  # будь-яке значення
)

response = client.chat.completions.create(
    model="llama-3.1-8b-instruct",
    messages=[
        {"role": "system", "content": "Ти — українськомовний асистент."},
        {"role": "user", "content": "Напиши вірш про Київ"}
    ]
)

print(response.choices[0].message.content)