LM Studio — modele LLM bez chmury, na Twoim sprzęcie.

LM Studio to darmowa aplikacja na macOS, Windows i Linux, która umożliwia uruchamianie zaawansowanych modeli językowych AI bezpośrednio na Twoim komputerze. Instalator waży około 400 MB i pobierasz go z lmstudio.ai.

• Prywatność first — zero zbierania danych, wszystkie obliczenia lokalnie, brak wymogu internetu, zgodność z RODO.
• Kluczowe możliwości — ponad 1000 pre-konfigurowanych modeli, Model Context Protocol (MCP), API zgodne z OpenAI, kontrola wielu GPU i zarządzanie pamięcią VRAM.
• Dla developerów — REST API oraz SDK TypeScript/Python, wbudowany RAG dla dokumentów, długie okna kontekstu. Biblioteki lmstudio-js i lmstudio-python na licencji MIT.
• Korzyści biznesowe — brak vendor lock-in, pełna kontrola i customizacja, działa na sprzęcie konsumenckim (16 GB RAM oraz 4 GB+ VRAM).

Stan obecny: linia GLM-5 (open-weight od Zhipu AI, m.in. GLM-5.2) to wiodące modele do kodowania — licencja MIT, kontekst do 1M tokenów. Starsze GLM 4.6 i 4.7 wciąż działają, ale przy nowym wdrożeniu nie ma powodu po nie sięgać.

Wbudowany serwer LM Studio zachowuje się jak API OpenAI — narzędzia, które już macie (SDK OpenAI, edytory i agenty z obsługą własnego endpointu), podłączacie, zmieniając wyłącznie adres bazowy na http://localhost:1234/v1. Klucz API może być dowolnym ciągiem znaków, serwer go nie weryfikuje.

• Start serwera — zakładka Developer → Start Server, albo z terminala: lms server start (narzędzie lms instaluje się razem z aplikacją).
• Dostęp dla zespołu — włączcie „Serve on Local Network": serwer nasłuchuje wtedy na adresie IP komputera w sieci lokalnej, nie tylko na localhost. Jedna maszyna z mocnym GPU obsłuży kilka osób.
• Endpointy — /v1/chat/completions, /v1/completions, /v1/embeddings i /v1/models; do tego ładowanie modelu na żądanie (JIT) przy pierwszym zapytaniu.

Trzy ustawienia, które przy ładowaniu modelu robią największą różnicę:

• Długość kontekstu — domyślna bywa niższa niż maksimum modelu; podnoście ją świadomie, bo dłuższy kontekst zajmuje więcej pamięci.
• GPU offload — suwak decyduje, ile warstw modelu trafia na kartę graficzną; gdy model nie mieści się w VRAM, część warstw zostaje na CPU kosztem szybkości.
• Format modelu — GGUF (silnik llama.cpp) działa wszędzie, MLX jest szybszy na Macach z Apple Silicon; niższa kwantyzacja to mniejszy plik i mniejsze wymagania, ale też niższa precyzja.