Serwer LLM dla firmy: trzy zestawy do 200 tys. zł netto.
Od sierpnia modele Qwen3.8, DeepSeek V4 Flash i GLM‑5.3 Flash nadają się do kodowania agentowego na sprzęcie z budżetu działu IT. Każdy z trzech zestawów poniżej ma jedną kartę graficzną. Podajemy ceny z października 2026, zmierzoną wydajność, liczbę programistów w opencode i to, jak na tym samym serwerze zbudować własny NotebookLM.
Autor: Tomek Wojciechowski · Opublikowano:
Trzy zestawy, w każdym jedna karta.
Pojemność pamięci mówi, czy model się zmieści. Przepustowość pamięci mówi, jak szybko będzie odpowiadał. Gęsty Qwen3.8-27B musi mieścić się w VRAM. Duże modele MoE (DeepSeek, GLM, Qwen3.8 Flash-Next) w każdym kroku używają tylko 3–18 mld parametrów, więc ich ekspertów można trzymać w RAM, a karta liczy resztę. Na tym opiera się zestaw drogi.
| Tani | Średni | Drogi | |
|---|---|---|---|
| Cena netto | 15–20 tys. zł | 80–95 tys. zł | 150–190 tys. zł |
| Karta | Radeon AI PRO R9700, 32 GB | RTX PRO 6000, 96 GB | RTX PRO 6000, 96 GB |
| RAM | 64–128 GB | 128–256 GB | 768 GB, 12 kanałów |
| Model główny | Qwen3.8-27B | Qwen3.8-27B NVFP4 | DeepSeek V4 Flash + Qwen 27B |
| 1 osoba | 208–228 tok/s | 124 tok/s | ok. 65 tok/s (DeepSeek) |
| Programiści z opencode | 3–5 | 15–25 | 10–20 (DeepSeek: 4–6 agentów naraz) |
Ceny kart sprawdziliśmy 28 października 2026 (Ceneo, x-kom, Neonet), resztę szacujemy z zapasem. Pamięć DDR5 podrożała w tym roku tak bardzo, że w zestawie drogim RAM kosztuje tyle co karta. Każdy zestaw wyceniamy na nowo przed zakupem.
Tani: Qwen dla małego zespołu
- Sprzęt: AMD Radeon AI PRO R9700 32 GB (6,1–7 tys. zł brutto) w stacji roboczej z 64–128 GB DDR5. Gdy firma potrzebuje CUDA, odpowiednikiem jest RTX 5090 (140 tok/s na Qwen 27B w vLLM), ale NVIDIA wygasza ten model i jego cena rośnie.
- Modele: Qwen3.8-27B w 4 bitach. Qwen3.8 Flash-Next z ekspertami w RAM, gdy potrzeba większej wiedzy ogólnej: w 3 bitach zajmuje ok. 67 GB, z czego ok. 20 GB na karcie i ok. 48 GB w RAM, więc do tego wariantu bierzemy 128 GB pamięci (ok. 110 tok/s w silniku Strata).
- Słabe strony: 32 GB to mało na długi kontekst kilku osób naraz, a ROCm wymaga więcej pracy niż CUDA.
Średni: szybki Qwen dla całego zespołu
- Sprzęt: NVIDIA RTX PRO 6000 Blackwell 96 GB (Max-Q od 73 799 zł brutto) na Threadripperze ze 128–256 GB DDR5.
- Modele: Qwen3.8-27B w NVFP4 z MTP dla wszystkich. Qwen3.8 Flash-Next ma ok. 180 mld parametrów i w 4 bitach (NVFP4) zajmuje ok. 130 GB, więc ok. 85 GB trzymamy na karcie, a resztę ekspertów (ok. 45 GB) w RAM — 128 GB wystarcza. W całości na karcie zmieściłby się dopiero w 3 bitach (ok. 67 GB), kosztem jakości.
- Wydajność: 124 tok/s dla jednej osoby i ok. 63 tok/s na osobę przy 32 osobach naraz. Bufor kontekstu mieści 1,71 mln tokenów.
Drogi: duży model obok szybkiego
- Sprzęt: ta sama RTX PRO 6000 na procesorze EPYC 9005 z 768 GB DDR5 w 12 kanałach. Liczba kanałów pamięci decyduje o szybkości ekspertów w RAM.
- Modele: DeepSeek V4 Flash w oryginalnej precyzji (albo GLM-5.3 Flash) przez KTransformers: eksperci w RAM, wspólne warstwy i kontekst na karcie. Obok, na tej samej karcie, Qwen3.8-27B dla zadań, w których liczy się szybkość.
- Wydajność: jedyny pomiar, jaki znaleźliśmy, to większy DeepSeek V4.1 Flash na RTX PRO 6000 z 512 GB starszej pamięci DDR4: 65 tok/s dla jednej osoby i 143 tok/s łącznie przy 8 zapytaniach. To test wstępny na krótkich promptach. Na DDR5 powinno być szybciej, ale tego jeszcze nie zmierzyliśmy.
- Po co dopłacać: duży model samodzielnie robi zadania w terminalu, z którymi Qwen 27B sobie nie radzi (liczby w benchmarkach). Słabą stroną jest wolniejsze przetwarzanie długiego promptu niż przy modelu w całości w VRAM.
Ilu programistów obsłuży serwer z opencode.
Zadanie w opencode zaczyna się od 7–10 tys. tokenów promptu i rośnie do 70–200 tys. tokenów kontekstu, a część osób uruchamia kilka agentów naraz. Dlatego liczymy równoległe strumienie. Zakładamy, że w szczycie aktywnego agenta ma 50–60% zespołu, każdy strumień dostaje co najmniej 25–30 tok/s, a pierwszy token pojawia się w mniej niż 10 s. Z tego i z pomiarów wychodzą liczby z tabeli wyżej. To szacunki, nie gwarancja: przed zakupem warto puścić test na własnym repozytorium.
opencode łączy się z serwerem zgodnym z API OpenAI. Każdy programista dostaje własny klucz:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"firma": {
"npm": "@ai-sdk/openai-compatible",
"name": "Serwer LLM w firmie",
"options": {
"baseURL": "http://llm.firma.lan:8000/v1",
"apiKey": "{env:FIRMA_LLM_KEY}"
},
"models": { "qwen3.8-27b": { "name": "Qwen3.8-27B" } }
}
},
"model": "firma/qwen3.8-27b",
"small_model": "firma/qwen3.8-27b",
"share": "disabled"
}Składnia dotyczy opencode.json w wersji 1.x. Wersja 2 sama wykrywa vLLM na 127.0.0.1:8000 i ma trochę inne klucze.
- Ustaw
small_model. opencode generuje tytuły i streszcza kontekst osobnym, „małym” modelem. Jeśli nie wskazuje on lokalnego serwera, fragmenty kodu mogą trafić na zewnątrz. W jednej firmie dział bezpieczeństwa zablokował przez to opencode, choć udostępnianie było wyłączone. - Postaw bramkę API przed modelem. Router zgodny z OpenAI (BiFrost albo LiteLLM) wydaje klucze per osoba, zbiera logi i ogranicza agentów, żeby czat reszty firmy odpowiadał od razu. Najtrudniejsze zadania może kierować do modelu w chmurze.
- Wybierz lekki harness. Z tym samym modelem prompt systemowy i opisy narzędzi zajmują 7,2 tys. tokenów w opencode i 23,1 tys. w Claude Code, a Claude Code wykonuje ok. trzy razy więcej wywołań narzędzi. Mniej tokenów na zadanie to więcej osób na tym samym serwerze.
Benchmarki: szybkość i jakość.
Szybkość na jednej karcie
Pomiary z ostatnich dwóch miesięcy, z różnych testów. Porównuj rząd wielkości, nie pojedynczy token na sekundę. Mac Studio podajemy dla porównania.
| Sprzęt | Model | Silnik | 1 osoba | Wiele osób | Źródło |
|---|---|---|---|---|---|
| RTX PRO 6000 Max-Q | Qwen3.8-27B NVFP4 + MTP | vLLM | 124 tok/s | 1752 tok/s (32) | nvsx |
| RTX PRO 6000 Max-Q | Qwen3.8-27B NVFP4 | vLLM | 65 tok/s | brak danych | nvsx |
| RTX PRO 6000 + 512 GB RAM | DeepSeek V4.1 Flash | KTransformers | 65 tok/s | 143 tok/s (8) | GitHub |
| RTX 5090 | Qwen3.8-27B NVFP4 | vLLM | 140 tok/s | brak danych | r/LocalLLaMA |
| Radeon AI PRO R9700 | Qwen3.8-27B + drafter | hipfire | 208–228 tok/s | brak danych | r/LocalLLM |
| Radeon AI PRO R9700 | Qwen3.8 Flash-Next, 3 bity | Strata | ok. 110 tok/s | brak danych | r/LocalLLM |
| Mac Studio M5 Ultra | GLM-5.3 Flash | nie podano | 71–85 tok/s | brak danych | r/LocalLLaMA |
Jakość na tle modeli z chmury
Artificial Analysis Intelligence Index łączy testy rozumowania, wiedzy, kodowania i pracy agentowej. Terminal-Bench 4.0 mierzy samodzielne zadania w terminalu, AutomationBench-AA automatyzację procesów biznesowych.
| Model | Zestaw | AA Index | Terminal-Bench 4.0 | AutomationBench-AA |
|---|---|---|---|---|
| Claude Opus 5 | chmura | 50,8 | brak danych | brak danych |
| GPT-5.6 Sol | chmura | 47,0 | brak danych | brak danych |
| GLM-5.3 Flash | drogi | 41,8 | 33% | 60% |
| Qwen3.8 Flash-Next | średni, drogi | 39,8 | 25% | 56% |
| Claude Sonnet 5 | chmura | 38,2 | brak danych | brak danych |
| DeepSeek V4 Flash (0731) | drogi | 34,3 | 12% | 54% |
| Qwen3.8-27B | każdy | 33,7 | 6% | 48% |
Na poprawianiu kodu w prawdziwych repozytoriach Qwen3.8-27B jest blisko Sonneta 5 (SWE-bench Pro 61,7% wobec 63,2%). Na samodzielnej pracy w terminalu wyraźnie odstaje od większych modeli i to jest główny argument za zestawem drogim.
Źródła: benchmarklist.com (stan 18.10.2026), artificialanalysis.ai, BenchLM (stan 28.10.2026). To zestawienia zewnętrzne, nie nasze pomiary.
Na czym stawiać, żeby było szybko.
1. vLLM albo SGLang dla zespołu
Przy wielu użytkownikach wygrywają serwery, które grupują zapytania (continuous batching). Silniki pisane pod jeden model, np. Strata czy hipfire, bywają kilka razy szybsze dla jednej osoby, ale do serwera dla zespołu się nie nadają. Gdy model nie mieści się w VRAM, eksperci MoE idą do RAM przez KTransformers albo llama-server z opcją --n-cpu-moe.
2. Dekodowanie spekulatywne
Mały model pomocniczy zgaduje kilka tokenów do przodu, a duży sprawdza je w jednym przebiegu. To w ostatnich tygodniach największa zmiana w wydajności.
| Metoda | Przyspieszenie na Qwen3.8-27B | Dodatkowy VRAM | Uwagi |
|---|---|---|---|
| MTP | 2,22× | praktycznie zero | wbudowane w model |
| DSpark | 2,57× | mały drafter | jedyna opcja dla DeepSeek V4 Flash |
| DFlash 2 | 2,80× | 3,85 GB | najmocniejszy na kodzie i JSON |
| EAGLE-4 | 3,59× | 6,18 GB | od 27.10.2026, na razie tylko Qwen3.8-27B |
To średnie podane przez autorów EAGLE-4. Na kodzie zysk jest większy niż na zwykłym tekście, a każdy drafter zabiera pamięć, która inaczej poszłaby na kontekst.
3. NVFP4 i bufor kontekstu w niskiej precyzji
Na kartach Blackwell wagi w NVFP4 dały 124 tok/s wobec 96 tok/s w FP8, przy tych samych wynikach jakości. Bufor kontekstu w FP8 zamiast 16 bitów podniósł szybkość przy 240 tys. tokenów kontekstu z 14 do 96 tok/s. vLLM 0.32 obsługuje już bufor w NVFP4.
Pułapki: vLLM z DSpark kompiluje się przy pierwszym starcie ok. 38 minut. W SGLang zły limit równoległych zapytań obniżył przepustowość z 349 do 78 tok/s. Nowe modele trafiają najpierw do vLLM i SGLang, a do llama.cpp nawet ponad miesiąc później.
Własny NotebookLM na tym samym serwerze.
NotebookLM od Google odpowiada na pytania na podstawie wgranych dokumentów, podaje cytaty i robi z nich podcast. Tego samego da się używać lokalnie, tak że umowy, dokumentacja techniczna czy nagrania ze spotkań nie trafiają do chmury. Najpopularniejszy otwarty odpowiednik to Open Notebook (licencja MIT, ok. 40 tys. gwiazdek na GitHubie).
| Funkcja | Czym to robimy lokalnie | Pamięć |
|---|---|---|
| Odpowiedzi z cytatami ze źródeł | Qwen3.8-27B, ten sam co dla programistów | współdzielona z zespołem |
| Wyszukiwanie w dokumentach | model embeddingów i baza wektorowa (SurrealDB w Open Notebook) | kilka GB |
| PDF, Office, strony www | Docling i lokalny crawler | procesor |
| Nagrania i wideo jako źródło | Whisper (zamiana mowy na tekst) | kilka GB |
| Podcast z 1–4 głosami po polsku | Chatterbox Multilingual (MIT) albo XTTS v2 | kilka GB |
- Jak to działa w praktyce: zespół zakłada notatnik na projekt, wrzuca źródła i pyta. Odpowiedź wskazuje fragmenty dokumentów, z których powstała. Z notatnika da się też wygenerować streszczenie, notatki albo podcast z dwoma prowadzącymi do odsłuchania w drodze.
- Sprzęt: w zestawie średnim i drogim wszystko mieści się na karcie obok Qwena. W tanim 32 GB wystarcza na model, a embeddingi i mowę lepiej liczyć na procesorze.
- Różnice wobec Google: Open Notebook ma jedno hasło zamiast kont użytkowników, więc stawiamy osobną instancję na dział albo zespół. Na podcast poczekasz dłużej niż w chmurze, a polskie głosy z otwartych modeli brzmią gorzej niż w NotebookLM. Za to możesz wybrać model, sterować tym, co trafia do kontekstu, i nic nie wychodzi z firmy.
- Gdy potrzebne są konta: czat z bazą wiedzy w OpenWebUI ma użytkowników i uprawnienia, korzysta z tego samego serwera i dobrze sprawdza się dla reszty firmy.
Pytania, które padają przy wycenie.
01 Dlaczego zawsze jedna karta?
Jedna karta to prostsza konfiguracja, mniej prądu, mniej hałasu i brak problemów z dzieleniem modelu między GPU. Duże modele MoE i tak nie muszą mieścić się w całości w VRAM: ich eksperci mogą siedzieć w RAM, a karta liczy tylko wspólne warstwy.
02 Czy lokalny model jest tak dobry jak Claude albo GPT?
Na najtrudniejszych zadaniach nie. GLM-5.3 Flash i Qwen3.8 Flash-Next wypadają w indeksie Artificial Analysis powyżej Claude Sonnet 5, ale wyraźnie poniżej Opusa. Dlatego firmy łączą oba światy: lokalny model robi większość pracy, a najtrudniejsze zadania idą do chmury.
03 Dlaczego nie Ollama albo LM Studio?
Są dobre na laptop jednej osoby. Przy zespole potrzebny jest serwer, który grupuje zapytania wielu osób (vLLM albo SGLang). Gdy model mieści się w VRAM, vLLM bywa 2–4 razy szybszy od llama.cpp, na którym opiera się większość aplikacji desktopowych.
04 Mac Studio czy NVIDIA?
Mac Studio M5 Ultra mieści duże modele i jest cichy, więc sprawdza się dla jednej lub dwóch osób. Przy kodowaniu z długim kontekstem przegrywa szybkością przetwarzania promptu, a to główna bolączka osób, które mają oba sprzęty. Serwer dla zespołu stawiamy na GPU.
05 Czy dane na pewno nie wychodzą z firmy?
Model nie wysyła danych sam z siebie, ale narzędzia wokół niego potrafią. Serwer stoi w sieci bez wyjścia do internetu, narzędzia mają skonfigurowany wyłącznie lokalny model, a ruch wychodzący blokuje firewall.
06 Czy to się opłaca w porównaniu z API?
Nie zawsze. Przy małym ruchu API jest tańsze, a karty i pamięć RAM mocno podrożały w 2026 roku. Lokalny serwer wygrywa, gdy dane nie mogą opuścić firmy, gdy zespół codziennie generuje dużo tokenów albo gdy liczy się przewidywalny koszt.
Źródła: nvsx.in (RTX PRO 6000 w vLLM), GitHub (DeepSeek na jednej karcie z RAM), nqawhc (porównanie harnessów), r/LocalLLaMA (RTX 5090, Mac Studio), r/LocalLLM (silniki dla Qwen3.8), r/LocalLLaMA (EAGLE-4), Open Notebook, Chatterbox, Ceneo (ceny), dokumentacja opencode. Stan na 28 października 2026.
Chcecie serwer LLM dobrany do Waszego zespołu?
Zaczynamy od bezpłatnego, 90-minutowego audytu: liczymy, ile tokenów generuje Wasz zespół, testujemy modele na Waszym kodzie i dopiero potem wybieramy sprzęt. Dostajecie pisemny raport z rekomendacją. Odpowiadamy w 24 h.