LLMy do agentów na domowe GPU

Jeśli macie jak ja tylko 16GB VRAM a bawicie się w lokalne modele - jestem pod wrażeniem Qwen 3.8 9b (distill by Empero).Oczywiście kiedy trzeba czegoś z sensownym kontekstem do pętli agenta. W tym przypadku kwantyzacja Q8_0 mieści się z 80k kontekstu i to bez kwantyzacji K-V. Opencode spokojnie dostarcza pojedyncze zadania w takim kontekście.To jest Qwen 3.5 9B który ekipa od Empero wytrenowała przez destylację dużego Qwena 3.8 2.4T, więcej technicznych szczegółów i omówienie ogólnych benchmarków jest tutaj: https://www.mindstudio.ai/blog/qwen3-8-9b-distill-empero

Commenting on Bubbles has been removed. Why? If you want to talk about this post, write to the author, use the comments on their blog if it has them, or reply with a "RE:" post on your own blog. Suggestions? feedback@bubbles.town