Aktualizacja odnośnie modeli na 16 GB VRAM

Wstęp to wpis z poprzedniego weekendu o zaskakującej jakości modelu Qwen 3.8 9B by Empero. https://megafon.tomash.eu/llmy-do-agentow-na-domowe-gpu Aktualizacja: ten model jest zaskakująco sprawny jak na model 9B, no i pozwala na 16GB VRAM odpalić ze sporym kontekstem rzędu 80k bez kwantyzacji K-V. Ale na tym samym sprzęcie można uruchomić Qwen 3.8 27B ridge (3.69 bita na wagę, kwantyzacja zresztą też od Empero) z kontekstem skromnym-ale-pracowalnym rzędu 32k (Q_8), i 27B to jest jednak o wiele sprawniejszy model w trudnych pytaniach. Pamiętając że 32k to skromny budżet na kontekst i w pętli agentowej bardzo szybko prowadzi do kompaktowania. Benchmark obu wykonuje Opus 5.5, treść problemów jakimi Opus je testuje wrzuciłem na Pastebin: https://pastebin.com/ZFeQLZf8 W każdym razie wnioski na razie są takie: The 27B is the better model for hard tasks, scoring 34/46 against 25/46 for the 9B, but the 9B is more than twice as fast. Use the 27B when accuracy matters, and the 9B when speed or…

Commenting on Bubbles has been removed. Why? If you want to talk about this post, write to the author, use the comments on their blog if it has them, or reply with a "RE:" post on your own blog. Suggestions? feedback@bubbles.town