Qwen modelleri öncelikli olmak üzere yerel modeller epey güçlenmeye başladı. Yaklaşık bir aydır dizüstü 5090 üzerinde Qwen 3.8 modelini kullanıyorum. ChatGPT aboneliğim olmasına rağmen çoğunlukla local Qwen'i kullanmaya başladım. Hem özgürlüğü çok fazla (Bu yasak yapamam demiyor) hem de bedavaya çoğu işi oldukça beceriyor.
Topluluk çok daha küçük VRAM'e sahip cihazlarda çalışmaya uygun hale getirdi. 8GB VRAM'li cihazda bile çok büyük kayıplar olmadan çalışıyor.
Bu RAM krizi modellerin gelişmesi ile birlikte beklendiği kadar uzun sürmeyecek gibi hissediyorum.
Qwen 4 modelinin de yine Qwen 3.8 ile aynı VRAM'e sığacağı, Claude'un daha güncel modelleriyle aynı seviyede olacağı söyleniyor. Ekim bitmeden çıkacakmış heyecanlıyım.
Bana kod tarafında opus 5 civarında iş yapabilen lazım, o da glm 5.3 gibi duruyor ama işte 245 gb ram istiyor 😁
Mevcut Qwen 3.8 27B Opus 4.6 ile kafa kafaya geliyor testlerde.
1T 2T modeller yerine daha makul olanlara odaklansa büyük firmalar keşke.
Kaç tps alıyorsunuz hocam?