Qwen modelleri öncelikli olmak üzere yerel modeller epey güçlenmeye başladı. Yaklaşık bir aydır dizüstü 5090 üzerinde Qwen 3.8 modelini kullanıyorum. ChatGPT aboneliğim olmasına rağmen çoğunlukla local Qwen'i kullanmaya başladım. Hem özgürlüğü çok fazla (Bu yasak yapamam demiyor) hem de bedavaya çoğu işi oldukça beceriyor.
Topluluk çok daha küçük VRAM'e sahip cihazlarda çalışmaya uygun hale getirdi. 8GB VRAM'li cihazda bile çok büyük kayıplar olmadan çalışıyor.
Bu RAM krizi modellerin gelişmesi ile birlikte beklendiği kadar uzun sürmeyecek gibi hissediyorum.
Qwen 4 modelinin de yine Qwen 3.8 ile aynı VRAM'e sığacağı, Claude'un daha güncel modelleriyle aynı seviyede olacağı söyleniyor. Ekim bitmeden çıkacakmış heyecanlıyım.
Bana kod tarafında opus 5 civarında iş yapabilen lazım, o da glm 5.3 gibi duruyor ama işte 245 gb ram istiyor 😁
Mevcut Qwen 3.8 27B Opus 4.6 ile kafa kafaya geliyor testlerde.
@undefined ben opus 5 istiyorum hatta 5.5 şuan favorim
@alinux Opus 4.6 Şubat'ta çıkmış. Belki 8 ay sonraki Qwen veya diğer yerel modeller günümüz Opus 5.5'i olacak.
1T 2T modeller yerine daha makul olanlara odaklansa büyük firmalar keşke.
Keşke.
Kaç tps alıyorsunuz hocam?
Çoğunlukla 55-60tps arası. Eğer ki context 100k'ya dayanmış ise 40'a kadar düşebiliyor. Prefill 1200-1300 civarı.
MTP açık. En optimum ayarı test ederek buldum. Önümüzdeki günlerde vakit bulursam DFlash2 deneyeceğim. O da MTP gibi cevap kalitesini hiç değiştirmeden epeyce hızlandırıyor.
M4 16 Ram'li mac miniye kurup ağa açtım. Windows cihazdan kullanıyorum. Baya iş görüyor. Geminidan iyi zaten kodlama tarafında 😀 Unified memory olması avantaj tabi burada mac mini için. Bakalım nasıl devam edecek maceramız 🙂
unsloth yayınladığı quantizations modeller var bir ara kendi cihazım için bakmıştım ama tam verim alamadım. macminide hangisini kullanıyorsunuz?
@blitzhan qwen coder 2.5 14b olanı kullanıyorum hocam. sırf kodlama için kullandığımdan özelleştirilmiş bu modeli tercih ediyorum.
@blitzhan eğer aynı cihazda development da yapacaksanız 7b modelini öneririm.
@barisener Hocam bir şey merak ettim: Artificial Analysis'te kıyasladım, Qwen 2.5 Coder 14B, Opus 5.5 ya da şu an opencode'da ücretsiz olan GLM 5.3 Flash, DeepSeek V4.1 Flash gibi modellerin epey gerisinde kalıyor. Sizi lokale iten ne oldu? Gizlilik mi (kod dışarı çıkmasın), limitsiz kullanım mı, yoksa autocomplete gibi hafif işler mi? Hangi işlerde gerçekten yeterli buluyorsunuz, hangilerinde zorlanıyor?
@blitzhan Lokal modellerin zaten bulut tabanlı servislerle yarışmasını beklemek yanlış hocam. Benim kullanımım tamamen ücretsiz olması ve kompleks olmayan işlerde buluta gidip token yakmamak. Onun dışında projede çok fazla dosya ve kod bloğuna dokunan işlerde bulut tabanlı servisleri tercih ediyorum hala.