Bu zamana kadar hep bulut tabanlı yapay zeka araçları kullandım. LLM'leri ise merak dışında hiç çalıştırmayı denemedim. Şu an Gemma 3 27B dil modelini günlük kalori takibi konusunda çalıştırmayı deneyeceğim. RTX 5080'in 16 gb Vram'inin çalıştırabileceği en dip sınırda bu model var. İlk denemelerimde Gemini ile birebir aynı sonuçları verdi.
Başarılı olursa beni abonelik ücretinden kurtaracak. Çünkü diğer işlerim için zaten ücretsiz versiyonlar fazla fazla yetiyor.
Basarim bir kenera Apple tarafi local de LLM calistirmada daha avantajli. Desktop GPU larda dogru duzgun VRAM yok maalesef... Gecenlerde masaustu icin bir GPU baktimda 16gb falan hic bir sey LLM ler icin.
64GB M1 Max te yavas kaliyor su anda, bana astronmik fiyati olmayan ve daha performansli bir sey lazim ancak bu mumkun degil gibi duruyor.
LLM konusunda harici ve yüksek bellekli, performanslı kartlar Apple tarafına nazaran kat be kat yüksek performans veriyor ama watt başına verim anlamında yine Apple önde. Bu konuyu bayağı araştırmıştım bir ara. Sonuç olarak LLM işine bulaşmamam gerektiğine karar vermiştim 😀
@arandur bende su anda localde calistirmiyorum, istedigim performans icin baya para harcamak lazim. Bu arada benim gordugum Mac Studio, DGX Spark falan fiyat olarak uygun kaliyor, ozellikle RTX GPUlara kiyasla.
@mrmetalhead belki de baktığımız işlemlerdeki fark ile ilgilidir. Görsel ve video üretimi için bakmıştım.
@mrmetalhead rtx 5060ti 16gb ve mac mini 16gb local de denemeler yapıyorum. openclaw ve hermes agent gibi araçlar için yeterli gelmiyor. 16gb altında çalışıp işe yarayacak ai aracıda denk gelmedi. minimum 128gb vram şart gibi. Mesut Çevik ve Koray Birand konu üzerinde videosunu tavsiye ederim
https://www.youtube.com/watch?v=gceJaDucDkg
@muhammed Gelmiş yine 2 tipini sevdiğim yazılımcı olmayan insan yazılımcılıkla ilgili video çekmiş.
Local AI da sorun o pc de aynı anda iş yapmak. Model büyüdükçe pentium bilgisayar dönemine kadar gidiyor.
rame dikkat edince bir şey olmuyor ya 🙂
Aslında kullanımım şu şekilde oluyor. Sadece sorumu soruyorum, yanıtımı alıp kapatıyorum. Arka planda ekstra iş yaptırmıyorum. O yüzden çok sorun olacağını düşünmüyorum.
Gemma4 çalışmadı mı? Gemma 3'e göre çok iyi sonuçlar veriyor.
Çıktı mı o ya? Hemen deniyorum
banada bu lokal llm işi şu kısımda patlıyor gibi geliyor. Şimdi bo modellerin yemi ne data değil mi? en çok data google'da var o yüzden googleın modelinin en iyisi olması gerekiyor gibi geliyor yanlıyor muyum? yani bunları veriyle eğitiyolarsa en çok veri kimdeyse en iyisi o olmuyor mu?