Mac Mini M4 işlemcili modeli alıp Lokal LLM kurup buna uzaktan erişebilir miyim? Hangi dil modelleri kullanılıyor? Son zamanlarda Mac alıp genelde agent vb. şeyler çalıştırıldığını gördüm. En mantıklı kurulum api kullanmak mı? yoksa lokal llm midir?
Mac Mini M4 işlemcili modeli alıp Lokal LLM kurup buna uzaktan erişebilir miyim? Hangi dil modelleri kullanılıyor? Son zamanlarda Mac alıp genelde agent vb. şeyler çalıştırıldığını gördüm. En mantıklı kurulum api kullanmak mı? yoksa lokal llm midir?
Alican Kiraz videosunu izlemenizi tavsiye ederim. Lokalde LLM işinde ülkemizde çok önemli insanlardan bir tanesi.
https://www.youtube.com/watch?v=etje6LC_Kyk
Aşırı bir cihaz almadıktan sonra lokalde kullanmak çok zor. Aşırı donanımlar alman lazım. 16 bellek m4 ile çok verim alamazsın
Teşekkürler güzel anlatmış. O zaman api den devam edeceğiz gibi.
Açıyor mu açıyor olur. Merhaba yazarsın 10 saniye sonra cevap gelir.
16 GB düşünüyorsanız, kullanabileceğiniz en büyük model Gemma 4 12B olur; çok özel bir iş için uygun olmayabilir, çünkü bu kadar küçük parametreli modeller pek becerikli değildir. Ben kurmadım ama Hermes veya OpenClaw gibi projelerden söz ettiğinizi tahmin ediyorum; bunlara uzaktan erişip çalıştırabilirsiniz. İşin doğasını bilmiyorsanız, API oldukça maliyetli olabilir. Örneğin, Claude gibi sistemleri bağlarsanız günlük 1000 dolar API gideri bile oluşabilir. Çinliler bu alanda daha uygun fiyatlıdır. Ancak en iyisi, API’ye hiç girmeden abonelik içeren bir plan seçmektir. Kısacası, araştırmanız gerekir.
openclaw veya hermes agent tarzı işlerde 16gb işe yaramıyor başlangıç 128gb üst olanlar. 5-10 usd çinli modeller para verip çalıştırmak daha mantıklı
Hobi seviyesindeki basit işler için 16–24 GB belleğe sahip cihazlarda 4B–8B modeller veya düşük bit quantization ile sıkıştırılmış 12B civarı modeller çalıştırılabilir. Ancak bunlarla ciddi ve verimli işler yapmak pek mümkün değil; API üzerinden eriştiğiniz güçlü LLM’lerle kıyaslanamazlar.
Gerçekten işe yarar büyüklükte bir modeli yerelde çalıştırmak için en az 128 GB birleşik belleğe sahip bir Mac Studio gerekir. Bahsettiğiniz kurulumlarda ise genellikle yalnızca Claw benzeri agent yazılımları Mac Mini’ye kuruluyor; asıl yapay zeka modeli yine API üzerinden çalıştırılıyor.
128 256 ramlileriyle yapılıyor
Hocam son kullanıcı için tasarlanmış cihazlarla lokal llm çalıştırıp online modellerin yanına bile yaklaşmayı bekleme. Ya 5090 falan alıp gpu vram'ini kullanıp çok düşük modeller çalıştırırsın ya da 256gb ram'li cihaz alıp ram'de çalıştırırsın online modellerden 50 kat falan yavaş olur. Ama her iki durumda da online modellerin zekasının yanından bile geçemezsin. Amacın privacy ise elbette lokal model mecburi. Ama amacın ucuz olması ise ona yapacak bir şey yok, online modelleri api ile kullanacaksın. Ama bence deepseek API'yi bir dene. Hem çok ucuz(Gemini'ın 20'de 1'i falan) hem de local çalıştıracağın her llm'i hem kalite hem performans hem zaman olarak 10'a katlar.