amd'nin adrenaline yazılımındaki amd chat ai asistanını kullanan var mı nası bi şey.
veyahut daha genel sorayım: bu kart ile local llm vs. uğraşılır mı, uğraşılırsa nereden başlamalıyım nası başlamalıyım var mı tavsiyeniz / öneriniz.
amd'nin adrenaline yazılımındaki amd chat ai asistanını kullanan var mı nası bi şey.
veyahut daha genel sorayım: bu kart ile local llm vs. uğraşılır mı, uğraşılırsa nereden başlamalıyım nası başlamalıyım var mı tavsiyeniz / öneriniz.
Amdde local llm için linux öneriyorum windowsda denedim daha önce saç baş yoldurdu. Linux rahat. Kolay başlamak için ollama ile başlayabilirsin ama performansına aldanma ollama çok kolay kurulup kullanılıyor fakat aşırı yavaş kalıyor. Denemek için kullanılır gerçek kullanım için ben llama.cpp'nin RDNA3 için optimize edilmiş bir sürümüne geçtim onu kullanıyorum. Ollama 30 token üretirken llamacpp 200-300leri buluyor 😄 9070XT varsa kart benimki gibi eski değilse çok rahat yaparsın linuxta
linux zor yaa, iş bilgisayarı olarak da kullandığım için boot kısmına hiç elleşmek istemiyorum. yedek disk de yok ssd olarak.
Ben lmstudio da gemma 4 çalıştırdım linuxta o token sayısına nasıl çıktınız 4gb VRAM im var.
Kullandığınız video rehber falan var mı bende yapayım.
@bedelellis Hocam bu bahsettiğim q4 quantize edilmiş unsloth gemma 4 e2b modelinin (en küçük gemma) ayrı bir mtp modeli ile birlikte (cache de q4 quantize unsloth modelleri) çıkabildiği en üst sayı. 20GB vram var bende keşke zamanında paraya kıyıp 24 olanı alsaymışım 😄 Gemma 4 A4B olan 26B model de 150 token civarında veriyor cachyos üzerinde podman ile containerdan çalıştırıyorum optimize llama.cpp üzerinde. Fakat eskiden ollama ile windowsta 15 token falan alıyordum dağlar kadar fark ediyor
1-Lm studio - model indirmek çalıştırmak için vs.
2-llama.cpp - amd gpuda performans ve vram kullanımı kontrol için
3-Ollama - local AI'ları API ile kullanmak ve başka uygulamalara bağlamak için.
adrenaline kurarken veya güncelleme kısmında orada AI bundle var. lm studio, ollama, python vs. hepsini kendi kuruyor. direkt ondan girebilirsin. 16gb kart 7-8B parametreli modeller için çok rahat yetiyor, 12-14b modeller de çalışır. qwen, gemma, mistral modelleri deneyebilirsin.
windows'ta iki seçenek var. (eskiden linux gerekiyordu ama artık gerek yok pek). w11 + vulkan veya w11 + ROCm/HIP. vulkan daha kolay. lmstudio kurup model indirip direkt gpu backend olarak vulkan kullanman yetiyor. rocm biraz daha gelişmiş. kurulumu da daha teknik. chatgpt'ye sor detaylı ikisini de anlatır linkleriyle.
amd ai chat daha çok amd sistemler için bir yerel teknik asistanı gibi bir şey. bilgisayarınla ilgili teknik sorunlarda yardımcı olması için. normal LLM gibi kullanmak biraz anlamsız onu.
hafta sonu bi deneyeceğim yaa aksilik çıkmazsa.
Hocam bunlardan biri yeterli üçü de gerekmiyor zaten üçü aynı işi yapıyorlar
@ptseeker llama.cpp daha teknik kontrol için. lm studio ve ollama benzer şeyi yapıyorlar evet ama kontrol imkanı farklı işte deneyecek ihtiyacına göre kullanacak.
@protego Hocam teknik bilgiye göre hepsinin sunduğu derinlik farklı ama bir arada kullanılmaları için bir sebep yok
@ptseeker E aynı anda kullanmanın gereği yok tabi ki. 😀