Bard vs Chatgpt vs dolphin-mistral 🙂 ollama aracı ile lokalde çalışan dil modelleri ile oynamak acayip zevkli, filtresiz dil modelleri ile hemen hemen her sorunuza iyi kötü cevaplar alabiliyorsunuz, verdiğiniz resimleri bile analiz edip cevap veren lokalinizde çalışan dil modelleri var, hele mixtral diye bir model var ki şahane, ram gereksinimi şu an için çok fazla, bunu güzelce işleyip 7b, 13b formatına düşürürlerse çok iyi olacak, 2024 yılı içerisinde gpt-4 ayarında bir güncellemesi de gelecekmiş galiba.
#chatgpt #bard #AI
Boyutu ne kadar?
7b ortalama 5gb falan https://huggingface.co/cognitivecomputations/dolphin-2.6-mistral-7b-dpo-laser
Sizin lokaldeki cihazın özellikleri neydi? Bazı yöntemlerle vram ihtiyacı çok azaltılabiliyor, şu videoyu inceleyebilirsiniz.
https://www.youtube.com/watch?v=npCpQZNu2MU
Kuantize edilmiş hallerini kullanıyorum, 7b, 13b, 33b gibi kuantize edilmiş modellerde sorun yok ama mixtral 70b gibi modellerde makine ölüyor ram yetmediğinden, ryzen 7 3700x cpu var iş görüyor gibi 🙂