cognitivecomputations/dolphin-2.6-mistral-7b-dpo-laser modelini ve retrieval augmented generation (RAG) kullanarak dune'un ilk kitabının türkçe versiyonunu modele yedirdim, sonuç harika. Dil modeli türkçede çok kötü olsa da iyi iş çıkarttı, Benim türkçe yazmam onun da türkçe cevap vermesi soruyu gönderirken ve sonuç alırken cümlelerin bir eklentiyle google çeviride otomatik olarak çevrilmesinden dolayı, dil modeline sorduğum sorular da ondan gelenler de aslında ingilizce.
#AI #llm #YapayZeka
LM studio'ya eklenti kurulabiliyor mu?
Bilmiyorum TGWUI kullanıyorum, daha önce llama.cpp ve ollama kullanıyordum, açık kaynak yazılımları tercih etmekte fayda var
@emrenqw Hmm arayüze bakınca lm studio sandım. RAG için hangi kütüphaneyi kullandın? Bir de modelleri neye göre seçiyorsun? Duyulmuş bazı modeller var ama spesifik işleri daha iyi yapan özelleşmiş modeller oluyor bunları bulmak zor oluyor. Demek istediğim finetune etmek değil, model mimarisini biraz değiştirince bir benchmark puanı artarken diğeri azalıyor, LLM modellerinin farklı benchmark kıyaslamasını yapıp sıralayan bildiğin bir kaynak var mı?
@emrenqw örnek olarak şunu verebilirim ama bu da yeterince büyük ve fazla ayrıntılı değil.
https://llm.extractum.io/list/
@byalperen https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard buraya bakıyorum ama 7b modelleri tercih ediyorum çünkü vrame'e q5_k_m kuantize edilmiş modelleri tamamen yükleyebiliyorum. genelde mistral 7b 0.2 instruct ve dolphin-mistral kullanıyorum çünkü 7b'ler arasında mistral 7b en iyisi diyorlar. Bir de uncensored olmasını tercih ediyorum modellerin çok bir seçeneğim yok o yüzden, uncensored dil modelleri olmasaydı hiç uğraşmaz chatgpt kullanırdım 🙂 linux'de amd rocm kurulu rx 6600 ekran kartıyla ctx 8192, ortalama 25 t/s alıyorum 7b modellerde
@byalperen rag için uzantı var TGWUI'da alt tarafda ne kullandığını hatırlamıyorum şimdi