llama 3 ü kolayca masaüstünde çalıştırabileceğim bir açık kaynaklı bir proje var mı? Böyle uğraşmadan kurayım bir pdf vereyim cevap verirken o pdf i kullansın gibi. gpt.h2o.ai sitesinde böyle bir özellik vardı. Gpt 3.5 dan daha iyi cevap versin + benim gönderdiğim dökümantasyonu kullansın istiyorum. Bunu kolayca yapabileceğim bir program var mı?
https://www.reddit.com/r/LocalLLaMA/
LocalLLama diye bir subreddit var aslında ama nasıl ilerlerim bilmiyorum. Gpt-4 e 20 dolar pek vermek istemiyorum. Üstelik open source olan cevap verme kabiliyetlerinin daha iyi olan modeller var artık gemini ve gpt 3.5 yetersiz geliyor.
Lm studio belki iş gorur
Çok teşekkür ederim model kuruyorum şuan pdf konusunu denicem.
nvidia nın bir uygulaması vardı, içerisine belirli AI ları kurabiliyorsunuz zahmetsizce. Ama llama 3 varmıdyı hatırlamıyorum. 2.0 vardı sanırım.
anythingllm ve llmstudio ile işi çözdüm. Llmstudio içinde modelleri tek tık ile indiriyorsunuz. Server oluştur diyorsunuz anytingllm de aynı şekilde çok basit sadece o server adresini giriyorsunuz. 700 sayfalık bir pdf i verdim cevapları çok iyi olmasada gpt 3.5 dan daha iyi gibi. Ama eğitilmesi lazım birde yavaş. Anything llm tam bitmiş bir yazılım değil.
ollama kullanıyorum ben vscode için. Continue diye bi extension ile.
Chatbot için ollama + openwebui
Bu kombinasyonda güzelmiş openwebui yi beğendim.