Bilgisayarımda ilk defa yerleşik yapay zek kullanayım dedim. ama çok mu çok yavaş çalışıyor. 20 gb ram yetmedi. yaptırdığımda 3 sayfa bir yazıyı düzeltip biraz akıcı olmasıydı ve daha devam ediyor. Kullandığım yapay zekada lm studio - qwen3,8 sansürsüz olanı. Yarın birde 3.5 sürüüne düşürüp deneyeceğim. Hızlı sistemim intel i7-9750h - 20gb ram . nvidia gtx 1660ti 6gb .
RAM'e sığması önemli değil VRAM'e sığması lazım. 6 GB'a sığacak bir model bul hızlı çalışmasını istiyorsan.
6 gb yetecek bir model deniyeceğim artık .qwen2,5 önerdi google daha hızlı olur diye.
@burakdogn Model VRAM'e sığsa bile kullandıkça context window dolabilir ve yine RAM'e taşar. Kullandıkça yavaşlama olursa sebebi bu olabilir.
@burakozyurek artık olduğu kadarıyla. Olmadı bulut tabanlılara para vererek artık.
Moe modelleri deneyin hız için. Bir de metin Türkçe ise gemma modellerini daha çok beğenebilirsiniz.
Denerim dediğiniz modeli. teşekkür ederim.
Ona anca gemma 4 4b falan sığar, qwen için minimum 16gb vram, 64gb ram lazım. Modelin bişi yapabilmesi için de belleğe ihtiyacı var. Sizin 6gb vram sadece bu bahsettiğim context miktarına gider.
Hocam senin sistem LLM için çok zayıfmış. Ram düşük, ekran kartı ram ve modeli düşük. LLM piyasası çok acımasız.
evet zayıf . çok eskidi sistem. Biraz deneyeyim dedim nasıl olacak diye.. ama olacak gibi değil. Tahminen 1-2 güne sileceğim .
7 veya 8 milyar parametreli modeller rahat çalışır. Ama kartın zayıflığı da var. 4050'de ektekiler iyi çalışıyorlardı.
her türlü kanı hızında çalışacak bende onu kabul lendim. düşük parametlileri deneyeceğim artık. teşekkür ederim
Şu modeli deneyin:https://www.liquid.ai/blog/lfm3 vram'e sığar ama context ne kadar sığar bilmiyorum.
Hocam min 16gb vramli sistemlerde bile oyuncak sayılır. 16nın altında anlamsız zaten. Api üzerinden deepseek kullan. Çok ucuz. 5 dolar atsan 1 ay götürür seni. Pcye kuracağından da 100 kat iyi olur. Amaç sansürsüz olmasıysa sansürü aşmak kolay
biraz meraktan yaptım asıl ne olacak diye. Biraz bilgim olunsun yerelde diye. chatgpt alacağım gibi şuan.
O "kolay" kısmını Deepseek özelinde öğrenebilir miyiz? "DeepSeek-V4.1-Flash — UNCENSORED-FP8" çalıştırabilsek bir yerlerde uygun maliyetle güzel olurdu.
@protego @mkacal @denemecik @sawgent şimdilik sadece yazı için lfm3, gemma 4 ve moe işimi görüyor gibi. Diğer işlerim için paralı versiyonları kullanacağım. Yorumlarınız için teşekkür ederim.
14b bir modele Barış Manço'yu tanıyor musun dedim...tabi şarkıları şu bu yazdı...ama şarkıları bu değil ki dedim...cevap: şarkılarının bu olup olmadığını Barış Manço'ya sorun, eğer ulaşamıyorsanız sosyal medya hesaplarına yazın dedi... :---)
Bu modeller bilgi haznesi değiller, bir iş yaptırmak için kullanmanız lazım. Google araması sonuçları bunlarda pek olmaz.