şuan sadece kod için opus ayarında localde llm çalıştırmak için 2 tane 3090 (vram önemli), 64 gb ram ve ryzen 9 5950x ayarında işlemci lazım, bunlarda aşağı yukarı 250 bin tl tutuyor, bu sistemde bize 60-70 milyar parametrelik bir yelpaze sunuyor
şuan sadece kod için opus ayarında localde llm çalıştırmak için 2 tane 3090 (vram önemli), 64 gb ram ve ryzen 9 5950x ayarında işlemci lazım, bunlarda aşağı yukarı 250 bin tl tutuyor, bu sistemde bize 60-70 milyar parametrelik bir yelpaze sunuyor
128 milyar parametre için 5090 gibi yüksek vram'li ekran kartı şart malesef
5080 ve 32 gb ram ile oluru var mı
32 gb ram az, 30 milyar parametreye odaklanır o ekran kartı, bu arada bu benim senaryomda bana iyi kod yazan bişey lazım
NVIDIA DGX Spark'ta opus ayarında çalıştırılabilir mi?
bu konuda net bilgim yok ama vram önemli işte, araştırmak lazım
Şu an iyi local model kimi https://huggingface.co/moonshotai/Kimi-K2.5/tree/main
10x63: 630 gb boyutu modelin opusa en yakın model bu, yani rüyanızda göremezsiniz böyle bir modeli localde çalıştırmayı. Anca 100gb Lara düşürülen quantları.
Ben Asusun minik bilgisayarı var onu aldım yapay zeka işleri için.