Kendi sunucumda yürüteceğim, beleş/açık kaynak, ama boyutu en düşük olan AI modeli hangisi? Tek yapacağı şey veri okuyup özet çıkarmak. Boyutla baş edemezsem kendi sunucumda yürütmem şart değil.
@cestlavie bilirsin belki.
Kendi sunucumda yürüteceğim, beleş/açık kaynak, ama boyutu en düşük olan AI modeli hangisi? Tek yapacağı şey veri okuyup özet çıkarmak. Boyutla baş edemezsem kendi sunucumda yürütmem şart değil.
@cestlavie bilirsin belki.
En düşüklerden birisi llama 3.2-1B modeli. Ama pek mutlu etmez. Together.ai sitesinde playground bölümünde bir çok modeli test edebilirsin, hoşuna gideni kullanırsın.
Kendi sunucunu kurmak yerine openrouter gibi bir api kullansan küçük-orta modellleri çok ucuza kullanabilirsin (1 m token/ 0.1 dolar gibi) hatta deneme modelleri ücretsiz oluyor eğer çok sık kullanmayacaksan onları kullan. Günde 200'den az istek atıyorsan deneme modelleri ücretsiz.
Yüksek boyutlu modellerin quantized hallerine bakın tabi yine 300-500 mb'a inmez fakat daha düşük boyutla daha becerikli çıktılar elde edersiniz.
aklima en düşük microsoft'un phi 2.7b modeli geldi. 1.5gb
Spesifik işler için küçük modeller idare edebilir ama genel görevler için bence qwen2.5 7b veya 14b quantized model güzel. verdiğiniz tüm işleri yapacaktır.
Akşam ufak bi göz atıp editlerim hocam
Gemini api'si varmış beleş onu çektim kendime. Ama direkt ben api key oluştur dedim oluşturdum oldu 😀 Şimdi bunun sınırı kaç, var mı yok mu, kendi istediğim şekilde cevap versin... Ayarı vs var mı?
@agab anlarsın sınıra ulaştığında. ben 5bin foto attım 2 günde ücretsiz api ile fotoların açıklamalarını çıkarttım bir kere hata aldım 😀 üst üste istek atarsan genelde gemini sıkıntı çıkarır. dakikada 2 olması lazım request limitinin. gemini 1206 expiermental modelini tavsiye ederim kullan kod yazıyorsan. temperature 0.1 yapman lazım.
yaratıcılık için temperature ayarını artırman lazım. 0 ile 1 arası. ayarları var ama kullandığın uygulamaya kodlaman lazım ayarını. https://ai.google.dev/gemini-api/docs
google gemini şimdilik ucuz/beleş ama google sağlam geçirecek bağladıklarına gelecekte.