Geçenlerde dil pratiği için sansürsüz olarak AI'larla konuşmanın yolu olup olmadığını sormuştum ancak yeterli cevap alamamıştım. Varmış. Çözüm SillyTavern + Openrouter. SillyTavern basitçe LLM modelleriyle konuşmanızı sağlayan ve Windows üzerinde çalışan bir arayüz. Hem kendiniz için hem de konuşmak istediğiniz AI için istediğiniz sayıda karakter yaratıp; senaryo, kişilik, lore vs yazıp belirliyorsunuz.(veya bunların hazır yapılıp paylaşıldığı siteler var oradan indirip SillyTavern'e import edebilirsiniz.)
Openrouter ise tek bir üyelikle chatgpt, gemini, llama, qwen, deepseek gibi yüzlerce AI'a erişmenizi sağlayan bir ortak API platformu. Ücretli closedsource ve ücretsiz opensource modeller var. Ücretlileri henüz denemedim o yüzden onlar ne kadar sansürsüz bilmiyorum ancak deepseek V3 0324 671/685B versiyonunun ücretsizi gayet güzel şekilde sansürsüz çalışıyor (aynı modelin ücretli versiyonu da var. Ücretsizinde anladığım kadarıyla konuşmalarınız ANONİM olarak toplanıp AI'ı eğitmek için kullanılıyor) Türkçe'yi de gayet iyi konuşsa da Türkçe'yi sadece denemek için kısıtlı bir süre kullandığımı söylemeliyim. Çoğunlukla İngilizce olarak kullandım. 128K context memory sınırı da gayet yeterli. Deepseek'i kullanma nedenim opensource olan en gelişmiş dil modeli olması.
Tek yapmanız gereken SillyTavern istemcisini bilgisayara kurduktan sonra openrouter hesabınızı API key'i ile bağlamak ve dil modelini seçmek. Başta biraz göz korkutucu gelse de fazlaca rehberi var ve biraz kurcaladığınızda çok da zor olmadığını göreceksiniz. İyice araştırdıktan sonra kurulum yarım saatimi bile almadı. SillyTavern gerçekten detaylı kişiselleştirme ve özelleştirmeye sahip bir arayüz ve biraz İngilizce biliyor olmanız yazılımı anlamanız noktasında işinizi çok kolaylaştırır. Ne kadar kişiselleştirme yaparsanız o kadar istediğinize yakın sonuç alırsınız.
Belirlediğiniz personality, lore, rulebook, karşılama mesajı vs. AI'ın karakteri ve senaryo bunlara göre şekillendiği için istediğiniz her şeyi oluşturabilirsiniz. İnternette sırf bununla DND ve masaüstü rpg yapan topluluklar olduğunu gördüm. İster kendinize chatbot oluşturun ister bir senaryo yaratın. İsterseniz benim yaptığım gibi, İngilizce writing'inizi geliştirmek için yazdıklarınıza gramer kontrolü yapan bot oluşturun. Harry Potter evreninde geçen bir senaryo bile oluşturabilirsiniz. Tabi sansürsüz olduğu için başka tür roleplayler için de kullanabilirsiniz artık orası size kalmış 😀
Not: Deepseek'in ücretsiz olanı inputlarınızı AI eğitmek için kullandığından, bu modeli kullanmak için openrouter'da privacy ayarlarına girip Model Training seçeneğini açmanız gerekiyor. Bunu istemezseniz ya ücretli closedsource modelleri kullanmanız ya da deepseek'ten daha az gelişmiş opensource modelleri kullanmanız gerek. Ben henüz onları denemediğim için ne kadar iyi çalışıyorlar, ne kadar sansürsüzler henüz bilmiyorum o yüzden yorum yapamıyorum ama hepsini deneyeceğim zamanla, ücretliler dahil. Yine de ücretsiz olanların da tam ücretsiz olmadığına eminim. Her ne kadar deepseek v3 açık kaynak olsa da çalıştırmak için ciddi donanım gücü gerektiriyor, bir yerden sonra ufak da olsa bir ücret isteyecektir. Ben henüz sınırını aşamadım ama aşınca gönderiye not olarak eklerim.
Not 2: Tamamen localde çalışan AI'lar da var ancak benim 3070ti ile anca 7B(7 milyar) parametreli modelleri çalıştırabildiğimi gördüm. Deepseek gibi 671B parametreli modelleri çalıştırmak 5090'la bile mümkün değil.
Not 3: Hala W7 kullanan varsa; bunu çalıştırmanız mümkün değil. W10'da çalışıyor gibi görünüyor ancak nodejs kaynaklı çeşitli hatalar alabilirsiniz demişler, yine de yorumlardan gördüğüm kadarıyla W10'da çalışıyor çoğu kişide. W11'de tamamen sorunsuz. Linux, Mac ve Android de destekleniyor.
Not 4: SillyTavern kurulumu için çeşitli yollar var ancak en kolayı kaynaklar kısmında verdiğim ilk link olan github'daki "Installing via SillyTavern Launcher" başlığındaki kurulum, sadece Windows'a bir komut girip sonra kurulum yerini belirliyorsunuz gerisini kendini yapıyor. Kurulum sırasında nodejs'yi kendisi kurmayı beceremediği için nodejs'yi ayrıca indirip kurun (son link)
Not 5: SillyTavern ayrıca eklenti desteği sayesinde; hazır karakter kartı indirme, çeviri, text-to-speech, image generation(Stable Diffusion/FLUX/DALL-E) gibi özellikleri de destekliyor. 3. linkteki wiki sayfasında Extensions bölümünde detaylı anlatım bulabilirsiniz.
------------------------------------------------------------------------------------------------------------------
Not 6: Evet, limite takıldım. Çok özet geçiyorum. Deepseek'i ücretsiz kullanmak isterseniz openrouter günlük 50 request hakkı veriyor. eğer openrouter hesabınızda en az 10kredi yani 10 dolar olursa günlük 1000 request veriyor. Hesabınızdaki para free deepseek modelini kullandığınız sürece harcanmıyor ve kredinin süresi 1 sene. Yani 1 sene için 10 dolar vermiş oluyorsunuz. Değer mi? Fazla fazla değer. Ancak bunun da çözümü var. Openrouter yerine chutes.ai kullanmak. Chutes.ai free Deepseek'in asıl provider'ı. Yani aslında openrouter'ı aradan çıkartmış oluyorsunuz. Çok kısaca anlatıyorum.
1-chutes.ai sitesinden hesap açıp profil kısmından API key alın(API keyleri sakın kaybetmeyin, tekrar görmeniz mümkün değil çünkü key'i.
2-SillyTavern'de üst bardaki APIConnections sekmesini açıp "API" başlığından "Chat Completion"ı seçin.
-"Chat Completion Source" kısmında "Custom(OpenAI-compatible)" seçin
-"Custom Endpoint (Base URL)" kısmına "https://llm.chutes.ai/v1/" yazın (tırnaklar olmadan)
-"Custom API Key" kısmına chute'dan aldığınız API keyi yapıştırın ancak başına "Bearer" ifadesini ekleyip arada bir boşluk bırakın(tırnaklar olmadan). Şu şekilde:
Bearer 12345648979684634168546541654
-"Enter model ID" kısmına "deepseek-ai/DeepSeek-V3-0324" yazın. Yine tırnaklar yok.
-"Available Models" kısmından "deepseek-ai/DeepSeek-V3-0324" olanı seçin
-Connect'e basın ve "test message" butonundan çalıştığını doğrulayın. Bu kadar
-----------------------------------------------------------------------------------------------------------------------
Kurulum için gereken kaynaklar:
https://github.com/SillyTavern/SillyTavern?tab=readme-ov-file
https://openrouter.ai/
Wiki ve how to sayfaları:
https://sillytavernai.com
https://docs.sillytavern.app
https://scribehow.com/shared/Sign_up_and_create_API_key_for_openrouterai_For_SillyTavern__XlCaYA0ZQS24816UigOICg
Biraz kurcaladıktan sonra devam etmek isterseniz; AI'ın çalışma mantığını ve ne yapmanız gerektiğini mükemmel şekilde anlatan uzun bir yazı https://rentry.org/Sukino-Guides
Örnek bir karakter kartı indirme sitesi:
https://aicharactercards.com (login olup ayarlardan nsfw'yi açmadan çoğu kartı göremezsiniz)
https://chub.ai (aynı şekilde, ayarlardan açın)
https://nodejs.org/en
Sona doğru gidiyoruz, kendini internet üzerinde yayabildiğini keşfettiği anda bittik geçmiş olsun.
Ona birazcık daha var. Kendi kendini yaymayı keşfettikten sonra onu yapmak için bir nedene sahip olması gerek. "Hayatta kalma" isteğine sahip olması lazım. AGI'ye ulaşmak gerekiyor önce bunlar için. Gerçi bu hıza bakarsak 10 senesi var gibi en fazla. Sonra Person of Interest'i birebir yaşarız.
Çok hızlı gelişiyor. Pandemiden önce böyle bir şey yok gibiydi. Vardı ama daha çok oyuncak sayılırdı..