Geçenlerde dil pratiği için sansürsüz olarak AI'larla konuşmanın yolu olup olmadığını sormuştum ancak yeterli cevap alamamıştım. Varmış. Çözüm SillyTavern + Openrouter. SillyTavern basitçe LLM modelleriyle konuşmanızı sağlayan ve Windows üzerinde çalışan bir arayüz. Hem kendiniz için hem de konuşmak istediğiniz AI için istediğiniz sayıda karakter yaratıp; senaryo, kişilik, lore vs yazıp belirliyorsunuz.(veya bunların hazır yapılıp paylaşıldığı siteler var oradan indirip SillyTavern'e import edebilirsiniz.)
Openrouter ise tek bir üyelikle chatgpt, gemini, llama, qwen, deepseek gibi yüzlerce AI'a erişmenizi sağlayan bir ortak API platformu. Ücretli closedsource ve ücretsiz opensource modeller var. Ücretlileri henüz denemedim o yüzden onlar ne kadar sansürsüz bilmiyorum ancak deepseek V3 0324 671/685B versiyonunun ücretsizi gayet güzel şekilde sansürsüz çalışıyor (aynı modelin ücretli versiyonu da var. Ücretsizinde anladığım kadarıyla konuşmalarınız ANONİM olarak toplanıp AI'ı eğitmek için kullanılıyor) Türkçe'yi de gayet iyi konuşsa da Türkçe'yi sadece denemek için kısıtlı bir süre kullandığımı söylemeliyim. Çoğunlukla İngilizce olarak kullandım. 128K context memory sınırı da gayet yeterli. Deepseek'i kullanma nedenim opensource olan en gelişmiş dil modeli olması.
Tek yapmanız gereken SillyTavern istemcisini bilgisayara kurduktan sonra openrouter hesabınızı API key'i ile bağlamak ve dil modelini seçmek. Başta biraz göz korkutucu gelse de fazlaca rehberi var ve biraz kurcaladığınızda çok da zor olmadığını göreceksiniz. İyice araştırdıktan sonra kurulum yarım saatimi bile almadı. SillyTavern gerçekten detaylı kişiselleştirme ve özelleştirmeye sahip bir arayüz ve biraz İngilizce biliyor olmanız yazılımı anlamanız noktasında işinizi çok kolaylaştırır. Ne kadar kişiselleştirme yaparsanız o kadar istediğinize yakın sonuç alırsınız.
Belirlediğiniz personality, lore, rulebook, karşılama mesajı vs. AI'ın karakteri ve senaryo bunlara göre şekillendiği için istediğiniz her şeyi oluşturabilirsiniz. İnternette sırf bununla DND ve masaüstü rpg yapan topluluklar olduğunu gördüm. İster kendinize chatbot oluşturun ister bir senaryo yaratın. İsterseniz benim yaptığım gibi, İngilizce writing'inizi geliştirmek için yazdıklarınıza gramer kontrolü yapan bot oluşturun. Harry Potter evreninde geçen bir senaryo bile oluşturabilirsiniz. Tabi sansürsüz olduğu için başka tür roleplayler için de kullanabilirsiniz artık orası size kalmış 😀
Not: Deepseek'in ücretsiz olanı inputlarınızı AI eğitmek için kullandığından, bu modeli kullanmak için openrouter'da privacy ayarlarına girip Model Training seçeneğini açmanız gerekiyor. Bunu istemezseniz ya ücretli closedsource modelleri kullanmanız ya da deepseek'ten daha az gelişmiş opensource modelleri kullanmanız gerek. Ben henüz onları denemediğim için ne kadar iyi çalışıyorlar, ne kadar sansürsüzler henüz bilmiyorum o yüzden yorum yapamıyorum ama hepsini deneyeceğim zamanla, ücretliler dahil. Yine de ücretsiz olanların da tam ücretsiz olmadığına eminim. Her ne kadar deepseek v3 açık kaynak olsa da çalıştırmak için ciddi donanım gücü gerektiriyor, bir yerden sonra ufak da olsa bir ücret isteyecektir. Ben henüz sınırını aşamadım ama aşınca gönderiye not olarak eklerim.
Not 2: Tamamen localde çalışan AI'lar da var ancak benim 3070ti ile anca 7B(7 milyar) parametreli modelleri çalıştırabildiğimi gördüm. Deepseek gibi 671B parametreli modelleri çalıştırmak 5090'la bile mümkün değil.
Not 3: Hala W7 kullanan varsa; bunu çalıştırmanız mümkün değil. W10'da çalışıyor gibi görünüyor ancak nodejs kaynaklı çeşitli hatalar alabilirsiniz demişler, yine de yorumlardan gördüğüm kadarıyla W10'da çalışıyor çoğu kişide. W11'de tamamen sorunsuz. Linux, Mac ve Android de destekleniyor.
Not 4: SillyTavern kurulumu için çeşitli yollar var ancak en kolayı kaynaklar kısmında verdiğim ilk link olan github'daki "Installing via SillyTavern Launcher" başlığındaki kurulum, sadece Windows'a bir komut girip sonra kurulum yerini belirliyorsunuz gerisini kendini yapıyor. Kurulum sırasında nodejs'yi kendisi kurmayı beceremediği için nodejs'yi ayrıca indirip kurun (son link)
Not 5: SillyTavern ayrıca eklenti desteği sayesinde; hazır karakter kartı indirme, çeviri, text-to-speech, image generation(Stable Diffusion/FLUX/DALL-E) gibi özellikleri de destekliyor. 3. linkteki wiki sayfasında Extensions bölümünde detaylı anlatım bulabilirsiniz.
------------------------------------------------------------------------------------------------------------------
Not 6: Evet, limite takıldım. Çok özet geçiyorum. Deepseek'i ücretsiz kullanmak isterseniz openrouter günlük 50 request hakkı veriyor. eğer openrouter hesabınızda en az 10kredi yani 10 dolar olursa günlük 1000 request veriyor. Hesabınızdaki para free deepseek modelini kullandığınız sürece harcanmıyor ve kredinin süresi 1 sene. Yani 1 sene için 10 dolar vermiş oluyorsunuz. Değer mi? Fazla fazla değer. Ancak bunun da çözümü var. Openrouter yerine chutes.ai kullanmak. Chutes.ai free Deepseek'in asıl provider'ı. Yani aslında openrouter'ı aradan çıkartmış oluyorsunuz. Çok kısaca anlatıyorum.
1-chutes.ai sitesinden hesap açıp profil kısmından API key alın(API keyleri sakın kaybetmeyin, tekrar görmeniz mümkün değil çünkü key'i.
2-SillyTavern'de üst bardaki APIConnections sekmesini açıp "API" başlığından "Chat Completion"ı seçin.
-"Chat Completion Source" kısmında "Custom(OpenAI-compatible)" seçin
-"Custom Endpoint (Base URL)" kısmına "https://llm.chutes.ai/v1/" yazın (tırnaklar olmadan)
-"Custom API Key" kısmına chute'dan aldığınız API keyi yapıştırın ancak başına "Bearer" ifadesini ekleyip arada bir boşluk bırakın(tırnaklar olmadan). Şu şekilde:
Bearer 12345648979684634168546541654
-"Enter model ID" kısmına "deepseek-ai/DeepSeek-V3-0324" yazın. Yine tırnaklar yok.
-"Available Models" kısmından "deepseek-ai/DeepSeek-V3-0324" olanı seçin
-Connect'e basın ve "test message" butonundan çalıştığını doğrulayın. Bu kadar
-----------------------------------------------------------------------------------------------------------------------
Kurulum için gereken kaynaklar:
https://github.com/SillyTavern/SillyTavern?tab=readme-ov-file
https://openrouter.ai/
Wiki ve how to sayfaları:
https://sillytavernai.com
https://docs.sillytavern.app
https://scribehow.com/shared/Sign_up_and_create_API_key_for_openrouterai_For_SillyTavern__XlCaYA0ZQS24816UigOICg
Biraz kurcaladıktan sonra devam etmek isterseniz; AI'ın çalışma mantığını ve ne yapmanız gerektiğini mükemmel şekilde anlatan uzun bir yazı https://rentry.org/Sukino-Guides
Örnek bir karakter kartı indirme sitesi:
https://aicharactercards.com (login olup ayarlardan nsfw'yi açmadan çoğu kartı göremezsiniz)
https://chub.ai (aynı şekilde, ayarlardan açın)
https://nodejs.org/en
google photos alternatifi olarak en iyisi immich şu an
Immich biliyorum, onu da inceledim de. Alternatiften kastım self hosted bir çözüm aslında Google Photos alternatifi olamaz diye düşünüyorum. O rahatlık ve kolaylık olmuyor.
@hamdi immich self hosted degil mi zaten
@omerf97 tamam işte genel olarak cloud çözümlerinin yerini tutmuyor self hosted çözümler. Anca uzak sunucuda kullanırsan mantıklı.
@hamdi kullanınca anlarsın ancak ne kadar yerini tutabildiğini, bi dene derim 🙂
@gurkan-atilgan CasaOS + Immich kurdum sıfırdan. Şuan baya eli yüzü düzgün birşeye benzedi. Bakalım kullanımı da o kadar kolay olur inşallah. Yalnız OMV'de rahat rahat yaptığım bazı şeyleri o kadar da kolay yapamadım CasaOS üzerinde. Daha şık ama işlevli değil.
@hamdi OMV sadece dosya depolama ağda paylaşma üzerine özelleşmiş gibi, o yüzden pek mantıklı gelmemişti bana, ubuntu 24.04 docker üzerinde containerlar şeklinde ihtiyacıma göre ayağa kaldırdım servisleri, casaos daha bi hazır çözüm
@gurkan-atilgan Raspberry'e ağır geldi biraz CasaOS ve Immich ya. En ufak şeyde CPU yukarı dayanıyor ufacık cihazın fanı koca işlemci fanı kadar ses yapıyor. En kötü bi mini pc ayarlamak lazımmış. Deneyim çok güzel oldu ona lafım yok ama. 😀
@hamdi immichte çok AI işi olabiliyor o yüzden yük olabilir evet, ben K8 Plus üzerinde çalıştırıyorum
deneyim işte denemeden bilemezsin diye dedim 😀 bildiğin google photos hatta bazı özellikler bakımından vs misal google photosun son halindeki saçma sapan yüz eşlemelere göre harika çalışıyor
@gurkan-atilgan AI özelliklerini kapattım zaten ihtiyacım yok. Diğer küçük resim oluşturma vs paralel işlemleri de sınırladım, gerek yok. Şuan çok akıcı şekilde çalışıyor. Tek sıkıntısı her türlü önceliği vermeme rağmen Samsung cihazımda arkaplanda yedekleme yapamıyor. Uygulama ve ekran açık olması gerekiyor. Ona anlam veremedim.
@hamdi ai dediğim aslında o işler işte 😀 onları kısıtlamak hoş olmaz, bi kere sal yapsın bitsin, sonra görüntü geldikçe ekler üzerine
@gurkan-atilgan dün gece çalışıyordu. 1 oda vardı aramızda. Uyutmadı çektim fişini. Aslında düzgün bi model bulsam buna bi kasa basacam da hep dahili hdd için yapmışlar. Benim external hdd lerin gözü yaşlı. 12cm bi fan taksam baya rahatlar.
Harici USB'ler harici adaptörlü mü usb'den güç çekerek mi çalışıyor?
2.5 HDD ikisi de. USB'den çekiyor gücünü ama Rasp Pi 27W orjinal adaptörü bağlı cihazda.
@hamdi: Pi 5 tabi ki, benim aklım 3'e gitti nedense...
Pi-hole kurup router'dan DNS ayarlarını Raspberry Pi 5 olacak şekilde ayarlarsanız reklam engelleme konusunda tüm ağ rahat eder. Alternatif olarak Adguard Home da deneyebilirsiniz. Ancak bunlar Youtube reklamlarını engellemiyor.
Diğer reklamlar tarayıcı bazlı da rahatlıkla engellenebiliyor artık mobilde bile. Bilemedim bi bakacağım.
@hamdi Tabii, reklamları engellemek şart. İçerik üretenler de bok yesin, gebersinler.
@leventp Yesinler. Kurunun yanında yanabilirler. O eşiği çoktan geçtik artık. O ilk taşı atan dh'i reklam habere çeviren zihniyetin suçu hepsi. Hala aynı kafa nato mermer gidiyorlar. İçeriği reklamlaştırdılar onu da izleyen yok. Böyle böyle azala azala bitecekler.
@leventp: Biz de isteriz o taraftan yardımcı olmayı ama mesela YT 90 saniyeye çıkardı, atlanamaz reklamları ve bir video içindeki reklam sıklığı da arttı. Hele canlı yayınlarda, yayını kesip yayınladığı durumlar var. Yayıncının en heyecanlandığı anda reklam girip, içinden geçiyor yayının. PS 3 üstünden izliyordum ben de TV'de ama bıraktım.
@leventp: 90'lı yıllarda TRT'de yaşadığım olaydan beri nefret ederim reklamlardan. Bir Trabzon-Beşiktaş maçında maçın tek gölü reklam sırasında oldu. Firikik oldu diye reklama girdi TRT, çıktığında gol olmuştu.
Dışarıdan bağlanmak için tailscale kullanabilirsiniz. Kullanımı çok basit.
KeenDNS muhabbeti falan da var ama daha içime sinen komple bi çözüm oluşturamadım. Dışarıdan bağlantıyı açmak için henüz erken gibi bakalım.