"Türkçe GPT modeli şu an eğitim aşamasında! Geliştiriciler, Hugging Face web sitesinde paylaşılan bu özel Türkçe modelini kullanabilecekler. Bu model, yaklaşık 900 milyon karakterden oluşan ve yaklaşık 10 milyon cümle içeren bir veri setiyle eğitildi. Türkçe için özel olarak hazırlanan bir belirteçleyici (tokenizer) kullanıldı ve tüm Vikipedi metinleri kelime kökleri ve ekleri açısından detaylı bir işlemden geçirilerek oluşturuldu. Bu işlem, çalıştırılması 9 gün süren bir uygulama tarafından gerçekleştirildi.
Eğitim devam etmektedir. 2 günde yaklaşık 1.5 Epoch tamamlanmaktadır
Türkçe dilinde yapay zeka çalışmalarına yeni bir boyut kazandırmak için sabırsızlanıyorum!"
https://huggingface.co/cenkersisman/gpt2-turkish-900m?text=limon
Kullanılan makine özellikleri:
Intel Core i7 11800H 32GB + NVidia Geforce RTX 3050 4GB GPU
#chatgpt #gpt #turkcegpt #ceydasistan

Şu anki eğitim durumu: Loss değeri azaldıkça cümle kurabilme yeteneği daha da iyileşecektir.
Geliştiricilere fikir vermesi açısından bu model nasıl kullanılabilir?
Bu model üzerinde bir kaç ülke için aşağıdaki cümlelere benzer şekilde eğitim verisi fine-tune edilip eğitiliyor. Sonra eğitimde olmayan aşağıdaki gibi 3 örnek denendiğinde aşağıdaki sonuçlar alınıyor. İşaretlenen ilk cümle sizin cümleniz ikincisi sorulabilecek soru üçüncüsü tahmini cevabı. Hayran kalmamak elde değil. Sadece Meksika tahmin cevabı hatalı. O da eğitim bittiğinde düzeleceğini düşünüyorum.
Eğitim verisini de şu şekilde düşünelim. İçinde örneklerde kullanılan ülkelerin olmadığını düşünün.
train_data = [
{
"context": "türkiye'nin başkenti ankara'dır.",
"question": "türkiye'nin başkenti neresidir?",
"response":"ankara"
},
{
"context": "istanbul, türkiye'nin en kalabalık şehridir.",
"question": "istanbul, hangi ülkenin en kalabalık şehridir?"
,
"response":"türkiye"
},
{
"context": "fransa'nın başkenti paris'tir.",
"question": "fransa'nın başkenti neresidir?"
,
"response":"paris"
},
{
"context": "roma, italya'nın başkenti ve en büyük şehridir.",
"question": "roma, hangi ülkenin başkenti ve en büyük şehridir?",
"response":"italya"
},
{
"context": "berlin, almanya'nın başkenti ve en büyük şehridir.",
"question": "berlin, hangi ülkenin başkenti ve en büyük şehridir?",
"response":"almanya"
}
]
bu son örneğe bakarsak ChatGPT kadar güçlü olmasa da, kişisel çabalarla ve imkanlarla bir nevi InstructGPT oluşturduk diyebiliriz.
Abi kolay gelsin epoch dediğin nedir ? Bir de İstanbul cevabı da hatalı çıkmış.
Esasında onu ben hatalı yazdım yine de kendisi olumsuz etkilenmemis bu durumdan. Düzeltirim tesekkurler
Epoch burada tüm eğitim setinin bir kez eğitme süreci olarak düşünebilir. 100 epoch tüm eğitim setinin 100 kez üzerinden geçilerek yeni katsayılar oluşturma süreci. Bu süreç kullandığım makinede aylar demek oluyor
Hocam google colab da eğitmek pahalı mı olurdu?
Uzun süreli eğitim olacağı için zaman nakit olarak işlenirdi. Denediğim ucretsiz colab sunucuları da kendi makinemden daha performanslı değildi ne yazık ki.
@cenker-sisman abi udemyde yapay zeka kursu hazirlarsan ilk ogrencin ben olurum