"Türkçe GPT modeli şu an eğitim aşamasında! Geliştiriciler, Hugging Face web sitesinde paylaşılan bu özel Türkçe modelini kullanabilecekler. Bu model, yaklaşık 900 milyon karakterden oluşan ve yaklaşık 10 milyon cümle içeren bir veri setiyle eğitildi. Türkçe için özel olarak hazırlanan bir belirteçleyici (tokenizer) kullanıldı ve tüm Vikipedi metinleri kelime kökleri ve ekleri açısından detaylı bir işlemden geçirilerek oluşturuldu. Bu işlem, çalıştırılması 9 gün süren bir uygulama tarafından gerçekleştirildi.
Eğitim devam etmektedir. 2 günde yaklaşık 1.5 Epoch tamamlanmaktadır
Türkçe dilinde yapay zeka çalışmalarına yeni bir boyut kazandırmak için sabırsızlanıyorum!"

https://huggingface.co/cenkersisman/gpt2-turkish-900m?text=limon

Kullanılan makine özellikleri:
Intel Core i7 11800H 32GB + NVidia Geforce RTX 3050 4GB GPU
#chatgpt #gpt #turkcegpt #ceydasistan

cenkersisman/gpt2-turkish-900m · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.
BeğenFavori PaylaşYorum yap
  • Cenker Sisman @cenker-sisman

    Şu anki eğitim durumu: Loss değeri azaldıkça cümle kurabilme yeteneği daha da iyileşecektir.

  • Cenker Sisman @cenker-sisman

    Geliştiricilere fikir vermesi açısından bu model nasıl kullanılabilir?
    Bu model üzerinde bir kaç ülke için aşağıdaki cümlelere benzer şekilde eğitim verisi fine-tune edilip eğitiliyor. Sonra eğitimde olmayan aşağıdaki gibi 3 örnek denendiğinde aşağıdaki sonuçlar alınıyor. İşaretlenen ilk cümle sizin cümleniz ikincisi sorulabilecek soru üçüncüsü tahmini cevabı. Hayran kalmamak elde değil. Sadece Meksika tahmin cevabı hatalı. O da eğitim bittiğinde düzeleceğini düşünüyorum.

    Eğitim verisini de şu şekilde düşünelim. İçinde örneklerde kullanılan ülkelerin olmadığını düşünün.
    train_data = [
    {
    "context": "türkiye'nin başkenti ankara'dır.",
    "question": "türkiye'nin başkenti neresidir?",
    "response":"ankara"
    },
    {
    "context": "istanbul, türkiye'nin en kalabalık şehridir.",
    "question": "istanbul, hangi ülkenin en kalabalık şehridir?"
    ,
    "response":"türkiye"
    },
    {
    "context": "fransa'nın başkenti paris'tir.",
    "question": "fransa'nın başkenti neresidir?"
    ,
    "response":"paris"
    },
    {
    "context": "roma, italya'nın başkenti ve en büyük şehridir.",
    "question": "roma, hangi ülkenin başkenti ve en büyük şehridir?",
    "response":"italya"
    },
    {
    "context": "berlin, almanya'nın başkenti ve en büyük şehridir.",
    "question": "berlin, hangi ülkenin başkenti ve en büyük şehridir?",
    "response":"almanya"
    }
    ]

  • Cenker Sisman @cenker-sisman

    bu son örneğe bakarsak ChatGPT kadar güçlü olmasa da, kişisel çabalarla ve imkanlarla bir nevi InstructGPT oluşturduk diyebiliriz.

  • eskod @eskodd

    Abi kolay gelsin epoch dediğin nedir ? Bir de İstanbul cevabı da hatalı çıkmış.

  • Cihangir @chngr

    Hocam google colab da eğitmek pahalı mı olurdu?