Türkçe GPT-2
* Hugging Face'in GPT-2 Small modeli temel alınarak, Türkçe özel bir tokenizer kullanılarak ince ayar çekilmiş bir dil modelidir.
* Türkçe'ye özel olarak hazırlanan tokenizer ile yapılan embedding sayesinde, aynı seviyedeki diğer modellerden daha başarılı sonuçlar elde edilebilir. Bu özel tokenizer tüm veri seti üzerinde 9 gün çalıştırılarak elde edilmiştir.
* Tüm Türkçe Vikipedi metinleri kullanılarak oluşturulan, 1 milyar karakterden oluşan cümleler, temizlenerek eğitilmiştir.
* 124 milyon parametre sayısıyla, model küçük bir dosya boyutuna sahiptir ve bu da onu kişisel kullanım için ideal kılar. Ayrıca, 256 adet giriş token'ı destekler.
* 6 ay süren eğitim sürecinin ardından model, 7460387 adım ve 76. epoch ile 1.69 kayıp değerine ulaşmıştır. Eğitim süreci halen devam etmektedir. Bu süreçte 4GB'lık bir Nvidia GeForce RTX-3050 GPU kullanılmaktadır
* Bu ana model temel alınarak farklı amaçlara yönelik özel ince ayar modelleri oluşturulabilir.
* Auto-progressive bir model olan GPT-2, Türkçe cümleler üretmektedir. Cümleleri beyaz renkli kelimelerle başlatıp, mavi kelimelerle devam ettirerek oluşturmaktadır.
https://huggingface.co/cenkersisman/gpt2-turkish-256-token #gpt #gpt2 #llm #türkçegpt #ceydasistan