Vikipedi metinlerinden hazırladığım hala eğitiminin devam ettiği GPT2 modelinin ne kadar öğrendiğini gözlemlemek için bir çalışma yaptım: Ona birkaç ülkenin en önemli 3 şehrini söyledim (sondaki görsel) ve ondan farklı ülkelerin 3 şehrinin ne olabileceğini tahmin etmesini istedim.
Sonuçlar aşağıda: Başta sonuçların hatalı olduğunu düşünebilirsiniz. Ama aslında öğrenmiş. Eğitimin 20.evresinde olduğu için bilmediği konularda bile öğrendiği kadarını yorumladığını farkettim. Dikkat ederseniz şu ana kadar tam eğitilebildiği kadarını doğru doldurabiliyor. Kalan kısımları kültürel benzer ve yakın ülkenin şehirleri ile dolduruyor. Mesela Pakistan ile Hindistan'ı aynı sanıyor. Almanca dillerini konuşan Avusturya ile Almanya'yı, Fransızca konuşan Belçika ile Fransa'yı aynı yere koyuyor. İspanyolca konuşan Meksika ve İspanya'yı da benzer düşünüyor.. Amaç olan 100. evreye yaklaşınca nasıl bir eğitime uğrayacağını merak ediyorum.

Modelin son haline ulaşmak için: (Kullanımı ücretsizdir)
https://huggingface.co/cenkersisman/gpt2-turkish-900m

Model Açıklaması
GPT-2 Türkçe Modeli, Türkçe diline özelleştirilmiş olan GPT-2 mimarisi temel alınarak oluşturulmuş bir dil modelidir. Belirli bir başlangıç metni temel alarak insana benzer metinler üretme yeteneğine sahiptir ve geniş bir Türkçe metin veri kümesi üzerinde eğitilmiştir. Modelin eğitimi için 900 milyon karakterli Vikipedi seti kullanılmıştır. Eğitim setindeki cümleler maksimum 48 tokendan (token = kelime kökü ve ekleri) oluşmuştur bu yüzden oluşturacağı cümlelerin boyu sınırlıdır.. Türkçe heceleme yapısına uygun tokenizer kullanılmış ve model 7.5 milyon adımda yaklaşık 12 epoch eğitilmiştir. Eğitim halen devam etmektedir. Eğitim için 4GB hafızası olan Nvidia Geforce RTX 3050 GPU kullanılmaktadır.

#ceydasistan #gpt #gpt2 #chatgpt