CEYD-A'nın cevap veremediği kurgularda devreye girmesi için planladığım BERT modelini daha büyük bir veriseti ile eğittim. Bu modelde 60 farklı niyet (Intent) var. Yani ona söylenen cümleleri 60 farklı kategoriden biri ile eşleştiriyor. Bu şekilde cümlenin hangi yapıyı devreye alacağını tespit edebiliyor. Sonuçlar aşağıda. İlgi çekici olan "(ŞARKICI İSMİ) bir tane patlat" dediğimde şarkı çalması gerektiğini de algılayabilmesi. "Dışarıda üşür müyüm? dediğinde hava durumunu sorduğumu algılayabilmesi.

BERT' in en büyük avantajı, GPT' den farklı olarak çift yönlü işlem yapması ve attention mekanizması ile cümlenin anlamını belirlemedeki rolüdür. Attention mekanizması, cümlenin anlamını belirlemek için cümlenin farklı bölümlerine farklı ağırlıklar vermeyi amaçlar.

BERT' in GPT' ye göre farklı bir eğitim tekniği kullandığı ve cümlenin başından ve sonundan aynı anda öğrenme yapmasına izin verdiğini göz ardı etmemek gerekir.

GPT, kendine ait bir attention mekanizması olsa da, gelecek kelimeyi tahmin etmeye odaklanır ve bu yüzden hikaye yazma becerileri gelişmiştir. Ayrıca, GPT' ye verilecek giriş cümlesinin (prompt) uzunluğu arttıkça, daha iyi sonuçlar elde edilebilir.

#chatgpt #gpt #bert #ceydasistan

BeğenFavori PaylaşYorum yap

CEYD-A içerdiği 300 bin kurgu ile çoğu soruya cevap verebiliyor. Ancak veremediği cevapları minimize etmek için yeni bir modelleme de devreye girecek. BERT modelleri ile desteklenmiş bu yapının ilk çalışmalarının sonuçlarını iletiyorum. Amaç olası binlerce kullanıcı cümlesini niyetlerine (Intent) göre gruplayıp sonraki gereken işleri daha da kolaylaştırmak. Ayrıca GPT cephesinde de geliştirmeler devam ediyor. GPT modeli daha çok üretkenlik amacıyla devreye girecek. Örneğin hikaye yazma, şarkı sözü yazma vs. gibi.
Aşağıdaki görsellerde çalışmanın doğruluk (Accuracy) değerlerini ve 5 adet örneği nasıl niyetlerine göre grupladığını görmekteyiz.

Terimler Hakkında Bilgi:
GPT (Generative Pretrained Transformer) ve BERT (Bidirectional Encoder Representations from Transformers) açık kaynak kodlu, yapay sinir ağı tabanlı yapılardır. GPT OpenAI , BERT Google tarafından üretilmiş modellerdir.

GPT, çok büyük bir veri kümesi üzerinde eğitilen ve daha sonra bu veri kümesinde üretilen metinleri tahmin etmek için kullanılan bir modeldir. BERT ise, belirli bir metin verildiğinde bu metnin ne anlama geldiğini veya anlamının nasıl oluştuğunu öğrenmek için eğitilen bir modeldir.

GPT, doğal dil işleme için kullanılabilir ve metinleri yazmak, çeviriler yapmak veya sorulara yanıt vermek gibi uygulamalar için kullanılabilir. BERT ise, doğal dil işleme için kullanılan ve belirli bir metnin anlamını öğrenmek için kullanılan uygulamalarda kullanılabilir, örneğin, belirli bir metinde bir kelime hakkında bilgi sağlamak, metnin doğruluğunu tahmin etmek veya metnin ne zaman bir spam olduğunu tahmin etmek gibi.

GPT ve BERT farklı amaçlar için tasarlanmıştır, ancak doğal dil işleme için çok yönlü bir şekilde kullanılabilirler ve her ikisi de çok yüksek performans gösterirler.

BERT hakkında:
Transformers'tan Çift Yönlü Kodlayıcı Temsilleri ( BERT ), Google tarafından geliştirilen doğal dil işleme (NLP) ön eğitimi için transformatör tabanlı bir makine öğrenimi tekniğidir . BERT, 2018 yılında Jacob Devlin ve Google'daki meslektaşları tarafından oluşturuldu ve yayınlandı. [1] [2] 2019'da Google , arama motorunda BERT'den yararlanmaya başladığını duyurdu ve 2020'nin sonlarında neredeyse her İngilizce sorguda BERT kullanmaya başladı. 2020'de yapılan bir literatür araştırması, modeli analiz eden ve iyileştiren 150'den fazla araştırma yayınını sayarak, "BERT'nin bir yıldan biraz daha uzun bir süre içinde NLP deneylerinde her yerde bulunan bir temel haline geldiği" sonucuna vardı.[3]

Kaynak: Vikipedi

#ceydasistan #bert #chatgpt #gpt

BeğenFavori PaylaşYorum yap

Parametre olarak girilen bir kelime ile başlayan cümlenin yapısal ve anlamsal yapısına uygun ama tamamen uydurma bir cümle oluşturması için GPT eğitiyorum. Eğitim için 428 milyon harfli 3.083.109 cümleden oluşan bir veri seti kullandım. 19.323 kelimelik bir kelime dağarcığı oluştu. Eğitim için onlarca aşama (epoch) planladım. Bugün 5. aşamada kesip nasıl sonuçlar vereceğini kontrol etmek istedim. 5. epoch sonunda cümlenin yapısal doğruluğu %58 seviyesinde. İşte sonuçlar:

Burada ilgi çekici olay şu. Kelimeler art arda oluşuyor ve baştan cümlenin tümü daha hesaplanmamış. Kısacası kelimeler birbirini kovalıyor ve ortaya anlamsal olarak etkileyici sonuçlar çıkıyor. ChatGPT, bu yapının bir kısmını kullanıyor. Ek olarak InstructGPT ve güvenlik katmanı bulunuyor. Kurulan cümleler acaba gerçekten ona verilen milyonlarca cümle arasında var mıdır diye kontrol ettiğimde 2 kelimelik gruplar dışında benzer hiç bir cümle bulunmuyor. Kendisi üretiyor. Bu da sistemin anlamsal olarak da Türkçeyi öğrendiği anlamına geliyor.

#gpt #chatgpt #nlp #ceydasistan

BeğenFavori PaylaşYorum yap
  • Alperen @byalperen

    Cümlenin gramer olarak doğru olup olmadığını nasıl ölçüyorsunuz?

    • Cenker Sisman @cenker-sisman

      Milyonlarca cümleden oluşan bir GPT modeli, eğitilirken görüntülemiş olduğu cümlelerin gramerini öğrenir ve sonra bu bilgi ile yeni girdi olarak verilen cümlelerin gramerinin doğruluğunu ölçer. GPT sadece cümlenin gramer olarak doğru olup olmadığını değil, aynı zamanda anlam ve dilbilgisi kurallarını da ölçer. Bunu cümleleri deneme yanılma kelime kelime fark analizi vs yaparak. Milyarlarca (sözün gelişi milyarlarca aslında çok daha misliyle fazlası :)) ) kıyaslama yaparak kendisi yapar.

      Kısacası bu çalışmada farklı kaynaklardan 3 milyon hazır cümle kullandım. Onların yapılarından öğrenmiştir.

Oluşturmaya başladığım ilk Türkçe GPT den eğitim sonuçları. 2008 yılına kadar tüm Türkçe Vikipedi sayfalarının veriseti kullanıldı. Temizleme ve özel performans arttırıcı yöntemler sonrasında ilk eğitim sonuçlarını paylaşmak istedim. Umarım güzel sonuçlar elde edilir.
burada accuracy (doğruluk) %85 oranına ulaştı. Bence ilk çalışmalar göre hiç fena bir sonuç değil. perplexity: 2.3817 . Bu dilin yapısını anlaması gibi yorumlanabilir. 1 e yaklaştıkça daha iyi sonuçlar elde edilir. Örneğin Perplexity 3 ise bu bir sonraki tahmin edilen kelimenin 1/3 oranında random en uygun kelimeden elde edileceği anlamına gelebilir.
#gpt #chatgpt #turkcegpt #ceydasistan

BeğenFavori PaylaşYorum yap

#ChatGPT #gpt #ai

BeğenFavori PaylaşYorum yap