#HaftalıkGündemDeğerlendirmesi
#AkademikGündem
Asagidaki Adobe Research'un de dahil oldugu akademik calisma bilim camiasinda bu aralar cok konusuluyor:
https://mingukkang.github.io/GigaGAN/
Aslinda bu camiada daha cok ilgi ceken kisim burada yapilan text-to-image yani metinden resim sentezleme degil de bu calismanin icinde kullandiklari Up-scaling yapabilen bir yapay zeka modeli.
Asagidaki resimde gordugunuz uzere 128px goruntuden 4K resim sentezleyebiliyor. Siteden ornek resimlere siz de bakabilirsiniz. Eger bunu hizlandirabilirlerse yakinda dusuk seviyeli ekran kartlarda bu teknolojileri gorebiliriz. Sonucta akademik olarak bunun yapilabildigi ispatlandi.
Geçenlerde bende 200x200px boyutlarında bir avatarı yükselttim online araçları kullanalım. Farklı farklı sistemlerden. Gerçi fotoğraf kalitesinde bir görsel değildi ama yine baya iyi iş çıkardılar. 4-5 katına güzel bir şekilde çıktı çözünürlük. Kusursuz değil ama online ortamda kullanmak için ideal. Bu tarz AI destekli daha gelişmiş upscale teknikleriyle daha kusursuz işler çıkacağı kesin. İnşallah gerçek zamanlı görüntü tarafına da başarılı bir şekilde yansır. 1080p yüksek ayarlarda oynatan bir ekran kartıyla 4K yüksek kalitede upscale görüntü almak şahane olurdu.
Gerçi sonuçta bu görüntü işleme işlemleri için de donanım gücüne ihtiyaç var. Belki uzak sunucuda bulut tabanlı falan yapılır diyeceğim ama bu seferde gecikme devreye giriyor, bilemedim. En azından videolu içeriklerde kullanılsa bile birşeydir. Eski dizi filmler için özellikle şahane olurdu.
Evet suanda bu 4K up-scalingi yapmak icin harcanan islem gucu muhtemelen goruntuyu 4K render etmek icin harcanan sureden daha fazla. Fakat ilerde bu yonde atilimlar olursa belki dediginiz gibi dusuk donanimlarda gorebiliriz.
input(kaynak fotoğraf) hiçbiri gerçek 128px değil hepsi sentetik mozaik efekti uygulanmış fotolar, kaliteleri çok yüksek ama küçültülmüş fotoğraflar, buda örüntü (pattern)demek.
Benim de aklıma bu geldi.
Hocam bunlar cidden 128px resimler. Mozaik efektini ayni boyutlarda resmi buyuttugumuz icin goruyoruz. Yani 4K resimler 128px resmi yanyana koyup ayni boyutta gostermek icin 128px'de pixelleri kare ciziyorlar ki ekrana tam otursun. Yoksa 128px nokta gibi kalacak gosterirken.
Zaten text-to-image uretirken o dusuk cozunurlu resmi de kendi uretiyor, sonra up-scale yapiyor. Onu suradan anliyoruz:
. First, it is orders of magnitude faster at inference time, taking only 0.13 seconds to synthesize a 512px image. Second, it can synthesize high-resolution images, for example, 16-megapixel pixels in 3.66 seconds.
Yani ilk basta urettigi 512px veya 128px resimler de sentetik. Aslinda bize bir kedi resmi ciz dedigimiz zaman once dusuk cozunurluklu ciziyor sonra onu up-scale ediyor.
@jpage kullanılan tüm resimler önceden büyük çekilip küçültülmüş sonrada upscale denemesi yapılmış.
buradaki amaç ilk baştaki yüksek çözünürlüklü resmin küçültülmü versiyonundan nasıl tekrar yüksek çözünürlük elde edebiliriz meselesi.algoritma performansını ölçmek için güzel bir yöntem gibi gözüküyor ama gerçek hayatta bu örnekler gibi güzel sonuç alabilecekmiyiz, kullanılan görsellerin orjinalleri slr kalitesinde, kullan at film çıktısı ile de denenmeli.işin içinde akademik makale varsa aynı anda bir görüntüyü hem eski dijital/analog kamera hemde son model kamera ile çekip sonucun karşılaştırılması gerekiyor, gerçek performansı görmek için.
mesele 20 yıllık düşük çözünürlüklü imaj kullanılması gerekliliği,insanlar Yeşilçam filmlerini fullhd harika izleyebiliyoruz ama VHS videolar berbat , bir demet tiyatro izleyemiyoruz diyor.ilk nesil dijital teknolojiler maalesef çok yetersizdi.
Bu haliyle bu teknolojiler videokonferans uygulamalarında daha önemli oluyor.
Aynı şekilde bulanıklık gidermede de buna benzer yöntem uygulanabiliyor, dijital fotoğrafa efekt uygulanıp deblur işlemi yapılıyor sonra makine öğrenmesi ile düzeltiyorlar.ama gerçekçi değil bu tarz şeyler, çünkü efekt veren yazılım belli örüntüye neden olabiliyor.doğal olmayan bozulmalara karşı yapılan bu tarz makine öğrenmesi müdahaleleri çok da anlamlı olmuyor.
insan yüzü becerileri. aynı tool değil tabi
@bitlikarinca Obama'dan Alabama'lı yapabilmiş 😀
Buradaki performansi bence muazzam.
Bu görseller gerçek performansı yansıtmıyor. Bir başarı sayılmaz.