Bir tane İspanyolca film var. İngilizce altyazısı da yok. Windows'taki captions aracı aslında konuşma metinlerini çok iyi yakalıyor ama yakaladıktan sonra çevirmek için copilot+ pc istiyor. Mecbur arayışa girdim. Yani yapılması gereken önce ispanyolca sesten ispanyolca altyazı çıkartacak, sonra onu İngilizce veya Türkçe olarak çevirecek. Önce şunu denedim: https://github.com/SakiRinn/LiveCaptions-Translator
Bu araç Windows'un captions'ı aktifken oradaki cümleleri alıp istenen dile çeviren bir araç. Google çeviri veya DeepL, ollama gibi AI'ları kullanabiliyor API üzerinden. Ama maalesef youtube videolarında çok iyi çalışan windows captions maalesef filmlerde çok iyi çalışmıyor çünkü youtube'cular filmlerdeki oyunculara kıyasla daha net ve kelimeleri yutmadan konuşuyorlar 🙂 Captions filmdeki konuşmaları düzgün algılamadığı için bu aracın da çevirisi pek bir şeye yaramıyor hem de çok yavaş. Neyse bu çok işime yaramadı.
PotPlayer'da whisper AI destekli canlı anlık captions özelliği var yani sesi altyazıya dönüştürüyor. PotPlayer WhisperAI modelini indirip anlık yakalama yapıyor. Onu denedim önce, o da çok düzgün yakalamıyor konuşulanları. Bir de düz captions özelliği var PotPlayer'da, yani canlı anlık yakalama değil de, yine Whisper AI ile sesi önce filmden ayırıyor sonra ses üzerinden yakalama yapıp onu .srt altyazı dosyayı olarak veriyor. Bunu deneyeyim dedim, çok yavaş ama çıkarttığı altyazı neredeyse kusursuz derecede sesle uyumlu. Bunu yaptıktan sonra PotPlayer'daki anlık çeviriye vereyim dedim ama yine yavaş çeviri oldu. Ben de elimdeki .srt dosyasının uzantısını .txt yaptım, Gemini'a verdim, bu çok uzun çeviremem dedi. ChatGPT'ye verdim, çok uzun çeviremem dedi. Google NotebookLM'e verdim, çevir bunu dedim, zamanlamaları bozma dedim, "çevirdim ama ilk 200 satırı çevirdim bu dosya bana çok fazla" dedi verdi bana 20 dakikası çevrilmiş srt dosyası. Kalanı parça parça bitircekmiş. Google Pro var bide güya. 😒 Yani AI alcak bizi götürcek uçuracak tamam da bu kadar basit şeyleri aşalım artık. Şu bilgisayarda anlık sesten altyazıya dönüştürme + çeviri yapılabilsin artık ya, kırk takla atıyoruz basit bir şey için.
Edit: Gemini'a tekrar yazdım, srt veya txt istemiyorum, direkt çevir yazı olarak ver dedim, iki saattir yapamam edemem diyen o değilmiş gibi bu sefer verdi 🤦♂️
buyrun parakeet yapar böyle video buldum https://www.youtube.com/watch?v=cMDIfblvjXc
çevirme kısmını her llm halleder yav çıkardıktan sonra ispanyolca transcriptionları ve timestamplari.
Hocam attığın videoda transkript gösteriyor, llm seçeneği olarak whisper AI da var 🙂 Whisper AI zaten daha büyük model, 3GB. PotPlayer'ın içindeki whisper AI transkript'ini çıkarıyor zaten. Onda sorun yok. Sorun sonraki çeviri, AI'lar laf ediyor 1800 satır var diye 🙂 LLM'siz yöntemler var ama onlar işe yaramaz altyazılarda cümleler kopuk olduğu için. Bağlamı anlayabilecek LLM lazım mutlaka. Benim daha çok aradığım şey bunu böyle uğraşmaya gerek kalmadan, direkt anlık transkript ve anlık çeviriyi düzgün yapabilecek bir sistem. Google çevirinin mobil uygulamasında anlık ses çevirisi var mesela. PC'de niye yok 🙂
Bu kadar uğraşacağıma İspanyolca öğrenirim 🙂