Sarcina
SHIFT Studio este un studio local de dublaj video cu inteligență artificială pentru Mac cu Apple Silicon și Windows.
Dublajul cu AI necesită de obicei un întreg set de modele: pentru recunoașterea vorbirii, traducere, sinteză vocală, clonarea vocii și separarea vocii de muzică. Fiecare trebuie găsit, instalat, adaptat la propriul hardware și conectat cu celelalte, iar aceasta este o muncă de inginer, nu de creator de conținut video. Serviciile cloud rezolvă această problemă, dar sunt contra cost, au limite de timp și cer încărcarea materialelor pe serverele altcuiva. Scopul proiectului a fost să facă dublajul accesibil oricui, fără cunoștințe tehnice: descarci un singur program, iar apoi e suficient să tragi un videoclip în fereastră.
La instalare, programul detectează singur procesorul, memoria și placa video, încadrează computerul într-o clasă de performanță și descarcă modelele potrivite pentru el: compacte pe un laptop cu 8 GB de memorie, cele mai mari și de cea mai bună calitate pe un sistem puternic. Utilizatorul alege doar limbile și numărul de vorbitori și obține un videoclip cu traducerea dublată cu vocea vorbitorului original, exact pe timecode-uri, cu muzica și fundalul păstrate, subtitrări și pista audio originală. Pentru cei care țin la o pronunție curată există un mod fără accent, în care vorbește o voce nativă, iar timbrul original este transferat de un model separat.
În interior funcționează un flux de procesare în treisprezece pași. Sunetul este extras din videoclip, vocea este separată de fundal, vorbirea este transcrisă cu marcaje de timp pentru fiecare cuvânt și împărțită pe vorbitori, apoi tradusă ținând cont de context și de lungimea frazei, primește accentele corecte și este dublată. Fiecare frază este sintetizată în mai multe variante de motoare diferite; fiecare variantă este transcrisă înapoi și comparată cu textul, iar vocea cu cea originală. Programul alege singur cea mai bună variantă, redublează frazele neclare și le scurtează pe cele prea lungi, potrivește sincronizarea cu pauzele originalului și mixează volumul cu fundalul. La nevoie, traducerea poate fi corectată înainte de dublaj, iar orice frază poate fi ascultată și redublată separat. Fiecare pas rulează într-un proces separat, iar modelul este eliberat complet din memorie după ce își termină treaba, astfel încât chiar și un computer cu 8 GB poate folosi modele care împreună nu ar încăpea niciodată în memorie. Totul funcționează offline: internetul este necesar o singură dată, pentru descărcarea modelelor.
Pentru separarea vocii se folosește Demucs, pentru recunoașterea vorbirii și verificarea dublajului Whisper large-v3 și large-v3 turbo, iar pentru identificarea vorbitorilor ECAPA-TDNN din SpeechBrain. Traducerea este realizată de modelele de limbaj Gemma 3 și Qwen3 sau de NLLB-200, iar accentele sunt stabilite de RUAccent și ukrainian-word-stress. Vocea este sintetizată de OmniVoice, KugelAudio, XTTS-v2 și Silero, iar timbrul este transferat de kNN-VC. Toate modelele sunt descrise într-un catalog extensibil, așa că un model nou poate fi adăugat cu o singură intrare, iar programul decide singur dacă se potrivește computerului utilizatorului.
Programul este scris în Python. Partea de AI se bazează pe PyTorch, Hugging Face Transformers și SpeechBrain; pe Mac calculele sunt accelerate cu Apple MLX și modele de limbaj pe 4 biți, iar pe Windows cu CUDA pe plăcile video NVIDIA. Procesarea audio și video este asigurată de ffmpeg, Rubber Band și librosa. Aplicația desktop este realizată cu pywebview, cu o interfață în HTML, CSS și JavaScript în stilul mărcii SHIFT CODE, și dispune și de o interfață completă în linia de comandă. Programele de instalare sunt scrise în Bash și PowerShell cu managerul de medii uv, iar întregul flux este acoperit de teste pytest.
Rezultatul este o aplicație multiplatformă care selectează și instalează singură peste 25 de modele de rețele neuronale pentru fiecare computer în parte, funcționează complet local și realizează dublajul între 12 limbi dintr-o singură acțiune.
