Zadanie
SHIFT Studio to lokalne studio dubbingu wideo z użyciem sztucznej inteligencji dla komputerów Mac z Apple Silicon i systemu Windows.
Dubbing z użyciem AI zwykle wymaga całego zestawu modeli: do rozpoznawania mowy, tłumaczenia, syntezy głosu, klonowania barwy i oddzielania głosu od muzyki. Każdy z nich trzeba znaleźć, zainstalować, dopasować do swojego sprzętu i połączyć z pozostałymi, a to praca dla inżyniera, a nie dla twórcy wideo. Usługi chmurowe rozwiązują ten problem, ale są płatne, mają limity czasu i wymagają wysyłania materiałów na cudze serwery. Celem projektu było udostępnienie dubbingu osobom bez wiedzy technicznej: pobierają jeden program, a potem wystarczy przeciągnąć wideo do okna.
Podczas instalacji program sam rozpoznaje procesor, ilość pamięci i kartę graficzną, przypisuje komputer do jednej z klas wydajności i pobiera modele dopasowane właśnie do niego: kompaktowe na laptopie z 8 GB pamięci, największe i najwyższej jakości na mocnej maszynie. Użytkownik wybiera tylko języki i liczbę mówców, a w efekcie otrzymuje wideo z tłumaczeniem udźwiękowionym głosem oryginalnego mówcy, dokładnie według kodów czasowych, z zachowaną muzyką i tłem, napisami oraz oryginalną ścieżką dźwiękową. Dla osób, którym zależy na czystej wymowie, jest tryb bez akcentu: mówi głos rodzimego użytkownika języka, a barwa oryginału jest przenoszona przez osobny model.
Wewnątrz działa potok przetwarzania złożony z trzynastu kroków. Dźwięk jest wyodrębniany z wideo, głos oddzielany od tła, mowa rozpoznawana ze znacznikami czasu dla każdego słowa i dzielona między mówców, następnie tłumaczona z uwzględnieniem kontekstu i długości frazy, otrzymuje poprawne akcenty i jest udźwiękawiana. Każda fraza jest syntetyzowana w kilku wariantach przez różne silniki; każdy wariant jest ponownie rozpoznawany i porównywany z tekstem, a głos z oryginałem. Program sam wybiera najlepsze ujęcie, ponownie nagrywa niewyraźne frazy i skraca zbyt długie, dopasowuje timing do pauz oryginału i miksuje głośność z tłem. W razie potrzeby tłumaczenie można poprawić przed udźwiękowieniem, a każdą frazę odsłuchać i nagrać ponownie osobno. Każdy krok wykonywany jest w osobnym procesie, a model jest po zakończeniu całkowicie usuwany z pamięci, dzięki czemu nawet komputer z 8 GB może korzystać z modeli, które razem nigdy by się w niej nie zmieściły. Wszystko działa offline: internet jest potrzebny tylko raz, aby pobrać modele.
Do oddzielania głosu służy Demucs, do rozpoznawania mowy i weryfikacji nagrań - Whisper large-v3 i large-v3 turbo, a do rozpoznawania mówców - ECAPA-TDNN ze SpeechBrain. Tłumaczenie wykonują modele językowe Gemma 3 i Qwen3 lub NLLB-200, akcenty stawiają RUAccent i ukrainian-word-stress. Głos syntetyzują OmniVoice, KugelAudio, XTTS-v2 i Silero, a barwę przenosi kNN-VC. Wszystkie modele są opisane w rozszerzalnym katalogu, więc nowy model można dodać jednym wpisem, a program sam zdecyduje, czy pasuje do komputera użytkownika.
Program napisano w Pythonie. Część AI oparta jest na PyTorch, Hugging Face Transformers i SpeechBrain; na Macu obliczenia przyspiesza Apple MLX z 4-bitowymi modelami językowymi, a w Windows CUDA na kartach graficznych NVIDIA. Za przetwarzanie dźwięku i obrazu odpowiadają ffmpeg, Rubber Band i librosa. Aplikacja desktopowa powstała w pywebview, z interfejsem w HTML, CSS i JavaScript w stylistyce marki SHIFT CODE, a do dyspozycji jest też pełnoprawny wiersz poleceń. Instalatory napisano w Bash i PowerShell z menedżerem środowisk uv, a cały potok jest pokryty testami w pytest.
W efekcie powstała wieloplatformowa aplikacja, która sama dobiera i instaluje ponad 25 modeli sieci neuronowych pod konkretny komputer, działa w pełni lokalnie i wykonuje dubbing między 12 językami jednym działaniem.
