Задача
SHIFT Studio - локальна студія нейромережевого дубляжу відео для Mac на Apple Silicon і Windows.
Нейромережевий дубляж зазвичай потребує цілого набору моделей: для розпізнавання мовлення, перекладу, синтезу голосу, клонування тембру та відокремлення голосу від музики. Кожну потрібно знайти, встановити, підібрати під своє залізо й поєднати з іншими, а це робота для інженера, а не для автора відео. Хмарні сервіси розв'язують цю проблему, але вони платні, обмежені за часом і вимагають завантажувати матеріали на чужі сервери. Мета проєкту - зробити дубляж доступним людині без технічних знань: вона завантажує одну програму, і далі їй достатньо перетягнути відео у вікно.
Під час встановлення програма сама визначає процесор, обсяг пам'яті й відеокарту, відносить комп'ютер до одного з класів продуктивності й завантажує моделі саме під нього: на ноутбуці з 8 ГБ пам'яті - компактні, на потужній машині - найбільші та найякісніші. Користувач обирає лише мови й кількість мовців, а на виході отримує відео з перекладом, озвученим голосом оригінального спікера точно за таймкодами, зі збереженими музикою та фоном, субтитрами й оригінальною звуковою доріжкою. Для тих, кому важлива чиста вимова, є режим без акценту: озвучує носій мови, а тембр оригіналу переноситься окремою моделлю.
Усередині працює конвеєр із тринадцяти кроків. Звук витягується з відео, голос відокремлюється від фону, мовлення розпізнається з таймкодами кожного слова й розподіляється між мовцями, потім перекладається з урахуванням контексту й довжини фрази, отримує правильні наголоси й озвучується. Кожна фраза синтезується в кількох варіантах різними рушіями, кожен варіант розпізнається назад і порівнюється з текстом, а голос - з оригіналом. Програма сама обирає найкращий дубль, переозвучує нерозбірливі фрази й скорочує задовгі, підганяє таймінг під паузи оригіналу та зводить гучність із фоном. За бажання переклад можна виправити перед озвученням, а будь-яку фразу прослухати й переозвучити окремо. Кожен крок виконується в окремому процесі, і модель повністю вивантажується з пам'яті після роботи, тому навіть на комп'ютері з 8 ГБ можна використовувати моделі, які разом ніколи б не вмістилися в пам'ять. Усе працює офлайн: інтернет потрібен лише один раз, щоб завантажити моделі.
Для відокремлення голосу використовується Demucs, для розпізнавання мовлення й перевірки озвучення - Whisper large-v3 і large-v3 turbo, для визначення мовців - ECAPA-TDNN зі SpeechBrain. Переклад виконують мовні моделі Gemma 3 і Qwen3 або NLLB-200, наголоси розставляють RUAccent і ukrainian-word-stress. Голос синтезують OmniVoice, KugelAudio, XTTS-v2 і Silero, а тембр переносить kNN-VC. Усі моделі описані в розширюваному каталозі, тому нову модель можна додати одним записом, і програма сама вирішить, чи підходить вона комп'ютеру користувача.
Програму написано на Python. Нейромережева частина побудована на PyTorch, Hugging Face Transformers і SpeechBrain; на Mac обчислення прискорюються через Apple MLX з 4-бітними мовними моделями, на Windows - через CUDA на відеокартах NVIDIA. За обробку звуку й відео відповідають ffmpeg, Rubber Band і librosa. Настільний застосунок зроблено на pywebview з інтерфейсом на HTML, CSS і JavaScript у фірмовому стилі SHIFT CODE, також є повноцінний командний рядок. Інсталятори написані на Bash і PowerShell з менеджером середовищ uv, а весь конвеєр покрито тестами на pytest.
У результаті вийшов кросплатформний застосунок, який сам підбирає й встановлює понад 25 нейромережевих моделей під конкретний комп'ютер, працює повністю локально й робить дубляж між 12 мовами в одну дію.
