L'obiettivo
SHIFT Studio è uno studio locale di doppiaggio video basato sull'intelligenza artificiale per Mac con Apple Silicon e Windows.
Il doppiaggio con l'IA richiede di solito un intero insieme di modelli: riconoscimento vocale, traduzione, sintesi vocale, clonazione della voce e separazione della voce dalla musica. Ognuno va trovato, installato, adattato al proprio hardware e collegato agli altri, un lavoro da ingegnere più che da creatore di video. I servizi cloud risolvono il problema, ma sono a pagamento, hanno limiti di tempo e richiedono di caricare i propri contenuti su server altrui. L'obiettivo del progetto era rendere il doppiaggio accessibile a chi non ha competenze tecniche: si scarica un solo programma e, da quel momento, basta trascinare un video nella finestra.
Durante l'installazione il programma rileva da solo processore, memoria e scheda grafica, assegna il computer a una classe di prestazioni e scarica i modelli più adatti: compatti su un portatile con 8 GB di memoria, i più grandi e di qualità più alta su una macchina potente. L'utente sceglie solo le lingue e il numero di speaker e ottiene un video con la traduzione doppiata con la voce dello speaker originale, esattamente sui timecode, con musica e sottofondo conservati, sottotitoli e la traccia audio originale. Per chi tiene a una pronuncia pulita c'è una modalità senza accento, in cui parla una voce madrelingua e il timbro originale viene trasferito da un modello separato.
Dietro le quinte lavora una pipeline di tredici passaggi. L'audio viene estratto dal video, la voce viene separata dal sottofondo, il parlato viene trascritto con i timestamp di ogni parola e suddiviso tra gli speaker, poi tradotto tenendo conto del contesto e della lunghezza delle frasi, accentato correttamente e doppiato. Ogni frase viene sintetizzata in più take da motori diversi; ogni take viene ritrascritta e confrontata con il testo, e la voce viene confrontata con quella originale. Il programma sceglie da solo la take migliore, ridoppia le frasi poco chiare e accorcia quelle troppo lunghe, adatta il timing alle pause dell'originale e mixa il volume con il sottofondo. Se lo si desidera, la traduzione può essere corretta prima del doppiaggio e ogni frase può essere riascoltata e ridoppiata singolarmente. Ogni passaggio viene eseguito in un processo separato e il modello viene scaricato completamente dalla memoria al termine, così anche un computer con 8 GB può usare modelli che insieme non ci starebbero mai. Tutto funziona offline: internet serve solo una volta, per scaricare i modelli.
Per la separazione della voce si usa Demucs, per il riconoscimento vocale e la verifica del doppiaggio Whisper large-v3 e large-v3 turbo, per l'identificazione degli speaker ECAPA-TDNN di SpeechBrain. La traduzione è affidata ai modelli linguistici Gemma 3 e Qwen3 oppure a NLLB-200, mentre gli accenti vengono gestiti da RUAccent e ukrainian-word-stress. La voce è sintetizzata da OmniVoice, KugelAudio, XTTS-v2 e Silero, e il timbro viene trasferito da kNN-VC. Tutti i modelli sono descritti in un catalogo estendibile: un nuovo modello si aggiunge con una sola voce e il programma decide da solo se è adatto al computer dell'utente.
Il programma è scritto in Python. La parte di IA si basa su PyTorch, Hugging Face Transformers e SpeechBrain; su Mac i calcoli sono accelerati con Apple MLX e modelli linguistici a 4 bit, su Windows con CUDA sulle schede grafiche NVIDIA. L'elaborazione di audio e video è affidata a ffmpeg, Rubber Band e librosa. L'applicazione desktop è realizzata con pywebview, con un'interfaccia in HTML, CSS e JavaScript nello stile del marchio SHIFT CODE, e dispone anche di un'interfaccia a riga di comando completa. Gli installer sono scritti in Bash e PowerShell con il gestore di ambienti uv, e l'intera pipeline è coperta da test pytest.
Il risultato è un'applicazione multipiattaforma che seleziona e installa da sola oltre 25 modelli di reti neurali per ogni specifico computer, funziona interamente in locale ed esegue il doppiaggio tra 12 lingue con un solo gesto.
