A tarefa
O SHIFT Studio é um estúdio local de dobragem de vídeo com inteligência artificial para Mac com Apple Silicon e Windows.
A dobragem com IA exige normalmente todo um conjunto de modelos: reconhecimento de fala, tradução, síntese de voz, clonagem de voz e separação da voz e da música. Cada um tem de ser encontrado, instalado, adaptado ao hardware e ligado aos restantes, o que é trabalho para um engenheiro e não para um criador de vídeos. Os serviços na nuvem resolvem este problema, mas são pagos, têm limites de tempo e obrigam a enviar o material para servidores de terceiros. O objetivo do projeto era tornar a dobragem acessível a qualquer pessoa sem conhecimentos técnicos: descarrega um único programa e, a partir daí, basta arrastar um vídeo para a janela.
Durante a instalação, o programa deteta sozinho o processador, a memória e a placa gráfica, coloca o computador numa classe de desempenho e descarrega os modelos certos para ele: compactos num portátil com 8 GB de memória, os maiores e de maior qualidade numa máquina potente. O utilizador escolhe apenas os idiomas e o número de oradores e obtém um vídeo com a tradução dobrada com a voz do orador original, exatamente nos timecodes, com a música e o fundo preservados, legendas e a faixa de áudio original. Para quem valoriza uma pronúncia limpa existe um modo sem sotaque, em que fala uma voz nativa e o timbre original é transferido por um modelo separado.
Nos bastidores funciona uma cadeia de processamento de treze passos. O áudio é extraído do vídeo, a voz é separada do fundo, a fala é transcrita com marcas de tempo para cada palavra e dividida pelos oradores, depois é traduzida tendo em conta o contexto e o comprimento das frases, recebe a acentuação correta e é dobrada. Cada frase é sintetizada em vários takes por motores diferentes; cada take é novamente transcrito e comparado com o texto, e a voz é comparada com a original. O programa escolhe sozinho o melhor take, volta a dobrar as frases pouco claras e encurta as demasiado longas, ajusta o timing às pausas do original e mistura o volume com o fundo. Se se quiser, a tradução pode ser corrigida antes da dobragem, e qualquer frase pode ser ouvida e dobrada de novo individualmente. Cada passo corre num processo separado e o modelo é totalmente descarregado da memória no fim, pelo que até um computador com 8 GB consegue usar modelos que juntos nunca caberiam na memória. Tudo funciona offline: a internet só é necessária uma vez, para descarregar os modelos.
A separação da voz é feita pelo Demucs, o reconhecimento de fala e a verificação da dobragem pelo Whisper large-v3 e large-v3 turbo, e a identificação dos oradores pelo ECAPA-TDNN do SpeechBrain. A tradução é feita pelos modelos de linguagem Gemma 3 e Qwen3 ou pelo NLLB-200, e a acentuação pelo RUAccent e pelo ukrainian-word-stress. A voz é sintetizada pelo OmniVoice, KugelAudio, XTTS-v2 e Silero, e o timbre é transferido pelo kNN-VC. Todos os modelos estão descritos num catálogo extensível, por isso um novo modelo pode ser adicionado com uma única entrada e o programa decide sozinho se é adequado ao computador do utilizador.
O programa foi escrito em Python. A parte de IA assenta em PyTorch, Hugging Face Transformers e SpeechBrain; no Mac, os cálculos são acelerados com Apple MLX e modelos de linguagem de 4 bits, e no Windows com CUDA em placas gráficas NVIDIA. O processamento de áudio e vídeo fica a cargo do ffmpeg, Rubber Band e librosa. A aplicação de secretária foi feita com pywebview, com uma interface em HTML, CSS e JavaScript na identidade visual da SHIFT CODE, e conta também com uma interface de linha de comandos completa. Os instaladores foram escritos em Bash e PowerShell com o gestor de ambientes uv, e toda a cadeia está coberta por testes em pytest.
O resultado é uma aplicação multiplataforma que seleciona e instala sozinha mais de 25 modelos de redes neuronais para cada computador, funciona totalmente em local e faz a dobragem entre 12 idiomas num só passo.
