La tarea
SHIFT Studio es un estudio local de doblaje de vídeo con inteligencia artificial para Mac con Apple Silicon y Windows.
El doblaje con IA suele requerir todo un conjunto de modelos: reconocimiento de voz, traducción, síntesis de voz, clonación de voz y separación de la voz y la música. Cada uno hay que encontrarlo, instalarlo, adaptarlo al propio hardware y conectarlo con los demás, y eso es trabajo de un ingeniero, no de un creador de vídeos. Los servicios en la nube resuelven este problema, pero son de pago, tienen límites de tiempo y obligan a subir el material a servidores ajenos. El objetivo del proyecto era hacer el doblaje accesible a cualquier persona sin conocimientos técnicos: descarga un único programa y, a partir de ahí, solo tiene que arrastrar un vídeo a la ventana.
Durante la instalación, el programa detecta por sí mismo el procesador, la memoria y la tarjeta gráfica, clasifica el ordenador en una categoría de rendimiento y descarga los modelos adecuados para él: compactos en un portátil con 8 GB de memoria, los más grandes y de mayor calidad en un equipo potente. El usuario solo elige los idiomas y el número de hablantes, y obtiene un vídeo con la traducción doblada con la voz del hablante original, exactamente en los códigos de tiempo, con la música y el fondo conservados, subtítulos y la pista de audio original. Para quienes valoran una pronunciación limpia existe un modo sin acento, en el que habla una voz nativa y el timbre original se transfiere con un modelo aparte.
Por dentro funciona una cadena de procesamiento de trece pasos. El audio se extrae del vídeo, la voz se separa del fondo, el habla se transcribe con marcas de tiempo para cada palabra y se reparte entre los hablantes, luego se traduce teniendo en cuenta el contexto y la longitud de cada frase, recibe la acentuación correcta y se dobla. Cada frase se sintetiza en varias tomas con distintos motores; cada toma se vuelve a transcribir y se compara con el texto, y la voz se compara con la original. El programa elige por sí solo la mejor toma, vuelve a doblar las frases poco claras y acorta las demasiado largas, ajusta el timing a las pausas del original y mezcla el volumen con el fondo. Si se desea, la traducción puede corregirse antes del doblaje, y cualquier frase puede escucharse y volver a doblarse por separado. Cada paso se ejecuta en un proceso independiente y el modelo se descarga por completo de la memoria al terminar, de modo que incluso un ordenador con 8 GB puede usar modelos que juntos nunca cabrían en memoria. Todo funciona sin conexión: internet solo se necesita una vez, para descargar los modelos.
Para separar la voz se usa Demucs; para el reconocimiento de voz y la verificación del doblaje, Whisper large-v3 y large-v3 turbo; y para identificar a los hablantes, ECAPA-TDNN de SpeechBrain. La traducción la realizan los modelos de lenguaje Gemma 3 y Qwen3 o NLLB-200, y la acentuación, RUAccent y ukrainian-word-stress. La voz la sintetizan OmniVoice, KugelAudio, XTTS-v2 y Silero, y el timbre lo transfiere kNN-VC. Todos los modelos están descritos en un catálogo ampliable, de modo que un modelo nuevo se añade con una sola entrada y el programa decide por sí mismo si es adecuado para el ordenador del usuario.
El programa está escrito en Python. La parte de IA se basa en PyTorch, Hugging Face Transformers y SpeechBrain; en Mac, los cálculos se aceleran con Apple MLX y modelos de lenguaje de 4 bits, y en Windows, con CUDA en tarjetas gráficas NVIDIA. El procesamiento de audio y vídeo corre a cargo de ffmpeg, Rubber Band y librosa. La aplicación de escritorio está hecha con pywebview, con una interfaz en HTML, CSS y JavaScript con la identidad visual de SHIFT CODE, y también cuenta con una interfaz de línea de comandos completa. Los instaladores están escritos en Bash y PowerShell con el gestor de entornos uv, y toda la cadena está cubierta por pruebas con pytest.
El resultado es una aplicación multiplataforma que selecciona e instala por sí sola más de 25 modelos de redes neuronales para cada ordenador concreto, funciona completamente en local y realiza el doblaje entre 12 idiomas en un solo paso.
