Die Aufgabe
SHIFT Studio ist ein lokales Studio für KI-gestützte Videosynchronisation für Macs mit Apple Silicon und Windows.
KI-Synchronisation erfordert normalerweise einen ganzen Satz von Modellen: für Spracherkennung, Übersetzung, Sprachsynthese, Stimmklonen und die Trennung der Stimme von der Musik. Jedes davon muss gefunden, installiert, an die eigene Hardware angepasst und mit den übrigen verbunden werden, und das ist eine Aufgabe für Ingenieure, nicht für Videoproduzenten. Cloud-Dienste lösen dieses Problem, sind aber kostenpflichtig, zeitlich begrenzt und verlangen, dass man das eigene Material auf fremde Server hochlädt. Ziel des Projekts war es, Synchronisation auch Menschen ohne technisches Vorwissen zugänglich zu machen: Sie laden ein einziges Programm herunter und müssen danach nur noch ein Video ins Fenster ziehen.
Bei der Installation erkennt die Software selbstständig Prozessor, Arbeitsspeicher und Grafikkarte, ordnet den Computer einer Leistungsklasse zu und lädt genau dafür passende Modelle herunter: kompakte auf einem Laptop mit 8 GB Arbeitsspeicher, die größten und hochwertigsten auf einem leistungsstarken Rechner. Der Nutzer wählt nur die Sprachen und die Anzahl der Sprecher und erhält ein Video, dessen Übersetzung mit der Stimme des ursprünglichen Sprechers exakt auf den Timecodes liegt, mit erhaltener Musik und Hintergrund, Untertiteln und der Originaltonspur. Wem eine saubere Aussprache wichtig ist, der kann einen akzentfreien Modus nutzen: Hier spricht eine muttersprachliche Stimme, und die Klangfarbe des Originals wird von einem separaten Modell übertragen.
Im Inneren arbeitet eine Pipeline aus dreizehn Schritten. Der Ton wird aus dem Video extrahiert, die Stimme vom Hintergrund getrennt, die Sprache mit Zeitstempeln für jedes Wort erkannt und nach Sprechern aufgeteilt, anschließend unter Berücksichtigung von Kontext und Satzlänge übersetzt, mit korrekten Betonungen versehen und vertont. Jeder Satz wird in mehreren Varianten von verschiedenen Engines synthetisiert; jede Variante wird zurück in Text umgewandelt und mit dem Original verglichen, ebenso die Stimme mit der Originalstimme. Die Software wählt selbst die beste Aufnahme, vertont undeutliche Sätze neu und kürzt zu lange, passt das Timing an die Pausen des Originals an und mischt die Lautstärke mit dem Hintergrund. Auf Wunsch lässt sich die Übersetzung vor der Vertonung bearbeiten, und jeder Satz kann einzeln angehört und neu vertont werden. Jeder Schritt läuft in einem eigenen Prozess, und das Modell wird danach vollständig aus dem Speicher entladen, sodass selbst ein Computer mit 8 GB Modelle nutzen kann, die zusammen niemals in den Speicher passen würden. Alles funktioniert offline: Internet wird nur einmal benötigt, um die Modelle herunterzuladen.
Für die Stimmtrennung wird Demucs eingesetzt, für Spracherkennung und Prüfung der Vertonung Whisper large-v3 und large-v3 turbo, für die Sprechererkennung ECAPA-TDNN aus SpeechBrain. Die Übersetzung übernehmen die Sprachmodelle Gemma 3 und Qwen3 oder NLLB-200, die Betonungen setzen RUAccent und ukrainian-word-stress. Die Sprachsynthese erfolgt mit OmniVoice, KugelAudio, XTTS-v2 und Silero, die Übertragung der Klangfarbe mit kNN-VC. Alle Modelle sind in einem erweiterbaren Katalog beschrieben, sodass ein neues Modell mit einem einzigen Eintrag hinzugefügt werden kann und die Software selbst entscheidet, ob es zum Computer des Nutzers passt.
Die Software ist in Python geschrieben. Der KI-Teil basiert auf PyTorch, Hugging Face Transformers und SpeechBrain; auf dem Mac werden die Berechnungen mit Apple MLX und 4-Bit-Sprachmodellen beschleunigt, unter Windows mit CUDA auf NVIDIA-Grafikkarten. Für die Audio- und Videoverarbeitung sorgen ffmpeg, Rubber Band und librosa. Die Desktop-App ist mit pywebview umgesetzt, mit einer Oberfläche aus HTML, CSS und JavaScript im Corporate Design von SHIFT CODE; zusätzlich gibt es eine vollwertige Kommandozeile. Die Installer sind in Bash und PowerShell mit dem Umgebungsmanager uv geschrieben, und die gesamte Pipeline ist mit pytest-Tests abgedeckt.
Das Ergebnis ist eine plattformübergreifende Anwendung, die selbstständig mehr als 25 KI-Modelle für den jeweiligen Computer auswählt und installiert, vollständig lokal arbeitet und Videos zwischen 12 Sprachen mit einem einzigen Schritt synchronisiert.
