Video mit KI lippensynchron übersetzen, lokal: offene Modelle, Lizenzen, Workstation

Firmenvideos lippensynchron übersetzen, ohne Upload

Ein Unternehmen kann eigene Videos mit offenen Modellen auf einer lokalen Workstation übersetzen und lippensynchron vertonen: Whisper schreibt mit, was gesagt wird, ein Übersetzungsmodell wie EuroLLM-9B-Instruct übersetzt das Skript, Chatterbox Multilingual spricht die Übersetzung mit der Stimme der Originalsprecherin oder des Originalsprechers, und LatentSync, MuseTalk oder InfiniteTalk passen die Lippen im vorhandenen Material an. Alle diese Modelle erlauben nach den Lizenzen, die wir am 30. Oktober 2026 gelesen haben, die kommerzielle Nutzung, die Gewichte von LatentSync mit Nutzungsbeschränkungen. Nach unserer Rechnung aus den veröffentlichten Speicherangaben arbeitet eine Workstation mit einer NVIDIA RTX PRO 4500 Blackwell mit 32 GB die Kette Schritt für Schritt ab, eine RTX PRO 5000 Blackwell mit 72 GB hält alle Modelle gleichzeitig geladen.

Der typische Auftrag: Ein Produktvideo, eine Botschaft der Geschäftsführung oder ein Schulungsmodul liegt auf Deutsch vor und wird auf Englisch, Französisch, Italienisch, Polnisch oder Spanisch gebraucht, mit der eigenen Stimme der Person. Dieser Leitfaden richtet sich an Marketing-, Schulungs- und Kommunikationsteams, die das regelmäßig tun und unveröffentlichtes Material im Unternehmen behalten wollen. Die Hardware steht gebündelt in einem Abschnitt gegen Ende.

Synchronisation (englisch Dubbing) ersetzt die Sprachspur eines Videos durch eine neue in einer anderen Sprache. Lippensynchronität heißt, dass sich der Mund im Takt der neuen Wörter bewegt. Ein Modell ist die trainierte KI selbst, ein Satz von Dateien, den die Software auf die Grafikkarte (GPU) lädt; seine Lizenz legt fest, was ein Unternehmen damit tun darf. Stimmklonen heißt, dass ein Sprachmodell die Stimme einer Person aus einer kurzen Aufnahme nachahmt.

Cloud-Dienste bieten das in einem Arbeitsgang an. Die Seite zur Videoübersetzung von HeyGen, gelesen am 30. Oktober 2026, nennt „Translate videos into 175+ languages with realistic AI voices, lip sync, and subtitles“, und enthält einen Schritt „Edit & Review“, um das übersetzte Skript vor dem Rendern Korrektur zu lesen. Eine lokale Workstation hat weniger Sprachen, und jemand im Team führt die Schritte aus. Dafür bleiben Material, Stimme und Skripte im Firmennetz.

Die vier Schritte vom Original zum synchronisierten Video

1. Transkribieren. Whisper macht aus der Originalsprache Text mit Zeitstempeln. Das Repository von OpenAI sagt „Whisper's code and model weights are released under the MIT License“ und nennt etwa 10 GB Grafikspeicher für das Modell large und etwa 6 GB für turbo, eine optimierte Fassung von large-v3. Unser Leitfaden zu Whisper-GPU-Anforderungen und der Vergleich von faster-whisper, WhisperX und whisper.cpp behandeln diesen Schritt ausführlich.
2. Übersetzen. Ein Sprachmodell übersetzt das Transkript Satz für Satz. EuroLLM-9B-Instruct steht unter Apache 2.0, hat 9,154 Milliarden Parameter und deckt laut Modellkarte die Amtssprachen der EU ab; seine Instruktionsdaten konzentrieren sich auf „general instruction-following and machine translation“, und die Karte warnt, dass das Modell nicht auf menschliche Präferenzen abgestimmt ist und falsche Aussagen erzeugen kann. In 16-Bit-Genauigkeit belegen seine Gewichte nach unserer Rechnung etwa 18,3 GB (9,154 Milliarden × 2 Byte). Eine Kollegin oder ein Kollege mit der Zielsprache prüft das Skript, bevor Ton entsteht, und kürzt Sätze, die länger laufen als die Szene.
3. Sprechen. Ein Text-to-Speech-Modell liest die Übersetzung mit der Stimme der Person. Chatterbox Multilingual V3 von Resemble AI ist ein Modell mit 0,5 Milliarden Parametern unter der MIT-Lizenz mit 23 Sprachen, darunter Deutsch, Englisch, Französisch, Italienisch, Spanisch, Polnisch und Niederländisch; Tschechisch, Ungarisch und Rumänisch stehen nicht auf der Liste. Die Modellkarte beschreibt „one voice cloning model that works across many languages“ und warnt, dass bei einer Referenzaufnahme in einer anderen Sprache die Ausgabe „may inherit the accent of the reference clip's language“; sie empfiehlt dann, das CFG-Gewicht auf 0 zu setzen. Jede erzeugte Datei trägt das Perth-Wasserzeichen von Resemble AI. Unser Vergleich lokaler Alternativen zu ElevenLabs behandelt die Stimmmodelle und das Klonen von Stimmen ausführlicher.
4. Lippensynchronisation. Ein Lip-Sync-Modell verändert den Mund oder die ganze Darstellung passend zur neuen Tonspur. Die drei nutzbaren Optionen folgen unten.

Liegen unter der Stimme Musik oder Geräusche, wird die Stimme zuerst abgetrennt, damit der Hintergrund unter die neue Sprache gelegt werden kann. Demucs, ein offenes Trennmodell unter der MIT-Lizenz, leistet das, aber sein Repository wurde am 1. Januar 2025 archiviert und ist schreibgeschützt, und der Autor erklärt, dass es nicht mehr gepflegt wird.

Welche Modelle ein Unternehmen nutzen darf: Lizenzen, Oktober 2026

GitHub-Repositorys und Hugging-Face-Karten von openai, utter-project, facebook, ResembleAI, coqui, bytedance, TMElyralab, MeiGen-AI und dem Wav2Lip-Projekt, gelesen am 30. Oktober 2026.

Drei bekannte Modelle fallen heraus. Das README von Wav2Lip sagt „any form of commercial use is strictly prohibited“, weil die Modelle mit dem Datensatz LRS2 trainiert wurden. Die Karte von XTTS-v2 stellt das Modell unter die Coqui Public Model License; die Datei LICENSE.txt im Repository, Version 1.0.0, erlaubt die Nutzung „for any non-commercial purpose“ und zählt eine Nutzung nur dann als nicht kommerziell, wenn daraus keine direkte oder indirekte Zahlung entsteht. NLLB-200 steht unter CC-BY-NC 4.0, und seine Karte nennt es „a research model“, das „is not released for production deployment“. Unser Leitfaden zur maschinellen Übersetzung on-premise nennt weitere Übersetzungsmodelle, deren Lizenzen die Firmennutzung erlauben.

LatentSync verdient einen genaueren Blick, weil Code und Gewichte unterschiedliche Lizenzen tragen. ByteDance veröffentlicht den Code auf GitHub unter Apache 2.0, und das README dort sagt nichts zur Lizenz der Gewichte oder zur kommerziellen Nutzung. Die Gewichte von LatentSync 1.6 auf Hugging Face tragen nur das Lizenzkennzeichen openrail++, das die Lizenzliste von Hugging Face der „Open Rail++-M License“ zuordnet; das Repository der Gewichte enthält keine Lizenzdatei. Der bekannteste Text dieser Lizenz, den Stability AI als CreativeML Open RAIL++-M License veröffentlicht, gewährt eine „perpetual, worldwide, non-exclusive, no-charge, royalty-free“ Lizenz, sagt, dass der Lizenzgeber „claims no rights in the Output You generate“, und fügt in Anhang A Nutzungsbeschränkungen hinzu, etwa keine Nutzung „To generate or disseminate verifiably false information and/or content with the purpose of harming others“. Wer die Gewichte weitergibt, etwa vorinstalliert auf einer Workstation, muss diese Beschränkungen als durchsetzbare Bestimmung in den Vertrag aufnehmen und den Empfänger darauf hinweisen, dass sie gelten. Deshalb gehört LatentSync nicht zur Software, die wir installieren; Ihr Team kann es nach seiner Lizenz selbst installieren. Ihre Rechtsberatung bestätigt die Lizenz für Ihre Nutzung.

Die Modellkarte von MuseTalk sagt, der Code „is released under the MIT License. There is no limitation for both academic and commercial usage“, und „The trained model are available for any purpose, even commercially“. Sie ergänzt, dass weitere genutzte Modelle wie Whisper, DWPose und S3FD ihre eigenen Lizenzen behalten.

Nur der Mund oder die ganze Darstellung: LatentSync, MuseTalk und InfiniteTalk im Vergleich

LatentSync von ByteDance ist ein latentes Diffusionsmodell, dieselbe Modellart wie bei Bildgeneratoren, das den Mund passend zu einer Tonspur neu zeichnet. Version 1.6 vom 11. Juni 2025 wurde mit Videos in 512 × 512 trainiert, um Unschärfe zu verringern, und das README von ByteDance nennt mindestens 18 GB Grafikspeicher für die Inferenz (8 GB für Version 1.5). Zu den Checkpoints gehört Whisper tiny, das den Ton in Embeddings für das Modell umwandelt. Zwei Einstellungen bestimmen die Qualität: 20 bis 50 Inferenzschritte, wobei mehr Schritte die Bildqualität verbessern und länger dauern, und eine Guidance Scale von 1,0 bis 3,0, wobei höhere Werte die Lippensynchronität verbessern, aber Verzerrung oder Zittern verursachen können. Das README nennt bessere Ergebnisse bei chinesischen Videos für Version 1.5 und macht keine Aussage zu anderen Sprachen. Für ComfyUI gibt es einen inoffiziellen Wrapper unter Apache 2.0, den sein Autor als „Optimized to run on 20GB VRAM“ beschreibt; der letzte Eintrag im Changelog stammt vom 14. Juni 2025.

MuseTalk 1.5 von Tencent Music Entertainment, veröffentlicht am 28. März 2025, verändert einen Gesichtsbereich von 256 × 256 Pixeln passend zum Ton. Das Repository meldet „30fps+ on an NVIDIA Tesla V100“, also Echtzeit auf einer älteren Rechenzentrumskarte, und nennt Chinesisch, Englisch und Japanisch unter den unterstützten Sprachen. Eine Speicherangabe veröffentlicht es nicht. Der kleinere Gesichtsbereich ist der Preis für die Geschwindigkeit: Vergleichen Sie bei einer Nahaufnahme in Full HD das Ergebnis mit dem von LatentSync, bevor Sie sich entscheiden.

InfiniteTalk von MeiGen-AI arbeitet anders. Sein Video-zu-Video-Modus synchronisiert Lippen, Kopf, Körper und Mimik mit dem neuen Ton, und das Repository sagt, er „Enables unlimited length generation“. Er erzeugt die Bilder neu in 480p oder 720p und „mimics the original video's camera movement, though not identically“. Die Option SDEdit macht die Kamerabewegung genauer, „introduces color shift and is best suited for short clips“. InfiniteTalk baut auf dem Videomodell Wan2.1 mit 14 Milliarden Parametern auf; unser Leitfaden zu lokalen KI-Avatar-Videos beschreibt es genauer, einschließlich des Modus Foto zu Video. Weil InfiniteTalk 480p oder 720p erzeugt, braucht ein Full-HD-Master anschließend ein Upscaling, wie in unserem Artikel zum KI-Video-Upscaling.

Für ein Interview oder eine Präsentation in guter Aufnahmequalität behalten LatentSync oder MuseTalk das Originalbild und ändern nur das Gesicht. Für einen kurzen Social-Media-Clip passt InfiniteTalk die ganze Darstellung an. Ein Test mit einer Minute Ihres eigenen Materials entscheidet.

Sprachen. Keines der drei Projekte veröffentlicht eine Bewertung der Lippensynchronität auf Deutsch, Französisch oder in einer anderen europäischen Sprache. Synchronisieren Sie eine Minute in jede Zielsprache und lassen Sie sie von einer Muttersprachlerin oder einem Muttersprachler prüfen, bevor Sie eine Serie planen.

Geschwindigkeit. Außer der V100-Angabe von MuseTalk nennt kein Herausgeber, wie lange eine Minute Video dauert, weder auf RTX-PRO-Karten noch anderswo. Die Dauer hängt von Modell, Auflösung, Schrittzahl und Cliplänge ab; messen Sie auf der gelieferten Workstation die Zeit für eines Ihrer üblichen Videos, bevor Sie einem Kunden Termine zusagen.

Sie können die Workstation allein bestellen, die Einrichtung von Whisper, einem Übersetzungsmodell, Chatterbox, MuseTalk, InfiniteTalk und ComfyUI allein oder beides zusammen: die Workstation mit allem fertig installiert und eingerichtet; schreiben Sie uns, wir schlagen Ihnen die beste Lösung für Ihre Aufgaben und Ihr Budget vor.

Einwilligung, DSGVO und Kennzeichnung nach der KI-Verordnung

Ein synchronisiertes Video legt einer realen Person neue Worte in den Mund, mit geklonter Stimme. Die Europäische Kommission definiert personenbezogene Daten als „any information that relates to an identified or identifiable living individual“, und darunter fallen Gesicht und Stimme der sprechenden Person. Schließen Sie mit jeder gezeigten Person eine schriftliche Vereinbarung über Synchronisation und Stimmklon, nennen Sie Sprachen und Zweck, und legen Sie fest, was mit den synchronisierten Fassungen geschieht, wenn die Zustimmung widerrufen wird. Bei Beschäftigten weist die Europäische Kommission darauf hin, dass eine Einwilligung bei einem klaren Ungleichgewicht, etwa zwischen Arbeitgeber und Beschäftigten, nicht freiwillig erteilt ist; Ihre Datenschutz­beauftragte oder Ihr Datenschutz­beauftragter bestätigt deshalb die Rechtsgrundlage, und unser Leitfaden zu lokaler KI und DSGVO erklärt, was der eigene Betrieb ändert.

Artikel 50 Absatz 4 der KI-Verordnung verpflichtet Betreiber eines KI-Systems, das „image, audio or video content constituting a deep fake“ erzeugt oder manipuliert, offenzulegen, dass der Inhalt künstlich erzeugt oder manipuliert wurde („disclose that the content has been artificially generated or manipulated“). Ein synchronisiertes Video, in dem eine reale Person scheinbar eine Sprache spricht, die sie nicht gesprochen hat, kann unter diese Definition fallen. Das Wasserzeichen von Chatterbox ist eine unhörbare technische Markierung im Ton und sagt den Zuschauern nichts; Artikel 50 Absatz 5 verlangt die Information spätestens beim ersten Kontakt mit dem Inhalt, ein sichtbarer Hinweis vom Beginn des Videos an ist daher eine Möglichkeit der Offenlegung. Artikel 50 gilt ab dem 2. August 2026, wie unser Artikel zur KI-Verordnung der EU erklärt; ein Unternehmen, das die Kette für den eigenen Gebrauch einrichtet, kann auch als ihr Anbieter gelten, dann kommt die maschinenlesbare Kennzeichnung nach Artikel 50 Absatz 2 hinzu. Ihre Rechtsberatung bestätigt, was jedes Video braucht.

Speicher je Synchronisationsschritt und die Workstation-Stufen

Nicht jedes Modell veröffentlicht einen Speicherbedarf, deshalb verbindet die Tabelle veröffentlichte Angaben mit der Größe der Modelldateien. Die Schritte laufen nacheinander: Eine Karte braucht Platz für den größten Schritt, und wenn alle Modelle geladen bleiben, entfällt die Ladezeit.

Repositorys und Karten, gelesen am 30. Oktober 2026; InfiniteTalk-Kette wie in unserem Leitfaden zu lokalen KI-Avatar-Videos berechnet. Arbeitsspeicher für lange Kontexte und Videobilder kommt zu den Gewichten hinzu.

Whisper, EuroLLM, Chatterbox und LatentSync zusammen geladen ergeben nach unserer Rechnung etwa 49,5 GB oder 46 GiB (10 + 18,3 + 3,2 + 18). Unsere Dimensionierungsregel zählt das 0,9-Fache des vom Treiber gemeldeten Speichers minus 3 GiB als nutzbar: etwa 25,7 GiB auf einer 32-GB-Karte, 40,0 GiB bei 48 GB, 61,5 GiB bei 72 GB und 83,0 GiB bei 96 GB.

unsere Dimensionierung aus der Tabelle oben; Speicher, Bandbreite und Leistungsaufnahme der Karten aus den Datenblättern von NVIDIA.

Einstieg. Die RTX PRO 4500 Blackwell hat 32 GB und nimmt 200 W auf. Jeder Schritt passt für sich in die 25,7 GiB der Karte, die größten sind das Übersetzungsmodell (etwa 18,3 GB oder 17,0 GiB Gewichte) und LatentSync (mindestens 18 GB). Eine RTX PRO 4000 mit 24 GB hält LatentSync ebenfalls, aber beim Ziel des ComfyUI-Wrappers von 20 GB bleibt wenig Platz, deshalb beginnen wir bei 32 GB.

Nächste Stufe. Die RTX PRO 5000 Blackwell hat 48 oder 72 GB bei 1.344 GB/s und nimmt 300 W auf. Die Karte mit 72 GB hält die ganze LatentSync-Kette von etwa 46 GiB innerhalb ihrer 61,5 GiB geladen. Beide Größen halten die InfiniteTalk-Kette in FP8 mit etwa 28,5 GB oder 26,5 GiB Gewichten, was auf der 48-GB-Karte rund 13,5 GiB für Bilder in 480p lässt. Deshalb empfehlen wir die RTX PRO 5000 einem Team, das beide Arten der Lippensynchronisation nutzen will: nur den Mund oder die ganze Darstellung.

Mitte. Eine RTX PRO 6000 Blackwell mit 96 GB hält InfiniteTalk in 16 Bit für 720p neben dem Übersetzungsmodell: nach unserer Rechnung etwa 67,9 GB oder 63,2 GiB Gewichte innerhalb von 83,0 GiB. Die Workstation Edition nimmt 600 W auf, die Max-Q 300 W mit Radiallüfter. Zwei Karten der Workstation Edition sind das realistische Maximum für diese Edition, nach der Schätzung in unserem Artikel zu zwei RTX PRO 6000 Workstation Edition mit etwa 1,8 kW an der Steckdose. Drei oder vier Max-Q gehören nur in ein dafür gebautes Gehäuse mit starkem, gerichtetem Luftstrom: Puget Systems (Juli 2025) stellte fest, dass direkt benachbarte Max-Q-Karten wenig Raum zum Ansaugen haben, und Exxact (aktualisiert im März 2026) berichtet, dass vier benachbarte Karten ohne seine eigene Luftführung drosselten.

Groß. Ein Server mit vier RTX PRO 6000 Server Edition führt einen Synchronisationsauftrag pro Karte aus. Nach unserer Schätzung nimmt er etwa 3,4 kW auf und gehört in einen Serverraum mit 32-A- oder Drehstromanschluss, wie unsere Seite zum Server mit vier Server-Edition-Karten erklärt.

Was wir installieren und was auf der Workstation bleibt

Wenn wir die Software einrichten, erhält die Workstation Whisper, EuroLLM, Chatterbox, MuseTalk und InfiniteTalk; die Videoschritte laufen in ComfyUI, einer Oberfläche unter GPL-3.0, von der im Oktober 2026 mehrere neue Versionen erschienen. Der App-Modus von ComfyUI zeigt einen vorbereiteten Workflow als einfaches Formular, sodass die Person, die synchronisiert, Dateien wählt und den Auftrag startet, ohne den Knotengraphen anzufassen. Komplettanwendungen für die Synchronisation wie SoniTranslate (Apache 2.0) gibt es auf GitHub. Die Installationsanleitung von SoniTranslate zielt auf CUDA 11.8, während RTX-PRO-Blackwell-Karten CUDA 12.8 oder neuer brauchen, wie unser Leitfaden zur Software-Unterstützung für Blackwell erklärt, und ihr README warnt, dass „the models or weights may have commercial restrictions“, obwohl der Code unter Apache 2.0 steht.

Originalvideos, Transkripte, Übersetzungen, Sprachaufnahmen und synchronisierte Fassungen bleiben auf der Workstation. Internet braucht es nur zum Herunterladen von Modellen und Updates; die Synchronisation läuft offline. Wenn für einen Teil Ihres Materials Untertitel genügen, behandelt unser Leitfaden zum KI-Server für Medien diesen Weg.

Wir liefern Synchronisations-Workstations von einer RTX PRO 4500 bis zu zwei RTX PRO 6000 Workstation Edition oder Max-Q und Server für Lokalisierungsteams; nennen Sie uns die Zahl der Videos pro Monat, ihre Länge und die Zielsprachen, und wir schlagen Ihnen Konfiguration und Modelle vor, die dazu und zu Ihrem Budget passen.

FAQ