Maschinelle Übersetzung On-Premise: NMT-Modelle, LLMs und die GPUs für einen selbst gehosteten Übersetzungsserver

Maschinelle Übersetzung On-Premise: NMT-Modelle oder LLMs

Maschinelle Übersetzung On-Premise läuft auf einer von zwei Arten von Modellen. Nach unserer Schätzung im Abschnitt zur Dimensionierung bewältigt eine Karte mit 48 GB wie die L40S oder RTX PRO 5000 mit einem Übersetzungs-LLM mit 9B bis 12B etwa 1 Million Wörter am Tag, und NMT-Modelle brauchen weit weniger. Spezialisierte Modelle für neuronale maschinelle Übersetzung (NMT) wie OPUS-MT, Metas NLLB-200 und Googles MADLAD-400 übersetzen Satz für Satz. Ihre dichten Modelle reichen von einer Datei mit 298 MB für OPUS-MT von Deutsch nach Englisch bis zu MADLAD-400 mit 10,7 Milliarden Parametern, in 16 Bit etwa 21 GB. LLMs, sowohl allgemeine Modelle wie EuroLLM und Mistral Small als auch auf Übersetzung abgestimmte wie TranslateGemma und Tower von Unbabel, übersetzen einen Absatz oder einen Abschnitt mit seinem Kontext. Bis 27B Parameter brauchen sie für 16-Bit-Gewichte etwa 10 bis 58 GB GPU-Speicher, nach unserer Schätzung mit zwei Byte je Parameter, und Tower+ 72B etwa 146 GB.

Welche davon ein Unternehmen einsetzen kann, entscheidet die Lizenz auf der jeweiligen Model Card. NLLB-200 und die Tower-Modelle sind unter nichtkommerziellen Creative-Commons-Lizenzen veröffentlicht. OPUS-MT, MADLAD-400, EuroLLM und Mistral Small 3.2 stehen unter CC BY 4.0 oder Apache 2.0, TranslateGemma unter Googles Gemma Terms of Use. Dieser Artikel behandelt die selbst gehostete Alternative zu einem kommerziellen Dienst wie DeepL, für Texte, die auf Hardware unter Ihrer Kontrolle bleiben.

Offene Übersetzungsmodelle, Sprachen und Lizenzen

Model Cards und Dateilisten auf Hugging Face, die READMEs von OPUS-MT und NLLB (fairseq) und der technische Bericht zu TranslateGemma, abgerufen am 10. Oktober 2026; EuroLLM und Mistral Small wie in unserem Leitfaden zu offenen LLMs für europäische Sprachen.

Die README von NLLB hält fest: „Alle Modelle sind unter CC-BY-NC 4.0 lizenziert, verfügbar in der Datei Model LICENSE.“ Jede Model Card von NLLB-200 ergänzt: „NLLB-200 ist ein Forschungsmodell und ist nicht für den Produktiveinsatz freigegeben.“ Dieselben Model Cards sagen, das Modell sei „nicht für die Übersetzung von Dokumenten vorgesehen“. TowerInstruct-7B-v0.2 steht unter CC-BY-NC-4.0 und vermerkt, dass seine Basis Llama 2 unter der Llama 2 Community License steht.

MADLAD-400 steht unter Apache 2.0, doch seine Model Card nennt die „Forschungsgemeinschaft“ als vorgesehene Nutzer und sagt, die Forschungsmodelle seien „nicht für Anwendungsfälle in der Produktion bewertet worden“. Das Projekt OPUS-MT lizenziert seine vortrainierten Modelle unter CC-BY 4.0, während die Model Card von opus-mt-de-en Apache 2.0 angibt; prüfen Sie deshalb die Model Card jedes Sprachpaars, das Sie einsetzen. Laut der Model Card von TranslateGemma müssen Sie für den Zugang zum Modell „die Nutzungslizenz von Google prüfen und ihr zustimmen“, und unser Leitfaden zu offenen LLMs für europäische Sprachen behandelt, wie diese Bedingungen abgeleitete Modelle einordnen. Ob ein interner Übersetzungsdienst unter einer CC-BY-NC-Lizenz als nichtkommerzielle Nutzung gilt, ist eine rechtliche Bewertung für Ihre Rechtsabteilung.

GPU-Anforderungen von NLLB und anderen NMT-Modellen

NLLB-200 3,3B ist in 32 Bit veröffentlicht, als drei PyTorch-Dateien mit zusammen 17,6 GB. Mit zwei Byte je Parameter in 16 Bit braucht das 3,3B-Modell etwa 6,6 GB für seine Gewichte und das 600M-Modell etwa 1,2 GB, unsere Schätzung aus den Parameterzahlen. Beide passen auf eine RTX PRO 2000 mit 16 GB, eine L4 mit 24 GB oder eine RTX PRO 4000 SFF mit 24 GB. MADLAD-400 mit 10,7B braucht nach derselben Regel etwa 21 GB und passt damit mit reichlich Reserve auf die RTX PRO 4500 mit 32 GB oder die L40S mit 48 GB; eine L4 mit 24 GB lässt wenig Platz für Batches, es sei denn, das Modell läuft im 8-Bit-Modus, den CTranslate2 bietet. Die Mixture-of-Experts-Version von NLLB mit 54,5B braucht etwa 109 GB, die eine H200 NVL mit 141 GB aufnimmt.

Die Model Card von NLLB hält fest, dass das Modell mit Eingaben von höchstens 512 Token trainiert wurde, und sie erlaubt die „Übersetzung einzelner Sätze zwischen 200 Sprachen“. Ein vorgeschalteter Server zerlegt deshalb jedes Dokument in Sätze, übersetzt sie in Batches und setzt den Text wieder zusammen. Das Projekt OPUS-MT bietet eine Webanwendung mit API und ein Docker-Setup für CUDA-GPUs.

CTranslate2, die unter MIT lizenzierte Inferenz-Engine des Projekts OpenNMT, unterstützt NLLB und MADLAD-400 und konvertiert Marian- und OPUS-MT-Modelle. Seine README veröffentlicht einen Benchmark, der den Testsatz newstest2014 von Englisch nach Deutsch mit einem OPUS-MT-Modell auf einer NVIDIA A10G übersetzt. Mit Hugging Face Transformers 4.26.1 erzeugte das Modell 1.022,9 Ziel-Token pro Sekunde. CTranslate2 3.6.0 in float16 erzeugte 9.296,7 bei 909 MB GPU-Speicher, mit demselben BLEU-Wert von 27,90. Die README nennt weder Batch- noch Beam-Größe und vermerkt, dass die Ergebnisse „nur für die in diesem Benchmark verwendete Konfiguration gelten“.

LLM-Übersetzung auf der GPU: TranslateGemma, Tower, EuroLLM und Mistral

TranslateGemma, beschrieben in Googles technischem Bericht, der am 13. Januar 2026 bei arXiv eingereicht wurde, ist „eine Reihe offener Modelle für maschinelle Übersetzung auf Basis der Gemma-3-Foundation-Modelle“, in den Größen 4B, 12B und 27B. Die Model Cards zeigen 5B, 13B und 29B Parameter und einen „Gesamtkontext der Eingabe von 2K Token“. In BF16 brauchen die drei etwa 10, 26 und 58 GB für ihre Gewichte, unsere Schätzung mit zwei Byte je Parameter. Das 4B-Modell passt auf eine L4, das 12B-Modell auf eine L40S oder RTX PRO 5000 mit 48 GB und das 27B-Modell auf eine RTX PRO 6000 mit 96 GB oder, mit weniger Platz für Batches, auf eine RTX PRO 5000 mit 72 GB.

Tower+ 9B baut auf Gemma 2 9B mit einem Kontext von 8.192 Token auf, Tower+ 72B auf Qwen 2.5 72B mit 131.072 Token. Die Model Card des 72B-Modells zeigt 73B Parameter. Nach derselben Regel brauchen sie in BF16 etwa 18 GB und 146 GB, das 72B-Modell belegt in 16 Bit also zwei RTX PRO 6000 oder zwei H200 NVL.

Ein LLM, das im Unternehmen bereits einen Assistenten bedient, kann auch übersetzen. Unser Leitfaden zu offenen LLMs für europäische Sprachen nennt den GPU-Speicher von EuroLLM und Mistral Small 3.2, und unsere Mistral-Hardware-Anforderungen dimensionieren die aktuellen Mistral-Modelle für 1, 20 und 100 Nutzer. Eine Übersetzungsanfrage umfasst einen Absatz oder ein paar Seiten, ihr KV-Cache ist also klein im Vergleich zu einem langen Chat, und der Durchsatz setzt die Grenze früher als der Speicher. Die Methode für Gewichte und Cache je Modell steht in unseren LLM-Hardware-Anforderungen je Modell.

EU-Sprachen in Übersetzungsmodellen

NLLB-200 und MADLAD-400 decken 200 und über 400 Sprachen ab, und OPUS-MT veröffentlicht Modelle je Sprachpaar sowie mehrsprachige wie mul-en. EuroLLM deckt alle 24 Amtssprachen der EU ab, und die Model Cards von Tower+ führen 26 Sprachen auf, darunter Polnisch, Rumänisch, Tschechisch und Ungarisch. TowerInstruct-7B-v0.2 unterstützt zehn Sprachen, darunter Deutsch, aber nicht Polnisch, und seine Model Card sagt, dass es nicht als Übersetzer auf Dokumentebene vorgesehen ist. Die Model Cards von TranslateGemma nennen 55 Sprachen ohne Liste, und der Bericht evaluiert 55 Sprachpaare aus WMT24++; testen Sie deshalb jedes Paar, das Sie brauchen.

Einen Übersetzungsserver nach Wörtern pro Tag dimensionieren

Das Übersetzungsvolumen wird in Wörtern geplant, der GPU-Durchsatz in Token. Wir planen mit 2 Ausgabe-Token je Wort, einer Annahme, die Sie durch eine Zählung in Ihren eigenen Dokumenten ersetzen sollten, da jeder Tokenizer Wörter anders zerlegt und das Verhältnis je Sprache verschieden ist. Ein Preprint auf arXiv vom Mai 2026, das die Token von sechs Modellen auf Paralleltexten gezählt hat, berichtet Mittelwerte von 1,23 Token je Wort für Englisch und 1,76 für Deutsch. Für Polnisch und Tschechisch berichtet es etwa 2,3, für Ungarisch 2,7. Planen Sie für solche Zielsprachen mit 2,5 bis 3 Token je Wort, ein Viertel bis die Hälfte über den Raten in der Tabelle. Ein LLM verarbeitet außerdem den Quelltext in seinem Prompt, also noch einmal etwa ebenso viele Eingabe-Token plus seine Anweisungen. Auf einen Arbeitstag von acht Stunden verteilt ergibt die tägliche Ausgabe die mittlere Rate, die der Server halten muss, und die Spitzenstunde liegt darüber.

Unsere Schätzungen, keine Messungen: 2 Ausgabe-Token je Wort als Planungsannahme, mehr für slawische oder ungarische Zielsprachen, gemittelt über 8 Stunden; Konfigurationen nach Speicherbedarf mit Platz für Batches. Messen Sie das gewählte Modell auf einer Testkarte, bevor Sie bestellen.

Für NMT-Modelle ist die Tagesmenge klein gegenüber den veröffentlichten Raten. Bei den 9.296,7 Token pro Sekunde des CTranslate2-Benchmarks bräuchten die 10 Millionen Token von 5 Millionen Wörtern nach unserer Rechnung etwa 18 Minuten GPU-Zeit auf jener A10G, gezählt im eigenen Vokabular von OPUS-MT. Über die Karte entscheiden die Antwortzeit für interaktive Nutzer und die Spitzen der Batch-Jobs. Weder für NMT-Modelle noch für LLMs haben wir veröffentlichte Übersetzungsdurchsätze auf den Karten gefunden, die wir liefern. Unser Vergleich von L4 und L40S zeigt, wie sich diese beiden Karten unterscheiden, und eine Tagesstichprobe Ihrer Dokumente auf einer Testkarte liefert den Wert für Ihr Modell.

Wir liefern die L4, die L40S und die RTX-PRO-Karten für Server, die Sie bereits betreiben, sowie KI-Server auf Bestellung, mit Konfiguration und Angebot innerhalb eines Werktages. Schicken Sie uns Ihre Wörter pro Tag, Ihre Sprachpaare und Ihr bevorzugtes Modell über das Formular unten.

Dokumentenübersetzung On-Premise: Dateiformate und Layout

Die Dateien verarbeitet die Pipeline um das Modell herum. Sie extrahiert den Text aus DOCX-, PPTX-, ODT-, HTML- oder PDF-Dateien, schickt ihn in Segmenten, die zur Kontextgrenze passen, an das Modell und schreibt die Übersetzung in dieselbe Struktur zurück. Die Dateibibliothek von Argos Translate aus dem Projekt LibreTranslate, lizenziert unter AGPL-3.0, führt „.txt, .odt, .odp, .docx, .pptx, .epub, .html, .srt, .pdf“ als unterstützte Formate auf. LibreTranslate, ebenfalls unter AGPL-3.0, bietet einen Endpunkt /translate_file für ganze Dateien. Keine der beiden Dokumentationen gibt an, ob das Layout erhalten bleibt; testen Sie die Pipeline deshalb mit Ihren eigenen Vorlagen und mit gescannten PDFs, die keinen Text enthalten, bevor OCR gelaufen ist. Die AGPL-3.0 stellt Bedingungen, wenn eine geänderte Version Nutzern über ein Netzwerk angeboten wird; das ist eine Frage für Ihre Rechtsabteilung.

Die Kontextgrenze bestimmt die Segmentgröße, von 512 Token bei NLLB und 2K bei TranslateGemma bis 8.192 bei Tower+ 9B. Mit einem längeren Segment kann das Modell die Terminologie über einen Abschnitt hinweg einheitlich halten, und ein LLM-Prompt kann eine Liste freigegebener Begriffe mitführen.

Unsere Leistung Private AI/ML stellt offene Modelle mit vLLM, Ollama oder NVIDIA AI Enterprise On-Premise bereit, sodass die Daten Ihr Netz nicht verlassen. Beschreiben Sie Ihre Dokumenttypen und Sprachpaare im Formular unten. Das erste Gespräch ist kostenlos.

Übersetzungsqualität vor der Auswahl testen

Die Ergebnisse der WMT24 General Translation Task, veröffentlicht im November 2024, tragen den Untertitel „The LLM Era Is Here but MT Is Not Solved Yet“. Bei WMT25, veröffentlicht im November 2025, bewerteten die Organisatoren 60 Systeme, 36 von Teilnehmern eingereicht und 24 von LLMs und Online-Übersetzungsdiensten gesammelt. Der Bericht der Organisatoren trägt den Untertitel „Time to Stop Evaluating on Easy Test Sets“. Keiner der beiden Berichte bewertet Unternehmensdokumente wie Verträge oder Handbücher; deshalb testen die folgenden Schritte mit Ihren eigenen Texten.

1. Nehmen Sie Modelle in die engere Wahl, deren Lizenz Ihre Nutzung abdeckt und deren Model Card jedes Sprachpaar nennt, das Sie brauchen.
2. Nehmen Sie je Sprachpaar und Fachgebiet 50 bis 100 Segmente aus Ihren eigenen Dokumenten, mit Tabellen, Produktnamen und juristischen Formulierungen.
3. Übersetzen Sie sie mit jedem Kandidaten auf derselben Engine und mit derselben Segmentgröße, und lassen Sie Muttersprachler Fehlerspannen markieren, wie es die professionellen Annotatoren von WMT25 nach dessen Protokoll Error Span Annotation taten.
4. Messen Sie Token pro Sekunde und Antwortzeit für die Stichprobe eines Tages auf einer Testkarte, und dimensionieren Sie dann den Server nach der Tabelle oben.

Was wir liefern

Wir liefern jede GPU, die dieser Artikel dimensioniert, von der L4 und der RTX PRO 2000 bis zur RTX PRO 6000 Server Edition und der H200 NVL, als Karten für Server, die Sie bereits betreiben, oder in nach Auftrag gebauten KI-Servern. Alles kommt unter einem EU-Vertrag und auf einer Rechnung, mit Herstellergarantie, und wir prüfen Rack, Strom und Luftstrom, bevor wir ein Angebot erstellen; unser Sortiment professioneller GPUs führt jede Karte. Die Bereitstellung der Übersetzungsmodelle On-Premise ist Teil unserer Leistung Private AI/ML, mit Engineering von unserem Engineering-Partner Vixen.UNO.

FAQ