Voice-Agent-Server on-premise: ASR, LLM, TTS auf 2, 4 oder 8 RTX PRO 6000 Server Edition

Ein Voice-Agent auf einem Server: was er betreibt und wie viele Anrufe

Ein Server für Voice-Agenten on-premise betreibt Spracherkennung, Sprachmodell und Sprachsynthese auf derselben Maschine, sodass ein Anrufer weniger als etwa eine Sekunde, nachdem er aufgehört hat zu sprechen, eine Antwort hört und kein Audio das Firmennetz verlässt. NVIDIAs Blueprint für Voice-Agenten zeigt das Layout: eine GPU für Streaming-Erkennung, eine für Synthese und zwei für das LLM, gemessen auf vier B200-GPUs mit 0,86 bis 0,93 s Ende zu Ende bei 1 bis 64 parallelen Streams. Auf Karten der NVIDIA RTX PRO 6000 Blackwell Server Edition planen wir nach unserer Schätzung zwei Karten für etwa 30 gleichzeitige Anrufe und vier Karten für bis zu 64, für mehr Anrufe mit Ausfallsicherheit acht Karten oder zwei Server mit je vier.

Die Werte hier sind Schätzungen für eine Anfrage, die wir oft sehen: Ein Unternehmen möchte einen Voice-Agenten für eine Hotline, eine Terminvergabe oder einen internen Service Desk, auf Englisch und in ein oder zwei europäischen Sprachen, auf Hardware unter eigener Kontrolle. Unser Leitfaden zu Callcenter-KI on-premise behandelt Transkription und Zusammenfassung von Gesprächen zwischen Menschen, unser Leitfaden zu Whisper und Parakeet die Erkennungsmodelle im Detail.

Die Pipeline in einfachen Worten

Ein Anrufer spricht. Ein Turn-Detektor entscheidet, wann er fertig ist, ein Streaming-Erkenner macht aus dem Audio Text, während es ankommt, das Sprachmodell schreibt die Antwort, und ein Synthesizer spricht sie, während das Modell noch schreibt. Alle vier Schritte laufen für jeden Gesprächszug jedes Anrufs, und der Anrufer merkt es, wenn einer davon langsam ist.

Diese Kette heißt kaskadierte Pipeline, und NVIDIAs Blueprint ist so aufgebaut. Eine Orchestrierungsschicht hält das Gespräch zusammen: NVIDIAs Blueprint nutzt Pipecat und nennt LiveKit Agents als Alternative, sein Repository steht unter der BSD-2-Clause-Lizenz. NVIDIAs Evaluierung des Blueprints umfasst auch Unterbrechungen, also einen Anrufer, der dem Agenten ins Wort fällt; dann muss die Synthese stoppen und ein neuer Gesprächszug beginnen.

Für die Hardware folgen daraus drei Dinge. Die Erkennung braucht einen Stream je Anruf, solange der Anruf dauert. Das Sprachmodell braucht für jeden Gesprächszug ein schnelles erstes Token; reiner Durchsatz ist zweitrangig. Die Synthese braucht einen schnellen ersten Audioabschnitt für jeden Agenten, der in diesem Moment spricht. Jede der drei Stufen wird langsamer, je mehr Anrufe sich ihre GPU teilen, und NVIDIAs gemessenes Layout gibt jeder ihre eigene.

Das Latenzbudget vom Ende der Rede bis zum ersten Audio

NVIDIAs Blueprint-Karte auf build.nvidia.com veröffentlicht ihre Messung auf vier B200-GPUs mit Nemotron Streaming ASR 0.6B, Magpie TTS Multilingual und dem LLM Nemotron 3.5 Lightning. Die Tabelle nennt die Werte ohne Einheiten; gemeint sind Sekunden.

Karte des NVIDIA-Blueprints für Nemotron-Voice-Agenten auf build.nvidia.com (Seite aktualisiert am 3. März 2026), gelesen am 24. Oktober 2026; vier B200-GPUs: eine für ASR, eine für TTS, zwei für das LLM. B200-Systeme gehören nicht zu unserem Angebot; die Werte zeigen die Form des Budgets.

Die Hälfte der Zeit geht in die Entscheidung, dass der Anrufer fertig ist, und in das finale Transkript. Die Stufen der Tabelle ergeben bei 64 Streams zusammen 0,72 s; nach unserer Subtraktion fallen also etwa 0,21 s außerhalb an, wenn das LLM die erste Phrase schreibt, die der Synthesizer braucht, und wenn das Audio übertragen wird. NVIDIA hat außerdem zwei Turn-Detektoren auf Full-Duplex-Bench 1.0 evaluiert: Pipecat Smart Turn mit seinem Standard-Timeout von 1 s und Silero VAD mit 500 ms. Das Timeout des Turn-Detektors wirkt stärker auf das Budget als jede andere einzelne Einstellung: Mit einer kürzeren Wartezeit antwortet der Agent früher und fällt Anrufern, die eine Pause machen, öfter ins Wort.

Für unsere Konfigurationen planen wir mit einem Beispielbudget von einer Sekunde in der Spitzenstunde: 0,5 s für Turn-Erkennung und finales Transkript, 0,2 s bis zum ersten Token des LLM, 0,12 s bis zum ersten synthetischen Audio und 0,18 s für die erste Phrase und die Übertragung. Ein Pilot ersetzt jeden Anteil durch einen gemessenen Wert.

Die Synthese wird langsamer, je mehr Stimmen gleichzeitig sprechen. NVIDIAs Blog zu Magpie TTS vom 10. August 2026 nennt, gestützt auf die Dokumentation des TTS-NIM, auf einer H100 eine Zeit bis zum ersten Audio von 47 ms für einen Stream und 275 ms für 64, auf einer B200 32 und 239 ms. Ein Synthesizer für 64 sprechende Agenten braucht auf diesen GPUs mehr als unsere 0,12 s; der Anteil der Agenten, die gleichzeitig sprechen, zählt also so viel wie die Zahl der Anrufe.

Modelle für jede Stufe

Die Erkennung live geführter Anrufe braucht ein Streaming-Modell. Whisper arbeitet mit Fenstern von 30 Sekunden, und NVIDIAs ASR-NIM betreibt es nur offline, wie unser Leitfaden zur Spracherkennung erklärt; ein Voice-Agent nutzt deshalb Nemotron Speech Streaming 0.6B auf Englisch mit Abschnitten von 80 bis 1.120 ms oder dessen mehrsprachige Erweiterung Nemotron 3.5 ASR Streaming 0.6B, veröffentlicht am 4. Juni 2026 für 40 Locales, darunter Deutsch, Polnisch, Tschechisch, Slowakisch, Ungarisch und Rumänisch; NVIDIAs Support-Matrix des ASR-NIM 26.05.0 führt Deutsch als „transcription-ready“ und die anderen fünf als „broad-coverage“. Der Blueprint nennt außerdem Parakeet CTC 1.1B und das mehrsprachige Modell Parakeet 1.1B RNNT.

Das Sprachmodell in NVIDIAs Blueprint ist ein Mixture-of-Experts-Modell der 30B-Klasse mit 3B aktiven Parametern, Nemotron 3.5 Lightning oder Nemotron 3 Nano, mit Nemotron 3 Super 120B-A12B als größerer Option. Wenige aktive Parameter halten das erste Token schnell. gpt-oss-20b mit 13,8 GB und gpt-oss-120b mit 65,3 GB und 5,1B aktiven Parametern sind offene Alternativen unter Apache 2.0, die auf eine RTX PRO 6000 passen. Ein Gesprächszug ist kurz, der Cache also klein: Eine Konversation mit 4.096 Token belegt auf gpt-oss-120b nach unserer Rechnung aus der config.json 144 MiB.

NVIDIAs Blog zu Magpie TTS auf Hugging Face (10. August 2026; Größe im Text 364M, in der Modellliste 357M); Karte von Resemble AI zu Chatterbox auf Hugging Face; Support-Matrix des NVIDIA TTS NIM 26.05.0 (aktualisiert am 25. Juni 2026); alle gelesen am 24. Oktober 2026. Größe und Sprachen von Magpie laut Blog; die Support-Matrix nennt neun Locales für Magpie.

Die zwölf Sprachen von Magpie sind Englisch, Spanisch, Französisch, Deutsch, Italienisch, Vietnamesisch, Mandarin, Hindi, Japanisch, Arabisch, Koreanisch und brasilianisches Portugiesisch. Chatterbox ergänzt unter anderem Polnisch, Niederländisch, Dänisch, Schwedisch, Norwegisch, Finnisch und Griechisch; NVIDIAs Support-Matrix nennt es ein Community-Modell und hält fest, dass seine Qualität auf Englisch am besten ist. Keines der vier TTS-Modelle in dieser Matrix nennt Tschechisch, Rumänisch oder Ungarisch; für diese Sprachen ist das Synthesemodell deshalb das Erste, was Sie testen. Laut seiner Karte trägt jede Audiodatei, die Chatterbox erzeugt, das Perth-Wasserzeichen von Resemble AI.

GPU-Speicher je Stufe

NVIDIAs Speech-NIM-Container reservieren Speicher nach Batchgröße. Das TTS-NIM verlangt Compute Capability 8.0 und mindestens 16 GB VRAM und nennt „Blackwell RTX 60xx“ unter seinen GPUs. Magpie TTS Multilingual belegt 10,87 GB bei Batch 8, 31,55 GB bei Batch 32 und 60,22 GB bei Batch 64. Die Support-Matrix des ASR-NIM 26.05.0 (aktualisiert am 25. Juni 2026) nennt für Nemotron ASR Streaming 6 GB GPU-Speicher bei einem ASR-Batch von 32 und 14,6 GB bei 64.

Nach unserer Dimensionierungsregel, 90 Prozent des Speichers, den der Treiber meldet, abzüglich 3 GiB je Karte, stehen auf einer RTX PRO 6000 83,0 GiB zur Verfügung. Streaming-ASR bei Batch 64 und Magpie bei Batch 32 belegen zusammen 46,15 GB, also 43,0 GiB; Erkennung und Synthese teilen sich damit eine Karte mit Reserve. Magpie bei Batch 64 belegt allein 56,1 GiB und sitzt besser auf einer eigenen Karte. Eine LLM-Karte mit gpt-oss-120b behält neben den Gewichten 22,2 GiB, nach unserer Rechnung genug Cache für deutlich mehr als hundert kurze Konversationen.

Wir liefern diese Server mit zwei, vier oder acht RTX PRO 6000 Server Edition; senden Sie uns die Sprachen, die erwarteten gleichzeitigen Anrufe und Ihr Latenzziel, und unser Team antwortet mit einer Konfiguration und der Anrufzahl, mit der wir planen.

Gleichzeitige Anrufe je Konfiguration

Zählen Sie Erkennungs-Streams als Anrufe, einen je Kanal des Anrufers. Zählen Sie Synthese-Streams als die Agenten, die im selben Moment sprechen können, im ungünstigsten Fall also einen je Anruf. Nach unserer Schätzung ist die LLM-Stufe nicht die Grenze: In MLPerf® Inference v6.1 erzeugten acht RTX PRO 6000 Server Edition in einem HPE ProLiant Compute DL380a Gen12 auf gpt-oss-120b im Server-Szenario 14.581,7 Token pro Sekunde und auf Llama 3.1 8B im Interactive-Szenario 39.986,3, nach unserer Division etwa 1.823 und 4.998 je Karte, keine MLPerf-Metrik. Braucht jeder Anruf alle 10 Sekunden eine Antwort mit 60 Token, unsere Annahme, verlangen 64 Anrufe etwa 384 Token pro Sekunde. MLPerf® Inference v6.1, Rechenzentrum, Closed Division, Eintrag 6.1-0050: gpt-oss-120b, Server-Szenario; Llama 3.1 8B, Interactive-Szenario; abgerufen von mlcommons.org am 24. Oktober 2026, Ergebnisse von der MLCommons Association verifiziert. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Unsere Schätzungen. Zwei Karten: TTS mit dem Profil für Batch 32, alle Anrufer können den Agenten gleichzeitig hören. Vier Karten: Layout des NVIDIA-Blueprints, mit 64 Streams als dem Punkt, den NVIDIA auf B200-GPUs gemessen hat; auf der RTX PRO 6000 ist die Zahl ein Ziel für einen Lasttest. Leistung wie in unserem Leitfaden zum Stromanschluss von GPU-Servern.

Streaming-Werte für ASR oder TTS auf der RTX PRO 6000 haben wir bei NVIDIA nicht gefunden. Die ASR-NIM-Seite nennt für eine L40S bis zu 190 englische Live-Streams mit Parakeet 0.6B CTC bei Abschnitten von 160 ms; nach unserer Lesart ist damit die Erkennung für 64 Anrufe die leichtere Stufe und die Synthese bei 64 gleichzeitigen Stimmen die knappe. Ein Lasttest mit aufgezeichneten Anrufen bei der Anrufzahl der Spitzenstunde ist der Schritt vor der Bestellung.

Zwei Karten, vier Karten oder zwei Server

Der Einstiegsserver auf unserer Seite zu KI-Servern ist mit zwei Karten der RTX PRO 6000 Server Edition, zwei AMD-EPYC-Prozessoren, 384 GB DDR5-ECC-Speicher und zwei NVMe-Laufwerken bestückt. Für einen Voice-Agenten betreibt eine Karte die ASR- und TTS-Container, die andere das LLM. Das entspricht dem kleineren Layout im GitHub-Repository des Blueprints, das eine GPU mit mindestens 72 GB oder zwei mit je mindestens 40 GB bei Gewichten in FP8 oder NVFP4 verlangt, und der Server läuft nach unserer Schätzung mit rund 1,8 kW an einem Anschluss mit 230 V und 16 A.

Der Inferenzknoten hat vier Karten mit 768 GB DDR5-ECC und vier NVMe-Laufwerken und wiederholt NVIDIAs gemessenes Layout: Erkennung, Synthese und zwei LLM-Kopien, jede auf einer eigenen Karte. Die beiden LLM-Kopien halten das erste Token in der Spitzenstunde schnell und lassen eine Kopie neu starten, während die andere weiterarbeitet.

Ein Voice-Agent, der Kunden antwortet, wird Teil Ihres Kundenservice; planen Sie deshalb einen Serverausfall ein. Zwei Server mit je vier Karten, jeder mit der ganzen Pipeline hinter der Telefonieschicht, behalten die halbe Kapazität, während einer gewartet wird; unser Leitfaden zu hochverfügbarer LLM-Inferenz auf zwei Knoten behandelt das Routing. Ein Achtkartenserver hält zwei Sätze in einem Gehäuse, für mehr Anrufe an einem Rackplatz bei rund 6,3 kW.

Netzwerk, Telefonie und Datenschutz

Die Audiodaten selbst sind gering. ITU-T G.711 legt 8.000 Abtastwerte pro Sekunde mit acht Bit fest, 64 kbit/s je Kanal; 64 Anrufe belegen nach unserer Rechnung also etwa 4,1 Mbit/s Audionutzdaten je Richtung. Die Telefonanlage oder das SIP-Gateway verbindet sich mit der Orchestrierungsschicht auf dem Server.

NVIDIAs Speech-NIM-Container brauchen für den produktiven Einsatz eine Lizenz für NVIDIA AI Enterprise, laut NVIDIAs NIM-FAQ, wie unser Leitfaden zur Spracherkennung zitiert; offene Gewichte wie Magpie TTS auf Hugging Face laufen auch außerhalb von NIM. Lizenzen für NVIDIA AI Enterprise liefern wir auf derselben Rechnung wie den Server.

Aufgezeichnete oder transkribierte Anrufe, in denen ein Anrufer identifizierbar ist, sind personenbezogene Daten nach der DSGVO; unser Leitfaden zur Callcenter-KI behandelt die Aufbewahrung. Nach der KI-Verordnung gilt Artikel 50 seit dem 2. August 2026: Anbieter gestalten Systeme, die direkt mit Menschen interagieren, so, dass diese darüber informiert werden, dass sie mit einem KI-System interagieren, sofern das nicht offensichtlich ist, wie unser Leitfaden zum EU AI Act für Unternehmen mit LLMs erklärt. In der Praxis sagt ein Voice-Agent dem Anrufer zu Beginn des Gesprächs, dass er ein KI-System ist. Das ist eine allgemeine Information, keine rechtliche Bewertung eines konkreten Systems.

Was Sie im Piloten testen

1. Latenz Ende zu Ende vom Ende der Äußerung des Anrufers bis zum ersten Audio, beim 95. Perzentil, bei der geplanten Anrufzahl der Spitzenstunde.
2. Das Timeout des Turn-Detektors im Verhältnis dazu, wie oft der Agent Anrufern ins Wort fällt, die eine Pause machen.
3. Die Zeit bis zum ersten Audio des TTS-Modells bei der Zahl der gleichzeitig sprechenden Agenten.
4. Die Erkennungsgenauigkeit auf aufgezeichneten Anrufen in jeder Sprache, mit Telefonaudio.
5. Die Synthesequalität in jeder Sprache mit Muttersprachlern, vor allem außerhalb des Englischen.
6. GPU-Speicher und Auslastung je Stufe, um zu sehen, welche Karte zuerst an ihre Grenze kommt.

Unser Engineering-Partner Vixen.UNO setzt offene Sprachmodelle und LLMs im Rahmen unseres Private-AI/ML-Service on-premise auf; beschreiben Sie die Anrufe, die Ihr Agent führen soll, und die Sprachen, die er braucht, und wir richten den Piloten ein und dimensionieren den Server nach seinen Ergebnissen.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit zwei, vier oder acht RTX PRO 6000 Server Edition, der passiven Karte für Rack-Server im Dauerbetrieb, vor der Lieferung montiert und getestet, und Lizenzen für NVIDIA AI Enterprise im selben Angebot. Betriebssystem, Treiber, CUDA und eine Container-Runtime installieren wir auf Wunsch. Auf jede Komponente gilt die Herstellergarantie, und die Bestellung läuft über einen EU-Vertrag und eine Rechnung.

FAQ