Kundenservice-Chatbot auf eigenem Server: Modell, RAG, gleichzeitige Chats, 2 bis 8 GPUs

Was ein Kundenservice-Chatbot vom Server braucht

Ein Kundenservice-Chatbot auf eigenem Server braucht GPU-Speicher für ein Sprachmodell und einen KV-Cache für jeden Chat, der zur Spitzenzeit auf eine Antwort wartet, dazu eine kleine Karte oder MIG-Instanz für die Suchmodelle, die in Ihren Dokumenten die passende Stelle finden, und einen zweiten Server, wenn der Dienst auch bei einem Fehler weiterlaufen muss. Für einen mittelgroßen Kundenservice halten zwei NVIDIA RTX PRO 6000 Blackwell Server Edition mit gpt-oss-120b nach unserer Dimensionierungsregel 187 laufende Chats, genug für mehrere Hundert offene Chats; vier Karten halten doppelt so viele. Die Werte in diesem Artikel sind unsere Schätzungen für ein Beispiel, keine Messungen.

Der Chatbot in diesem Artikel beantwortet Kundenfragen auf einer Website oder in einer App, in der Sprache des Kunden, aus Ihrer Produktdokumentation, Ihren Bedingungen und Hilfeartikeln, schlägt über Ihre Systeme eine Bestellung oder einen Vertrag nach und übergibt an einen Mitarbeiter, wenn er nicht weiterhelfen kann. Unser Artikel zu Callcenter-KI on-premise behandelt die Sprachseite mit Transkription und Zusammenfassung von Anrufen, unser privater ChatGPT-Server nach Firmengröße den internen Assistenten für die Belegschaft. Wir liefern den Server dafür und richten darauf Sprachmodell und Suche ein; einen einfachen Website-Chatbot bieten wir nicht an.

Die Aufgabe in einfachen Worten

Für die Geschäftsführung beschreiben drei Zahlen die Aufgabe. Die erste ist, wie viele Kunden in der Spitzenstunde gleichzeitig chatten; das zeichnet Ihr heutiges Chat- oder Ticketsystem bereits auf. Die zweite ist die Zahl der Sprachen, in denen der Bot antworten soll; sie bestimmt die Auswahl der Modelle. Die dritte ist der Umfang der Dokumentation, die er kennen muss; sie bestimmt die Größe des Suchindex dahinter.

Für jede Kundennachricht erledigt der Server zwei Dinge. Er durchsucht Ihre Dokumente nach den Passagen, die die Frage beantworten, und auf ihm läuft das Sprachmodell, das aus diesen Passagen und dem bisherigen Gespräch die Antwort schreibt. Das Modell braucht den größten Teil der Hardware. Jeder laufende Chat hält auf der GPU ein Arbeitsgedächtnis, den KV-Cache, und wie viele Chats gleichzeitig auf eine Antwort warten können, hängt davon ab, wie viel Speicher neben dem Modell frei bleibt.

Ein Kunde liest und tippt weit länger, als der Server zum Antworten braucht. Deshalb bedient ein Server, der 187 laufende Chats hält, mehrere Hundert offene Chats: Die meisten warten gerade darauf, dass der Kunde liest und schreibt.

Modell, Sprachen und RAG

Drei Modelle mit offenen Gewichten zeigen die Spannweite. gpt-oss-120b ist ein Mixture-of-Experts-Modell mit 117 Milliarden Parametern, davon 5,1 Milliarden je Token aktiv, einem Checkpoint von 65,3 GB unter Apache 2.0 mit einer Nutzungsrichtlinie, und es passt auf eine Karte mit 96 GB. Llama 3.3 70B ist ein dichtes Modell; NVIDIAs FP8-Checkpoint belegt 67,7 GiB. Mistral Small 3.2 mit 24 Milliarden Parametern unter Apache 2.0 belegt in BF16 44,7 GiB und lässt nach unserer Regel auf einer RTX PRO 6000 38,3 GiB für den Cache.

Die Sprachen entscheiden zwischen ihnen. Die Modellkarte von Mistral Small 3.1 nennt 25 Sprachen, darunter Deutsch, Polnisch und Rumänisch, und die Ankündigung von Qwen3 listet 119. Die Karte von Llama 3.3 nennt acht Sprachen, darunter Deutsch, aber weder Polnisch noch Rumänisch, und gpt-oss hat keine Sprachliste; OpenAI nennt Deutsch unter den Sprachen seines MMMLU-Tests. Unser Vergleich offener LLMs für europäische Sprachen enthält die Details, unser Leitfaden zur Auswahl eines offenen LLM für Unternehmen die Lizenzbedingungen. Entscheiden sollte ein Testsatz mit echten Kundenfragen in jeder Sprache, die Sie bedienen.

RAG, Retrieval-Augmented Generation, fügt ein Embedding-Modell hinzu, das Dokumente und Fragen in Vektoren umwandelt, einen Vektorindex und meist einen Reranker, der die gefundenen Passagen sortiert, bevor das Modell sie sieht. Diese Modelle sind klein: Qwen3-Embedding-0.6B belegt in BF16 etwa 1,2 GB. Das Chat-Modell legen wir für einen konfigurierten Kontext von 16.384 Token aus, Platz für den Systemprompt, fünf bis zehn gefundene Passagen, den Gesprächsverlauf und die Antwort. Unser Leitfaden zu RAG auf Firmendaten erklärt, wo die Suche zuerst scheitert.

Von offenen Chats zu laufenden Anfragen

Der Speicher muss die Chats halten, deren Antwort gerade erzeugt wird, die laufenden Anfragen. Nach dem Gesetz von Little aus der Warteschlangentheorie ist ihre mittlere Zahl gleich der Rate eingehender Nachrichten mal der Zeit, die jede Antwort braucht. Mit einer Nachricht je offenem Chat pro Minute und 20 Sekunden je Antwort senden 300 offene Chats fünf Nachrichten pro Sekunde und halten 100 Antworten in Bearbeitung: ein Drittel der offenen Chats.

Das sind Beispielwerte; ersetzen Sie sie durch die Werte aus Ihren eigenen Logs. Zwanzig Sekunden decken eine Antwort von etwa 150 Token beim Latenzziel unten ab, dazu die Suche und die Wartezeit bis zum ersten Token; ein schnellerer Server hält also weniger Antworten gleichzeitig in Bearbeitung. Nehmen Sie die geschäftigste Viertelstunde aus Ihrem heutigen Chatsystem, und rechnen Sie den Verkehr hinzu, wenn der Bot auch Kanäle übernimmt, die heute Mitarbeiter bedienen.

Konfigurationen nach Kartenzahl

Unsere Regel für Nutzer je Karte nimmt 90 Prozent der 95,6 GiB, die der Treiber auf einer RTX PRO 6000 mit 96 GB meldet, zieht 3 GiB je Karte und die Gewichte ab; der Rest hält den KV-Cache. Bei 16K belegt gpt-oss-120b je Chat 0,5625 GiB 16-Bit-Cache und Llama 3.3 70B 2,5 GiB FP8-Cache.

Unsere Schätzungen nach der Regel für Nutzer je Karte bei einem konfigurierten Kontext von 16.384 Token; gpt-oss-120b 60,8 GiB mit 16-Bit-Cache, Llama 3.3 70B 67,7 GiB mit FP8-Cache; 123,4 GiB nutzbar je H200 NVL. Offene Chats mit den Beispielwerten oben, drei je laufendem Chat.

Das Rechenbeispiel für die zweite Zeile: Zwei Karten ergeben 2 × 83,04 = 166,1 GiB, abzüglich 60,8 GiB Gewichte bleiben 105,3 GiB, und 105,3 ÷ 0,5625 ergibt 187 Chats. gpt-oss-120b hat acht KV-Heads, der Cache verteilt sich also gleichmäßig auf zwei Karten. Zwei Kopien auf zwei Karten halten mit 78 weniger Chats, weil jede Kopie ihre eigenen Gewichte speichert, dafür kann jede der beiden Karten ausfallen, ohne den Bot zu stoppen.

Zwei Karten. Der Einstiegsserver von unserer Seite zu KI-Servern, zwei RTX PRO 6000 Server Edition mit zwei AMD-EPYC-Prozessoren, 384 GB DDR5-ECC und zwei NVMe-Laufwerken, trägt einen Bot für einige Hundert offene Chats. Die Suchmodelle laufen auf einer kleinen zusätzlichen Karte wie einer L4, wenn das Gehäuse einen freien Steckplatz hat.

Vier Karten. Der Inferenzknoten mit vier Karten und 768 GB trägt mit gpt-oss-120b etwa tausend offene Chats, mit einem dichten 70B-Modell etwa 230. Er lässt auch Raum, eine Karte in MIG-Instanzen für die Suchmodelle und einen internen Assistenten aufzuteilen, auf Kosten eines Paares.

Acht Karten oder H200 NVL. Acht Karten der Server Edition in einem Server oder zwei Server mit je vier Karten decken einen großen Kundenservice ab; die zweite Aufteilung ist für Kunden die sicherere, wie der Abschnitt zur Verfügbarkeit erklärt. Vier H200 NVL passen zu einem dichten Modell, mit 4,8 TB/s je Karte für schnellere Token-Ströme.

Die RTX PRO 6000 Max-Q ist die Workstation-Karte, eine 300-W-Karte mit Radiallüfter; in einem Rack gehört sie nur in ein Gehäuse, dessen Hersteller sie listet, und für den Dauerbetrieb empfehlen wir die Server Edition. Jeden dieser Server bauen wir auf Bestellung; schicken Sie uns Ihre gleichzeitigen Chats in der Spitze, die Sprachen und das geplante Modell, und unser Team antwortet mit einer Konfiguration und den Chats, die sie hält.

Suche und Reranking bei Chatbot-Last

Das Embedding einer Kundenfrage ist eine leichte Last: NVIDIAs NIM-Tabellen nennen 13 ms für eine Anfrage mit 20 Token auf einer L4. Der Reranker ist schwerer, weil er jede gefundene Passage gegen die Frage bewertet; seine Last ist also Nachrichten pro Sekunde mal Passagen je Nachricht.

NVIDIAs Leistungsseite der Reranking-NIM (aktualisiert am 17. August 2026), 40 Passagen mit 512 Token bei drei parallelen Anfragen, wie in unserem Leitfaden zu Embedding und Reranker zitiert; Nachrichten pro Sekunde nach unserer Rechnung mit 20 Passagen je Nachricht.

Mit den Beispielwerten senden 560 offene Chats etwa 9 Nachrichten pro Sekunde, die Grenze einer L40S mit dem 1B-Reranker, und 1.120 offene Chats etwa 19, die Grenze des 500m-Modells auf derselben Karte. Weniger Passagen je Nachricht erhöhen diese Werte, mit dem Risiko, die Passage mit der Antwort zu verpassen; testen Sie beides mit Ihren eigenen Fragen. Unser Leitfaden zu Embedding- und Reranker-Servern für RAG behandelt Modelle, Engines und die Platzierung in MIG.

Latenzziele, die Kunden bemerken

Ein Kunde sieht zwei Verzögerungen: die Wartezeit, bis die ersten Wörter erscheinen, und das Tempo des Textes danach. Unser Artikel zu LLM-Latenzzielen setzt für RAG-Antworten mit Prompts von mehreren Tausend Token als Beispielziele beim 95. Perzentil 2,5 s bis zum ersten Token und 100 ms je Token, also 10 Token pro Sekunde. Eine Antwort von 150 Token braucht bei genau diesem Ziel etwa 17 Sekunden; bei 47 Token pro Sekunde läuft der Text selbst in etwa 3 Sekunden durch.

Hier zählt die Art des Modells mehr als die Kartenzahl. StorageReview hat vier Karten der RTX PRO 6000 Server Edition in einem HPE ProLiant Compute DL380a Gen12 mit vLLM gemessen. Bei Batch 32 bekam jeder Nutzer mit gpt-oss-120b in NVFP4 und TP=4 47,54 Token pro Sekunde, mit Llama 2 70B Chat 8,00 (Aufteilung nicht angegeben), also weniger als ein Ziel von 10 Token pro Sekunde. Ein dichtes 70B-Modell liest für jedes Token alle Gewichte, was einen einzelnen Token-Strom auf einer Karte der Server Edition nach unserer Bandbreitenrechnung auf etwa 23 Token pro Sekunde begrenzt; gpt-oss-120b liest je Token etwa 5 GB. Für ein dichtes Modell mit vielen gleichzeitigen Chats passt die H200 NVL mit 4,8 TB/s je Karte besser.

Die Zeit bis zum ersten Token wächst mit dem Prompt. Jeder Chat beginnt mit demselben Systemprompt und denselben Anweisungen, und jede neue Nachricht wiederholt das bisherige Gespräch; das Prefix Caching von vLLM (--enable-prefix-caching) erspart es, den gemeinsamen Teil neu zu berechnen. Testen Sie die Last mit Ihren eigenen Prompts und gefundenen Passagen, bevor Sie eine Konfiguration freigeben, wie es unser Leitfaden dazu beschreibt, was ein Private-AI-Pilot messen sollte.

Hinweise für das IT-Team

Der Modellserver ist eine Komponente hinter dem Chat-Frontend, und diese Punkte entscheiden, wie er sich in Ihre Systeme einfügt.

1. API. vLLM stellt eine OpenAI-kompatible API bereit, sodass die meisten Chatbot-Plattformen und Frameworks sie mit geänderter Basis-URL aufrufen können. Setzen Sie ein LLM-Gateway mit Schlüsseln, Budgets und Abfrageprotokoll zwischen Plattform und Engine.
2. Tool-Aufrufe. Eine Bestellung nachschlagen oder ein Ticket anlegen ist ein Tool-Aufruf. Die Dokumentation von vLLM schreibt --enable-auto-tool-choice zwingend vor und kombiniert es mit einem Parser je Modellfamilie: openai für gpt-oss, llama3_json für Llama 3.x, das keine parallelen Tool-Aufrufe unterstützt, hermes für Qwen und mistral für das Format von Mistral.
3. Authentifizierung. Das Backend identifiziert den Kunden und gibt den Tools nur dessen Daten; das Modell sieht nie Zugangsdaten. Unser Leitfaden zu Prompt Injection und LLM-Sicherheit erklärt, warum ein Tool nicht darauf vertrauen darf, was das Modell anfordert.
4. Netzwerk. --api-key von vLLM schützt nur Pfade unter /v1, /v2, /inference und /cohere; Routen wie /invocations und /metrics antworten auch ohne Schlüssel (Sicherheitsleitfaden von vLLM 0.32.0). Halten Sie die Engine deshalb in einem internen Netz und machen Sie nur das Gateway erreichbar. Halten Sie das NVIDIA Container Toolkit auf 1.17.8 oder neuer und den Treiber auf einer Version, die NVIDIA in seinem Bulletin vom 30. September 2026 als korrigiert nennt.
5. Übergabe. Die Chatbot-Plattform übergibt einen Chat an einen Mitarbeiter; das Modell kann dafür eine kurze Zusammenfassung des Falls schreiben.
6. Daten und Recht. Chat-Logs enthalten personenbezogene Daten; legen Sie Aufbewahrung und Zugriffsrechte fest und prüfen Sie, ob eine Datenschutz-Folgenabschätzung nötig ist, wie unser Leitfaden zur DSFA beschreibt. Artikel 50 des AI Act gilt seit dem 2. August 2026: Ein System, das mit Menschen interagiert, muss sie darüber informieren, dass sie mit einem KI-System interagieren, sofern das nicht offensichtlich ist. Unser Artikel zum EU AI Act bietet allgemeine Informationen; die nationale Praxis kann abweichen, und die Entscheidung liegt bei Ihrer Rechtsabteilung.
7. Monitoring und Updates. Beobachten Sie vllm:time_to_first_token_seconds, vllm:kv_cache_usage_perc und vllm:num_preemptions, wie unser Leitfaden zu Monitoring-Metriken von vLLM zeigt, und lassen Sie Ihren mehrsprachigen Testsatz vor jedem Modellwechsel erneut laufen, wie in LLM-Evaluierung vor Modellwechseln beschrieben.

Zwei Server für einen Dienst, auf den Kunden zählen

Ein Bot auf der Website ist ein öffentlicher Dienst, und ein einzelner Server ist für ihn ein Single Point of Failure: Ein Treiber-Update, eine defekte Karte oder ein Netzteiltausch stoppt alle Chats. Zwei Server, die jeweils das Modell betreiben und die ganze Spitze tragen, halten den Bot erreichbar, wenn ein Load Balancer die Anfragen nur an funktionierende Replikate schickt. Unser Leitfaden zur LLM-Hochverfügbarkeit mit zwei GPU-Knoten beschreibt den Aufbau.

Mit den Beispielwerten halten zwei Server mit je vier Karten und gpt-oss-120b als zwei Paare je Server 374 laufende Chats, etwa 1.120 offene Chats, auch wenn ein Server ausfällt. Session-Affinität am Load Balancer führt jeden Chat zu dem Server zurück, der seinen Cache hält, und sorgt so dafür, dass das Prefix Caching wirkt. Nach unserer Schätzung zieht jeder Server mit vier Karten bei 600 W und zwei AMD EPYC 9355 etwa 3,4 kW an der Steckdose, ein Server mit zwei Karten und zwei EPYC 9135 etwa 1,8 kW, Karten und Prozessoren plus 15 Prozent für den Rest des Servers. Unsere Seite zum Kauf eines GPU-Servers für LLMs führt die Konfigurationen auf.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget aus und antwortet innerhalb eines Werktages. Wir bauen die GPU-Server für das Chat-Modell und die Suchmodelle auf Bestellung, mit Karten der RTX PRO 6000 Server Edition, H200 NVL, L40S oder L4, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer Rechnung und Herstellergarantie auf jede Komponente. Unser Service Private AI/ML mit dem Engineering unseres Partners Vixen.UNO setzt Modell und RAG auf Ihren Dokumenten hinter Ihrem Chatbot auf; das Chat-Widget auf Ihrer Website und seine Anbindung an Ihr Ticketsystem bleiben bei Ihrem Team oder Ihrer Chatbot-Plattform. Beschreiben Sie Chat-Aufkommen, Sprachen und Systeme, und wir legen die Server dafür aus.

FAQ