Vom KI-Piloten zur Produktion: Hardware für private KI von einer Karte bis acht skalieren

Was sich vom KI-Piloten zur Produktion an der Hardware ändert

Zwischen einem KI-Piloten und der Produktion bekommt die Hardware eine andere Aufgabe. Ein Pilot, oft Proof of Concept (PoC) genannt, betreibt ein Modell für eine Handvoll Tester auf einer oder zwei Karten. Die Produktion bedient viele Anfragen im selben Moment, läuft weiter, wenn ein Server ausfällt, hält mehr als ein Modell, wird überwacht und gesichert, braucht unter Umständen Lizenzen, die der Pilot nicht brauchte, und zieht Leistung, die der Raum liefern muss. Ein gangbarer Weg wächst mit der Kartenzahl: eine oder zwei Karten für den Piloten, vier Karten für eine Abteilung, acht Karten oder zwei Knoten mit je vier Karten für das ganze Unternehmen. Welche Stufe die richtige Größe hat, entscheiden die Zahlen, die im Piloten gemessen werden.

Zusammenfassung der Abschnitte unten; Lizenzangaben nach NVIDIAs NIM-FAQ und NVIDIAs Lizenzleitfaden zu NVIDIA AI Enterprise (zuletzt aktualisiert am 2. September 2026), gelesen am 12. November 2026.

Was der Pilot für die Auslegung der Produktion messen muss

Ein Pilot sollte drei Zahlen übergeben. Die erste sind die Token je Anfrage: wie lang die Prompts sind, abgerufene Passagen eingeschlossen, und wie lang die Antworten. Die zweite ist die Gleichzeitigkeit, also die Spitze der Anfragen in Bearbeitung in der Spitzenstunde. Die dritte ist die Kontextlänge, die Sie in der Produktion deklarieren, denn jede Zahl weiter unten zählt Gespräche in voller deklarierter Länge.

Die Lastwerte veröffentlicht vLLM selbst: Anfragen in Bearbeitung (vllm:num_requests_running), die Warteschlange (vllm:num_requests_waiting), den belegten Anteil des KV-Cache (vllm:kv_cache_usage_perc) und die Zeit bis zum ersten Token, abgelesen am 95. Perzentil. Rechnen Sie die gemessene Spitze auf die Nutzerzahl der nächsten Stufe hoch. Im Beispiel unseres Rollout-Plans für 1.000 Mitarbeiter ergeben 190 Nutzer mit einer Spitze von 12 Anfragen in Bearbeitung rund 34 für 540 Nutzer und rund 63 für 1.000. Ankunftsrate, Token-Längen und Antwortqualität lassen sich vom Piloten übertragen; die Latenz nur bei gleichem GPU-Typ, gleicher Engine-Version und gleichen Einstellungen, wie unser Leitfaden Was ein privater KI-Pilot messen sollte erklärt.

Ohne Pilotdaten muss die Auslegung mit Annahmen beginnen. Unser Leitfaden nach Unternehmens­größe nimmt an, dass 40 Prozent der Mitarbeiter in der Spitzenstunde aktiv sind und 6 Anfragen pro Stunde stellen, dass jede Anfrage 30 Sekunden dauert, und rechnet mit einem Spitzenfaktor von 2. Das ergibt rund 4 Anfragen in Bearbeitung je 100 Mitarbeiter. Diese Zahlen sind Beispielwerte, und die Logs des Piloten ersetzen sie.

LLM-Infrastruktur nach Kartenzahl skalieren

Jede Zahl in diesem Abschnitt folgt einer Regel: Gewichte und KV-Cache bekommen zusammen 0,9 × den Speicher, den der Treiber meldet, abzüglich 3 GiB je Karte. Nach dieser Schätzung hat eine 48-GB-Karte 40,0 GiB, eine 32-GB-Karte 25,7 GiB und eine 96-GB-Karte 83,0 GiB. Auf der 96-GB-Karte zeigt der Treiber 95,6 GiB an; für die kleineren Karten leiten wir den Wert anteilig daraus ab, was eine Annahme ist, und es entscheidet der Treiber auf der gelieferten Karte.

unsere Schätzungen nach der Regel oben, wie in unseren Leitfäden zu diesen Konfigurationen veröffentlicht: gleichzeitige Gespräche mit 8.192 Token in voller Länge und FP8-KV-Cache (0,625, 1,0 und 1,25 GiB je Gespräch; Gewichte 15,2, 32,0 und 67,7 GiB). TP = Tensor-Parallelismus, eine Kopie des Modells auf so viele Karten aufgeteilt. Die Zahlen sind eine Speicherrechnung und sagen nichts über den Durchsatz.

Der Speicher mehrerer Karten wird nicht zusammengelegt. Ein Modell, das auf eine Karte passt, läuft als eine Kopie je Karte ohne Verkehr zwischen den Karten, und eine ausgefallene Karte nimmt nur ihre eigene Kopie mit. Ein Modell, das größer ist als eine Karte, teilt die Serving-Engine über PCIe auf, und jede Aufteilung kostet Verkehr zwischen den Karten. Weniger Kopien halten mehr Gespräche, weil jede Kopie ihre eigenen Gewichte speichert. Daraus folgt die Reihenfolge: erst quantisieren, dann Kopien hinter einem Load Balancer hinzufügen und nur aufteilen, wenn das Modell nicht passt.

Der Pilot auf einer oder zwei Karten

Eine Workstation mit einer RTX PRO 5000 Blackwell 48 GB trägt ein 14B- oder ein 32B-Modell in FP8 für ein Pilotteam, und eine zweite Karte verdoppelt die Kopien oder lässt ein 32B-Modell als Paar 48 Gespräche bedienen. Die Karte beschreibt unser Vergleich 48 GB oder 72 GB, die Konfiguration die Seite zur Workstation mit RTX PRO 5000 48 GB. Ein Pilot, der ein 70B-Modell in FP8 braucht, beginnt besser auf 96-GB-Karten: Dessen 67,7 GiB Gewichte passen auf eine 96-GB-Karte und auf keine kleinere RTX-PRO-Blackwell-Karte, und auf zwei 48-GB-Karten aufgeteilt lassen sie nur Platz für 9 Gespräche. Die Einstiegskonfiguration auf unserer Seite KI-Server, zwei RTX PRO 6000 Blackwell Server Edition mit zwei AMD-EPYC-Prozessoren und 384 GB Arbeitsspeicher, hat nach unserer Regel 166,1 GiB und hält, gezählt wie in der Tabelle (8.192 Token, FP8-KV-Cache), 24 Gespräche mit diesem Modell als zwei Kopien oder 78 als eine auf beide Karten aufgeteilte Kopie. Unser Rechenbeispiel für ein 70B-Modell verfolgt diesen Fall von den Gewichten bis zur Steckdose, und Welche GPU für ein erstes KI-Projekt vergleicht die Ausgangspunkte.

Eine Abteilung auf vier Karten

Vier RTX PRO 4500 Blackwell Server Edition, passive Single-Slot-Karten mit je 32 GB und 165 W (technische Daten), passen in einen 2U-Server. Vier Kopien des 14B-Modells halten 64 Gespräche. Mit den Beispielwerten erzeugen 1.000 Mitarbeiter eine Spitze von rund 40 Anfragen in Bearbeitung, die Konfiguration hat für sie also Reserve; Einzelheiten nennt unsere Seite zum Server mit vier RTX PRO 4500 Server Edition. Für größere Modelle ist die nächste Stufe der Inferenz-Knoten unserer Seite KI-Server: vier RTX PRO 6000 Server Edition mit nach unserer Regel 332,2 GiB, die nach derselben Zählung vom 70B-Modell 48 Gespräche als vier Kopien halten, 156 als zwei Paare und 211 als eine Kopie über vier Karten.

Das Unternehmen auf acht Karten oder zwei Knoten

Acht RTX PRO 4500 Server Edition halten vom 14B-Modell 128 Gespräche als acht Kopien, mehr als die Spitze von rund 80, die die Beispielwerte für 2.000 Mitarbeiter ergeben; die Konfiguration ist der Server mit acht dieser Karten. Das 70B-Modell läuft dort nur als aufgeteilte Kopie. In der Voreinstellung schaltet vLLM seinen eigenen All-Reduce bei mehr als zwei GPUs ab, die nur über PCIe verbunden sind; ein Paar behält also den schnelleren Weg, eine Aufteilung über vier oder acht Karten nicht. Eine konsistente veröffentlichte Messung der Skalierung mit Tensor-Parallelismus auf vier oder acht RTX PRO 4500 oder 5000 haben wir nicht gefunden; die Zahlen sind deshalb Speicherwerte und sagen nichts über die Geschwindigkeit. Für welche Modelle diese Server geeignet sind, behandelt H200 NVL Alternativen für LLM-Inferenz. Der andere Weg zur Unternehmens­größe sind zwei Knoten mit je vier Karten, die der nächste Abschnitt beschreibt.

Sie können den Server allein bestellen, die Einrichtung der Modelle und des Assistenten allein oder beides zusammen: den Server mit allem fertig installiert und eingerichtet; schicken Sie uns die Zahlen aus Ihrem Piloten, wir schlagen Ihnen die beste Lösung für Ihre Aufgaben und Ihr Budget vor.

Der zweite Knoten und die Verfügbarkeit in der Produktion

Die Produktion braucht ein schriftliches Ziel. Googles Buch „Site Reliability Engineering“ nennt es Service Level Objective, „a target value or range of values for a service level that is measured by an SLI“, also einen Zielwert für eine gemessene Dienstgüte, und seine Verfügbarkeitstabelle zeigt, was jedes Ziel zulässt.

Google, „Site Reliability Engineering“ (O'Reilly, 2017), Anhang A „Availability Table“, gelesen am 12. November 2026; die Tabelle setzt voraus, dass es keine geplanten Ausfallzeiten gibt.

Ein einzelner Server muss für ein Treiber-Update oder eine Reparatur anhalten, und das Ziel entscheidet, wie oft und wie lange das vorkommen darf. Erreicht ein Knoten allein 99 Prozent und fallen die beiden unabhängig voneinander aus, sind beide während 0,01 × 0,01 = 0,0001 der Zeit gleichzeitig außer Betrieb; das Paar erreicht nach unserer Schätzung also 99,99 Prozent. Eine gemeinsame Zuleitung, ein gemeinsamer Switch oder ein Update, das auf beide zugleich eingespielt wird, hebt diese Annahme auf. Die Zahl zeigt die Rechnung für Ihr eigenes Ziel; sie ist keine Dienstgüte, die wir oder ein Hersteller zusagen.

Ausgelegt wird N+1 in der Spitze: Jeder Knoten betreibt jedes Modell des Dienstes und trägt die ganze Spitze allein. Im Beispiel unseres Leitfadens zur LLM-Hochverfügbarkeit mit zwei Knoten erzeugen 2.000 Mitarbeiter eine Spitze von 80 Anfragen in Bearbeitung mit gpt-oss-120b bei 32K Kontext. Jeder von zwei Knoten mit vier RTX PRO 6000 hält rund 186 Gespräche mit zwei auf Kartenpaare aufgeteilten Kopien und 76 mit einer Kopie je Karte (unsere Schätzungen mit 16-Bit-KV-Cache). Der Leitfaden ergänzt, dass der Durchsatz bei 80 gleichzeitigen Anfragen nicht gemessen ist und vor der Bestellung ein Lasttest verlangt werden sollte. Die GPUs sind nur ein Teil davon. Das Embedding-Modell, der Reranker, der Vektorindex, die Chat-Oberfläche mit ihrer Datenbank und das Gateway brauchen je eine zweite Instanz. Ein Failover verliert die Anfragen in Bearbeitung auf dem ausgefallenen Knoten, und der verbleibende Knoten beginnt ohne den Prefix-Cache. Updates laufen dann Knoten für Knoten. Den Zeitpunkt nennt unser Rollout-Leitfaden klar: Der zweite Server kommt, bevor das ganze Unternehmen vom Assistenten abhängt. Ob ein Server mit acht Karten oder zwei Server mit vier Karten der bessere Kauf ist, wägt Ein 8-GPU-Server oder zwei 4-GPU-Server ab, die Netzteile in jedem Knoten behandelt Netzteil-Redundanz in GPU-Servern.

Mehr als ein Modell, Monitoring und Backup

Die Produktion bleibt selten bei einem Modell. Ein Assistent, der aus Dokumenten antwortet, bringt ein Embedding-Modell und einen Reranker mit, und Abteilungen fragen nach einem zweiten Chat-Modell. Jedes Modell ist eine eigene vLLM-Instanz, auf ganzen Karten, auf MIG-Instanzen oder auf Anteilen einer Karte, wie Mehrere LLMs auf einem GPU-Server zeigt. Addieren Sie den Speicher aller Modelle, bevor die Kartenzahl feststeht.

Das Monitoring wird zur Pflicht mit Schwellenwerten: die vier oben genannten vLLM-Werte, abgelesen in der Spitzenstunde, und eine Prüfung, die früh über den nächsten Server entscheidet, denn Kapazität im eigenen Haus ist ein Kauf. Beides behandeln unsere Leitfäden zum LLM-Monitoring und zur GPU-Kapazitätsplanung.

Das Backup ändert sich, sobald die Plattform etwas Einmaliges enthält. Basisgewichte lassen sich nur so lange erneut herunterladen, wie diese Revision existiert; Adapter und feinabgestimmte Gewichte existieren nirgends sonst. Ein Vektorspeicher braucht ein eigenes konsistentes Backup, zum Beispiel pg_dump oder pg_basebackup für pgvector. Von einer laufenden virtuellen Maschine mit durchgereichter GPU lässt sich kein Snapshot erstellen. Der Wiederherstellungstest vergleicht die SHA-256-Werte der Gewichtsdateien, lässt einen festen Evaluierungssatz laufen und prüft die ersten Treffer fester Suchanfragen. Das Vorgehen steht in Backup eines KI-Servers.

NVIDIA AI Enterprise beim Schritt in die Produktion

Ein Pilot kann unter Entwicklungsbedingungen laufen. NVIDIAs NIM-FAQ, von NVIDIA am 11. September 2024 im eigenen Entwicklerforum veröffentlicht und am 12. November 2026 gelesen, erlaubt Mitgliedern des Developer Program, NIM-Microservices für Forschung, Entwicklung und Experimente auf „up to 16 GPUs on any infrastructure“ zu nutzen. Dieselbe FAQ sagt: „Using NIM in production requires an NVIDIA AI Enterprise license.“ Als Produktion zählt sie „any use of NIM for purposes other than development, testing, research or evaluation“, also jede Nutzung außerhalb von Entwicklung, Test, Forschung oder Evaluierung. NVIDIAs Lizenzleitfaden, zuletzt aktualisiert am 2. September 2026, hält fest: „NVIDIA AI Enterprise software is licensed on a per-GPU basis“; ein Knoten mit vier Karten, der NIM für Mitarbeiter bereitstellt, braucht also vier Lizenzen.

Nicht jeder Produktions-Stack braucht die Lizenz. Ein vLLM-Stack auf RTX-PRO-Karten läuft ohne NVIDIA AI Enterprise, Compute-vGPU-Profile in virtuellen Maschinen brauchen sie je GPU, und jede H200 NVL enthält eine Subskription über fünf Jahre. Die Fälle erläutert unser Artikel zur Lizenzierung von NVIDIA AI Enterprise. Wo Lizenzen nötig sind, kommen sie auf dieselbe Rechnung wie die Hardware.

Strom und Raum auf jeder Stufe

unsere Schätzungen, wie in unseren Leitfäden zu diesen Konfigurationen veröffentlicht: Leistungsaufnahme der Karten plus Prozessoren plus 15 Prozent (Workstation: ein Prozessor mit 350 W; Server mit RTX PRO 4500: zwei Prozessoren mit 280 W; Server mit RTX PRO 6000: zwei Prozessoren mit 200 W bei zwei Karten, mit 280 W bei vier und mit 360 W bei acht); ein 230-V-Stromkreis mit 16 A trägt 3,68 kW und wird mit 80 Prozent geplant, also 2,94 kW. Eine Messung am gelieferten System bestätigt die Schätzung.

Nach diesen Schätzungen bleiben die Pilot-Workstation, die Server mit RTX PRO 4500 Server Edition und der Server mit zwei RTX PRO 6000 innerhalb eines 16-A-Stromkreises. Ab vier Karten mit 600 W muss die Zuleitung geplant werden. Für einen Knoten mit acht Karten nennt Dells Datenblatt rund 8 kW als Richtwert; planen Sie die Zuleitung deshalb nach der Angabe des Herstellers für die genaue Konfiguration. Nach unseren Schätzungen nimmt ein 10-kW-Rack einen Server mit acht 600-W-Karten auf, zwei Server mit vier Karten oder bis zu fünf Server mit zwei Karten, und eine Drehstromzuleitung mit 400 V und 32 A liefert rund 22 kW, von denen wir 17,7 kW einplanen. Was im Raum zu prüfen ist, listet die Standortprüfung für GPU-Server, den Luftstrom erklärt Strom und Kühlung im GPU-Rack.

Vor dem Angebot prüfen wir Rack, Strom und Luftstrom; nennen Sie uns Rackposition und Zuleitung, und wir legen die nächste Stufe danach aus. Die ersten Angaben dafür stehen in unserer Sizing-Anfrage für private KI, und wo die Reihenfolge der Käufe über ein Budgetjahr zählt, setzt das KI-Hardware-Budget für 2027 hier fort.

FAQ