NVIDIA H200 NVL: Alternativen für LLM-Inferenz mit Karten mit 32 und 48 GB

Alternativen zur H200 NVL für Inferenz-Server mit Karten mit 32 und 48 GB

Für LLM-Inferenz sind die Alternativen zur NVIDIA H200 NVL aus unserem Lieferprogramm Server mit vier oder acht NVIDIA RTX PRO 4500 Blackwell Server Edition, je 32 GB, passiv gekühlt und 165 W, sowie Aufbauten mit zwei bis vier NVIDIA RTX PRO 5000 Blackwell mit 48 GB. Nach unserer Dimensionierungsregel fassen sie Modelle, deren Gewichte und Cache innerhalb von 25,7 oder 40,0 GiB je Karte bleiben, mehrere Kopien eines solchen Modells und die Embedding-, Sprach- und Bildmodelle darum herum. Bei der H200 NVL bleibt, was ihre 141 GB auf einer Karte braucht, NVLink zwischen den Karten, Training und Fine-Tuning großer Modelle oder FP64.

Verglichen wird nach Aufgabe und nach Speicher. Die Seite enthält eine veröffentlichte Messung von Tokenraten, für eine einzelne RTX PRO 4500 Server Edition, und sonst Speicherrechnung nach einer Regel, die dort genannt ist, wo sie verwendet wird.

H200 NVL: NVIDIAs veröffentlichte Werte, wie in unserem Datenartikel zur H200 NVL gesammelt; RTX PRO 4500 Server Edition nach NVIDIAs Datenblatt 5192801 (April 2026) und Product Brief PB-12790-001_02 (20. April 2026); RTX PRO 5000 nach Datenblatt 5349550 (Juni 2026); MIG nach NVIDIAs MIG User Guide (4. November 2026) und dem Datenblatt der Server Edition; Compute Capability nach NVIDIAs CUDA-Seite (16. Oktober 2026). Die Budgets sind unsere Schätzung.

Das Budget ist, was unsere Dimensionierungsregel für Gewichte und KV-Cache lässt: das 0,9-Fache des Speichers, den der Treiber meldet, abzüglich 3 GiB je Karte. Auf der H200 NVL meldet der Treiber 140,4 GiB, das ergibt 123,4 GiB. Für die Karten mit 32 und 48 GB ist der gemeldete Speicher von den 95,6 GiB umgerechnet, die der Treiber auf einer 96-GB-Karte zeigt; diese Umrechnung ist eine Annahme, und es entscheidet der Treiber auf der gelieferten Karte. MIG auf der RTX PRO 5000 setzt Linux, den Treiber 575.57.08 oder neuer, das vBIOS 98.02.73.00.00 und den auf Compute gestellten Display-Modus voraus. Die vollständigen Daten stehen in unseren Artikeln H200 NVL: technische Daten, RTX PRO 4500 Server Edition: technische Daten und RTX PRO 5000 mit 48 GB oder 72 GB.

Inferenz-Aufgaben, die keine 141 GB je Karte brauchen

Ein Modell gehört auf die kleineren Karten, wenn seine Datei und der Cache für seine Gespräche im Budget einer Karte bleiben. Die Tabelle ordnet Modelldateien nach dieser Prüfung.

Dateigrößen von Qwen3.8-27B, Devstral, Qwen3.6-35B und Nemotron von Hugging Face, gelesen am 10. November 2026; Gewichte von Qwen3-14B, Qwen3-32B und Llama 3.3 70B wie in unseren Modell-Leitfäden; Whisper-Wert nach OpenAIs README; Einstufung und Gesprächszahlen (je 8.192 Token, FP8-KV-Cache) nach unserer Dimensionierungsregel: unsere Schätzung, keine Messung.

„Über unserem Budget“ heißt: größer als das Budget, aber noch innerhalb des 0,9-Fachen des Kartenspeichers, und mit einer solchen Datei planen wir nicht; das Beispiel auf 32 GB ist Qwens FP8-Datei von Qwen3.8-27B, während NVIDIAs NVFP4-Checkpoint desselben Modells passt. Auf 32-GB-Karten belegen das Embedding-Modell und der Reranker einer Retrieval-Pipeline in 16 Bit je eine Karte. Für Bildmodelle enthalten unsere Quellen keine Speicherangabe aus erster Hand; die Tabelle nennt deshalb keine. Jedes Modell läuft als eigene Serving-Instanz, auf einer ganzen Karte oder auf einer MIG-Instanz, wie unser Leitfaden Mehrere Modelle auf einem GPU-Server beschreibt.

Besteht die Liste aus einem mittelgroßen Modell in mehreren Kopien und einigen kleinen Modellen, erledigen die kleineren Karten die Arbeit in der einfachsten Aufteilung: eine Kopie je Karte, keine Daten zwischen den Karten, und eine ausgefallene Karte nimmt nur ihre eigene Kopie mit.

Sie können den Server allein bestellen, die Einrichtung von vLLM und Ihren Modellen allein oder beides zusammen: den Server mit allem fertig installiert und eingerichtet; schreiben Sie uns, wir schlagen Ihnen die beste Lösung für Ihre Aufgaben und Ihr Budget vor.

Server mit vier oder acht RTX PRO 4500 Server Edition

Die RTX PRO 4500 Server Edition ist eine passive Single-Slot-Karte voller Höhe und voller Länge für den Luftstrom eines Servers. Ihr Datenblatt nennt 32 GB GDDR7 mit ECC, bis zu 800 GB/s, 165 W als Standard mit einem Minimum von 100 W, einen 16-poligen Stromanschluss sowie drei NVENC- und drei NVDEC-Engines. Sie braucht einen Treiber des Zweigs R595 ab 595.58.03 oder des Zweigs R620.

Speicher und Leistungsaufnahme der Karten sind Summen aus NVIDIAs Angaben; nutzbarer Speicher nach unserer Dimensionierungsregel; Leistung an der Steckdose nach unserer Schätzung wie auf unseren Seiten zu diesen Servern: Leistungsaufnahme der Karten plus zwei Serverprozessoren, plus 15 Prozent für den Rest des Servers, zu bestätigen durch eine Messung am gelieferten System.

Für die Aufbauten mit der Server Edition rechnet die Schätzung mit zwei Prozessoren zu 280 W. Ein 230-V-Stromkreis mit 16 A trägt, mit 80 Prozent geplant, 2,94 kW; beide Aufbauten bleiben also an einer solchen Zuleitung. Mit auf das Minimum von 100 W gestellten Karten sinken die Schätzwerte auf rund 1,1 und 1,6 kW. Acht H200 NVL mit rund 6,3 kW brauchen eine dreiphasige 400-V-Zuleitung.

Unsere Schätzung, durch den Speicher begrenzt, keine Messung: gleichzeitige Gespräche mit 8.192 Token und FP8-KV-Cache (0,625, 1,0 und 1,25 GiB je Gespräch); Gewichte 15,2, 32,0 und 67,7 GiB. TP=2 und TP=4 sind tensor-parallele Kopien über zwei und vier Karten.

Gespräche sind Anfragen, die im selben Moment im Cache liegen, und damit weit weniger als die Mitarbeiter, die den Dienst nutzen. Mit den Beispielwerten unseres Leitfadens Privater ChatGPT-Server nach Unternehmens­größe, 40 Prozent der Mitarbeiter in der Spitzenstunde aktiv, 6 Anfragen pro Stunde, 30 Sekunden je Anfrage und Spitzenfaktor 2, laufen je 100 Mitarbeiter etwa 4 Anfragen gleichzeitig. Nach diesen Werten decken die 64 Gespräche von vier Kopien etwa 1.500 Mitarbeiter ab, und die 128 von acht Kopien decken 2.000 Mitarbeiter mit Reserve ab. Es sind Beispielwerte, die ein Pilot durch die Zahlen des eigenen Gateways ersetzt.

Eine Karte ist gemessen worden. StorageReview betrieb am 14. Oktober 2026 eine einzelne RTX PRO 4500 Server Edition in einem Dell PowerEdge R770 mit vLLM 0.27.1 bei 32 gleichzeitigen Anfragen: Ministral 3 14B in FP8 erzeugte 1.107 Ausgabe-Token pro Sekunde bei 512 Eingabe- und 512 Ausgabe-Token und rund 180 bei 8.192 Eingabe- und 1.024 Ausgabe-Token. Ein Durchsatz mehrerer Karten ist nicht in einer Form veröffentlicht, die wir zitieren können.

MIG teilt jede Karte in zwei Instanzen mit 16 GB, acht je Server mit vier Karten und sechzehn je Server mit acht. Eine Hälfte hat nach derselben Regel ein Budget von 11,3 GiB; das reicht für Nemotron 3.5 Embed 1B in 16 Bit (2,90 GiB) und nicht für die 8B-Version. Eine aufgeteilte Kopie läuft auf ganzen Karten.

Supermicros Seite der Systeme für die Karte, gelesen am 24. Oktober 2026, führt acht Karten nur in Modellen mit 3, 4 und 5 Höheneinheiten (SYS-322GA-NR, SYS-422GL-NR, SYS-422GL-FNR2, SYS-522GA-NRT) und vier in den 2U-Modellen SYS-222H-TN und SYS-222C-TN; der größte 2U-Eintrag sind sechs Karten. Unsere Aufbauten beginnen bei 24 Prozessorkernen und 256 GB DDR5-ECC-Speicher für vier Karten und bei 48 Kernen und 512 GB für acht. Server von Supermicro, Gigabyte, ASUS, Dell und HPE liefern wir projektbezogen, und vor dem Angebot prüfen wir Rack, Strom und Luftstrom; schicken Sie uns Ihre Modelle, deren Präzision und die Spitze der gleichzeitig laufenden Anfragen, und wir antworten mit einer Aufteilung je Modell. Die Aufbauten beschreiben Vier RTX PRO 4500 Server Edition in 2U und Acht RTX PRO 4500 Server Edition in einem Server, die Bestellung Server mit 4× RTX PRO 4500 Server Edition kaufen und Server mit 8× RTX PRO 4500 Server Edition kaufen, die Karte allein RTX PRO 4500 Server Edition kaufen.

RTX PRO 5000 48 GB in Workstations und in Gehäusen, die sie führen

Die RTX PRO 5000 mit 48 GB hat nach unserer Regel ein Budget von 40,0 GiB je Karte; damit passen Qwen3-32B und Qwen3.6-35B-A3B in FP8 auf eine Karte. Sie ist eine aktiv gekühlte Workstation-Karte mit 300 W in zwei Slots. Zwei bis vier davon kommen in eine Workstation: Vier ergeben 192 GB, davon 160,1 GiB nutzbar, bei 1.200 W Leistungsaufnahme der Karten und nach unserer Schätzung mit einem 350-W-Prozessor rund 1,8 bis 2 kW an der Steckdose.

In ein Rack gehört die Karte nur in ein Gehäuse, dessen Hersteller sie führt, und für den Dauerbetrieb im Rack empfehlen wir eine Server-Edition-Karte, wie unsere Seite Rack-Server mit RTX PRO 5000 kaufen erklärt. Der Server mit acht Karten auf unseren Seiten, Acht RTX PRO 5000 in einem Server, ist mit der 72-GB-Version der Karte gebaut, die wir ebenfalls liefern. Für die 48-GB-Karte ist keine LLM-Tokenrate mit genannten Bedingungen veröffentlicht; die Tabelle oben nennt deshalb ihre Gesprächszahlen und keine Geschwindigkeit. Karte und Aufbauten stehen auf unseren Seiten RTX PRO 5000 Blackwell 48 GB kaufen und Workstation mit zwei bis vier dieser Karten kaufen.

Modelle, die größer sind als eine Karte, werden über PCIe aufgeteilt

Acht 32-GB-Karten sind acht Speicher zu 32 GB, vier 48-GB-Karten vier zu 48 GB. Der Product Brief der Server Edition nennt NVLink als „Not supported“, und das Datenblatt der RTX PRO 5000 führt keines. Ein Modell, das größer ist als eine Karte, teilt die Serving-Software auf, mit Tensor- oder Pipeline-Parallelität, und jede Aufteilung bringt Verkehr zwischen den Karten auf PCIe. NVIDIAs H200-Seite nennt für PCIe Gen5 128 GB/s gegenüber 900 GB/s je GPU für die NVLink-Bridges der H200 NVL.

vLLM behält sein Custom-All-Reduce auf zwei GPUs ohne NVLink und schaltet es bei mehr als zwei ab; dann nutzt es NCCL. Release 0.30.0 vom 22. September 2026 hat ein optionales All-Reduce über PCIe ergänzt. Eine belastbare veröffentlichte Messung der Skalierung mit Tensor-Parallelität auf vier oder acht RTX PRO 4500 Server Edition oder RTX PRO 5000 haben wir nicht gefunden. Die Zahlen für aufgeteilte Kopien in der Tabelle sagen deshalb, was in den Speicher passt, und nichts über die Geschwindigkeit eines Gesprächs. Die Verbindung behandelt unser Artikel Ein Modell auf mehreren GPUs: PCIe oder NVLink.

Daraus folgt die Reihenfolge der Planung: eine Präzision wählen, in der das Modell auf eine Karte passt, dann Kopien betreiben, und nur aufteilen, was auf keine einzelne Karte passt.

Was bei der H200 NVL bleibt

• Ein großes Modell auf einer Karte. Eine H200 NVL fasst Llama 3.3 70B in FP8 mit Platz für 44 Gespräche mit 8.192 Token und FP8-KV-Cache; vier Karten halten 176 als vier Kopien und acht halten 352, ohne Daten zwischen den Karten.
• Modelle mit mehreren hundert GB. Nach den Größen in unserem Artikel LLM-Hardware-Anforderungen nach Modell belegt Llama 4 Maverick in FP8 mit rund 417 GB vier H200 NVL, DeepSeek-V3.2 mit 690 GB oder GLM-5.3 mit 756 GB belegen acht. Modelle dieser Größe passen nicht auf einen Server mit acht 32-GB-Karten.
• Aufgeteilte Modelle über NVLink. Bridges verbinden zwei oder vier Karten; ein Server mit acht Karten hat zwei Domänen zu vier, verbunden über PCIe 5.0, wie Acht H200 NVL in einem Server zeigt.
• Training, Fine-Tuning und FP64. Training und Fine-Tuning großer Modelle gehören auf H200 NVL mit NVLink-Bridges; unsere Seite zu KI-Servern führt acht davon als Trainingsknoten. NVIDIA nennt für die Karte 30 TFLOPS in FP64.
• Die Lizenz. Jede H200 NVL enthält ein fünfjähriges NVIDIA-AI-Enterprise-Abonnement.

Die Kaufentscheidungen zur Karte stehen in H200 NVL in der EU kaufen.

Die Wahl zwischen den dreien

Ausgangspunkt sind die Modellliste und die Präzision jedes Modells. Modelle bis etwa 20 GiB Gewichte passen mit ihrem Cache auf eine RTX PRO 4500 Server Edition, und mehrere davon ergeben einen Server mit vier oder acht Karten. Modelle bis zur 35B-Klasse in FP8 passen auf eine RTX PRO 5000 48 GB. Ein 70B-Modell in FP8 für viele Nutzer, alles mit mehreren hundert GB und Training sind Arbeit für die H200 NVL.

Zum Server selbst: Supermicro, Gigabyte und ASUS: 8-GPU-Server im Vergleich, Dell PowerEdge XE für H200 NVL und HGX B300 und HPE ProLiant für KI. Derselbe Vergleich eine Klasse tiefer ist RTX PRO 6000 Alternativen mit 48 und 32 GB, und was in eine Anfrage gehört, steht in Sizing-Anfrage für Private AI: was wir wissen müssen.

Ein erstes Gespräch zu Ihrem Workload ist kostenlos. Nennen Sie uns die Modelle, die laufen sollen, und die Zahl der Nutzer oder schreiben Sie an request@eurokommerz.at.

FAQ