8× NVIDIA RTX PRO 4500 Blackwell Server Edition in einem Server: Modelle, Nutzer und VDI

Was acht Single-Slot-Karten zusammen ergeben

Ein Server mit acht NVIDIA RTX PRO 4500 Blackwell Server Edition betreibt kleine und mittlere Modelle mit zusammen rund 205,6 GiB Gewichten und Cache, bei rund 2,2 kW für den ganzen Server. Das reicht für acht Kopien eines 14B-Modells mit 128 gleichzeitigen Gesprächen, zwei Kopien von Llama 3.3 70B in FP8, 128 virtuelle Desktops bei NVIDIAs maximaler vPC-Dichte oder 16 isolierte MIG-Instanzen.

Die Karte ist NVIDIAs passive Rechenzentrumsversion der RTX PRO 4500 und belegt nur einen Steckplatz. Ihre 32 GB hängen an einem 256-Bit-Bus mit 800 GB/s, sie zieht höchstens 165 W, ist über PCI Express 5.0 x16 angebunden und hat einen 16-Pin-Stromanschluss. Die acht Karten legen ihren Speicher nicht zusammen: Die Karte hat kein NVLink, ein Modell, das größer als eine Karte ist, wird deshalb über PCIe aufgeteilt. Nach unserer Regel für Nutzer je Karte hält jede Karte ein Modell mit bis zu rund 20 GiB Gewichten und Platz für seinen Cache.

NVIDIA-Produktseite der RTX PRO 4500 Blackwell Server Edition, gelesen am 24. Oktober 2026; die Untergrenze von 100 W aus NVIDIAs Product Brief PB-12790-001_02, wie in unserem Leitfaden zur Karte zitiert. Der nutzbare Speicher ist unsere Schätzung.

Die Details der Karte, von den Abmessungen bis zur Geschichte der Markteinführung, stehen in unserem Leitfaden zur RTX PRO 4500 Blackwell Server Edition. Hier rechnen wir aus, was acht davon gemeinsam leisten.

Wie viel von 256 GB für Modelle und Cache bleibt

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, und zieht je Karte 3 GiB für CUDA-Graphen, Aktivierungen und die Laufzeit ab. 90 Prozent war der Standardwert von gpu_memory_utilization in vLLM vor Release 0.20.0, das ihn auf 0,92 angehoben hat. NVIDIA veröffentlicht für die 32-GB-Karte keinen vom Treiber gemeldeten Speicherwert; wir skalieren daher die 97.887 MiB einer RTX PRO 6000 mit 96 GB und kommen auf rund 31,9 GiB. Das ergibt 0,9 × 31,9 − 3 = 25,7 GiB je Karte und 205,6 GiB für acht. Prüfen Sie den Wert mit nvidia-smi -q auf Ihrer eigenen Karte. NVIDIAs vPC-Sizing-Guide hält fest, dass das ECC des GDDR7 bei Blackwell eingebaut und „always enabled without reducing usable VRAM“ ist. Die Herleitung der Regel steht in unserem Leitfaden, wie viele Nutzer eine RTX PRO 6000 schafft.

Was nach den Gewichten übrig bleibt, ist KV-Cache. Mit FP8-Cache braucht ein Gespräch mit 8.192 Token bei Qwen3-14B 0,625 GiB, bei Qwen3-32B 1,0 GiB und bei Llama 3.3 70B 1,25 GiB, berechnet aus Schichten, KV-Köpfen und Kopfgröße in der Konfiguration des jeweiligen Modells.

Modelle und Aufteilungen auf acht Karten zu 32 GB

Acht Karten erlauben vier Arten, ein Modell zu platzieren: eine Kopie je Karte, TP=2-Paare, TP=4-Kopien oder eine Kopie über alle acht. Mehr Karten je Kopie bedeuten weniger Kopien der Gewichte und mehr Platz für Gespräche, aber auch mehr Verkehr über PCIe in jeder Schicht.

Unsere Schätzungen nach der Regel für Nutzer je Karte, keine Messwerte: gleichzeitige Gespräche mit 8.192 Token in voller Länge und FP8-KV-Cache; gpt-oss-120b mit 32.768 Token und 16-Bit-Cache von 1,125 GiB. Gewichte aus den Checkpoints von Qwen, NVIDIA und OpenAI wie in unseren Sizing-Leitfäden.

Zwei Zeilen zeigen den Rechenweg. Eine TP=4-Kopie von Llama 3.3 70B hat 4 × 25,7 = 102,8 GiB; abzüglich 67,7 GiB Gewichte bleiben 35,1 GiB, und 35,1 ÷ 1,25 ergibt 28 Gespräche je Kopie, 56 für zwei. Eine Kopie von Qwen3-14B auf einer Karte lässt 25,7 − 15,2 = 10,5 GiB frei, also 16 Gespräche.

Ab Qwen3-32B in FP8 braucht jede Kopie mindestens zwei Karten. gpt-oss-120b passt gar nicht auf ein TP=2-Paar, denn zwei Karten halten 51,4 GiB, und schon die Gewichte belegen 60,8 GiB. Modelle mit mehreren hundert GB Gewichten passen nicht in diesen Server, nach den Größen in unseren Hardware-Anforderungen für LLMs nach Modell.

Nutzer je Modell für 500 bis 2.000 Beschäftigte

Die Gespräche oben sind Anfragen, die im selben Moment laufen, nicht die Zahl der Nutzer. Mit den Beispielwerten unseres Leitfadens privater ChatGPT-Server nach Firmengröße erzeugen 500 Beschäftigte zur Spitzenzeit rund 20 gleichzeitige Anfragen, 1.000 Beschäftigte rund 40 und 2.000 Beschäftigte rund 80.

Nach diesen Werten decken acht Kopien eines Modells der 14B-Klasse in FP8 mit 128 Gesprächen 2.000 Beschäftigte mit Reserve ab, und vier Kopien auf dem halben Server reichen für 1.000. Zwei TP=4-Kopien von Llama 3.3 70B in FP8 halten 56 Gespräche, genug für 1.000 Beschäftigte; mit 16-Bit-Cache hält dieselbe Aufteilung 28. Wer ein 70B-Modell für viele Nutzer betreiben will, fährt mit vier RTX PRO 6000 Server Edition besser: eine Kopie je Karte und kein Verkehr zwischen den Karten, wie unser Vergleich acht RTX PRO 4500 oder vier RTX PRO 6000 Server Edition zeigt.

Der Server mit acht Karten passt zu einem Unternehmen, das mehrere Modelle zugleich betreibt. Ein Assistenzmodell kann vier Karten belegen, ein Coding-Modell zwei, ein Embedding-Modell und ein Reranker für RAG je eine, jede Engine mit eigenem Speicher, eigenem Neustart und eigenem Update-Zyklus. Fällt eine Karte aus, fehlt ein Achtel des GPU-Speichers. Unser Leitfaden mehrere LLMs auf einem GPU-Server beschreibt die Einstellungen der Engines für eine solche Aufteilung. Wir bauen diesen Server auf Bestellung und legen die Aufteilung je Modell aus; schicken Sie uns Ihre Modelle und die Höchstzahl gleichzeitiger Anfragen, und unser Team antwortet mit einer Aufteilung und den Gesprächen je Modell.

Ein Modell über PCIe aufteilen: TP=2, TP=4 oder TP=8

Jede aufgeteilte Kopie tauscht in jeder Schicht Teilergebnisse zwischen ihren Karten aus, hier über PCIe. Standardmäßig ist vLLMs eigenes All-Reduce auf mehr als zwei GPUs ohne NVLink abgeschaltet: Der Quellcode meldet „Custom allreduce is disabled because it's not supported on more than two PCIe-only GPUs“ und weicht auf NCCL aus. Ein TP=2-Paar behält standardmäßig den schnelleren Weg, eine TP=4- oder TP=8-Kopie nicht. Release 0.30.0 vom 22. September 2026 brachte ein optionales All-Reduce über FlashInfer PCIe IPC für Systeme ohne NVLink (Pull Request #53576); einen veröffentlichten Gewinn auf dieser Karte haben wir nicht gefunden. vLLMs Leitfaden zur Parallelisierung vom 15. Oktober 2026 rät bei GPUs ohne NVLink, „leverage pipeline parallelism instead of tensor parallelism for higher throughput and lower communication overhead“.

Verwertbare Messungen zur Skalierung von Tensor-Parallelität auf mehreren RTX PRO 4500 Server Edition hat niemand veröffentlicht: StorageReview hat eine Karte gemessen, und die Tabellen von Exxact für zwei und vier Karten widersprechen dem eigenen Text, wie unsere Übersicht der RTX-PRO-4500-Benchmarks zeigt. Planen Sie TP=8 wegen der Kapazität ein, und rechnen Sie damit, dass ein einzelnes Gespräch darauf langsamer läuft, als die Summe der Bandbreiten verspricht. In einem Server mit zwei Sockeln zeigt nvidia-smi topo -m, welche Karten an einem Prozessor hängen; ein Paar unter einem Sockel vermeidet die Verbindung zwischen den Sockeln. Unser Artikel zu einem Modell auf mehreren GPUs über PCIe oder NVLink erklärt die Möglichkeiten.

Veröffentlichte Messwerte für eine Karte

StorageReview hat eine Server Edition mit vLLM 0.27.1 in einem Dell PowerEdge R770 gemessen und die Ergebnisse am 14. Oktober 2026 veröffentlicht. Mit Ministral 3 14B Instruct in FP8, 512 Eingabe- und 512 Ausgabe-Token lieferte die Karte bei 32 gleichzeitigen Anfragen 1.107 Ausgabe-Token pro Sekunde, eine L40S 995 und eine L4 364. Mit 8.192 Eingabe-Token flachte die Kurve ab 8 gleichzeitigen Anfragen bei rund 180 Token pro Sekunde ab, und StorageReview schrieb: „The flattening is KV cache running out, and 32GB sets that limit.“ Genau das sagt unsere Regel für ein 14B-Modell auf dieser Karte voraus.

Nach unserer Rechnung kämen acht unabhängige Kopien auf rund 8 × 1.107 = 8.856 Ausgabe-Token pro Sekunde bei kurzem Kontext und auf 8 × 180 = 1.440 bei 8K, sofern der Host nicht zur Grenze wird. Das ist eine Obergrenze aus einer Karte, kein gemessenes Ergebnis mit acht Karten. Alle veröffentlichten Werte und ihre Bedeutung stehen in unserer Übersicht der RTX-PRO-4500-Benchmarks.

VDI mit vGPU 20: Desktops je Server

NVIDIAs vPC-Sizing-Guide, aktualisiert am 19. August 2026, nennt die Karte „the primary recommended GPU for NVIDIA vPC“. Er gibt 16 Desktops je Karte mit 2-GB-Profilen und 10 mit 3-GB-Profilen an und hält fest, dass 1-GB-Profile auf Blackwell nicht unterstützt werden. Seine Dichtetabelle zählt 128 Desktops für acht Karten mit 2-GB-Profilen; laut NVIDIA zeigt sie die maximal unterstützte Dichte, keinen empfohlenen Betriebspunkt („reflects maximum supported density rather than a recommended deployment point“). Nach denselben Werten ergeben 3-GB-Profile 80 Desktops je Server. Das endgültige Profil legt ein Pilot mit Ihren eigenen Desktops fest.

NVIDIAs vPC-Sizing-Guide, aktualisiert am 19. August 2026, gelesen am 24. Oktober 2026; die Summen für acht Karten sind unsere Rechnung.

Die Karte steht ab Release 20.0 auf NVIDIAs Liste der von der vGPU-Software unterstützten GPUs und unterstützt MIG-basierte vGPU, sodass eine Hälfte virtuelle Maschinen tragen kann. NVIDIAs Support-Matrix für vSphere führt sie für VCF 9.1, für VCF 9.0 ab 9.0.1 und für ESXi 8.0 ab Update 3g; Ubuntu und RHEL KVM sind ebenfalls gelistet. In NVIDIAs vGPU-Dokumentation steht vGPU 20 auf dem Treiberzweig R595 mit Supportende im März 2027, und der Langzeitzweig vGPU 19 umfasst diese Karte nicht. Ein Host, der jetzt gekauft wird, wechselt also im ersten Betriebsjahr auf einen späteren vGPU-Zweig. NVIDIA lizenziert vPC, vWS und vApps je gleichzeitigem Nutzer, wie unser Leitfaden zu MIG und vGPU: VMs pro GPU erklärt; die VDI-GPU-Dimensionierung rechnet Hosts bis 1.000 Desktops.

16 MIG-Hälften in einem Server

NVIDIAs MIG-Leitfaden nennt für die RTX PRO 4500 mit 32 GB zwei Profilgrößen: 1g.16gb, bis zu zweimal je Karte mit je der Hälfte des Speichers und der SMs, und 2g.32gb für die ganze Karte. Acht Karten bieten also bis zu 16 isolierte GPUs zu 16 GB. MIG wird je Karte eingestellt, so können vier Karten eine TP=4-Kopie betreiben und die anderen vier kleine Modelle in Hälften bedienen; NVIDIAs MIG-Leitfaden hält fest, dass NCCL mit MIG nicht unterstützt wird, eine aufgeteilte Kopie läuft daher auf ganzen Karten.

Nach unserer Regel hält eine Hälfte, die rund 15,9 GiB meldet, 11,4 GiB Gewichte und Cache. NVIDIAs FP8-Checkpoint von Qwen3-8B mit 8,8 GiB passt mit Cache für rund vier Gespräche zu 8K; Qwen3-14B in FP8 passt nicht. Eine Hälfte eignet sich für Embedding-Modelle, Reranker, Klassifikatoren und Umgebungen für Studierende oder Entwickler. Mit zwei einfachen Hälften bekommt jede einen Videodecoder und einen Encoder, 16 Hälften stellen also 16 der 24 Decoder auf den Karten bereit. Unser Artikel zu GPU-Sharing in Kubernetes beschreibt, wie ein Cluster die Hälften verteilt.

Strom an der Steckdose und am 16-A-Anschluss

Mit 165 W je Karte ziehen acht Karten 1.320 W. Mit zwei AMD EPYC 9355 und einer Standard-TDP von je 280 W liegen Karten und Prozessoren bei 1.880 W. Arbeitsspeicher, Laufwerke, Netzwerkkarten, Lüfter und Wandlungsverluste kommen hinzu; wir schlagen dafür 15 Prozent auf, eine Annahme, die eine Messung am gelieferten System bestätigen muss. Prozessoren mit höherer TDP erhöhen die Summe.

Unsere Schätzung: Leistungsaufnahme aus NVIDIAs Produktseite und Brief, 280 W je Prozessor aus AMDs Seite zum EPYC 9355, dazu 15 Prozent für den übrigen Server.

Ein einphasiger 230-V-Anschluss mit 16 A ist für 3,68 kW ausgelegt; wir planen davon 80 Prozent ein, also 2,94 kW. Der Server mit acht Karten bleibt nach unserer Schätzung auch bei voller Leistungsaufnahme darunter; ein 16-A-Anschluss je Seite trägt ihn, und mit redundanten Netzteilen an A- und B-Einspeisung trägt jede Seite den ganzen Server. Die Zahl der Stromkabel folgt dem Netzteilaufbau des Gehäuseherstellers: Der 4U-Server mit acht GPUs von Puget Systems etwa nutzt 3+1 Netzteile zu 3.200 W und verlangt vier Anschlüsse mit 200 bis 240 V an getrennten Stromkreisen, derselbe Aufbau wie für seine Optionen mit RTX PRO 6000 und H200 NVL. Rund 2,2 kW Wärme brauchen bei 11 °C Temperaturanstieg etwa 350 CFM Luft, nach den 160 CFM je kW aus unserem Leitfaden GPU-Rack: Strom und Kühlung.

Server, deren Hersteller acht Karten führen

Die Karte läuft nur in einem Gehäuse, für das der Hersteller sie mit passenden Risern, Kabeln und Lüftern freigibt. Diese Einträge mit acht Karten haben wir gefunden.

Supermicro-Seite „RTX PRO Blackwell Server Edition“ und Konfigurator von Puget Systems, beide gelesen am 24. Oktober 2026.

In 2U nennt Supermicro höchstens sechs Karten. NVIDIAs vPC-Dichtetabelle rechnet mit acht Karten je 2U-Server, ohne einen zu nennen, und Lenovos Leitfaden zu dieser Karte vermerkt, dass der 2U-Server ThinkSystem SR650a V4 „now supports the GPU“, ohne eine Kartenzahl, die wir lesen konnten; deshalb zählen wir keinen 2U-Server als Option mit acht Karten. AWS bietet in seiner Instanz g7.48xlarge acht dieser Karten an; die Konfiguration mit acht Karten ist also im produktiven Einsatz. Für jedes Gehäuse entscheidet der Konfigurator des Herstellers. Wir prüfen Gehäuse, Anschluss und Luftstrom, bevor wir ein Angebot machen; nennen Sie uns Rackplatz und Anschluss, und wir nennen das passende Gehäuse.

Wann eine andere Konfiguration besser passt

Vier RTX PRO 6000 Server Edition passen zu einem oder zwei Modellen der 70B-Klasse für viele Nutzer, mit einer Kopie je Karte. Acht L40S bieten 48 GB je Karte bei je 350 W und kein MIG; diese Abwägung beschreibt unsere Seite acht L40S oder acht RTX PRO 4500 Server Edition. Vier dieser Karten in einem 2U-Server passen zu einem ersten VDI-Host oder einer Abteilung, wie unsere Seite zu vier RTX PRO 4500 Server Edition in 2U erklärt. Training und Fine-Tuning großer Modelle gehören auf H200 NVL mit NVLink-Brücken. Wenn ein Server kein Single Point of Failure sein darf, sind zwei Server mit vier Karten die sicherere Aufteilung, wie ein Server mit 8 GPUs oder zwei mit 4 GPUs vergleicht.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit acht RTX PRO 4500 Server Edition in Gehäusen, für die der Hersteller sie freigibt, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer EU-Rechnung und mit Herstellergarantie auf jede Komponente, und installieren auf Wunsch Betriebssystem, Treiber, CUDA und eine Container-Laufzeit. Konfiguration und Bestellablauf stehen auf unserer Seite Server mit 8× RTX PRO 4500 Server Edition kaufen. Modelle, RAG und die Plattform darüber sind unser Service Private AI/ML.

FAQ