4× NVIDIA RTX PRO 4500 Blackwell Server Edition in 2U: Modelle, Nutzer, VDI und Strom

128 GB auf vier Single-Slot-Karten

Ein 2U-Server mit vier NVIDIA RTX PRO 4500 Blackwell Server Edition betreibt kleine und mittelgroße Modelle für eine Abteilung: Nach unserer Regel für Nutzer je Karte hält jede Karte ein Modell mit bis zu rund 20 GiB Gewichten samt Cache, der ganze Server rund 102,8 GiB Gewichte und Cache. Das reicht für vier Kopien eines 14B-Modells mit 64 Gesprächen zugleich, eine Kopie eines 70B-Modells über alle vier Karten, acht isolierte MIG-Instanzen oder bis zu 64 virtuelle Desktops, bei rund 1,4 kW für den ganzen Server.

Die Karte ist die passive Single-Slot-Version der RTX PRO 4500 für Rechenzentren. NVIDIAs Produktseite nennt 32 GB GDDR7 an einem 256-Bit-Bus mit 800 GB/s, 165 W, PCI Express 5.0 x16, einen 16-Pin-Stromanschluss und je drei NVENC- und NVDEC-Engines. Die vier Karten legen ihren Speicher nicht zusammen. Die Karte hat kein NVLink; ein Modell, das größer als eine Karte ist, wird also über PCIe aufgeteilt.

NVIDIAs Produktseite zur RTX PRO 4500 Blackwell Server Edition, gelesen am 24. Oktober 2026; die Untergrenze von 100 W aus NVIDIAs Product Brief PB-12790-001_02, wie in unserem Leitfaden zur Karte zitiert. Der nutzbare Speicher ist unsere Schätzung.

Erst die Single-Slot-Bauweise bringt vier Karten in 2U unter. Auf Supermicros Seite nimmt der 2U-Server SYS-222C-TN vier dieser Karten auf, aber nur zwei RTX PRO 6000 Server Edition, und der SYS-222H-TN vier davon und keine der größeren Karte. Die Karte selbst beschreibt unser Leitfaden zur RTX PRO 4500 Blackwell Server Edition; diese Seite rechnet aus, was vier davon zusammen leisten.

Wie viel der 128 GB für Modelle und Cache bleibt

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, und zieht je Karte 3 GiB für CUDA-Graphen, Aktivierungen und die Laufzeitumgebung ab. NVIDIA veröffentlicht für die 32-GB-Karte keinen vom Treiber gemeldeten Speicherwert; wir skalieren daher die 97.887 MiB einer RTX PRO 6000 mit 96 GB auf rund 31,9 GiB. Das ergibt 0,9 × 31,9 − 3 = 25,7 GiB je Karte und 102,8 GiB für vier. Prüfen Sie den Wert mit nvidia-smi -q auf Ihrer eigenen Karte. NVIDIAs vPC-Sizing-Guide schreibt, dass ECC bei GDDR7 unter Blackwell „always enabled without reducing usable VRAM“ ist. Die Herleitung der Regel steht in unserem Leitfaden wie viele Nutzer eine RTX PRO 6000 bedient.

Was nach den Gewichten bleibt, ist KV-Cache. Mit FP8-Cache belegt ein Gespräch mit 8.192 Token bei Qwen3-8B 0,5625 GiB, bei Qwen3-14B 0,625 GiB, bei Qwen3-32B 1,0 GiB und bei Llama 3.3 70B 1,25 GiB, nach Schichten, KV-Köpfen und Kopfgröße in der Konfiguration des jeweiligen Modells. Ein 16-Bit-Cache verdoppelt diese Werte.

Modelle und Aufteilungen auf vier Karten zu 32 GB

Vier Karten erlauben drei Arten, ein Modell zu platzieren: eine Kopie je Karte, zwei TP=2-Paare oder eine TP=4-Kopie über alle vier. Mehr Karten je Kopie lassen mehr Platz für Gespräche und erzeugen in jeder Schicht mehr Verkehr über PCIe.

Unsere Schätzungen nach der Regel für Nutzer je Karte, keine Messungen: gleichzeitige Gespräche mit 8.192 Token in voller Länge und FP8-KV-Cache; gpt-oss-120b mit 32.768 Token und 16-Bit-Cache von 1,125 GiB. Gewichte sind die Checkpoints von Qwen, NVIDIA und OpenAI wie in unseren Sizing-Leitfäden.

Zwei Zeilen zeigen die Rechnung. Eine Kopie von Qwen3-14B auf einer Karte lässt 25,7 − 15,2 = 10,5 GiB frei, und 10,5 ÷ 0,625 ergibt 16 Gespräche. Eine TP=4-Kopie von Llama 3.3 70B in FP8 hat 102,8 GiB; abzüglich 67,7 GiB Gewichte bleiben 35,1 GiB, und 35,1 ÷ 1,25 ergibt 28 Gespräche, mit 16-Bit-Cache 14.

Die Tabelle zeigt auch, wo die Grenze von vier Karten liegt. Ein TP=2-Paar hält 51,4 GiB, zu wenig für Llama 3.3 70B in FP8 oder für gpt-oss-120b; beide brauchen alle vier Karten als eine Kopie, und der Server betreibt dann kein weiteres Modell. Modelle mit mehreren hundert GB Gewichten passen gar nicht, nach den Größen in unseren Hardware-Anforderungen für LLMs nach Modell.

Nutzer je Modell, vom Team bis zur Abteilung mit 1.500 Personen

Gespräche sind Anfragen, die im selben Moment laufen, nicht die Zahl der Nutzer. Unser Leitfaden zum privaten ChatGPT-Server nach Firmengröße setzt für 500 Beschäftigte in der Spitze rund 20 gleichzeitige Anfragen an und für 1.000 rund 40; im selben Verhältnis entsprechen 60 Anfragen rund 1.500 Beschäftigten.

Nach diesen Werten decken vier Kopien von Qwen3-14B in FP8 mit 64 Gesprächen rund 1.500 Beschäftigte ab, und Qwen3-32B in FP8 als eine TP=4-Kopie mit 70 rund 1.750. Llama 3.3 70B in NVFP4 als eine TP=4-Kopie hält 50, eine Abteilung von rund 1.250 Personen. Llama 3.3 70B in FP8 hält 28, passend für rund 700 Beschäftigte, und lässt keine Karte für etwas anderes frei.

Für die meisten Abteilungen ist eine gemischte Aufteilung nützlicher. Ein Assistenzmodell auf zwei Karten, ein Coding-Modell auf einer, ein Embedding-Modell und ein Reranker für RAG in zwei MIG-Hälften auf der vierten: So hat jede Engine eigenen Speicher und eigene Neustarts und Updates. Unser Leitfaden mehrere LLMs auf einem GPU-Server beschreibt die Einstellungen der Engines. Wir bauen diesen Server auf Bestellung und legen die Aufteilung je Modell aus; senden Sie uns Ihre Modelle und die Höchstzahl gleichzeitiger Anfragen, und unser Team antwortet mit einer Aufteilung und den Gesprächen je Modell.

Ein Modell über PCIe auf vier Karten aufteilen

Jede aufgeteilte Kopie tauscht in jeder Schicht Teilergebnisse zwischen ihren Karten aus, und das läuft hier über PCIe. Das eigene All-Reduce von vLLM ist bei mehr als zwei GPUs ohne NVLink standardmäßig abgeschaltet und fällt auf NCCL zurück; ein TP=2-Paar behält also standardmäßig den schnelleren Weg, eine TP=4-Kopie nicht. vLLM 0.30.0 vom 22. September 2026 brachte ein optionales All-Reduce über FlashInfer PCIe IPC für Systeme ohne NVLink (Pull Request #53576); einen veröffentlichten Gewinn auf dieser Karte haben wir nicht gefunden. Der Parallelisierungsleitfaden von vLLM vom 15. Oktober 2026 rät für GPUs ohne NVLink, „leverage pipeline parallelism instead of tensor parallelism for higher throughput and lower communication overhead“.

Die Bandbreite setzt die Obergrenze für ein einzelnes Gespräch. Nach unserer Schätzung kommt eine Karte mit 800 GB/s, die je Token 70,6 GB FP8-Gewichte liest, auf höchstens rund 11 Token pro Sekunde, eine ideale TP=4-Kopie auf rund 45, vor den Kosten des All-Reduce, die für diese Karte niemand veröffentlicht hat. Ein 14B-Modell in FP8 auf einer Karte, mit rund 16 GB je Token, hat eine Obergrenze nahe 49 Token pro Sekunde. In einem Server mit zwei Sockeln zeigt nvidia-smi topo -m, welche Karten an welchem Prozessor hängen; ein Paar unter einem Sockel umgeht die Verbindung zwischen den Sockeln. Unser Artikel ein Modell auf mehreren GPUs: PCIe oder NVLink erklärt die Möglichkeiten.

Veröffentlichte Messwerte für eine Karte und vier Kopien

Kein Herausgeber hat vier RTX PRO 4500 Server Edition in einem Server so gemessen, dass sich die Werte verwenden lassen. StorageReview hat eine Karte mit vLLM 0.27.1 in einem Dell PowerEdge R770 getestet und die Ergebnisse am 14. Oktober 2026 veröffentlicht. Mit Ministral 3 14B Instruct in FP8 bei 512 Eingabe- und 512 Ausgabe-Token lieferte die Karte bei 32 gleichzeitigen Anfragen 1.107 Ausgabe-Token pro Sekunde, gegenüber 995 bei einer L40S und 364 bei einer L4. Mit 8.192 Eingabe-Token flachte die Kurve ab 8 gleichzeitigen Anfragen bei rund 180 Token pro Sekunde ab; StorageReview schrieb dazu: „The flattening is KV cache running out, and 32GB sets that limit.“

Nach unserer Rechnung kommen vier unabhängige Kopien auf höchstens rund 4 × 1.107 = 4.428 Ausgabe-Token pro Sekunde bei kurzem Kontext und 4 × 180 = 720 bei 8K, sofern der Host mithält. Das sind Obergrenzen aus einer Karte, keine Messung mit vier Karten. Die Tabellen von Exxact für eine bis vier Karten vom Mai 2026 widersprechen dem eigenen Text, wie unsere Übersicht der RTX-PRO-4500-Benchmarks zeigt, und liefern deshalb keinen verwendbaren Skalierungswert.

Acht MIG-Hälften

NVIDIAs MIG-Leitfaden vom 13. Oktober 2026 führt für die RTX PRO 4500 mit 32 GB bis zu zwei Instanzen: 1g.16gb mit je der Hälfte des Speichers und der SMs, oder 2g.32gb für die ganze Karte. Vier Karten bieten also bis zu acht isolierte GPUs zu 16 GB. MIG wird je Karte eingestellt, sodass zwei Karten ein TP=2-Paar bedienen können, während die beiden anderen in Hälften laufen. Laut NVIDIAs MIG-Leitfaden wird NCCL mit MIG nicht unterstützt; eine aufgeteilte Kopie läuft daher auf ganzen Karten.

Nach unserer Regel hält eine Hälfte, die rund 15,9 GiB meldet, 11,4 GiB Gewichte und Cache. NVIDIAs FP8-Checkpoint von Qwen3-8B mit 8,8 GiB passt hinein, mit Cache für rund vier Gespräche zu 8K; Qwen3-14B in FP8 passt nicht. Hälften eignen sich für Embedding-Modelle, Reranker, Klassifikatoren und isolierte Umgebungen für Entwickler oder Studierende, wie in unserem Leitfaden zum GPU-Server für Universität und Labor. Bei zwei einfachen Hälften je Karte erhält jede Hälfte einen Decoder und einen Encoder; acht Hälften nutzen also acht der zwölf Decoder der Karten.

Desktops mit vGPU 20

NVIDIAs vPC-Sizing-Guide, aktualisiert am 19. August 2026, nennt die Karte „the primary recommended GPU for NVIDIA vPC“. Er gibt 16 Desktops je Karte mit 2-GB-Profilen und 10 mit 3-GB-Profilen an und vermerkt, dass 1-GB-Profile unter Blackwell nicht unterstützt werden. NVIDIAs Sizing-Guide für RTX vWS vom selben Datum setzt 6 bis 8 leichte Nutzer je Karte mit dem Profil DC-4Q an und 3 bis 6 mittlere mit DC-4Q oder DC-8Q; für schwere Nutzer führt er nur Profile der RTX PRO 6000.

NVIDIAs Sizing-Guides für vPC und RTX vWS, beide aktualisiert am 19. August 2026, gelesen am 24. Oktober 2026; NVIDIA stellt die vPC-Werte als maximale Dichte dar. Summen für vier Karten sind unsere Rechnung.

Die Karte steht ab Release 20.0 auf NVIDIAs Liste der von der vGPU-Software unterstützten GPUs, und der vPC-Guide nennt Unterstützung für MIG-basierte vGPU. NVIDIAs vGPU-Dokumentation führt vGPU 20 auf dem Zweig R595 mit Supportende im März 2027, und der Langzeitzweig vGPU 19 deckt die Karte nicht ab; ein heute gekaufter Host wechselt also im ersten Jahr auf einen späteren Zweig. Unter vSphere listet NVIDIA die Karte für VCF 9.1, VCF 9.0 ab 9.0.1 und ESXi 8.0 ab Update 3g; RHEL KVM und Ubuntu sind ebenfalls aufgeführt. Ein Host mit vier Karten passt zu einem Pilotbetrieb oder einer Abteilung; unser Leitfaden zur VDI-GPU-Dimensionierung skaliert Hosts bis 1.000 Desktops, und MIG und vGPU: VMs pro GPU erklärt die Lizenzen.

Stromverbrauch an einem 16-A-Anschluss

Bei 165 W je Karte ziehen vier Karten 660 W. Mit zwei AMD EPYC 9355 mit einer Standard-TDP von je 280 W sind Karten und Prozessoren mit 1.220 W angesetzt. Für Arbeitsspeicher, Laufwerke, Netzwerkkarten, Lüfter und Wandlungsverluste schlagen wir 15 Prozent auf, eine Annahme, die eine Messung am gelieferten System bestätigen muss.

Unsere Schätzung: Leistungsaufnahme aus NVIDIAs Produktseiten und Product Brief, 280 W je Prozessor aus AMDs Seite zum EPYC 9355, dazu 15 Prozent für den übrigen Server. SE: Server Edition.

Ein einphasiger 230-V-Anschluss mit 16 A ist für 3,68 kW ausgelegt; wir planen 80 Prozent davon ein, also 2,94 kW. Der Server mit vier Karten braucht nach unserer Schätzung weniger als die Hälfte davon; ein 16-A-Anschluss je Seite trägt ihn mit redundanten Netzteilen an A- und B-Einspeisung. Vier RTX PRO 6000 Server Edition mit 600 W passen nicht an einen solchen Anschluss; sie bieten den dreifachen Speicher bei fast vierfacher Leistungsaufnahme der Karten. Zwei Server mit je vier RTX PRO 4500 Server Edition an einem Anschluss kämen auf rund 2,8 kW, zu nah an der Grenze, um ohne Messwerte so zu planen. Rund 1,4 kW Wärme brauchen bei 11 °C Temperaturanstieg etwa 220 CFM Luft, nach den 160 CFM je kW aus unserem Leitfaden zu Strom und Kühlung im GPU-Rack; unser Leitfaden GPU-Server an 16 A, 32 A oder Drehstrom stellt die Anschlüsse nebeneinander.

2U-Server mit Freigabe für vier Karten

Supermicros Seite „RTX PRO Blackwell Server Edition“, die Seite von 2CRSi zur RTX PRO 4500 Blackwell und Lenovo Press LP2391 (aktualisiert am 28. Juli 2026), alle gelesen am 24. Oktober 2026. SE: Server Edition.

Die Karte läuft nur in einem Gehäuse, für das der Hersteller sie mit passenden Risern, Lüftern und Kabeln freigibt; Lenovo vermerkt, dass die Karte ohne Zusatzstromkabel geliefert wird, weil diese je Server verschieden sind. Für jedes Modell entscheidet der Konfigurator des Herstellers. Wir prüfen Gehäuse, Anschluss und Luftstrom, bevor wir ein Angebot machen; nennen Sie uns Ihren Rackplatz und Anschluss, und wir nennen das passende 2U-Gehäuse. Ausstattung, Varianten und Bestellablauf stehen auf unserer Seite Server mit 4× RTX PRO 4500 Server Edition kaufen.

Wann eine andere Konfiguration besser passt

Acht dieser Karten in einem Gehäuse mit 3U bis 5U verdoppeln alles auf dieser Seite, auf 128 Desktops, 16 MIG-Hälften und zwei TP=4-Kopien eines 70B-Modells, wie unsere Seite zu 8× RTX PRO 4500 Server Edition zeigt. Für ein Modell der 70B-Klasse mit vielen Nutzern halten vier RTX PRO 6000 Server Edition eine Kopie je Karte, wie unser Leitfaden zu 4× RTX PRO 6000 Server Edition ausrechnet. Braucht ein Modell 48 GB auf einer Karte, wägt unser Vergleich L40S vs. RTX PRO 4500 Server Edition 48 GB bei 350 W ab. RAG mit langen Dokumenten füllt 32 GB schnell mit Cache, und die größere Karte hält mehr Anfragen je Kopie. Training und vollständiges Fine-Tuning gehören auf H200 NVL mit NVLink-Brücken.

Was wir liefern

Dieses System können Sie bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit vier RTX PRO 4500 Server Edition in 2U-Gehäusen, für die der Hersteller sie freigibt, vor der Lieferung montiert und getestet, mit einem EU-Vertrag, einer EU-Rechnung und Herstellergarantie auf jede Komponente, und installieren auf Wunsch Betriebssystem, Treiber, CUDA und eine Container-Laufzeit. Lizenzen für vGPU und NVIDIA AI Enterprise stehen auf derselben Rechnung.

FAQ