NVIDIA RTX PRO 4500 Blackwell Server Edition: Benchmarks und Messwerte im Vergleich

Was gemessen wurde und von wem

Für die RTX PRO 4500 Blackwell Server Edition gibt es einen ausführlichen veröffentlichten LLM-Benchmark: StorageReviews Review vom 14. Oktober 2026, in dem die Karte bei kurzem Kontext mit einer NVIDIA L40S gleichzog, mit 8K-Prompts 17 bis 33 Prozent zurücklag und rund das Dreifache einer L4 lieferte. Ein zweiter Test von StorageReview vom 24. September 2026 verglich sie in einem Edge-Server mit der L4, und Exxact veröffentlichte Werte für eine bis vier Karten, die nicht zum eigenen Text passen. Für die Workstation-Karte RTX PRO 4500 haben Puget Systems und Phoronix Werte für Rendering und llama.cpp veröffentlicht.

Beide Editionen haben 10.496 CUDA-Kerne und 32 GB GDDR7 an einem 256-Bit-Bus. Die Server Edition ist passiv, belegt einen Steckplatz und hat 165 W und 800 GB/s; die Workstation-Karte ist aktiv gekühlt, belegt zwei Steckplätze und hat 200 W und 896 GB/s. Messwerte der einen Edition gelten für die andere nur näherungsweise; unsere Seite RTX PRO 4500 oder RTX PRO 4500 Server Edition behandelt die Wahl zwischen beiden.

Die Seiten der Herausgeber, gelesen am 24. Oktober 2026. StorageReviews Vergleich mit der RTX PRO 6000 lief in einem Dell Pro Max Tower T2.

vLLM auf der Server Edition im Vergleich mit L4, L40S und RTX PRO 6000 Workstation Edition

StorageReview betrieb die Server Edition, eine L40S und eine L4 in einem Dell PowerEdge R770 mit zwei Xeon 6787P, Treiber 595.71.05, NGC vLLM 26.08 mit vLLM 0.27.1 und CUDA 13.4.1. Im R770 liefen die Karten mit 165 W (4500), 350 W (L40S) und 72 W (L4). Eine RTX PRO 6000 Workstation Edition lief in einem anderen Host, einem Dell Pro Max Tower T2, mit 600 W und mit einer geprüften Begrenzung auf 450 W. Die Anfragen hatten 512 Eingabe- und 512 Ausgabe-Token, bei 1 bis 32 gleichzeitigen Anfragen.

StorageReview, Review der NVIDIA RTX PRO 4500 Blackwell Server Edition, 14. Oktober 2026: Ausgabe-Token pro Sekunde bei 32 gleichzeitigen Anfragen, 512/512. RTX PRO 6000 Workstation Edition mit 600 W: 2.283, 2.139, 4.155 und 616. SE: Server Edition; WS: Workstation Edition.

Bei den drei Ministral-Modellen liegen die Kurven von 4500 und L40S von 1 bis 32 gleichzeitigen Anfragen übereinander, bei weniger als der halben Leistungsaufnahme. Die 4500 erreichte das 2,8- bis 3,6-Fache der L4, die RTX PRO 6000 mit 450 W rund das Doppelte der 4500. Beim 27B-Modell in NVFP4 ändert sich die Reihenfolge: Die L40S, die keine FP4-Hardware hat, lag vorn, und die Werte der RTX PRO 6000 mit 450 W und mit 600 W lagen weniger als 1 Prozent auseinander. StorageReview nennt NVFP4 auf dieser Karte „a vLLM software story“, die alle GPUs im Test teilten, und bei einer einzelnen Anfrage lieferte jede Karte auf diesem Modell 17 bis 22 Token pro Sekunde. Unser Vergleich L40S vs. RTX PRO 4500 Server Edition stellt diese Werte neben die technischen Daten.

Langer Kontext: wo 32 GB enden

Mit 8.192 Eingabe- und 1.024 Ausgabe-Token ändert sich das Bild. Die 4500 flachte mit Ministral 3 14B in FP8 ab 8 gleichzeitigen Anfragen bei rund 180 Ausgabe-Token pro Sekunde ab; die L40S erreichte 230 und hielt den Wert, und die RTX PRO 6000 stieg weiter bis 552 mit 450 W und 608 mit 600 W. Über die drei Modelle lag die 4500 bei 32 Anfragen 17 bis 33 Prozent hinter der L40S. StorageReviews Erklärung: „The flattening is KV cache running out, and 32GB sets that limit.“

Unsere Regel für Nutzer je Karte sagt dasselbe voraus. Sie nimmt 0,9 × den vom Treiber gemeldeten Speicher abzüglich 3 GiB, auf dieser Karte rund 25,7 GiB. Ein 14B-Modell in FP8, etwa Qwen3-14B mit 15,2 GiB, lässt rund 10,5 GiB für den Cache, Platz für nur wenige Anfragen mit 8K-Prompts. Die Regel und ihre Herleitung stehen in unserem Leitfaden, wie viele Nutzer eine RTX PRO 6000 schafft. Für RAG mit langen Dokumenten hält eine Karte mit mehr Speicher je Kopie oder ein auf zwei Karten aufgeteiltes Modell mehr Anfragen gleichzeitig. Wir liefern Server mit der RTX PRO 4500 Server Edition ebenso wie mit der RTX PRO 6000 Server Edition; beschreiben Sie uns Prompt-Längen und Modelle, und unser Team sagt Ihnen, welche Karte Ihre Anfragen hält.

Rechenleistung im Labor

StorageReview hat außerdem den maximal erreichbaren Matmul-Durchsatz (MAMF) gemessen, der zeigt, was die Tensor Cores der Karte praktisch liefern.

StorageReview, 14. Oktober 2026: maximal erreichbare Matmul-TFLOPS. SE: Server Edition; WS: Workstation Edition.

StorageReview sieht die 4500 bei 67 bis 70 Prozent von NVIDIAs Spitzenwerten ohne Sparsity. Ihr NVFP4-Wert ist das 1,5-Fache der FP8-Obergrenze der L40S, was für die Verarbeitung langer Eingaben zählt, sobald die Serving-Software FP4 gut nutzt.

Edge-Server-Test gegen die L4

Am 24. September 2026 setzte StorageReview die Server Edition und eine L4 in denselben HPE ProLiant DL145 Gen11 mit einem AMD EPYC 8534P und 96 GB Arbeitsspeicher, mit Metrum AI Bench 3.9.2 und vLLM 0.24.0, neun Prompt-Formen und bis zu 256 gleichzeitigen Anfragen.

StorageReview, Edge-Review der RTX PRO 4500 im HPE ProLiant DL145 Gen11, 24. September 2026 (spanische Ausgabe, gelesen am 24. Oktober 2026): Ausgabe-Token pro Sekunde, BF16-Modelle mit BF16-KV-Cache. SE: Server Edition.

StorageReview fasst das Ergebnis als rund das 2,7-Fache der Ausgabe der L4 bei praxisnaher Parallelität zusammen und als das 3,0- bis 3,2-Fache bei 256 Anfragen. Für einen Nutzer auf Qwen3.5-4B dauerte jedes Token auf der 4500 12,4 ms und auf der L4 35,0 ms. Der ganze Server zog bei 32 Anfragen im Median 301 W mit der 4500 gegenüber 196 W mit der L4, und die GPU lag in den längsten Läufen im Mittel bei 84 °C. Die 4500 betrieb außerdem Gemma 4 26B-A4B in NVFP4 mit 1.613 Token pro Sekunde bei 32 Anfragen, was die L4 nicht nativ kann. Unser Vergleich L4 vs. RTX PRO 4500 Server Edition behandelt Steckplatz, Strom und den Wechsel von einer Low-Profile-Karte zu einer Karte voller Höhe.

Die Workstation-Karte: Rendering, Video und llama.cpp

Die Übersicht von Puget Systems zu Kreativanwendungen vom 18. Dezember 2025 testete die Workstation-Karte RTX PRO 4500 Blackwell mit 200 W und 896 GB/s, eine Karte je System; Puget schrieb: „we won’t be looking at multi-GPU setups in this article“. Gegenüber der RTX 4500 Ada meldete Puget Zuwächse von 73 Prozent in V-Ray GPU, 43 Prozent in Octane, 32 Prozent in Topaz Video AI, 28 Prozent in Unreal Engine und rund 50 Prozent in Blender. Unser Leitfaden zur RTX PRO 4500 Blackwell 32 GB nutzt diese Rendering-Werte.

Phoronix testete die Workstation-Karte RTX PRO 4500 und ihre Geschwister am 21. Mai 2026 unter Linux, mit einem Threadripper 9980X, Ubuntu 26.04, Linux 7.0 und Treiber 595.58.03, und ließ llama.cpp mit Modellen der Größen 8B und 7B sowie mit gpt-oss-20b in Q8_0 laufen. Die Werte stehen nur in Diagrammen; laut Text kam die 4500 in einigen KI-Tests „close to the RTX 6000 Ada Generation performance“. Keiner der beiden hat die Server Edition, ihr MIG oder ihre vGPU-Unterstützung getestet.

Werte, die man mit Vorsicht lesen sollte

Exxacts Benchmark vom 20. Mai 2026 ist die einzige veröffentlichte Quelle mit zwei, drei und vier Server-Edition-Karten, und für die Skalierung ist er nicht verwendbar. Er nennt weder Host noch Treiber noch Softwareversionen. Seine Tabelle gibt für Llama 3.3 70B in Ollama auf einer Karte 8,6 Token pro Sekunde an, wo der Text „~14.6 tok/s“ nennt, und 6,0 auf zwei Karten, wo der Text „~20.4 tok/s“ nennt. Der Text meldet 6.810 Token pro Sekunde für zwei Karten in NVFP4, wo die Tabelle 4.870 zeigt, und die Zeilen des Abschnitts für vier Karten sind als zwei Karten beschriftet. Mehrere Effizienzwerte passen nicht zum Durchsatz der eigenen Tabelle geteilt durch die Leistung, und Ollama-Werte für einen einzelnen Stream stehen neben vLLM-Werten mit Batches, was Exxact selbst „not directly comparable“ nennt.

NVIDIAs Produktseite schreibt, die Karte „delivers over 5x the performance of the previous-generation L4 GPU“ für kleine Modelle, ohne Testbedingungen auf der Seite; StorageReviews Edge-Review hält fest, dass die Aussage auf FP4 und NIM beruht. NVIDIAs Angaben „up to 50x“ bei Vektorsuche und „up to 100x“ bei Video-Captioning vergleichen einen „8x RTX PRO 4500 server“ mit Systemen mit zwei AMD EPYC 9654 ohne GPU; sie messen also einen GPU-Server gegen einen Server ohne GPUs.

StorageReviews Review schreibt, „a 2U server that takes four double-wide cards can take eight of these“, ohne einen Server zu nennen. Supermicros Liste für die Karte endet bei sechs in 2U und acht in 3U bis 5U; prüfen Sie also den Konfigurator des Herstellers. Im selben Review war die RTX PRO 6000, die als Referenz diente, eine Workstation Edition in einem Dell Pro Max Tower T2, während die Tabelle der technischen Daten sie „SE“ nennt.

Von einer Karte auf acht: was die Zahlen bedeuten

Einen Server mit acht RTX PRO 4500 Server Edition hat kein Herausgeber gemessen. NVIDIAs eigene Angaben beziehen sich auf einen „8x RTX PRO 4500 server“, AWS bietet in seiner Instanz g7.48xlarge acht der Karten an, und Supermicros Übersichtsseite für RTX-PRO-Systeme führt acht in Modellen mit 3U, 4U und 5U (die Datenblätter nennen die Karte nicht immer); die Konfiguration gibt es also, ihren Durchsatz muss man ableiten.

Unsere Rechnung aus StorageReviews Einzelkarten-Werten vom 14. Oktober 2026, Ausgabe-Token pro Sekunde bei 32 gleichzeitigen Anfragen je Karte; nicht mit acht oder vier Karten gemessen. Die Werte der RTX PRO 6000 stammen von einer Workstation Edition mit 450 W.

Die Multiplikation gilt nur für unabhängige Kopien, eine je Karte, ohne Verkehr zwischen den Karten und mit einem Host, der 256 gleichzeitige Anfragen bewältigt. Bei kurzem Kontext erreichen acht 4500 etwa so viel wie vier RTX PRO 6000 mit 450 W (gemessen an der Workstation Edition), bei 1.320 W Leistungsaufnahme der Karten gegenüber 1.800 W. Bei 8K liegen die vier größeren Karten um die Hälfte vorn, weil jede Kopie dreimal so viel Speicher hat und davon mehr als dreimal so viel für den Cache bleibt.

Aufgeteilte Kopien sind etwas anderes. Standardmäßig ist vLLMs eigenes All-Reduce auf mehr als zwei GPUs ohne NVLink abgeschaltet; Release 0.30.0 vom 22. September 2026 brachte ein optionales All-Reduce über FlashInfer PCIe IPC für Systeme ohne NVLink (Pull Request #53576), und TP=2, TP=4 oder TP=8 auf dieser Karte hat kein Herausgeber gemessen. Ein Modell, das vier Karten je Kopie braucht, etwa Llama 3.3 70B in FP8, sollte mit unserer Regel nach dem Speicher geplant werden, und seine Geschwindigkeit je Nutzer sollte ein Test bestätigen, bevor es produktiven Verkehr trägt. Unser Leitfaden 8× RTX PRO 4500 Server Edition: LLMs, Nutzer, VDI rechnet die Aufteilungen durch. Wir legen Server mit acht Karten nach Ihrer Modellliste und der Form Ihrer Anfragen aus; schicken Sie uns beides, und unser Team antwortet mit einer Konfiguration und den Zahlen dahinter.

Strom und Token je Nennwatt

Im Oktober-Review hat StorageReview die Leistung nicht gemessen: „the efficiency math available this time is against each card's tested power limit.“ Auf dieser Grundlage lag die 4500 beim 14B-Modell mit kurzem Kontext vor allen anderen Karten.

StorageReview, 14. Oktober 2026: Ausgabe-Token pro Sekunde je Nennwatt bei 32 gleichzeitigen Anfragen. SE: Server Edition; WS: Workstation Edition.

Das Edge-Review im September hat den Server gemessen: rund 160 W mit jeder der beiden Karten bei geringer Last, im Median 301 W mit der 4500 bei 32 Anfragen und rund das 1,9-Fache der Ausgabe-Token je Watt der L4 an der Steckdose. Für einen Server mit acht Karten beträgt die Leistungsaufnahme der Karten 1.320 W, und nach unserer Schätzung zieht der Server mit zwei Prozessoren zu 280 W rund 2,2 kW an der Steckdose, innerhalb der 2,94 kW, die wir je 230-V-Anschluss mit 16 A einplanen. Unser Artikel zum GPU-Energieverbrauch pro Token zeigt, wie man solche Werte in Energie je Antwort umrechnet.

Welche Arbeitslasten zur RTX PRO 4500 Server Edition passen

Die veröffentlichten Werte zeigen in eine Richtung. Die Karte ist stark, wo ein Modell bequem in 32 GB passt und die Anfragen kurz sind: Chat und Agenten-Schritte auf Modellen bis zur 14B-Klasse, Embeddings und Reranker, kleine Vision-Language-Modelle und virtuelle Desktops, für die NVIDIAs vPC-Sizing-Guide sie „the primary recommended GPU for NVIDIA vPC“ nennt. Schwächer ist sie, wo der Kontext lang ist oder ein Modell mehrere Karten braucht, weil der Cache ausgeht und Aufteilungen über PCIe laufen. Dafür hält die RTX PRO 6000 Server Edition eine Kopie je Karte, wie ihre Benchmark-Übersicht zeigt, und die L40S-Benchmarks behandeln die Alternative mit 48 GB.

Was wir liefern

Wir bauen KI-Server auf Bestellung mit zwei bis acht RTX PRO 4500 Server Edition, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer EU-Rechnung und mit Herstellergarantie auf jede Komponente. Eine Messung am gelieferten System bestätigt den Stromwert für Ihre Konfiguration. Die Karte allein liefern wir aus unserem Sortiment professioneller GPUs, neben L40S, L4 und RTX PRO 6000 Server Edition, mit Konfiguration und Angebot innerhalb eines Werktages.

FAQ