Acht NVIDIA L40S oder acht NVIDIA RTX PRO 4500 Blackwell Server Edition in einem Server

Welcher Server mit acht Karten passt

Bei gleicher Kartenzahl bringen acht NVIDIA L40S 384 GB GPU-Speicher bei 2,8 kW Kartenleistung und acht NVIDIA RTX PRO 4500 Blackwell Server Edition 256 GB bei 1,32 kW. Wählen Sie den L40S-Server, wenn jede Karte mehr halten muss, etwa ein 32B-Modell in FP8 oder lange Prompts für viele Nutzer, wenn der Durchsatz für Bildanalyse je Server zählt oder wenn die VDI-Umgebung auf dem Langzeitzweig von vGPU bleibt. Wählen Sie den Server mit Server Edition für Isolation per MIG, FP4, mehr Arbeit je Watt und einen Server, der mit einem 230-V-Anschluss mit 16 A auskommt.

NVIDIAs Produktseiten zur L40S und zur RTX PRO 4500 Blackwell Server Edition, gelesen am 24. Oktober 2026; NVIDIAs Übersicht der vGPU-Dokumentation für die Zweige; nutzbarer Speicher, Summen und Leistung an der Steckdose sind unsere Rechnung, unten erklärt.

Die einzelnen Karten vergleicht unser Artikel L40S oder RTX PRO 4500 Server Edition, der außerdem vier L40S mit acht Server Edition vergleicht. Diese Seite vergleicht acht gegen acht, wie in einem 4U-Server, der beide Karten vorsieht.

384 GB bei 2,8 kW oder 256 GB bei 1,32 kW

Unsere Regel für Nutzer je Karte rechnet für Gewichte und KV-Cache mit 90 Prozent des Speichers, den der Treiber meldet, abzüglich 3 GiB je Karte. Für die L40S rechnen wir die 97.887 MiB einer Karte mit 96 GB auf rund 47,8 GiB herunter und ziehen die 6,25 Prozent ab, die NVIDIAs CUDA Best Practices Guide für ECC auf GDDR-Speicher angibt; es bleiben 37,3 GiB je Karte, ohne ECC 40,0 GiB. Für die Server Edition ergibt dieselbe Rechnung 31,9 GiB und 25,7 GiB nutzbar; NVIDIAs vPC Sizing Guide gibt an, dass das ECC des GDDR7-Speichers von Blackwell eingebaut und „always enabled without reducing usable VRAM“ ist. Acht Karten ergeben 298,4 GiB gegenüber 205,6 GiB.

Unsere Schätzung nach der Regel für Nutzer je Karte, keine Messung: gleichzeitige Gespräche mit 8.192 Token und FP8-KV-Cache; L40S mit ECC, in Klammern ohne ECC. Werte der Server Edition wie auf unserer Seite zu acht RTX PRO 4500 Server Edition. NVFP4 läuft auf der L40S nur als reine Gewichtskompression.

Die zusätzlichen 16 GB je Karte ändern, was passt. Ein 32B-Modell in FP8 mit 32,0 GiB Gewichten passt auf eine L40S mit Cache für fünf Gespräche und nicht auf eine Karte mit 32 GB; auf der Server Edition läuft es deshalb als Paar. Llama 3.3 70B in FP8 braucht vier Karten der Server Edition je Kopie und lässt 35,1 GiB für den Cache, während vier L40S 81,5 GiB lassen; zwei solche Kopien halten rund 130 Gespräche auf der L40S und 56 auf der Server Edition. Mit den Beispielwerten unseres Leitfadens Private-ChatGPT-Server nach Unternehmens­größe entsprechen 80 laufende Anfragen rund 2.000 Beschäftigten und 40 rund 1.000; der L40S-Server deckt mit diesem Modell also das größere Unternehmen ab, der Server mit Server Edition das kleinere.

Der zusätzliche Speicher kostet Leistung. Je GB GPU-Speicher zieht die L40S nach unserer Rechnung rund 7,3 W Kartenleistung, die Server Edition rund 5,2 W. Für einen einzelnen Nutzer lesen beide Karten die Gewichte ähnlich schnell: 864 gegenüber 800 GB/s je Karte.

Messwerte je Karte von StorageReview, 14. Oktober 2026

StorageReview hat eine RTX PRO 4500 Server Edition, eine L40S und weitere Karten mit vLLM 0.27.1 (NGC-Container 26.08) in einem Dell PowerEdge R770 mit zwei Xeon 6787P gemessen und die Ergebnisse am 14. Oktober 2026 veröffentlicht. Die Tabelle zeigt ausgegebene Token pro Sekunde bei 32 gleichzeitigen Anfragen.

StorageReview, Review der NVIDIA RTX PRO 4500 Blackwell Server Edition, 14. Oktober 2026, gelesen am 24. Oktober 2026; 512/512 und 8K/1K sind Eingabe- und Ausgabe-Token je Anfrage. StorageReview hat die Leistung nicht gemessen; die Effizienzwerte teilen durch die Nennleistung jeder Karte, 165 W und 350 W.

Bei kurzen Prompts liegen beide Karten gleichauf. Mit 8.192 Eingabe-Token bleibt die Server Edition beim 14B-Modell ab 8 gleichzeitigen Anfragen bei rund 180 Token pro Sekunde stehen, während die L40S bis 16 Anfragen auf rund 230 steigt, und StorageReview schrieb dazu „The flattening is KV cache running out, and 32GB sets that limit“. Das sagt auch unsere Regel voraus: Die Karte mit 48 GB hält mehr Cache je Kopie.

Die Zeile mit NVFP4 fällt anders aus, als die FP4-Tensor-Cores vermuten lassen. StorageReview erklärt, dass vLLM auf der L40S NVFP4-Gewichte dequantisiert und mit höherer Genauigkeit rechnet, und dass „The NVFP4 path in this vLLM build does not scale with memory bandwidth on any of them“. Im Test der Matrixmultiplikation erreicht die Server Edition 568,6 TFLOPS in NVFP4, das 1,5-Fache der 368,6 TFLOPS der L40S in FP8; der Vorteil von FP4 hängt also von Serving-Software ab, die ihn nutzt. In BF16 und FP8 erreichte die L40S mehr, 220,0 und 368,6 TFLOPS gegenüber 135,9 und 280,1, was für lange Prompts und Fine-Tuning zählt.

Nach unserer Rechnung kämen acht unabhängige Kopien des 14B-Modells bei kurzen Prompts auf höchstens rund 8.856 ausgegebene Token pro Sekunde mit der Server Edition und 7.960 mit der L40S, bei 8K auf rund 1.440 gegenüber 1.840, sofern der Host nicht zur Grenze wird. Das sind Obergrenzen aus einer Karte; StorageReview hat keinen Aufbau mit mehreren Karten getestet. Unsere Übersichten der RTX-PRO-4500-Benchmarks und der L40S-Benchmarks sammeln die übrigen veröffentlichten Werte.

Wir bauen beide Server auf Bestellung; schicken Sie uns Ihre Modelle, Promptlängen und die Spitze laufender Anfragen, und unser Team antwortet mit der passenden Karte und den Gesprächen je Aufteilung.

Bildmodelle und Videoeinheiten

Beide Karten haben drei NVENC- und drei NVDEC-Einheiten, je Server 24 davon. NVIDIA gibt an, dass die Blackwell-Encoder 4:2:2-Kodierung für H.264 und HEVC hinzufügen, die der L40S fehlt. Für die Analyse führt NVIDIAs Dokumentation zu DeepStream 9.2 beide Karten in einer Tabelle, durchgängig gemessen mit TensorRT.

NVIDIAs Dokumentation zu DeepStream 9.2, Leistung der vortrainierten dGPU-Modelle, je eine GPU, gelesen am 24. Oktober 2026.

Je Karte liefert die L40S das 1,5- bis 1,7-Fache an Bildern pro Sekunde. Je Watt Nennleistung dreht sich die Reihenfolge: 1.114 ÷ 350 ergibt 3,2 PeopleNet-Bilder pro Sekunde je Watt auf der L40S und 741 ÷ 165 ergibt 4,5 auf der Server Edition, nach unserer Rechnung. Acht Karten liefern 8.912 gegenüber 5.928 Bildern pro Sekunde, rund 297 gegenüber 198 Kameras mit 30 analysierten Bildern pro Sekunde, ohne Reserve. Unser Leitfaden GPU-Server für Videoanalyse rechnet diese Werte mit den Grenzen der Decoder in Kamerazahlen um.

MIG und vGPU auf acht Karten

Die L40S hat kein MIG und wird nur per vGPU im Zeitscheibenverfahren geteilt. Die Server Edition teilt sich in zwei MIG-Instanzen zu 16 GB; acht Karten ergeben also 16 isolierte GPUs, jede mit eigenem Speicher, eigener Rechenleistung und je einem Video-Decoder und -Encoder. Eine Abteilung, ein Studierendenlabor oder ein Kunde hat dann einen eigenen Anteil an Speicher und Rechenleistung, den das Zeitscheibenverfahren der L40S nicht bietet.

NVIDIA Virtual GPU Types Reference (29. September 2026) für die Höchstzahlen der L40S je Karte; NVIDIAs vPC Sizing Guide (19. August 2026) für die Server Edition; vGPU-Typen von NVIDIA AI Enterprise für Compute-VMs; NVIDIAs Übersicht der vGPU-Dokumentation für die Enddaten der Zweige. Alles Höchstdichten; die Summen je Server sind unsere Rechnung.

Beim selben Profil mit 2 GB hosten acht L40S anderthalbmal so viele Desktops wie acht Server Edition, und NVIDIAs vPC Sizing Guide kennzeichnet Profile mit 1 GB als „Not supported on Blackwell“. Je Desktop zieht die Server Edition weniger: 1.320 W ÷ 128 sind rund 10 W Kartenleistung, 2.800 W ÷ 192 rund 15 W. Der Treiberzweig ist so wichtig wie die Zahl der Plätze. Die Server Edition wird von vGPU erst ab Release 20 unterstützt, dessen Zweig R595 NVIDIA bis März 2027 unterstützt; ein jetzt gekaufter Host wechselt also im ersten Betriebsjahr auf einen späteren Zweig. Die L40S läuft auch auf vGPU 19, dem Langzeitzweig mit Support bis Juli 2028. Desktop-Lizenzen werden je gleichzeitigem Nutzer oder je GPU verkauft, und NVIDIA AI Enterprise wird je GPU lizenziert; beide Server brauchen also acht. Unsere Leitfäden zu den vGPU-Profilen der L40S und zu MIG und vGPU: VMs je Karte enthalten die Einzelheiten.

Strom, Anschlüsse, Slots und Gehäuse

Mit zwei AMD EPYC 9355 zu je 280 W und 15 Prozent für den restlichen Server schätzen wir für acht L40S rund 3,9 kW an der Steckdose (2.800 + 560 W, plus 15 Prozent) und für acht Server Edition rund 2,2 kW (1.320 + 560 W, plus 15 Prozent). Einen 230-V-Anschluss mit 16 A planen wir mit 80 Prozent ein, also 2,94 kW. Der Server mit Server Edition bleibt je Seite an einem solchen Anschluss; der L40S-Server braucht einen einphasigen Anschluss mit 32 A oder Drehstrom. Laut NVIDIAs Product Brief lässt sich die Server Edition auf 100 bis 165 W begrenzen, bei 100 W ergibt das rund 1,6 kW an der Steckdose; für die L40S haben wir in NVIDIAs Brief keine Mindestleistung gefunden. Mit den 160 CFM je kW aus unserem Leitfaden Strom und Kühlung im GPU-Rack brauchen die beiden Server rund 620 und 350 CFM Luft.

Ciscos Datenblatt zum UCS C845A M8 (24. August 2026), Dells Technical Guide zum XE7745 (Rev. A09, September 2026, Tabelle 23, die die einfach breite „NVIDIA RTX Pro 4500“ ohne Angabe der Edition führt), Supermicros Seite zu Systemen mit RTX PRO Blackwell Server Edition und Konfigurator von Puget Systems, gelesen am 24. Oktober 2026.

Die L40S ist eine doppelt breite Karte an PCIe 4.0 x16, die Server Edition eine einfach breite Karte an PCIe 5.0 x16, beide passiv, in voller Länge und mit einem 16-poligen Anschluss. Acht Server Edition lassen deshalb Platz für Netzwerkkarten und Laufwerke, und in einem Gen5-Server bekommt ein über Karten verteiltes Modell die doppelte Bandbreite je Karte. Keine der beiden Karten hat NVLink. In 2U nennt Supermicro für die Server Edition höchstens sechs Karten; in den Angaben, die wir gelesen haben, ist keiner der beiden Server mit acht Karten eine 2U-Maschine. Für jedes Gehäuse entscheidet der Konfigurator des Herstellers. Wir prüfen Anschluss, Zulufttemperatur und Freigabe des Gehäuses, bevor wir ein Angebot schreiben; nennen Sie uns Rackplatz und Anschluss, und wir sagen, welcher der beiden Server dazu passt.

Empfehlung je Einsatz

Unsere Lesart der Werte oben.

Für ein oder zwei Modelle der 70B-Klasse mit vielen Nutzern ist keiner der beiden Server die beste Wahl: Vier RTX PRO 6000 Server Edition halten eine Kopie je Karte, ohne eine Kopie auf vier Karten zu verteilen, wie unsere Seite Server mit 4× RTX PRO 6000 Server Edition kaufen zeigt, und unser Vergleich 8× RTX PRO 4500 oder 4× RTX PRO 6000 Server Edition stellt diese Aufteilung den acht kleinen Karten gegenüber.

Was wir liefern

Sie können beide Systeme bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir bauen Server mit acht L40S oder acht RTX PRO 4500 Server Edition auf Bestellung in Gehäusen, für die der Hersteller die Karten freigibt, vor der Lieferung montiert und getestet, mit einem EU-Vertrag, einer EU-Rechnung und Herstellergarantie auf jede Komponente; Lizenzen für NVIDIA vGPU und AI Enterprise stehen auf derselben Rechnung. Konfiguration und Bestellablauf stehen auf unseren Seiten Server mit NVIDIA L40S kaufen und Server mit 8× RTX PRO 4500 Server Edition kaufen, was jeder leistet auf 8× L40S und 8× RTX PRO 4500 Server Edition.

FAQ