NVIDIA L40S vs. RTX PRO 6000 Blackwell Server Edition: Wo Ada noch gewinnt
- Gleiche Aufgabe, andere Generation: Die L40S ist Ada mit 48 GB GDDR6 bei 864 GB/s und 350 W; die RTX PRO 6000 Server Edition ist Blackwell mit 96 GB GDDR7 bei 1.597 GB/s und konfigurierbaren 400–600 W
- Blackwell bringt, was Ada nie hatte: FP4-Tensor-Cores, MIG (vier Instanzen zu 24 GB), eine vierte NVENC/NVDEC-Engine und PCIe Gen5
- Die L40S gewinnt weiterhin bei der Einbaufrage: Mit 350 W passen vier Karten dorthin, wo nur zwei Karten mit 600 W Platz finden, sie braucht deutlich weniger Luftstrom und ist in fast jedem Gen4- und Gen5-Chassis am Markt qualifiziert
- Keine der beiden Karten hat NVLink; Multi-GPU-Verkehr läuft bei beiden über PCIe. Keine wird mit einer NVIDIA-AI-Enterprise-Subscription ausgeliefert
- Faustregel: Passen Modell oder vGPU-Bestand in 48 GB und ist das Chassis bereits gekauft, L40S; ändern 96 GB, FP4 oder MIG das Design, RTX PRO 6000
Zwei Karten, ein Steckplatz, ein Zweck
Beide sind die „universelle“ Passivkarte ihrer Generation: die Karte, die ein Serverhersteller zuerst qualifiziert, und die, die Inferenz, Grafik, Video und virtuelle Desktops aus demselben Steckplatz bedient. NVIDIA hat die L40S 2023 genau so positioniert, und die RTX PRO 6000 Blackwell Server Edition hat die Rolle 2025 übernommen. Die Frage, die in fast jedem Konfigurationsgespräch fällt, lautet, ob die ältere Karte inzwischen die falsche Bestellung ist. Oft ist sie es nicht, und die Gründe sind eher mechanisch als glamourös.
Die Spezifikationstabelle
| PARAMETER | L40S | RTX PRO 6000 SERVER EDITION |
|---|---|---|
| Architektur | Ada Lovelace | Blackwell |
| CUDA-Kerne | 18.176 | 24.064 |
| Speicher | 48 GB GDDR6 mit ECC | 96 GB GDDR7 mit ECC, 512 Bit |
| Bandbreite | 864 GB/s | 1.597 GB/s |
| FP8 Tensor (dicht | mit Sparsity) | 733 | 1.466 TFLOPS | ~1 | 2 PFLOPS |
| FP4 Tensor | keine | 4 PFLOPS (mit Sparsity) |
| FP32 | 91,6 TFLOPS | 120 TFLOPS |
| Leistungsaufnahme | 350 W Standard (Grenze nach unten einstellbar) | 400–600 W konfigurierbar; 450 W, wenn das Stromkabel es signalisiert |
| Kühlung und Steckplätze | passiv, Dual-Slot FHFL | passiv, Dual-Slot FHFL (Luft) oder Single-Slot FHXL (Flüssigkeit) |
| PCIe | Gen4 x16 | Gen5 x16 |
| MIG | nein | bis zu 4 Instanzen zu 24 GB |
| vGPU | ja, bis zu 32 vGPUs pro Karte (1Q-Profile) | ja, bis zu 48 Grafik-vGPUs pro Karte mit MIG (vGPU 19.0+); 12 AI-Enterprise-Compute-vGPUs |
| NVENC | NVDEC | 3 | 3, AV1 | 4 | 4, plus 4 JPEG-Engines |
| Display-Ausgänge | 4× DP 1.4a, standardmäßig deaktiviert | 4× DP 2.1, standardmäßig deaktiviert |
| NVLink | nein | nein |
| Thermik | passiv, 350 W Wärme | passiv, bis zu 600 W Wärme; in manchen Chassis Lüfter-Upgrade empfohlen |
| NVIDIA AI Enterprise | nicht enthalten | nicht enthalten |
Quellen: NVIDIA-Produktseiten und Product Briefs zur L40S (PB-11470) und zur RTX PRO 6000 Server Edition (SP-12355), Lenovo Product Guides LP1812 und LP2263. Die Blackwell-PFLOPS sind NVIDIAs Schlagzeilenwerte; das Workstation-Datenblatt kennzeichnet sie als Sparsity-Werte, dicht also grob die Hälfte.
Zwei Zeilen der Tabelle wiegen schwerer als der Rest. Die erste: 96 GB gegen 48 GB. Ein 70B-Modell in FP8 hat rund 68 GiB Gewichte und passt überhaupt nicht auf die L40S, während es auf die Blackwell-Karte passt und noch Platz für einen brauchbaren KV-Cache lässt. Die zweite: 1.597 gegen 864 GB/s. Für die Generierung im Einzelstrom, die bandbreitenlimitiert ist, sind das 1,85× mehr Token pro Sekunde, bevor irgendeine Tensor-Core-Arithmetik gezählt wird.
Was Blackwell hinzufügt
FP4. Ada hat keinen 4-Bit-Tensor-Pfad; auf der L40S ist ein 4-Bit-Modell eine reine Gewichtskompression, die für die Arithmetik nach FP8 oder FP16 entpackt wird. Blackwell rechnet NVFP4 nativ, weshalb NVIDIA 4 PFLOPS für das Format angibt und weshalb ein 70B-Modell in NVFP4 (rund 40 GB) zu einer Ein-Karten-Installation mit echter Reserve wird.
MIG. Die L40S lässt sich in Hardware nicht partitionieren; man teilt sie per Time-Sliced vGPU und nimmt in Kauf, dass ein lauter Mandant die anderen beeinträchtigt. Die RTX PRO 6000 Server Edition teilt sich in vier isolierte Instanzen zu 24 GB, jede mit eigenem Speicher und eigener Rechenleistung. Das macht sie zur ersten Karte dieser Klasse, die ein Hosting-Team guten Gewissens an vier Abteilungen vergeben kann.
Dichte der Arbeitsplätze. Mit vGPU 19 trägt eine Blackwell-Karte mit MIG bis zu 48 virtuelle Maschinen; die L40S endet bei 32 mit dem kleinsten 1-GB-Profil. Für VDI- und CAD-Umgebungen ist das die Zahl, die die Kartenanzahl bestimmt.
Video. Vier Encoder, vier Decoder und vier JPEG-Engines gegen drei und drei. Ist die Arbeitslast Transcoding oder eine Vision-Pipeline mit vielen Kameraströmen, bringt die vierte Engine ein Drittel mehr Durchsatz aus demselben Steckplatz.
PCIe Gen5. Die verdoppelte Verbindung zählt, wenn mehrere Karten ohne NVLink Tensoren austauschen, und keine der beiden Karten hat NVLink. Auf einer Gen4-Plattform fällt die Blackwell-Karte auf Gen4 x16 zurück und funktioniert, aber der Vorteil ist weg.
Wo die L40S weiterhin gewinnt
Leistungsbudget. 350 W gegen 600 W in der Standardeinstellung. Ein Lenovo SR650a V4 nimmt vier L40S auf, aber nur zwei RTX PRO 6000 Server Edition mit 600 W, oder vier auf 450 W begrenzt. Über ein Rack bestehender 2U-Hosts ist das der Unterschied zwischen Karten nachrüsten und Server ersetzen.
Luftstrom. Beide Karten sind passiv und leben von den Chassis-Lüftern. Bei gleicher Zulufttemperatur braucht eine 600-W-Karte rund 70 Prozent mehr Luft als eine 350-W-Karte – deshalb empfiehlt HPE für 600-W-Karten im DL380a Gen12 ein Lüfter-Upgrade, und deshalb begrenzt Lenovo manche Konfigurationen auf 30 °C Zulufttemperatur. In einem Edge-Raum, einem Schaltschrank in der Fertigung oder einer Halle, die warm läuft, hat die ältere Karte eine Reserve, die die neue nicht hat.
Breite der Qualifizierung. NVIDIAs Liste zertifizierter Systeme führt die L40S in Dell PowerEdge R750xa, R760 und R760xa, HPE DL380a und DL385 Gen11, Lenovo SR650 V3, SR655 V3, SR665 V3 und SR675 V3 sowie in den 2U- und 4U-GPU-Linien von Supermicro. Steht das Chassis bereits im Rechenzentrum, ist die L40S die Karte, für die es gebaut wurde.
Homogenität. Ein Bestand aus L40S-Hosts wächst am wirtschaftlichsten mit weiteren L40S: ein Satz vGPU-Profile, ein Leistungsbudget, ein Ersatzteilpool. Der Treiber ist nicht das Problem (vGPU 19 und 20 unterstützen beide Karten mit demselben Host-Treiber), aber ein Multi-GPU-Job über gemischte Karten läuft im Tempo der langsameren.
Genug ist genug. Diffusionsmodelle, die meisten Vision-Modelle, CAD- und VDI-Arbeitsplätze, Video-Pipelines und Sprachmodelle bis etwa 30B in FP8 passen alle bequem in 48 GB. Für diese Fälle ist der zusätzliche Speicher ungenutzte Kapazität.
Wo die RTX PRO 6000 die einzig sinnvolle Bestellung ist
Jedes Modell oberhalb von etwa 30B Parametern, das auf einer Karte laufen muss. Jede Installation, in der vier isolierte Mandanten pro Karte Anforderung sind und nicht Kür. Jeder neue 4U- oder 5U-GPU-Server: Dell XE7745, HPE DL380a Gen12 (zehn), Lenovo SR675 V3 und die 4U- und 5U-Linien von Supermicro nehmen alle acht oder mehr der Blackwell-Karten auf, und eine neue Maschine mit acht Steckplätzen um Silizium von 2023 herum zu bauen, ergibt wenig Sinn. Und jede Arbeitslast, bei der NVFP4 auf der Roadmap steht: NVIDIAs eigenes Vergleichsmaterial beziffert die LLM-Inferenz auf der neuen Karte mit bis zum Fünffachen der L40S, und auch wenn Herstellerzahlen Herstellerzahlen sind, steht die Richtung außer Frage.
Lebenszyklus und Support
Keine der beiden Karten steht auf einer End-of-Life-Liste. NVIDIAs Lifecycle-Seite für die vGPU-Software, aktualisiert im August 2026, führt die L40S, die L40 und die RTX PRO 6000 Server Edition als voll unterstützt, und die L40S bleibt in aktuellen Herstellerguides, einschließlich der Xeon-6-Generation der Lenovo-Server. Was sich mit der Zeit ändert, ist nicht der Support, sondern die Arbeitslast: Die Modelle, die wir dimensionieren sollen, sind schneller gewachsen als die Karten.
Unser Engineering-Partner Vixen.UNO dimensioniert beide nach demselben Arbeitsblatt: Modellgröße, Präzision, Parallelität, Kontextlänge, dann das Chassis. Die Karte ergibt sich aus dieser Rechnung; sie ist selten die erste Entscheidung.
FAQ
Ist die L40S abgekündigt?
Kann ich eine RTX PRO 6000 Server Edition in einen PCIe-Gen4-Server einbauen?
Unterstützt eine der Karten MIG?
Wie viele VMs trägt jede Karte?
Welche Karte für ein 70B-Modell?
Kann ich L40S und RTX PRO 6000 in einem Server mischen?
Nennen Sie uns das Modell, die Präzision und das Chassis, das Sie bereits besitzen, und wir sagen Ihnen, welche Karte es braucht. Wir antworten innerhalb eines Werktages.
Mit einem Experten sprechenWir antworten innerhalb eines Werktages