NVIDIA L40S vs. RTX PRO 6000 Blackwell Server Edition: wo Ada noch gewinnt

L40S und RTX PRO 6000: universelle Server-GPUs zweier Generationen

Beide sind die „universelle“ Passivkarte ihrer Generation: die Karte, die ein Serverhersteller zuerst qualifiziert, und eine, die Inferenz, Grafik, Video und virtuelle Desktops aus demselben Steckplatz bedient. NVIDIA hat die L40S 2023 in dieser Rolle positioniert, und die RTX PRO 6000 Blackwell Server Edition hat sie 2025 übernommen. Die RTX PRO 6000 Server Edition hat doppelt so viel Speicher (96 statt 48 GB), die 1,85-fache Bandbreite, FP4 und MIG, bei bis zu 600 W statt 350 W. Sie lohnt sich für Modelle über etwa 30B auf einer Karte oder für isolierte Mandanten; die L40S bleibt die praktische Wahl, wo Server für Karten mit 350 W qualifiziert sind und die Arbeitslast in 48 GB passt. Wir liefern beide Karten. Schildern Sie kurz Ihr Vorhaben, und unser Team hilft Ihnen bei der Wahl.

Technische Daten von L40S und RTX PRO 6000 Server Edition

Quellen: NVIDIA-Produktseiten und Product Briefs zur L40S (PB-11470) und zur RTX PRO 6000 Server Edition (SP-12355), Lenovo Product Guides LP1812 und LP2263. Die Blackwell-PFLOPS sind NVIDIAs Schlagzeilenwerte; NVIDIA kennzeichnet die Werte der Workstation-Karte als Sparsity-Werte, nennt für die Server Edition aber keine Basis; sind es Sparsity-Werte, liegt der dichte Wert bei etwa der Hälfte.

Zwei Zeilen zählen am meisten. Bei 96 GB gegen 48 GB passt ein 70B-Modell in FP8 mit rund 68 GiB Gewichten überhaupt nicht auf die L40S, während es auf die Blackwell-Karte passt: Nach unserer Regel für Nutzer je Karte (0,9 × die 95,6 GiB, die der Treiber meldet, abzüglich 3 GiB Overhead und der Gewichte) bleiben 15,3 GiB für den Cache, genug für sechs gleichzeitige 8K-Sitzungen mit Llama 3.3 70B bei 16-Bit-Cache und zwölf bei FP8-Cache. Bei 1.597 gegen 864 GB/s kann die Generierung im Einzelstrom, die bandbreitenlimitiert ist, das 1,85-Fache an Token pro Sekunde erreichen, bevor irgendeine Arithmetik der Tensor-Kerne eingerechnet ist.

Was die RTX PRO 6000 der L40S voraushat

FP4. Ada hat keinen FP4-Tensor-Pfad; auf der L40S laufen 4-Bit-Gewichte als INT4 über AWQ oder GPTQ, mit FP16- oder FP8-Aktivierungen, und vLLM lädt NVFP4-Checkpoints nur als reine Gewichtskompression mit 16-Bit-Arithmetik. Blackwell rechnet NVFP4 nativ, weshalb NVIDIA 4 PFLOPS für das Format angibt und weshalb ein 70B-Modell in NVFP4 (rund 40 GiB, 42,7 GB) zu einer Ein-Karten-Installation wird, mit 43,2 GiB für den Cache, nach derselben Regel 17 gleichzeitige 8K-Sitzungen bei 16-Bit-Cache und 34 bei FP8-Cache.

MIG. Die L40S lässt sich in Hardware nicht partitionieren; man teilt sie per Time-Sliced vGPU und nimmt in Kauf, dass ein Mandant unter hoher Last die anderen ausbremst. Die RTX PRO 6000 Server Edition teilt sich in vier isolierte Instanzen zu 24 GB, jede mit eigenem Speicher und eigener Rechenleistung. Ein Hosting-Team kann damit eine Karte mit Hardware-Isolation an vier Abteilungen vergeben, was mit der L40S nicht geht.

Dichte der Arbeitsplätze. Mit vGPU 19 trägt eine Blackwell-Karte mit MIG bis zu 48 virtuelle Maschinen, per Time-Slicing innerhalb der MIG-Instanzen; auf vSphere hängt das vom Hypervisor-Release ab, prüfen Sie also die Release Notes von NVIDIA und Broadcom zu MIG-gestützter vGPU mit Time-Slicing, bevor Sie 48 VMs planen. Die L40S endet bei 32 mit dem kleinsten 1-GB-Profil. Für VDI- und CAD-Umgebungen ist das die Zahl, die die Kartenanzahl bestimmt.

Video. Die Blackwell-Karte hat vier Encoder und vier Decoder, die L40S drei und drei. NVIDIA nennt für sie außerdem vier JPEG-Engines; für die L40S haben wir in NVIDIAs Spezifikationen keine Zahl der JPEG-Engines gefunden. Ist die Arbeitslast Transcoding oder eine Vision-Pipeline mit vielen Kameraströmen, bringt die vierte Engine ein Drittel mehr Durchsatz aus demselben Steckplatz.

PCIe Gen5. Die verdoppelte Verbindung zählt, wenn mehrere Karten ohne NVLink Tensoren austauschen, und keine der beiden Karten hat NVLink. Auf einer Gen4-Plattform liefe der Link mit Gen4 x16, und der Vorteil wäre weg; zudem haben wir keinen Serverhersteller gefunden, der die Blackwell-Karte für einen Server der Gen4-Generation führt, lassen Sie sich die Unterstützung also je Gehäuse bestätigen.

Wann die L40S weiterhin die bessere Wahl ist

Leistungsbudget. Die L40S ist für 350 W ausgelegt, die RTX PRO 6000 in der Standardeinstellung für 600 W. Ein Lenovo SR650a V4 nimmt vier L40S auf, aber nur zwei RTX PRO 6000 Server Edition mit 600 W, oder vier auf 450 W begrenzt. Bei einem Rack voller bestehender 2U-Hosts kann das entscheiden, ob Sie Karten nachrüsten oder Server ersetzen.

Luftstrom. Beide Karten sind passiv und auf die Chassis-Lüfter angewiesen. Bei gleicher Zulufttemperatur braucht eine 600-W-Karte rund 70 Prozent mehr Luft als eine 350-W-Karte; deshalb empfiehlt HPE für 600-W-Karten im DL380a Gen12 ein Lüfter-Upgrade, und deshalb begrenzt Lenovo seinen SR650a V4 mit Karten der RTX PRO 6000 auf 25 °C Zulufttemperatur. In einem Edge-Raum, einem Schaltschrank in der Fertigung oder einer warmen Halle hat die ältere Karte eine Reserve, die die neue nicht hat.

Breite der Qualifizierung. NVIDIAs Liste zertifizierter Systeme führt die L40S in Dell PowerEdge R750xa, R760 und R760xa, HPE DL380a und DL385 Gen11, Lenovo SR650 V3, SR655 V3, SR665 V3 und SR675 V3 sowie in den 2U- und 4U-GPU-Linien von Supermicro. Steht das Chassis bereits im Rechenzentrum, ist die L40S die Karte, für die es gebaut wurde.

Homogenität. Eine bestehende Umgebung aus L40S-Hosts lässt sich am einfachsten mit weiteren L40S erweitern, weil sie dann bei einem Satz vGPU-Profile, einem Leistungsbudget und einem Ersatzteilpool bleibt. Der Treiber ist nicht das Problem (vGPU 19 und 20 unterstützen beide Karten mit demselben Host-Treiber), aber ein Multi-GPU-Job über gemischte Karten läuft im Tempo der langsameren.

Arbeitslasten, die in 48 GB passen. Diffusionsmodelle, die meisten Vision-Modelle, CAD- und VDI-Arbeitsplätze, Video-Pipelines und Sprachmodelle bis etwa 14B in FP8 passen mit Platz für viele Nutzer auf die L40S; ein 32B-Modell in FP8 passt ebenfalls, aber mit Cache für nur etwa zwei gleichzeitige 8K-Gespräche, fünf mit FP8-Cache. Für die kleineren Arbeitslasten ist der zusätzliche Speicher ungenutzte Kapazität.

Für Server, die bereits für 350-W-Karten qualifiziert sind, liefern wir die L40S. Nennen Sie uns das Servermodell und die gewünschte Zahl der Karten, und wir prüfen vor Ihrer Bestellung Herstellerfreigabe, Stromversorgung und Luftstrom.

Wann Sie die RTX PRO 6000 Server Edition wählen sollten

Wählen Sie die RTX PRO 6000 Server Edition für jedes Modell oberhalb von etwa 30B Parametern, das auf einer Karte laufen muss, und für jede Installation, die vier isolierte Mandanten pro Karte verlangt. Sie ist auch die Karte für einen neuen GPU-Server. Der Inferenzknoten unter unseren KI-Server-Konfigurationen trägt vier RTX PRO 6000 Server Edition mit zusammen 384 GB, und Maschinen mit 3U bis 5U wie Dell XE7745, HPE DL380a Gen12, Lenovo SR675 V3 und die 5U-GPU-Systeme von Supermicro nehmen acht oder mehr auf; einen neuen Multi-GPU-Server mit Chips von 2023 zu bestücken, ergibt wenig Sinn. Dasselbe gilt, wo NVFP4 geplant ist: NVIDIAs Datenblatt schreibt, die Tensor Cores der Karte lieferten „bis zu 5-mal die Leistung der vorherigen Generation bei LLM-Inferenz mit Unterstützung für FP4-Präzision“; veröffentlichte Testbedingungen haben wir nicht gefunden, und die L40S beherrscht kein FP4.

Lebenszyklus und Support

Eine End-of-Life-Mitteilung von NVIDIA haben wir für keine der beiden Karten gefunden, Stand Oktober 2026. NVIDIAs Lifecycle-Seite für die vGPU-Software, zuletzt aktualisiert am 2. Oktober 2026, führt die L40S, die L40 und die RTX PRO 6000 Server Edition als voll unterstützt, und die L40S bleibt in aktuellen Herstellerguides, einschließlich der Xeon-6-Generation der Lenovo-Server.

Was wir liefern

Wir liefern beide Karten, die L40S und die RTX PRO 6000 Server Edition, zum Einbau in Server, die Sie bereits betreiben, oder in KI-Servern, die wir nach Auftrag bauen, darunter dem Inferenzknoten mit vier Karten, unter einem EU-Vertrag und auf einer Rechnung, mit Herstellergarantie. Die Auswahl treffen wir nach der Arbeitslast: Modellgröße, Präzision, Zahl gleichzeitiger Anfragen und Kontextlänge, dann das Chassis mit Stromversorgung und Luftstrom. Lizenzen für vGPU und NVIDIA AI Enterprise, wo die Konfiguration sie braucht, sind Teil desselben Angebots.

FAQ