L4 vs. L40S: welche Inferenzkarte für die Server, die Sie bereits haben

Zwei Ada-Karten für zwei verschiedene Aufgaben

Die L4 ist eine Karte mit halber Bauhöhe, 72 W und 24 GB für Modelle mit 7B bis 14B, Videostreams und leichte virtuelle Desktops; die L40S ist eine Karte in voller Größe mit 350 W und 48 GB für Modelle bis etwa 32B in FP8, Grafik und mehr Durchsatz je Karte. NVIDIA hat die L4 im März 2023 als sparsame Karte für Inferenz und Video vorgestellt, mit der T4 als Vergleich aus der vorherigen GPU-Generation, und die L40S später im selben Jahr als seine „universelle“ Rechenzentrums-GPU für Inferenz, Training, Grafik und Video. Beide nutzen die Ada-Lovelace-Architektur mit FP8-Tensor-Kernen, beide sind passiv gekühlt und auf die Lüfter des Servers angewiesen, beide unterstützen Secure Boot mit einem Hardware-Root-of-Trust, und beide stehen auf NVIDIAs vGPU-Liste. Keine der beiden unterstützt MIG oder NVLink. Sie unterscheiden sich in Größe und Leistungsaufnahme: Die L4 zieht 72 W aus dem Steckplatz, im Single-Slot-Format mit halber Bauhöhe, die L40S bis zu 350 W, mit einem 16-poligen Zusatzstecker, als Dual-Slot-Karte in voller Größe.

Spezifikationen von L4 und L40S

Produktseiten, Datenblätter und Product Briefs von NVIDIA zu L4 und L40S, NVIDIAs Whitepaper zur Ada-Architektur und Lenovos Product Guide zur L4; NVIDIAs Liste der von vGPU unterstützten GPUs. NVIDIAs Werte mit Sparsity setzen strukturierte Sparsity voraus; die Werte ohne Sparsity liegen bei etwa der Hälfte.

MLPerf®®-Ergebnisse, je Karte umgerechnet

MLPerf® Inference v5.1, veröffentlicht im September 2025, enthält einen Benchmark, in dem beide Karten in derselben Runde und Division getestet wurden: Objekterkennung mit RetinaNet in der Kategorie Datacenter der Closed Division, Offline-Szenario, wobei alle Systeme TensorRT nutzten.

MLPerf® Inference v5.1, Kategorie Datacenter, Closed Division, RetinaNet, Offline-Szenario; Einträge wie angegeben, abgerufen von mlcommons.org am 24. September 2026, jedes Ergebnis von der MLCommons Association verifiziert. Je Karte ist unsere Rechnung: Systemergebnis geteilt durch die Zahl der GPUs, keine MLPerf®-Metrik. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Je Karte leistet die L40S im System mit acht Karten nach unserer Rechnung etwa das 3,6-Fache einer L4 im System mit zwei Karten, in derselben Runde, Division und im selben Szenario. Diese Läufe gehörten nicht zur MLPerf®-Power-Kategorie und haben keine Leistungsaufnahme gemessen; sie zeigen also nicht, welche Karte je Watt mehr leistet.

Veröffentlichte Ergebnisse mit Sprachmodellen gibt es für die L40S. In MLPerf® Inference v5.0, veröffentlicht im April 2025, verarbeitete ein Dell PowerEdge XE7745 mit acht L40S (Eintrag 5.0-0018) mit Llama 2 70B (Variante mit 99 Prozent Genauigkeit) im Offline-Szenario 3.481,5 Token pro Sekunde, etwa 435 je Karte. Dasselbe Servermodell mit acht H200 NVL (Eintrag 5.0-0017) erreichte in derselben Runde, Division und im selben Szenario 31.149,9, etwa 3.890 je Karte. Beide sind Ergebnisse der Kategorie Datacenter in der Closed Division, abgerufen von mlcommons.org am 24. September 2026, jedes Ergebnis von der MLCommons Association verifiziert; je Karte ist unsere Rechnung: Systemergebnis geteilt durch die Zahl der GPUs, keine MLPerf®-Metrik. In den Datacenter-Ergebnissen der letzten Runden haben wir für die L4 kein vergleichbares veröffentlichtes Ergebnis mit einem Sprachmodell gefunden.

Welche Modelle in 24 GB und 48 GB passen

Auf eine L4 mit 24 GB passt ein 8B-Modell in FP8, gpt-oss-20b mit 13,8 GB oder ein 14B-Modell in FP8 mit einem bescheidenen Cache. Auf eine L40S mit 48 GB passt ein 32B-Modell in FP8, nach unserer Regel für Nutzer je Karte (0,9 × der vom Treiber gemeldete Speicher, abzüglich 3 GiB Overhead und der Gewichte) bleibt aber Cache für etwa zwei gleichzeitige 8K-Gespräche mit 16-Bit-Cache und fünf mit FP8-Cache; ein 70B-Modell in 4 Bit mit rund 40 GB Gewichten lässt kaum Platz für den Cache. Keine der beiden Karten fasst gpt-oss-120b allein, und keine hat FP4-Arithmetik: Ada führt 4-Bit-Gewichte als INT4 über AWQ oder GPTQ aus, was TensorRT-LLM auf beiden Karten unterstützt; vLLM lädt NVFP4-Checkpoints auf Ada ebenfalls, aber nur als Weight-only-Kompression mit 16-Bit-Arithmetik, wie unser FP4-Beitrag erklärt. Die Bandbreite bestimmt dann das Tempo: Beim selben Modell kann die Token-Generierung für einen einzelnen Nutzer auf einer L40S bis zu etwa 2,9-mal so schnell laufen wie auf einer L4, im Verhältnis ihrer Bandbreiten; das ist eine Obergrenze aus den Spezifikationen, keine Messung.

Braucht das Modell mehr als 48 GB, ist keine der beiden Karten die Antwort. Die RTX PRO 6000 Server Edition mit 96 GB und die H200 NVL mit 141 GB sind die nächsten Stufen, und unser VRAM-Leitfaden hat die Rechnung.

Wir liefern alle vier Karten. Nennen Sie uns das Modell und die Zahl gleichzeitiger Nutzer, und wir ermitteln, welche Karte Ihre Server brauchen und wie viele davon.

Video, Grafik und virtuelle Desktops

NVIDIA hat die L4 für Video ebenso gebaut wie für Inferenz. Sie hat zwei Encoder, vier Decoder und vier JPEG-Decoder gegenüber drei und drei bei der L40S, und beide kodieren AV1. NVIDIA nennt bis zu 1.040 gleichzeitige AV1-Streams mit 720p30 für einen Server mit acht L4, etwa 130 je Karte, und die 120-fache KI-Videoleistung eines CPU-Servers mit zwei Sockeln in einer End-to-End-Pipeline; beide Werte stammen von Servern mit acht Karten, und nur der zweite ist ein Vergleich mit einem reinen CPU-Server. Für Videoanalyse, Transcoding und Kamerastreams hat die L4 je Watt weit mehr Video-Engines als die L40S.

Bei Grafik ist die L40S im Vorteil, denn sie hat 142 RT-Kerne und Displayausgänge, die sich einschalten lassen; NVIDIA positioniert sie für Grafik und Video ebenso wie für KI. Für virtuelle Desktops eignen sich beide: Die L40S unterstützt bis zu 32 Nutzer je Karte mit 1-GB-Profilen, die L4 bis zu 24 mit 1-GB-Profilen, und beide brauchen NVIDIA-vGPU-Lizenzen. Alle Profile mit ihren Grenzen stehen in unseren Leitfäden zu den vGPU-Profilen der L40S und den vGPU-Profilen der L4.

Die vGPU-Lizenzen liefern wir zusammen mit den Karten, im selben Angebot. Schreiben Sie uns, wie viele Desktop-Nutzer gleichzeitig arbeiten und welche Anwendungen sie nutzen; wir legen die Karten danach aus und empfehlen Edition und Laufzeit der Lizenzen.

Dichte und Leistungsaufnahme je Server

Produktseiten und Product Guides von HPE, Dell und Lenovo; Höchstzahlen nach Angabe der Hersteller, September 2026.

Daraus folgt die Rechnung fürs Rack. Acht L4 ziehen 576 W und sechzehn 1.152 W; vier L40S ziehen 1.400 W und acht 2.800 W, jeweils ohne Prozessoren und Lüfter. Im selben Dell PowerEdge XE7745 kommen sechzehn L4 und acht L40S jeweils auf 384 GB GPU-Speicher; die Bestückung mit L40S hat 6.912 GB/s Gesamtbandbreite gegenüber 4.800 GB/s und zieht etwa das 2,4-Fache an Leistung. Sechzehn kleine Karten passen zu vielen kleinen Modellen oder vielen Streams; acht große zu weniger, größeren Modellen. Was das für den Raum bedeutet, behandelt unser Artikel zu Strom und Kühlung im Rack.

Wann Sie die L4 und wann die L40S wählen

Die L4 passt, wenn die Arbeit aus vielen kleinen Modellen oder vielen Streams besteht: Videoanalyse, Transcoding, Sprache, Embeddings, Modelle mit 7B bis 14B und virtuelle Desktops für Nutzer mit geringen Anforderungen. Sie ist auch die Karte für Server ohne GPU-Stromkabel, sofern der Serverhersteller die L4 für dieses Gehäuse und diesen Steckplatz listet (die Karte ist passiv gekühlt und auf den Luftstrom des Servers angewiesen), und für Racks, in denen jedes Watt zählt.

Die L40S passt, wenn ein Modell 24 bis 48 GB braucht, wenn der Durchsatz je Karte mehr zählt als je Watt und wenn dieselben Server auch Grafik oder Rendering übernehmen.

Keine der beiden passt zu einem 70B-Modell, das ein Team bedient, oder zu etwas Größerem; dafür braucht es eine RTX PRO 6000 oder eine H200 NVL. Eine RTX PRO 6000 fasst Llama 3.3 70B in FP8 nach derselben Regel mit Cache für sechs gleichzeitige 8K-Sitzungen, zwölf mit FP8-Cache.

Lebenszyklus und was danach kommt

Wir haben für keine der beiden Karten eine End-of-Life-Mitteilung von NVIDIA gefunden, und NVIDIAs vGPU-Lifecycle-Seite, zuletzt aktualisiert am 29. Oktober 2026, führt die L4 und die L40S unter den GPUs, die „weiterhin voll unterstützt“ werden. Diese Seite betrifft den Support der vGPU-Software, nicht die Frage, wie lange die Karten bestellbar bleiben. NVIDIA vergleicht zwei Blackwell-Karten mit ihnen. Für die RTX PRO 6000 Blackwell Server Edition, die NVIDIA der L40S gegenüberstellt, schreibt das Datenblatt, die Tensor Cores lieferten „bis zu 5-mal die Leistung der vorherigen Generation bei LLM-Inferenz mit Unterstützung für FP4-Präzision“; die L40S beherrscht kein FP4. Der L4 stellt NVIDIA die RTX PRO 4500 Blackwell Server Edition gegenüber, eine Single-Slot-Karte mit voller Bauhöhe, 165 W, 32 GB und 800 GB/s, die laut NVIDIA „mehr als die 5-fache Leistung der L4-GPU der vorherigen Generation“ liefert. Veröffentlichte Testbedingungen haben wir zu keiner der beiden Aussagen gefunden, und die RTX PRO 4500 ist keine Karte mit halber Bauhöhe, sie passt also nicht dorthin, wo eine L4 passt. Unser Vergleich von L4 und RTX PRO 4500 Server Edition behandelt diese Wahl je Server.

Was wir liefern

Für Inferenz, Video und virtuelle Desktops liefern wir die NVIDIA L4 und die L40S, als Karten für Server, die Sie bereits betreiben, oder in auf Bestellung gebauten KI-Servern, unter einem EU-Vertrag und auf einer Rechnung, mit Herstellergarantie. Braucht ein Modell mehr als 48 GB, liefern wir die RTX PRO 6000 Server Edition oder die H200 NVL, als Karten oder in nach Auftrag gebauten Servern, darunter dem Inferenzknoten mit vier RTX PRO 6000 Server Edition (4 × 96 GB) aus unseren KI-Server-Konfigurationen. Vor der Bestellung sagen wir Ihnen, welche Karte in Ihr Gehäuse und Ihren Steckplatz passt und wie viele davon das Rack mit Strom versorgen kann.

FAQ