Was ein Server mit 8× NVIDIA L4 leistet: Videoanalyse, kleine Modelle, VDI und Strom

Was acht Karten mit 24 GB zusammen ergeben

Auf einem Server mit acht NVIDIA L4 laufen Videoanalyse auf mehreren hundert Kamerastreams, AV1-Transkodierung, kleine Sprachmodelle bis etwa 14B Parameter mit einer Kopie je Karte, Embedding- und Reranking-Modelle für RAG und bis zu 192 einfache virtuelle Desktops. Nach unserer Regel für Nutzer je Karte hält er mit ECC rund 137,6 GiB für Gewichte und Cache, bei rund 1,3 kW für den ganzen Server.

Die L4 ist NVIDIAs sparsame Karte der Ada-Lovelace-Generation: 24 GB GDDR6, 300 GB/s, FP8-Tensor-Cores, 72 W, passiv, einfach breit in Low-Profile-Bauform, an PCIe 4.0 x16 mit 64 GB/s. Sie hat weder NVLink noch MIG; die acht Karten bilden also keinen gemeinsamen Speicher und werden zwischen virtuellen Maschinen per vGPU im Zeitscheibenverfahren geteilt.

NVIDIAs Produktseite zur L4, gelesen am 24. Oktober 2026; NVIDIA kennzeichnet die Tensor-Werte mit „Shown with sparsity“, ohne Sparsity gilt die Hälfte. Nutzbarer Speicher und Summen sind unsere Rechnung.

Wenn Sie einen Kauf planen, finden Sie auf unserer Seite Server mit NVIDIA L4 kaufen Ausstattung, Gehäuse und Bestellschritte. Diese Seite rechnet aus, was acht Karten leisten.

Wie viel der 192 GB für Modelle und Cache bleibt

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, und zieht je Karte 3 GiB für CUDA-Graphen, Aktivierungen und die Laufzeitumgebung ab; der Rest hält Gewichte und KV-Cache. Hochgerechnet von den 97.887 MiB, die eine 96-GB-Karte meldet, zeigt eine 24-GB-Karte rund 23,9 GiB. NVIDIAs CUDA Best Practices Guide gibt an, dass ECC auf GDDR-Speicher 6,25 Prozent der Kapazität belegt; mit ECC bleiben rund 22,4 GiB. Das ergibt 0,9 × 22,4 − 3 = 17,2 GiB je Karte und 137,6 GiB für acht, ohne ECC 18,5 und 148,0 GiB. Prüfen Sie den Wert mit nvidia-smi -q in dem ECC-Modus, den Sie betreiben werden. Die Regel leitet unser Leitfaden Wie viele Nutzer eine RTX PRO 6000 bedient her.

Mit FP8-KV-Cache belegt ein Gespräch mit 8.192 Token bei Qwen3-8B 0,5625 GiB, bei Qwen3-14B 0,625 GiB, bei Qwen3-32B 1,0 GiB und bei einem Llama-Modell mit 70B 1,25 GiB, berechnet aus Schichten, KV-Heads und Kopfgröße in der Konfiguration des jeweiligen Modells. Ein 16-Bit-Cache verdoppelt diese Werte und halbiert die Gespräche.

Kleine Modelle und Aufteilungen auf acht L4

Acht Karten erlauben eine Kopie je Karte, TP=2-Paare, TP=4-Kopien oder eine Kopie über alle acht. Auf der L4 fällt die Wahl deutlicher aus als auf größeren Karten, weil ein 14B-Modell auf einer Karte wenig Platz für Cache lässt und ein 32B-Modell gar nicht passt.

Unsere Schätzung nach der Regel für Nutzer je Karte, keine Messung: gleichzeitige Gespräche mit 8.192 Token in voller Länge und FP8-KV-Cache, ECC an, in Klammern ECC aus. Gewichte sind die FP8-Checkpoints von Qwen und NVIDIA und der INT4-AWQ-Checkpoint mit 39,8 GB, wie in unseren Leitfäden zur Auslegung.

Zwei Zeilen zeigen die Rechnung. Eine Kopie von Qwen3-8B lässt auf ihrer Karte 17,2 − 8,8 = 8,4 GiB frei, das sind 14 Gespräche, 112 für acht Karten. Ein TP=2-Paar von Qwen3-14B hat 34,4 GiB; abzüglich 15,2 GiB Gewichte bleiben 19,2 GiB, also 30 Gespräche je Paar und 120 für vier Paare, das Fünffache von acht einzelnen Kopien.

Qwens FP8-Veröffentlichungen skalieren die Gewichte in Blöcken von 128 mal 128, ein Format, das die Support-Matrix von TensorRT-LLM für Ada nicht aufführt, wie unser L40S-Benchmark-Review festhält; prüfen Sie deshalb, ob Ihre Serving-Engine den Checkpoint auf der L4 ausführt. Ada hat keine FP4-Tensor-Cores: 4-Bit-Modelle laufen meist als INT4 über AWQ oder GPTQ, die vLLMs Quantisierungstabelle für Ada als unterstützt markiert. Unser Artikel zu FP4-Modellen auf H200 NVL und Ada-GPUs behandelt die Formate, unser Leitfaden zu kleinen Sprachmodellen auf der L4 legt Gemma-, Ministral- und Nemotron-Modelle je Karte aus.

Nutzer je Modell für 500 bis 2.000 Beschäftigte

Gezählt sind Anfragen, die im selben Moment laufen, nicht die Zahl der Nutzer insgesamt. Mit den Beispielwerten unseres Leitfadens Private-ChatGPT-Server nach Unternehmens­größe erzeugen 500 Beschäftigte zur Spitzenzeit rund 20 laufende Anfragen, 1.000 Beschäftigte rund 40 und 2.000 Beschäftigte rund 80.

Nach diesen Werten decken acht Kopien von Qwen3-8B mit rund 112 Gesprächen 2.000 Beschäftigte ab, vier TP=2-Paare von Qwen3-14B mit rund 120 leisten dasselbe mit einem stärkeren Modell. Ein 32B-Modell in zwei TP=4-Kopien deckt rund 1.000 Beschäftigte mit Reserve ab. Die acht Karten tragen auch mehrere Modelle zugleich: einen Assistenten auf vier Karten, einen Klassifikator auf zwei, ein Embedding-Modell und einen Reranker auf je einer Karte, jedes mit eigenem Speicher und unabhängig neu startbar. Unser Leitfaden Mehrere Modelle auf einem GPU-Server behandelt die Einstellungen der Engines.

Wir legen diesen Server je Modell und je Kamera-Pipeline aus; senden Sie uns Ihre Modelle und die Spitze laufender Anfragen, und unser Team antwortet mit einer Aufteilung und den Gesprächen, die jedes Modell erhält.

Ein Modell über PCIe 4.0 verteilen

Jede verteilte Kopie tauscht in jeder Schicht Zwischenergebnisse zwischen ihren Karten aus, hier über PCIe 4.0 x16 mit 64 GB/s. vLLMs Leitfaden zur Parallelisierung, aktualisiert am 15. Oktober 2026, empfiehlt für GPUs ohne NVLink, mit der L40S als Beispiel: „leverage pipeline parallelism instead of tensor parallelism for higher throughput and lower communication overhead“. Standardmäßig schaltet vLLM sein eigenes All-Reduce bei mehr als zwei GPUs ohne NVLink ab und nutzt NCCL; vLLM 0.30.0 (Release Notes vom 22. September 2026) hat für Systeme ohne NVLink ein optionales All-Reduce über FlashInfer PCIe IPC eingeführt (#53576), für das wir kein veröffentlichtes Ergebnis mit ganzen Modellen gefunden haben. Die Standardeinstellung spricht für TP=2-Paare unter einem Prozessor und macht TP=8 zu einer Aufteilung für Kapazität.

Für einen einzelnen Stream begrenzt die Lesegeschwindigkeit der Gewichte das Tempo. Qwen3-8B in FP8 liest je Token rund 9,4 GB, eine L4 käme also auf rund 32 Token pro Sekunde; Qwen3-14B auf rund 18 auf einer Karte und 37 auf einem idealen TP=2-Paar; Llama 3.3 70B in FP8 mit rund 70,6 GB je Token auf rund 34 mit einer idealen TP=8-Kopie, noch ohne die Kosten der PCIe-Kommunikation. Das sind Obergrenzen nach unserer Rechnung. Mit nvidia-smi topo -m halten Sie ein Paar unter einem Prozessor; unser Artikel Ein Modell auf mehreren GPUs über PCIe oder NVLink erklärt die Möglichkeiten.

Veröffentlichte Ergebnisse der L4

MLCommons veröffentlicht die Ergebnisse von MLPerf® Inference mit den Protokollen jedes Laufs. Ein L4-Ergebnis mit acht Karten haben wir in keiner der letzten Runden gefunden, in v6.1 vom 16. September 2026 gar keines. Die Runde v5.1 enthält ein L4-System mit zwei Karten in der Objekterkennung RetinaNet.

MLPerf® Inference: Datacenter v5.1, Closed Division, RetinaNet, Szenario Offline, Eintrag 5.1-0018, abgerufen von mlcommons.org am 24. September 2026, Ergebnis verifiziert durch die MLCommons Association. „Je Karte“ ist das durch zwei geteilte Systemergebnis, unsere Rechnung, keine MLPerf®-Metrik.

Mit dieser Rate je Karte kämen acht Karten auf rund 1.834 Bilder pro Sekunde, eine Hochrechnung von uns, kein Ergebnis. Ein vergleichbares veröffentlichtes Ergebnis der L4 für Sprachmodelle haben wir in den letzten Datacenter-Runden nicht gefunden.

The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

StorageReview hat eine L4 mit vLLM 0.27.1 in einem Dell PowerEdge R770 gemessen und die Ergebnisse am 14. Oktober 2026 veröffentlicht: 364 Ausgabe-Token pro Sekunde mit Ministral 3 14B Instruct in FP8 bei 32 gleichzeitigen Anfragen mit je 512 Token Ein- und Ausgabe. Je Watt Nennleistung sind das 5,1 Token pro Sekunde, gegenüber 2,8 für die L40S und 6,7 für die RTX PRO 4500 Server Edition im selben Test. Acht unabhängige Kopien kämen nach unserer Rechnung auf höchstens rund 2.900 Token pro Sekunde, eine Obergrenze aus einer Karte.

Videoanalyse auf 32 Decodern

Ein Server für Videoanalyse ist zuerst durch seine Hardware-Decoder begrenzt und dann durch die Inferenz je analysiertem Bild. Jede L4 hat vier NVDEC-Einheiten, acht Karten also 32. Unser Leitfaden GPU-Server für Videoanalyse leitet aus NVIDIAs NVDEC Application Note eine Obergrenze von rund 120 H.264- oder 218 H.265-Streams mit 1080p und 30 Bildern pro Sekunde je L4 her, 960 oder 1.744 für acht Karten. NVIDIA schreibt, dass die Rate mit dem Videotakt skaliert; es sind also Obergrenzen.

NVIDIAs Dokumentation zu DeepStream 7.1 enthält einen gemessenen Lauf auf einer L4: Dateien mit 1080p und 30 Bildern pro Sekunde durch den ausgedünnten (pruned) ResNet18-Detektor TrafficCamNet auf jedem Bild, einen IOU-Tracker und zwei ResNet18-Klassifikatoren, mit NVIDIAs INT8-Konfigurationsdatei, auf einem System mit AMD EPYC 7763.

NVIDIAs Dokumentation zu DeepStream 7.1, Performance, gelesen am 24. Oktober 2026; die Spalte für acht Karten ist unsere Schätzung, keine Messung: Streams je Karte × 8, mit 70 Prozent für Spitzen und Wachstum geplant, unter der Annahme, dass Prozessoren und PCIe nicht begrenzen.

Der Haken bei H.265 ist der Prozessor. In NVIDIAs Lauf belegten 81 H.265-Streams auf einer Karte 46,1 Prozent des EPYC 7763; acht Karten mit dieser Last bräuchten nach linearer Rechnung rund das 3,7-Fache dieses Prozessors, bei 68 H.264-Streams je Karte dagegen rund 64 Prozent davon. Planen Sie die Prozessoren nach einem Testlauf mit Ihren Kameras. Schwerere Modelle verändern das Bild: Für die L4 veröffentlicht NVIDIA keinen Wert für PeopleNet oder RT-DETR, eine Pipeline mit größerem Detektor braucht also einen eigenen Test oder eine größere Karte wie die L40S, für die NVIDIAs Tabellen zu DeepStream 9.2 1.114 Bilder pro Sekunde für PeopleNet mit Tracker angeben.

Zwei Einstellungen entlasten die Decoder weiter. Die Eigenschaft interval des Inferenz-Plug-ins analysiert mit interval=2 eines von drei Bildern, während der Tracker jedes Bild sieht, und skip-frames mit decode_key dekodiert nur Schlüsselbilder, für Szenen, die sich langsam ändern. Im Standardmodus dekodieren die Decoder trotzdem jedes Bild; legen Sie sie deshalb für die volle Bildrate der Kameras aus.

AV1-Transkodierung und Video-Einheiten

Für das Kodieren schreibt NVIDIA auf der Seite zur L4: „servers equipped with L4 allow hosting up to 1,040 concurrent AV1 video streams at 720p30 for mobile users“, mit der Fußnote „8x L4 AV1 low-latency P1 preset encode at 720p30“. Das ist NVIDIAs Wert für genau diese Servergröße, rund 130 Streams je Karte, für ein Low-Latency-Preset mit 720p. Dieselbe Seite schreibt „L4 delivers 120X higher AI video performance than CPU-based solutions“, gemessen mit acht L4 gegenüber einem Server mit zwei Intel-8362-Prozessoren, in einer durchgehenden Pipeline mit CV-CUDA und TensorRT 8.6 gegenüber OpenCV 4.7 und PyTorch auf den Prozessoren; verglichen wird mit einem Server ohne GPU, nicht mit einer anderen GPU. Vier JPEG-Decoder je Karte, 32 insgesamt, bedienen Kameras, die MJPEG oder Einzelbilder senden.

Virtuelle Desktops auf acht L4

Die L4 hat kein MIG; Desktops teilen sich eine Karte per vGPU im Zeitscheibenverfahren. NVIDIAs vGPU-Typenreferenz vom 29. September 2026 nennt diese Höchstwerte je Karte bei gleich großen Profilen; bei gemischten Größen sinkt das Maximum für 1 GB auf 16 je Karte.

NVIDIA Virtual GPU Types Reference (29. September 2026) für B- und Q-Profile und NVIDIA AI Enterprise 8.2, vGPU-Typen für Ada Lovelace (2. September 2026) für C-Profile, wie in unserem Leitfaden zu den vGPU-Profilen der L4; Summen für acht Karten sind unsere Rechnung.

Das sind Höchstdichten. Zwölf Desktops mit L4-2B teilen sich die zwei Encoder der Karte, sechs je Encoder; die Kodierung für die Bildübertragung wird also vor dem Speicher zur Grenze. B-Profile brauchen eine Lizenz für vPC oder vWS, Q-Profile vWS und C-Profile NVIDIA AI Enterprise. Unser Leitfaden zu den vGPU-Profilen der L4 listet jedes Profil, unser Leitfaden zur GPU-Auslegung für VDI rechnet Hosts für größere Umgebungen hoch.

Stromverbrauch, Kühlung und Gehäuse

Bei 72 W je Karte ziehen acht Karten 576 W. Mit zwei AMD EPYC 9355 mit je 280 W Standard-TDP kommen Karten und Prozessoren auf 1.136 W, und mit 15 Prozent für Arbeitsspeicher, Laufwerke, Lüfter und Wandlungsverluste schätzen wir rund 1,3 kW an der Steckdose. Eine Messung am gelieferten System bestätigt die Schätzung. Das passt an einen 230-V-Anschluss mit 16 A, den wir mit 2,94 kW einplanen, und braucht nach den 160 CFM je kW aus unserem Leitfaden Strom und Kühlung im GPU-Rack rund 210 CFM Luft bei 11 °C Temperaturanstieg. Ein Videoserver mit größeren Prozessoren für H.265 braucht mehr.

Lenovo gibt acht L4 in den 2U-Servern SR650 V3 und SR655 V3 und im 3U-Server SR675 V3 frei und zehn im 2U-Server SR650 V4; Dell nennt bis zu sechzehn im PowerEdge XE7745 mit 4U, mit 35 °C Zuluftgrenze für die Karte in der genannten Konfiguration. NVIDIAs Leitfaden für zertifizierte Systeme verlangt mindestens sechs Kerne je GPU und doppelt so viel Arbeitsspeicher wie GPU-Speicher, also 48 Kerne und 384 GB für acht Karten. Nennen Sie uns den Rackplatz, seine Tiefe und seinen Anschluss, und wir schlagen das passende Gehäuse vor.

Wann eine andere Konfiguration besser passt

Muss eine Antwort schneller kommen, als 300 GB/s erlauben, oder braucht ein Modell 32 GB auf einer Karte, bieten acht RTX PRO 4500 Server Edition 256 GB mit 800 GB/s je Karte, FP4 und 16 MIG-Instanzen bei 1.320 W Kartenleistung, wie unsere Seite zum Server mit 8× RTX PRO 4500 Server Edition zeigt. Für schwerere Bildmodelle, VDI mit CAD-Profilen und 32B-Modelle je Karte hat der Server mit 8× L40S 48 GB je Karte bei 2.800 W. Für ein 70B-Modell mit vielen Nutzern halten vier RTX PRO 6000 Server Edition eine Kopie je Karte, ohne sie zu verteilen, und unser Vergleich L4 oder L40S stellt die beiden Ada-Karten nebeneinander.

Was wir liefern

Dieses System können Sie bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit acht L4 in Gehäusen, für die der Hersteller sie freigibt, vor der Lieferung montiert und getestet, mit einem EU-Vertrag, einer EU-Rechnung und Herstellergarantie auf jede Komponente, und installieren auf Wunsch Betriebssystem, Treiber, CUDA und eine Container-Laufzeit. Lizenzen für NVIDIA vGPU und AI Enterprise stehen auf derselben Rechnung. Modelle, RAG und die Plattform darüber sind unser Service Private AI/ML.

FAQ