Was ein Server mit 8× NVIDIA L40S 2026 leistet: Modelle, Nutzer, Video und VDI

Was acht Karten mit 48 GB ergeben

Auf einem Server mit acht NVIDIA L40S laufen Sprachmodelle bis 70B in FP8, viele kleine und mittlere Modelle nebeneinander, Videoanalyse auf Hunderten von Kamerastreams und bis zu 256 virtuelle Desktops. Nach unserer Regel für Nutzer je Karte hält er mit ECC rund 298,4 GiB Gewichte und Cache, genug für zwei Kopien von Llama 3.3 70B in FP8 mit rund 130 gleichzeitigen Gesprächen, bei rund 3,9 kW für den ganzen Server.

Die L40S ist NVIDIAs universelle Rechenzentrumskarte der Ada-Lovelace-Generation: 48 GB GDDR6 mit ECC bei 864 GB/s, 18.176 CUDA-Cores, 142 RT-Cores, FP8-Tensor-Cores, 350 W, passiv gekühlt und zwei Slots breit, an PCIe 4.0 x16. Sie hat weder NVLink noch MIG; die acht Karten legen ihren Speicher also nicht zusammen, und ein Modell, das größer ist als eine Karte, wird über PCIe verteilt.

NVIDIAs Produktseite zur L40S, gelesen am 24. Oktober 2026; nutzbarer Speicher und Summen sind unsere Rechnung.

Wenn Sie einen Kauf planen, finden Sie Konfiguration, Gehäuse und Bestellablauf auf unserer Seite Server mit NVIDIA L40S kaufen. Diese Seite rechnet aus, was acht Karten leisten.

Wie viel der 384 GB für Modelle und Cache bleibt

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, und zieht je Karte 3 GiB für CUDA-Graphen, Aktivierungen und die Laufzeitumgebung ab; der Rest hält Gewichte und KV-Cache. Hochgerechnet von den 97.887 MiB, die eine Karte mit 96 GB meldet, zeigt eine Karte mit 48 GB rund 47,8 GiB. NVIDIAs CUDA Best Practices Guide gibt an, dass ECC auf GDDR-Speicher 6,25 Prozent der Kapazität belegt; mit ECC bleiben also rund 44,8 GiB. Das ergibt 0,9 × 44,8 − 3 = 37,3 GiB je Karte und 298,4 GiB für acht, ohne ECC 40,0 und 320,0 GiB. Prüfen Sie den Wert mit nvidia-smi -q in dem ECC-Modus, den Sie betreiben. Die Herleitung der Regel steht in unserem Leitfaden Wie viele Nutzer eine RTX PRO 6000 bedient.

Mit FP8-KV-Cache belegt ein Gespräch mit 8.192 Token 0,5625 GiB bei Qwen3-8B, 0,625 GiB bei Qwen3-14B, 1,0 GiB bei Qwen3-32B und 1,25 GiB bei Llama 3.3 70B, berechnet aus Schichten, KV-Heads und Kopfgröße in der Konfiguration des jeweiligen Modells. Ein 16-Bit-Cache verdoppelt diese Werte und halbiert die Gespräche.

Modelle und Aufteilungen auf acht L40S

Acht Karten erlauben vier Arten, ein Modell zu platzieren: eine Kopie je Karte, TP=2-Paare, TP=4-Kopien oder eine Kopie über alle acht. Weniger Kopien lassen mehr Speicher für Gespräche, erzeugen aber in jeder Schicht mehr Verkehr über PCIe.

Unsere Schätzung nach der Regel für Nutzer je Karte, keine Messung: gleichzeitige Gespräche mit 8.192 Token in voller Länge und FP8-KV-Cache, mit ECC, in Klammern ohne ECC. Gewichte nach den FP8-Checkpoints von Qwen und NVIDIA und dem INT4-AWQ-Checkpoint mit 39,8 GB wie in unseren Leitfäden zur Auslegung.

Zwei Zeilen zeigen die Rechnung. Eine TP=4-Kopie von Llama 3.3 70B hat 4 × 37,3 = 149,2 GiB; abzüglich 67,7 GiB Gewichte bleiben 81,5 GiB, und 81,5 ÷ 1,25 ergibt 65 Gespräche je Kopie, 130 für zwei. Eine Kopie von Qwen3-14B lässt auf ihrer Karte 37,3 − 15,2 = 22,1 GiB, also 35 Gespräche, 280 für acht Karten.

Bei einem 32B-Modell in FP8 zählen die 48 GB je Karte: Es passt auf eine L40S mit Platz für fünf Gespräche, ohne ECC acht, während eine Karte mit 32 GB es gar nicht aufnimmt. Die FP8-Version von Qwen3-32B, die Qwen veröffentlicht, skaliert die Gewichte in Blöcken von 128 mal 128, ein Format, das die Support-Matrix von TensorRT-LLM für Ada nicht führt, wie unser L40S-Benchmark-Review anmerkt; prüfen Sie also, ob Ihre Serving-Engine es auf dieser Karte ausführt. Ada hat keine FP4-Tensor-Cores: vLLM lädt NVFP4-Checkpoints auf der L40S nur als reine Gewichtskompression, und 4-Bit-Modelle laufen meist als INT4 über AWQ oder GPTQ. Unser Artikel zu FP4-Modellen auf H200 NVL und Ada-GPUs behandelt die Formate.

Nutzer je Modell für 500 bis 2.000 Beschäftigte

Die Gespräche oben sind Anfragen, die im selben Moment laufen, keine benannten Nutzer. Mit den Beispielwerten unseres Leitfadens Private-ChatGPT-Server nach Unternehmens­größe erzeugen 500 Beschäftigte zur Spitzenzeit rund 20 laufende Anfragen, 1.000 Beschäftigte rund 40 und 2.000 Beschäftigte rund 80.

Nach diesen Werten decken zwei TP=4-Kopien von Llama 3.3 70B in FP8 mit rund 130 Gesprächen 2.000 Beschäftigte mit Reserve ab, und eine Kopie auf der Hälfte des Servers mit rund 65 deckt 1.000 ab. Mit 16-Bit-Cache hält dieselbe Aufteilung die Hälfte. Acht Kopien eines Modells der 14B-Klasse halten ein Mehrfaches der 80 Anfragen von 2.000 Beschäftigten; das passt zu einem Unternehmen, das je Abteilung einen Assistenten betreibt oder viele kurze Anfragen aus Anwendungen bedient.

Die acht Karten tragen auch mehrere Modelle zugleich: einen Assistenten auf vier Karten, ein Modell für Code auf zwei, ein Embedding-Modell und einen Reranker für RAG auf je einer Karte, jedes mit eigenem Speicher und unabhängig neu startbar. Eine ausgefallene Karte nimmt dann ein Achtel des GPU-Speichers aus dem Betrieb. Unser Leitfaden Mehrere Modelle auf einem GPU-Server beschreibt die Einstellungen der Engines. Wir legen diesen Server je Modell aus; schicken Sie uns Ihre Modelle und die Spitze laufender Anfragen, und unser Team antwortet mit einer Aufteilung und den Gesprächen je Modell.

Ein Modell über PCIe 4.0 verteilen

Jede verteilte Kopie tauscht in jeder Schicht Teilergebnisse zwischen ihren Karten aus, hier über PCIe 4.0 x16 mit 64 GB/s in beide Richtungen zusammen. vLLMs Leitfaden zur Parallelisierung, aktualisiert am 15. Oktober 2026, nennt die L40S als Beispiel für GPUs ohne NVLink und empfiehlt für solche GPUs: „leverage pipeline parallelism instead of tensor parallelism for higher throughput and lower communication overhead“. Standardmäßig schaltet vLLM sein eigenes All-Reduce bei mehr als zwei GPUs ohne NVLink ab und nutzt NCCL. vLLM 0.30.0 (Release Notes vom 22. September 2026) hat für Systeme ohne NVLink ein optionales All-Reduce über FlashInfer PCIe IPC eingeführt (#53576); der zugrunde liegende Pull Request bei FlashInfer beschreibt einen Mikrobenchmark des All-Reduce auf acht L40S in BF16, bei dem „All 72 points beat NCCL, from 1.22× to 5.92ד. Einen veröffentlichten Gewinn für ein ganzes Modell haben wir nicht gefunden.

Für einen einzelnen Stream begrenzt das Lesetempo der Gewichte die Geschwindigkeit. Llama 3.3 70B in FP8 liest rund 70,6 GB je Token; eine L40S käme damit auf rund 12 Token pro Sekunde und eine ideale TP=4-Kopie nach unserer Rechnung auf rund 49, noch ohne die Kosten der PCIe-Kommunikation. Planen Sie TP=4 und TP=8 wegen der Kapazität ein, und halten Sie in einem Server mit zwei Sockeln mit nvidia-smi topo -m ein Paar oder vier Karten unter einem Prozessor. Unser Artikel Ein Modell auf mehreren GPUs: PCIe oder NVLink erklärt die Möglichkeiten.

Veröffentlichte Ergebnisse für acht L40S

MLCommons veröffentlicht jedes Ergebnis von MLPerf® Inference mit den Logs des Laufs. Die Tabelle zeigt zwei Ergebnisse mit acht L40S, beide in der Closed Division und im Szenario Offline, in dem das System alle Samples auf einmal erhält.

MLPerf® Inference: Datacenter, Closed Division, Szenario Offline. Eintrag 5.0-0018: v5.0, Dell PowerEdge XE7745 mit acht L40S, Llama 2 70B; Eintrag 5.1-0012: v5.1, Cisco UCS C845A M8 mit acht L40S, RetinaNet. Abgerufen von mlcommons.org am 24. September 2026, Ergebnis verifiziert durch die MLCommons Association. „Je Karte“ ist das durch acht geteilte Systemergebnis, unsere Rechnung, keine MLPerf®-Metrik.

Die beiden Einträge stammen aus verschiedenen Runden und von verschiedenen Herstellern, und das Szenario Offline misst den Durchsatz bei voller Warteschlange, nicht das Tempo einer einzelnen Antwort. In der Runde v6.1 vom 16. September 2026 haben wir kein Ergebnis der L40S gefunden.

The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

StorageReview hat eine L40S mit vLLM 0.27.1 in einem Dell PowerEdge R770 gemessen und die Ergebnisse am 14. Oktober 2026 veröffentlicht: 995 ausgegebene Token pro Sekunde mit Ministral 3 14B Instruct in FP8 bei 32 gleichzeitigen Anfragen mit je 512 Token Ein- und Ausgabe, und rund 230 mit 8.192 Eingabe-Token. Acht unabhängige Kopien kämen nach unserer Rechnung auf höchstens rund 7.960 und 1.840 Token pro Sekunde, eine Obergrenze aus einer Karte. Unser L40S-Benchmark-Review sammelt alle veröffentlichten Werte.

Videoanalyse und Transkodierung auf 24 Einheiten

Jede L40S hat drei NVENC- und drei NVDEC-Einheiten mit AV1 für Kodierung und Dekodierung; acht Karten bringen je 24 davon. Unser Leitfaden GPU-Server für Videoanalyse leitet aus NVIDIAs NVDEC Application Note eine Obergrenze von rund 90 H.264- oder 164 H.265-Streams mit 1080p und 30 Bildern pro Sekunde je Karte ab, 720 oder 1.312 für acht Karten. Das sind Obergrenzen; NVIDIA gibt an, dass die Rate mit dem Videotakt skaliert.

NVIDIAs Dokumentation zu DeepStream 9.2, Leistung der vortrainierten dGPU-Modelle mit TensorRT, durchgängig gemessen mit abgeschaltetem Rendering, gelesen am 24. Oktober 2026; die Summen für acht Karten sind unsere Rechnung, keine Messung.

Geteilt durch 30 entspricht die Summe für PeopleNet rund 297 Kameras, die mit voller Bildrate analysiert werden, ohne Reserve. Bei 10 analysierten Bildern pro Sekunde lässt die Inferenz rund das Dreifache zu, und die Decoder werden zur Grenze, weil sie jedes Bild jedes Streams dekodieren. Mit H.264-Kameras entscheidet die Obergrenze von 720 Streams; mit H.265 liegt sie höher. Ein Testlauf mit Ihrem eigenen Modell und Codec legt die endgültige Zahl fest. Für reine Transkodierung bringt die L4 mit zwei Encodern und vier Decodern bei 72 W mehr Videoeinheiten je Watt, wie unser Vergleich L4 oder L40S zeigt.

Für generative Medien nennen NVIDIAs Inferenztabellen für eine L40S 1,34 Videos pro Minute mit Stable Video Diffusion. Unser Leitfaden GPU-Anforderungen für Videogenerierung behandelt die größeren Videomodelle, von denen viele mehr als 48 GB brauchen.

Grafik, Rendering und VDI auf acht L40S

Die L40S hat 142 RT-Cores der dritten Generation und 91,6 TFLOPS FP32, 732,8 TFLOPS für acht Karten, und NVIDIA nennt Rendering, 3D-Grafik und Omniverse unter ihren Einsatzgebieten. Die Karte hat kein MIG; virtuelle Maschinen teilen sie per vGPU im Zeitscheibenverfahren. NVIDIAs vGPU-Typenreferenz vom 29. September 2026 nennt diese Höchstzahlen je Karte, wenn alle Profile gleich groß sind.

NVIDIA Virtual GPU Types Reference (29. September 2026) und NVIDIA AI Enterprise, vGPU-Typen für Ada Lovelace (2. September 2026), wie in unserem Leitfaden zu den vGPU-Profilen der L40S aufgeführt; die Summen für acht Karten sind unsere Rechnung.

Das sind Höchstdichten, und das Zeitscheibenverfahren macht sich unter Last bemerkbar: In StorageReviews Test vom April 2025 erreichten vier VMs mit 12 GB, auf denen gleichzeitig Cinebench 2024 lief, je 2.514 bis 2.567 Punkte, gegenüber 21.147 für eine VM mit der ganzen Karte. Legen Sie die Plätze für die gleichzeitige Spitze aus und testen Sie mit Ihren eigenen Anwendungen. Die L40S läuft auf vGPU 19, dem Langzeitzweig, den NVIDIA bis Juli 2028 unterstützt, und auf vGPU 20. Q-Profile brauchen eine Lizenz für RTX vWS, B-Profile vPC und C-Profile NVIDIA AI Enterprise; unser Leitfaden zu den vGPU-Profilen der L40S listet sie alle, und unser Leitfaden zur GPU-Auslegung für VDI rechnet Hosts für größere Umgebungen hoch.

Stromverbrauch, Kühlung und Gehäuse

Mit 350 W je Karte ziehen acht Karten 2.800 W. Mit zwei AMD EPYC 9355 mit einer Standard-TDP von je 280 W kommen Karten und Prozessoren auf 3.360 W, und mit 15 Prozent für Arbeitsspeicher, Laufwerke, Lüfter und Wandlungsverluste schätzen wir rund 3,9 kW an der Steckdose. Eine Messung am gelieferten System bestätigt die Schätzung. Einen 230-V-Anschluss mit 16 A planen wir mit 80 Prozent ein, also 2,94 kW; dieser Server braucht deshalb auf seiner A- und seiner B-Seite je einen einphasigen Anschluss mit 32 A (5,89 kW geplant) oder einen Drehstromanschluss. Mit den 160 CFM je kW aus unserem Leitfaden Strom und Kühlung im GPU-Rack braucht er bei 11 °C Temperaturanstieg rund 620 CFM Luft.

Dells Technical Guide zum XE7745 (Rev. A09, September 2026), Ciscos Datenblatt zum UCS C845A M8 (24. August 2026), Konfigurator von Puget Systems, gelesen am 24. Oktober 2026.

Dell gibt die 3.200-W-Netzteile des XE7745 von 220,1 bis 240 V mit voller Leistung an und von 200 bis 220 V mit 2.900 W und setzt die Grenze für die Zuluft mit L40S auf 35 °C, gegenüber 30 °C für denselben Server mit RTX PRO 6000 Server Edition. NVIDIAs Leitfaden für zertifizierte Systeme verlangt mindestens sechs Kerne je GPU und doppelt so viel Arbeitsspeicher wie GPU-Speicher, für acht Karten also 48 Kerne und 768 GB; unser Leitfaden Wie viel RAM ein GPU-Server braucht erklärt die Regel. Wir prüfen Anschluss, Zulufttemperatur und Freigabe des Gehäuses, bevor wir ein Angebot schreiben; nennen Sie uns den Rackplatz und seinen Anschluss, und wir schlagen das passende Gehäuse vor.

Wann eine andere Konfiguration besser passt

Vier RTX PRO 6000 Server Edition halten Llama 3.3 70B in FP8 als vier Kopien mit zusammen 48 Gesprächen oder als zwei TP=2-Paare mit 156, ohne eine Kopie auf vier Karten zu verteilen, und bringen MIG und FP4 mit. Acht RTX PRO 4500 Server Edition bringen 256 GB bei 1.320 W mit 16 MIG-Hälften, eine Abwägung, die unsere Seite 8× L40S oder 8× RTX PRO 4500 Server Edition vornimmt; die Kartenpaare vergleichen L40S oder RTX PRO 4500 Server Edition und L40S oder RTX PRO 6000 Server Edition. Training und Fine-Tuning großer Modelle gehören auf H200 NVL mit NVLink-Brücken. Wo ein Server kein einzelner Ausfallpunkt sein darf, sind zwei Server mit vier Karten die sicherere Aufteilung, wie Ein Server mit 8 GPUs oder zwei mit 4 vergleicht.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit acht L40S in Gehäusen, für die der Hersteller die Karten freigibt, vor der Lieferung montiert und getestet, mit einem EU-Vertrag, einer EU-Rechnung und Herstellergarantie auf jede Komponente, und installieren auf Wunsch Betriebssystem, Treiber, CUDA und eine Container-Laufzeit. Lizenzen für NVIDIA vGPU und AI Enterprise stehen auf derselben Rechnung. Modelle, RAG und die Plattform darüber sind unser Service Private AI/ML.

FAQ