Llama 3.3 Nemotron Super 49B auf NVIDIA L40S: zwei Karten oder eine neuere Karte

Warum eine L40S für den FP8-Checkpoint nicht reicht

Llama 3.3 Nemotron Super 49B v1.5 passt in FP8 nicht auf eine NVIDIA L40S: Der Checkpoint hat 52,0 GB (48,4 GiB), und eine L40S mit 48 GB hält nach unserer Regel für Nutzer je Karte rund 37,3 GiB für Gewichte und Cache bereit. Zwei L40S als Tensor-Parallel-Paar betreiben das Modell mit 26,2 GiB für den KV-Cache, rund 34 gleichzeitigen Gesprächen mit 8K Token oder 8 mit 32K bei FP8-Cache. Eine einzelne RTX PRO 6000 Blackwell Server Edition hält denselben Checkpoint allein mit mehr Reserve, eine RTX PRO 5000 72 GB mit weniger.

Diese Seite richtet sich an Unternehmen, die bereits L40S-Server aus den Ausbauten 2024 und 2025 betreiben und NVIDIAs Reasoning-Modell darauf ohne neue Hardware nutzen wollen, oder wissen möchten, was eine neuere Karte ändern würde. Die Zahlen sind unsere Schätzungen aus NVIDIAs Dateien auf Hugging Face, gelesen am 24. Oktober 2026, mit offengelegter Rechnung. Unser Leitfaden zur Nemotron-Hardware rechnet dieses Modell für RTX PRO 6000, H200 NVL und DGX Spark; die L40S fehlt in seinen Tabellen.

Das Modell und seine Checkpoints

Model Card und Dateilisten von nvidia/Llama-3_3-Nemotron-Super-49B-v1_5-FP8 und -NVFP4 auf Hugging Face, gelesen am 24. Oktober 2026; Größen sind unsere Summen der Safetensors-Dateien.

NVIDIAs Model Card beschreibt das Modell als „derivative of Meta Llama-3.3-70B-Instruct“, verkleinert mit Neural Architecture Search (NAS), auf Hugging Face veröffentlicht am 25. Juli 2025 und „ready for commercial use“. Es arbeitet standardmäßig mit Reasoning; /no_think im System-Prompt schaltet das Reasoning ab, empfohlen sind Temperature 0,6 und top_p 0,95 mit Reasoning und Greedy Decoding ohne. NVIDIA hat seine Auswertungen mit einer Sequenzlänge von 64K durchgeführt. Neben Englisch und Programmiersprachen nennt die Model Card Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thai.

KV-Cache je Gespräch

NAS hat aus einem Teil der 80 Schichten die Attention entfernt und sie in den übrigen behalten. Die config.json nennt 64 Query-Heads mit n_heads_in_group gleich 8, also 8 KV-Heads, und eine Hidden Size von 8.192, also 128 Dimensionen je Head. Eine Attention-Schicht speichert damit 8 × 128 × 2 (Key und Value) × 2 Byte = 4 KiB je Token in einem 16-Bit-Cache. 49 der 80 Schichten haben Attention-Gewichte: Das ergibt unsere Zählung der Attention-Gewichte, die der Gewichtsindex des Modells auf Hugging Face je Schicht aufführt (Schichten 0 bis 5, 8 bis 10, 12 bis 41, 52 und 71 bis 79), derselbe Wert wie in unserem Nemotron-Leitfaden. Das ergibt 196 KiB je Token, 1,53 GiB je Gespräch mit 8K und 6,1 GiB je Gespräch mit 32K in 16 Bit, die Hälfte mit einem FP8-Cache über --kv-cache-dtype fp8.

Für ein 49B-Modell ist das viel Cache. Nemotron 3 Super hält Attention nur in 8 seiner 88 Schichten und braucht 4 KiB je Token in FP8, wie unser Nemotron-Leitfaden zeigt; dieses Modell braucht 98 KiB in FP8. Mit Reasoning fügt der Gedankengang vor jeder Antwort Tausende Token hinzu, ein Gespräch erreicht 32K also früher als ein Chat ohne Reasoning.

Die L40S als Plattform für dieses Modell

Die L40S ist NVIDIAs Rechenzentrumskarte der Ada-Lovelace-Generation: 48 GB GDDR6 mit ECC bei 864 GB/s, 350 W, passive Kühlung, PCIe 4.0 x16, kein NVLink und kein MIG. Ihre Tensor Cores rechnen FP8 mit 733 dichten TeraFLOPS, der FP8-Checkpoint läuft also nativ; FP4 rechnen sie nicht.

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, und zieht je Karte 3 GiB für CUDA Graphs und Aktivierungen ab. Hochgerechnet von den 95,6 GiB, die eine 96-GB-Karte meldet, zeigt eine 48-GB-Karte rund 47,8 GiB, und mit eingeschaltetem ECC, das NVIDIAs CUDA Best Practices Guide mit 6,25 Prozent der GDDR-Kapazität angibt, rund 44,8 GiB. Das ergibt 37,3 GiB je Karte oder 40,0 GiB mit ECC aus, wie unsere Seite zum Server mit acht L40S herleitet. Die 48,4 GiB FP8-Gewichte übersteigen beide Werte.

Gespräche je Aufteilung

Unsere Schätzung nach der Regel für Nutzer je Karte: gleichzeitige Gespräche in voller Länge, 48,4 GiB FP8-Gewichte (28,9 GiB in der NVFP4-Zeile), 196 KiB je Token in 16 Bit und 98 KiB in FP8. L40S-Zeilen mit ECC an außer der zweiten; nutzbar 61,5 GiB auf der RTX PRO 5000 72 GB und 83,0 GiB auf der RTX PRO 6000 Server Edition.

Für die erste Zeile halten zwei Karten 2 × 37,3 = 74,6 GiB; abzüglich 48,4 GiB Gewichte bleiben 26,2 GiB, und 26,2 ÷ 0,77 ergibt 34 Gespräche mit 8K bei FP8-Cache. Tensor-Parallelismus teilt den Cache nach den acht KV-Heads auf, jede der beiden Karten trägt also die Hälfte jedes Gesprächs.

Das sind gleichzeitig laufende Anfragen, weit weniger als die Zahl der Mitarbeitenden, die den Dienst nutzen. Ein L40S-Paar passt zu einem Team von einigen Dutzend Personen mit kurzen Fragen, wobei das Reasoning für einfache Aufgaben abgeschaltet ist. Bei langen Dokumenten oder vielen Reasoning-Sitzungen geht zuerst der Cache aus, und zwei Paare oder eine neuere Karte sind der nächste Schritt. Wir legen die Aufteilung auf vorhandenen L40S-Servern ebenso aus wie auf neuen; schicken Sie uns Servermodell, Kartenzahl und erwartete Spitzenlast, und unser Team antwortet mit den Zahlen für jede Aufteilung.

Tensor- oder Pipeline-Parallelismus über PCIe 4.0

Die L40S tauscht Daten mit ihrer Partnerkarte über PCIe 4.0 x16 aus. Der Parallelismus-Leitfaden von vLLM, datiert auf den 15. Oktober 2026, nennt genau diesen Fall: „if the GPUs on the node do not have NVLINK interconnect (e.g. L40S), leverage pipeline parallelism instead of tensor parallelism for higher throughput and lower communication overhead.“ Pipeline-Parallelismus (PP=2) legt die Hälfte der Schichten auf jede Karte und reicht die Aktivierungen einmal je Schritt weiter; Tensor-Parallelismus (TP=2) braucht in jeder Schicht ein All-Reduce, lässt aber beide Karten an jedem Token arbeiten, was die Zeit je Token für einen einzelnen Nutzer verkürzt.

Mit vier L40S gibt es mehr Möglichkeiten. Der Quellcode von vLLM schaltet das eigene Custom All-Reduce ab, weil es „not supported on more than two PCIe-only GPUs“ ist, und nutzt stattdessen NCCL; eine TP=4-Kopie läuft daher standardmäßig über NCCL, hält aber den meisten Cache. Zwei TP=2-Paare kommen ohne NCCL aus und bleiben zwei unabhängige Kopien. vLLM 0.30.0 (Release Notes vom 22. September 2026) hat einen optionalen FlashInfer-PCIe-IPC-All-Reduce für Systeme ohne NVLink eingeführt (#53576), den eine TP=4-Kopie ausprobieren kann. In einem Server mit zwei Sockeln vermeidet ein Paar unter demselben Prozessor die Verbindung zwischen den Sockeln; nvidia-smi topo -m zeigt den Pfad zwischen je zwei Karten. Unser Leitfaden zu einem Modell auf mehreren GPUs über PCIe oder NVLink erklärt die Optionen.

Tempo je Gespräch als Obergrenze

Ein dichtes Modell liest für jedes erzeugte Token alle Gewichte, die Speicherbandbreite setzt also eine Obergrenze für die Token pro Sekunde eines Gesprächs. Nach unserer Schätzung, mit rund 52 GB je Token in FP8:

Unsere Schätzung, eine Obergrenze: Speicherbandbreite aus NVIDIAs Datenblättern ÷ Größe des Checkpoints (52,0 GB FP8, 31,1 GB NVFP4); die TP=2-Zeile nimmt an, dass jede Karte die Hälfte der Gewichte liest, und lässt die Zeit für das All-Reduce über PCIe außer Acht.

Reale Raten liegen unter diesen Grenzen, beim L40S-Paar stärker, weil es in jeder Schicht auf PCIe wartet. Die Tabelle zeigt trotzdem den Punkt für ein Reasoning-Modell: Zwei L40S sind für ein einzelnes Gespräch nicht langsamer als eine neuere Karte, weil sie zusammen schneller aus dem Speicher lesen. Bei einem Gedankengang von einigen Tausend Token vor jeder Antwort bedeuten 30 Token pro Sekunde eine Antwort nach einer Minute oder mehr; deshalb lohnt es sich, das Reasoning für Routineaufgaben abzuschalten. Eine veröffentlichte Messung dieses Modells auf der L40S haben wir nicht gefunden; unsere Seite zu NVIDIA L40S Benchmarks sammelt die veröffentlichten Ergebnisse der Karte.

Software: vLLM und NIM auf der L40S

Die Model Card nennt NVIDIA Ampere und Hopper als empfohlene Mikroarchitekturen und eine H100-80GB als Testhardware; die L40S der Ada-Lovelace-Generation wird dort nicht genannt. Ihr vLLM-Beispiel installiert vLLM 0.9.2 und startet den FP8-Checkpoint mit --tensor-parallel-size=8, --max-model-len=65536, --quantization=modelopt, --enforce-eager und --trust-remote-code. Auf zwei L40S setzen Sie Tensor- oder Pipeline-Größe auf 2 und den Kontext auf das, was Ihre Gespräche brauchen, denn ein Kontext von 64K je Gespräch belegt nach unserer Rechnung 12,3 GiB 16-Bit-Cache, fast die Hälfte des freien Speichers des Paares. Verwenden Sie eine aktuelle vLLM-Version statt der aus der Model Card; unsere Seite zu vLLM-Sicherheitshinweisen zeigt, welche Version welche Lücke schließt.

NVIDIAs NIM-Support-Matrix für LLMs, Release 2.0.13, aktualisiert am 19. Oktober 2026, führt „NVIDIA-L40S“ unter den verifizierten GPUs für Llama-3.3-Nemotron-Super-49B-v1.5, neben der RTX PRO 6000 Blackwell Server Edition und der H200 NVL, mit Profilen in BF16, FP8 und NVFP4 für Tensor-Parallelismus mit 1, 2, 4 oder 8. Die optimierten Profile sind NVFP4 mit TP1 auf B200 und FP8 mit TP2 auf H200. Der produktive Einsatz eines NIM braucht eine Lizenz für NVIDIA AI Enterprise je GPU, die bei der L40S nicht enthalten ist; unser Leitfaden zu NVIDIA AI Enterprise Lizenzen erklärt die Bedingungen, und vLLM betreibt dieselben Checkpoints unter seiner Apache-2.0-Lizenz.

NVIDIA veröffentlicht das Modell auch in NVFP4 mit 31,1 GB; vom Speicher her passt diese Version auf eine L40S und lässt 8,4 GiB frei. Die L40S hat keine FP4-Tensor-Cores, eine Engine kann die 4-Bit-Gewichte also bestenfalls entpacken, und die Unterstützung von NVFP4 auf Ada unterscheidet sich nach Engine und Version, wie unser Leitfaden zu FP4-Modellen auf H200 NVL und Ada-GPUs darlegt. Testen Sie das auf Ihrem Server, bevor Sie damit planen.

Eine neuere Karte statt des Paares

RTX PRO 6000 Blackwell Server Edition. Eine Karte hält den FP8-Checkpoint mit 34,6 GiB Cache, 45 Gesprächen mit 8K bei FP8-Cache, mehr als das L40S-Paar, und rechnet NVFP4 nativ, was den Cache auf 54,1 GiB und die Obergrenze des Tempos auf rund 51 Token pro Sekunde hebt. Sie ist wie die L40S passiv gekühlt und zieht 300 bis 600 W gegenüber 700 W für zwei L40S. Sie braucht einen Steckplatz, ein 16-Pin-Stromkabel und einen Lüftersatz, die der Serverhersteller für sie freigibt; ein älteres L40S-Gehäuse ist also nicht automatisch geeignet. Unsere Seiten zu L40S vs RTX PRO 6000 Server Edition und zum Umrüsten eines L40S-Servers behandeln den Vergleich und den Tausch.

RTX PRO 5000 72 GB. Eine Karte hält die FP8-Gewichte mit 13,1 GiB Cache, 17 Gesprächen mit 8K bei FP8-Cache. Sie ist eine Workstation-Karte mit 300 W und aktivem Lüfter, im Rack gehört sie also nur in ein Gehäuse, dessen Hersteller sie freigibt; sie passt zu einem Entwicklungsteam, das das Modell auf Workstations betreibt. Unser Vergleich der RTX PRO 5000 mit 48 GB und 72 GB behandelt beide Versionen.

Das L40S-Paar behalten lohnt sich, wenn der Server steht, die Last bei einigen Dutzend Personen liegt und das Budget für neue Karten anderswo mehr bewirkt. Ein L40S-Server mit acht Karten betreibt vier Paare, nach unserer Schätzung insgesamt rund 136 Gespräche mit 8K, oder zwei Paare dieses Modells neben anderen Lasten.

Lizenz: NVIDIA Open Model License und Llama 3.3

Laut Model Card gilt für das Modell die NVIDIA Open Model License, mit dem Llama 3.3 Community License Agreement als zusätzlicher Information und dem Hinweis „Built with Llama“. Die NVIDIA Open Model License, zuletzt geändert am 24. Oktober 2025, hält fest: „Models are commercially usable.“ Ihre Rechte enden automatisch, wenn Sie eine Sicherheitsvorkehrung (Guardrail) des Modells umgehen, abschalten oder aushebeln, ohne eine im Wesentlichen gleichwertige einzusetzen; sie enden auch bei einem Patent- oder Urheberrechtsstreit über das Modell, und bei Weitergabe verlangt die Lizenz eine Kopie des Vertrags und den Hinweis „Licensed by NVIDIA Corporation under the NVIDIA Open Model License.“

Die Llama 3.3 Community License vom 6. Dezember 2024 verlangt bei Weitergabe eine Kopie des Vertrags, gut sichtbar „Built with Llama“ und „Llama“ am Anfang des Namens eines abgeleiteten Modells, das Sie weitergeben. Ein Lizenznehmer, dessen Produkte am Release-Datum von Llama 3.3 mehr als 700 Millionen monatlich aktive Nutzer hatten, muss nach ihrem Abschnitt 2 eine eigene Lizenz bei Meta beantragen. Ihre Acceptable Use Policy versagt die Rechte aus Abschnitt 1(a) für „any multimodal models included in Llama 3.3“ Unternehmen mit Hauptsitz in der EU, mit einer Ausnahme für Endnutzer; Nemotron Super 49B ist ein Textmodell, nach ihrem Wortlaut erfasst die Klausel es also nicht. Wie beide Lizenzen auf Ihr Unternehmen zutreffen, bestätigt Ihre Rechtsberatung.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team dimensioniert die Konfiguration nach Ihrer Last und Ihrem Budget und antwortet innerhalb eines Werktages. Wir liefern die L40S, die RTX PRO 6000 Server Edition und die RTX PRO 5000 als Karten für Ihre vorhandenen Server, nach einer Kompatibilitätsprüfung, oder in KI-Servern nach Maß, vor der Lieferung montiert und getestet, mit EU-Vertrag und EU-Rechnung und mit Herstellergarantie auf jede Komponente. Lizenzen für NVIDIA AI Enterprise für NIM kommen auf dieselbe Rechnung. Das Modell mit Retrieval und Gateway einzurichten, ist unser Service Private AI/ML, umgesetzt mit unserem Engineering-Partner Vixen.UNO; nennen Sie uns die L40S-Server, die Sie heute betreiben, und wir sagen Ihnen, was das Modell darauf braucht.

FAQ