Qwen3.8-27B auf NVIDIA L40S und RTX 6000 Ada: FP8 auf Ada und Nutzer je Karte

Qwen3.8-27B auf einer Ada-Karte mit 48 GB

Qwen3.8-27B läuft in Qwens FP8-Version auf einer NVIDIA L40S: Die 28,7 GiB Gewichte passen in die 48 GB der Karte und lassen nach unserer Regel für Nutzer je Karte mit eingeschaltetem ECC 8,6 GiB frei. Das ist Platz für 7 gleichzeitige Gespräche mit 32.768 Token bei FP8-Cache oder 21 mit 8.192 Token; eine Karte bedient also ein Team und eine Flotte von Karten eine Abteilung. Das blockskalierte FP8 des Checkpoints läuft auf Ada in vLLM und SGLang über Triton-Kernel, und einen veröffentlichten Durchsatzwert für diesen Weg mit diesem Modell haben wir nicht gefunden.

Diese Seite richtet sich an Unternehmen mit L40S-Servern oder RTX-6000-Ada-Workstations, die das aktuelle dichte Qwen-Modell darauf betreiben wollen. Dasselbe Modell auf der Blackwell-Karte mit 32 GB, wo es in FP8 zwei Karten braucht, behandelt unsere Seite zu Qwen3.8-27B auf der RTX PRO 4500 Server Edition, die auch den Cache je Gespräch herleitet. Auf Ada unterscheiden sich der Speicher mit ECC, die FP8-Kernel und das fehlende FP4.

Speicher der L40S mit und ohne ECC

Die L40S trägt 48 GB GDDR6 mit ECC bei 864 GB/s, 733 TFLOPS dichtes FP8 und 350 W, angebunden über PCIe 4.0 x16, ohne NVLink und ohne MIG. NVIDIAs CUDA Best Practices Guide hält fest, dass ECC auf GDDR-Speicher 6,25 Prozent der Kapazität belegt. Hochgerechnet von den 97.887 MiB, die eine 96-GB-Karte meldet, zeigt eine 48-GB-Karte rund 47,8 GiB, mit ECC 44,8 GiB. Unsere Regel nimmt 90 Prozent und zieht 3 GiB ab; so bleiben 37,3 GiB mit ECC und 40,0 GiB ohne, wie unsere Seite zum Server mit acht L40S vorrechnet. Prüfen Sie den Wert mit nvidia-smi -q in dem ECC-Modus, den Sie betreiben.

Unsere Schätzungen nach der Regel für Nutzer je Karte, keine Messungen, für eine L40S: Gewichte 28,7 GiB (30,9 GB) in FP8, 20,4 GiB (21,9 GB) in NVIDIAs NVFP4-Version und 51,8 GiB (55,6 GB) in BF16, aus den Dateilisten auf Hugging Face, gelesen am 24. Oktober 2026; Cache 0,39 GiB je Gespräch mit 8K und 1,14 GiB mit 32K in FP8, 2,14 GiB mit 32K in 16 Bit, einschließlich des festen Linear-Attention-Zustands.

Der FP8-Cache zählt auf einer 48-GB-Karte mehr als auf einer mit 96 GB. Mit 16-Bit-Cache hält eine Karte nur vier Gespräche mit 32K, genug für einen Pilotbetrieb, nicht für einen Dienst. vLLM setzt den FP8-Cache mit --kv-cache-dtype fp8, und sein Rezept zu Qwen3.8-27B verwendet ihn in den meisten Befehlen. Wer ECC abschaltet, gewinnt je Karte 2,7 GiB Cache und verliert die Fehlerkorrektur des Speichers; für einen produktiven Dienst lassen wir ECC eingeschaltet und legen nach der ersten Zeile aus.

Wie Qwens blockskaliertes FP8 auf Ada läuft

Die L40S, die L4 und die RTX-Ada-Karten haben Compute Capability 8.9 und FP8-Tensor-Cores; FP8 ist also die native Genauigkeit dieser Generation. Qwens FP8-Version ist eine besondere Art von FP8. Ihre config.json setzt e4m3-Werte, dynamische Skalen für die Aktivierungen und eine weight_block_size von 128 × 128 und lässt Vision-Encoder, Embeddings, Ausgabeschicht und die Parameter der Linear Attention unquantisiert. Jeder Block der Gewichtsmatrizen trägt eine eigene Skala, und dafür braucht es Kernel, die diese Skalen innerhalb der Matrixmultiplikation anwenden.

Was die Engines für dieses Format auf Ada dokumentieren, Stand Oktober 2026:

• SGLang. Seine Quantisierungsseite führt die Kernel für blockweises FP8 nach Chip auf: DeepGEMM für SM90 und SM100, FlashInfer TensorRT-LLM für SM100, CUTLASS für SM120 und Triton als „Fallback; widely compatible“ für alle. Die automatische Auswahl geht in dieser Reihenfolge vor, auf SM89 landet sie also bei Triton.
• vLLM. Seine FP8-Hilfsfunktionen enthalten einen Triton-Kernel für die blockskalierte FP8-Matrixmultiplikation, w8a8_triton_block_scaled_mm. vLLMs Rezept zu Qwen3.8-27B, aktualisiert am 15. Oktober 2026, nennt Testsysteme mit Consumer-Blackwell, Intel- und Ascend-Hardware, keines mit Ada.
• TensorRT-LLM. Seine Quantisierungsmatrix führt für Ada nur FP8 je Tensor; Qwens blockskalierte Version steht für diese Generation also nicht auf der Liste.

Die Architektur des Modells läuft in vLLM auf Ada: StorageReview hat eine NVFP4-Version von Qwen3.8-27B auf der L40S mit vLLM 0.27.1 betrieben, wie der nächste Abschnitt zeigt. Eine veröffentlichte Messung von Qwens FP8-Version auf einer Ada-Karte haben wir nicht gefunden; die Geschwindigkeit des Triton-Wegs für dieses Modell ist also ein Wert für einen Testlauf, nicht für ein Datenblatt.

Aus genau diesem Grund gibt es auf Hugging Face FP8-Versionen der Community mit Skalen je Kanal. Eine davon, deren Model Card sich selbst als „a community quantization, not an official Qwen release“ beschreibt, hält fest, dass FP8 je Kanal auf SM 8.9 CUTLASS nutzt, während Block-128 „falls back to a Triton kernel“. Sie lässt die Linear-Attention-Schichten in BF16 und kommt auf rund 37 GB; auf einer L40S mit ECC bleiben damit rund 2,9 GiB, nach unserer Regel zwei Gespräche mit 32K. Qwens eigene Version lässt dreimal so viel Cache, was für die meisten Flotten einen schnelleren Kernel aufwiegt.

NVFP4 auf einer Ada-Karte: nur Weight-only

Ada hat keine FP4-Tensor-Cores. vLLM lädt NVFP4-Checkpoints auf diesen Karten als Weight-only-W4A16 über seine Marlin-Kernel und protokolliert eine Warnung, dass dies bei rechenintensiver Arbeit den Durchsatz senken kann, wie unser Beitrag zu FP4-Modellen auf H200 NVL und Ada-GPUs darlegt. Die Gewichte bleiben im Speicher in 4 Bit und werden in jeder Multiplikation in 16 Bit umgewandelt.

NVIDIAs NVFP4-Version von Qwen3.8-27B mit 21,9 GB nennt Blackwell als unterstützte Mikroarchitektur. Auf einer L40S ließe sie mit ECC 16,9 GiB für den Cache frei, doppelt so viel wie die FP8-Version, nach unserer Regel 14 Gespräche mit 32K. Für Ada-Flotten mit knappem Speicher lohnt daher ein Test, mit dem Vorbehalt, dass NVIDIA diese Generation dafür nicht nennt.

StorageReviews Messung zeigt in dieselbe Richtung. In seiner Übersicht vom 14. Oktober 2026 mit NGC vLLM 26.08 (vLLM 0.27.1) in einem Dell PowerEdge R770 erreichte die L40S, die keine FP4-Tensor-Cores hat, mit einer NVFP4-Version von Qwen3.8-27B bei 32 parallelen Datenströmen mit je 512 Token Ein- und Ausgabe 480 Ausgabe-Token pro Sekunde „by dequantizing“, gegenüber 320 für die RTX PRO 4500 Server Edition und 616 für eine RTX PRO 6000 Workstation Edition, die StorageReview in einer Workstation getestet hat. Mit 8.192 Token Eingabe und 1.024 Ausgabe erreichte die L40S 190. Ein einzelner Datenstrom lief auf jeder Karte mit 17 bis 22 Token pro Sekunde. Welche NVFP4-Version StorageReview verwendet hat, nennt der Bericht nicht. Unsere Benchmark-Übersicht zur L40S sammelt die übrigen veröffentlichten Werte der Karte.

vLLM 0.32.0 vom 18. Oktober 2026 brachte einen NVFP4-KV-Cache für SM8x. Für ein Hybridmodell mit Linear-Attention-Zustand haben wir ihn nicht ausgelegt; er gehört in denselben Testlauf.

Wir liefern L40S-Karten und -Server und ergänzen bestehende Flotten; schicken Sie uns Ihre vorhandenen Server, die Kontextlänge und die geplante Spitze laufender Anfragen, und unser Team antwortet mit einer Aufteilung für Qwen3.8-27B.

Acht Kopien oder vier Paare auf acht L40S

Ein Server mit acht L40S kann acht unabhängige Kopien betreiben, eine je Karte, oder vier Kopien, die per Tensor-Parallelismus (TP=2) auf je zwei Karten verteilt sind. Ein Paar bietet mit ECC 74,6 GiB; abzüglich 28,7 GiB Gewichte bleiben 45,9 GiB, und 45,9 ÷ 1,14 ergibt 40 Gespräche mit 32K je Paar.

Unsere Schätzungen nach der Regel für Nutzer je Karte, keine Messungen: gleichzeitige Gespräche in voller Länge mit FP8-Cache, ECC an, sofern nicht anders angegeben; nutzbarer Speicher 37,3 GiB je Karte mit ECC, 40,0 GiB ohne. Die NVFP4-Zeile setzt den oben beschriebenen Weight-only-Weg voraus.

Paare halten fast dreimal so viele Gespräche, weil die Gewichte vier- statt achtmal gespeichert sind. Sie bezahlen das mit Verkehr über PCIe 4.0 in jeder Schicht. Bei genau zwei GPUs je Kopie behält vLLM seinen Custom-All-Reduce, wenn der Peer-to-Peer-Test besteht, und vLLMs Leitfaden zur Parallelisierung nennt die L40S unter den GPUs ohne NVLink, für die er Pipeline-Parallelismus statt Tensor-Parallelismus empfiehlt. In einem Server mit zwei Sockeln zeigt nvidia-smi topo -m, welche Karten an einem Prozessor hängen; halten Sie jedes Paar an einem Sockel. Unser Beitrag zu einem Modell auf mehreren GPUs über PCIe oder NVLink behandelt die Wahl.

Acht Kopien haben einen eigenen Vorteil: Eine ausgefallene Karte nimmt ein Achtel der Kapazität aus dem Dienst, und jede Kopie startet für sich neu. Eine gemischte Aufteilung, etwa zwei Paare für Qwen3.8-27B und vier Karten für ein Embedding-Modell, einen Reranker und kleinere Modelle, passt oft besser zu einer Abteilung als eine einzige Aufteilung für alle acht Karten, wie unser Leitfaden zum Betrieb mehrerer Modelle auf einem GPU-Server erklärt.

Geschwindigkeit je Nutzer auf der L40S

Ein dichtes Modell liest für jedes erzeugte Token alle Gewichte. Qwens FP8-Checkpoint ohne seine Embedding-Tabelle mit 2,5 GB umfasst rund 28,3 GB; nach unserer Schätzung kommt eine L40S mit 864 GB/s damit auf höchstens rund 30 Token pro Sekunde für einen einzelnen Nutzer, eine RTX 6000 Ada mit 960 GB/s auf rund 34 und ein ideales TP=2-Paar aus L40S auf rund 61, vor den Kosten des All-Reduce. Reale Werte liegen unter diesen Grenzen, und bei vielen Nutzern teilt sich der Batch jeden Lesedurchgang der Gewichte.

Qwen3.8-27B denkt standardmäßig nach, bevor es antwortet, wie seine Model Card festhält; Antworten enthalten daher mehr Token als die eines einfachen Chatmodells. Bei 30 Token pro Sekunde dauert ein Denkblock mit 1.000 Token mehr als eine halbe Minute, bevor die Antwort beginnt. Für interaktive Nutzung steuern Sie den Denkmodus je Anfrage, oder Sie wählen Paare, die neben der Zahl der Gespräche auch die Geschwindigkeit je Nutzer erhöhen.

Workstations mit RTX 6000 Ada

Die RTX 6000 Ada hat dieselbe Ada-Kernkonfiguration und dieselben 48 GB GDDR6 mit ECC wie die L40S, dazu einen aktiven Lüfter, 300 W und 960 GB/s. Die Speicherwerte und Aufteilungen oben gelten daher unverändert, und die Obergrenze für einen einzelnen Datenstrom liegt rund 11 Prozent höher. Eine Workstation mit zwei Karten hält nach unserer Regel ein TP=2-Paar mit 40 Gesprächen zu 32K oder zwei Kopien mit je sieben, für ein Team, das mit dem Modell entwickelt. Unser Vergleich RTX 6000 Ada und L40S erklärt, wohin welche Karte gehört, und unsere Seite RTX-6000-Ada-Workstation kaufen führt die Konfigurationen auf.

Strom für vier und acht L40S

Bei 350 W je Karte brauchen vier L40S 1.400 W und mit zwei AMD EPYC 9355 zu 280 W und 15 Prozent für den übrigen Server nach unserer Schätzung rund 2,3 kW an der Steckdose, die ein 230-V-Anschluss mit 16 A je Seite trägt. Acht Karten brauchen 2.800 W und der Server rund 3,9 kW; dafür ist je Seite ein einphasiger Anschluss mit 32 A oder Drehstrom nötig. Eine Messung am gelieferten System bestätigt beide Werte. Konfigurationen und Gehäuse stehen auf unserer Seite L40S-Server kaufen.

Blackwell-Karten zu einer Ada-Flotte hinzufügen

Wo Qwen3.8-27B viele Nutzer mit langem Kontext bedienen soll, ändert eine Karte mit 96 GB die Rechnung. Eine RTX PRO 6000 Server Edition hält die FP8-Gewichte nach unserer Regel mit 47 Gesprächen zu 32K, mehr als ein Paar aus L40S, rechnet NVFP4 nativ und hat MIG. Unser Vergleich L40S und RTX PRO 6000 Server Edition wägt beide ab, und unser Leitfaden zum Mischen von Ada- und Blackwell-GPUs behandelt Treiber, CUDA-Versionen und Scheduling, wenn beide Generationen in einem Bestand laufen. Für Ada-Flotten heißt der praktische Weg: Qwens FP8-Version auf den L40S-Servern belassen, die NVFP4-Version für mehr Speicher testen und neue Arbeit mit langem Kontext auf Blackwell legen.

Was wir liefern

Dieses System können Sie bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir liefern die L40S und die RTX 6000 Ada als Karten und bauen KI-Server auf Bestellung mit vier oder acht L40S in Gehäusen, deren Hersteller sie freigeben, vor der Lieferung montiert und getestet, mit EU-Vertrag und EU-Rechnung und mit Herstellergarantie auf jede Komponente. Für Flotten, die auf Blackwell wechseln, liefern wir auch die RTX PRO 6000 Server Edition und die RTX PRO 4500 Server Edition.

FAQ