Qwen3.8-27B auf NVIDIA RTX PRO 4500 Blackwell Server Edition: eine Karte, Paare und Nutzer

Qwen3.8-27B auf einer Karte mit 32 GB

Qwen3.8-27B passt in Qwens FP8-Version nicht auf eine NVIDIA RTX PRO 4500 Blackwell Server Edition: Seine 28,7 GiB Gewichte übersteigen die 25,7 GiB, die unsere Regel für Nutzer je Karte auf einer 32-GB-Karte übrig lässt. NVIDIAs NVFP4-Version mit 20,4 GiB passt auf eine Karte mit Platz für wenige Gespräche, und die FP8-Version läuft per Tensor-Parallelismus auf einem Paar (TP=2) mit rund 19 Gesprächen zu 32K Token und FP8-Cache. Für eine Abteilung, die vor allem dieses Modell nutzt, hält eine RTX PRO 6000 Server Edition mehr Gespräche als zwei Paare der kleineren Karte.

Die RTX PRO 4500 Server Edition ist die passive Rechenzentrumskarte mit einem Slot, 32 GB GDDR7 mit 800 GB/s und 165 W, beschrieben in unserem Leitfaden zur RTX PRO 4500 Blackwell Server Edition. Unsere Seiten zu vier Karten in 2U und acht Karten legen Qwen3-Modelle der vorigen Generation aus; diese Seite beantwortet die Frage für Qwen3.8-27B, das dichte Modell mit Vision-Encoder, das Qwen im August 2026 veröffentlicht hat.

Checkpoints von Qwen3.8-27B und ihre Größe

Dateilisten von Qwen/Qwen3.8-27B-FP8 und nvidia/Qwen3.8-27B-NVFP4 auf Hugging Face, gelesen am 24. Oktober 2026; BF16-Größe aus unserem Qwen-Leitfaden. Eignung nach unserer Regel für Nutzer je Karte, 25,7 GiB je Karte. SE: Server Edition.

NVIDIAs Model Card zur NVFP4-Version nennt Blackwell als unterstützte Mikroarchitektur und eine GB300 als Testsystem. Sie quantisiert die MLP-Schichten und die Ausgabeschicht auf NVFP4, die Self-Attention- und Linear-Attention-Schichten auf FP8, erstellt mit Model Optimizer 0.48.0. Gegenüber BF16 meldet NVIDIA 88,01 statt 88,92 bei GPQA Diamond, 74,86 statt 75,14 bei MMMU-Pro und 78,93 statt 80,07 bei IFBench. Die Seite zeigt in den Metadaten „18B params“, im Text 27B. Laut NVIDIA gilt Apache 2.0, die Lizenz des Basismodells.

vLLMs Rezept zu Qwen3.8-27B, aktualisiert am 15. Oktober 2026, führt auch NVFP4-Versionen Dritter und hält fest, dass das Modell „Fits one Blackwell GPU in every precision: NVFP4 in 24.6 GiB“. Eine Version mit 24,6 GiB lässt auf einer 4500 Server Edition nach unserer Regel rund 1 GiB frei, zu wenig für Nutzer, NVIDIAs Version dagegen 5,3 GiB. Auf einer 32-GB-Karte kommt es also auf die NVFP4-Version an.

MIG hilft hier nicht. Die Karte teilt sich in zwei Hälften 1g.16gb, und eine Hälfte, die rund 15,9 GiB meldet, nimmt nach unserer Regel 11,4 GiB Gewichte und Cache auf, weniger als jeder dieser Checkpoints.

Cache je Gespräch, für Text und Dokumente

Qwen3.8-27B hält einen vollständigen KV-Cache nur in 16 seiner 64 Schichten. Laut config.json haben diese Schichten vier KV-Heads mit 256 Werten, 64 KiB je Token in 16 Bit; die übrigen 48 Schichten nutzen Gated-DeltaNet-Linear-Attention mit einem festen Zustand aus 48 Value-Heads zu je 128 × 128 Werten in float32, 144 MiB je Gespräch. Unser Leitfaden zu Qwen-Hardware­anforderungen leitet die Werte her.

Unsere Rechnung aus der config.json von Qwen/Qwen3.8-27B-FP8, gelesen am 24. Oktober 2026: 16 × 2 × 4 × 256 Werte je Token plus 48 × 48 × 128 × 128 float32-Werte Linear-Attention-Zustand je Gespräch.

Das Modell liest neben Text auch Bilder, was für die Arbeit mit Dokumenten zählt. Der Vision-Encoder arbeitet mit Patches von 16 Pixeln und fasst 2 × 2 davon zusammen; nach unserer Rechnung deckt ein Bild-Token also 32 × 32 Pixel ab, vor einer etwaigen Skalierung durch den Bildprozessor. Eine A4-Seite mit 150 dpi gescannt, 1.240 × 1.754 Pixel, ergibt rund 2.100 Token, zehn Seiten rund 21.000, mehr als ein Kontext von 8K fasst. Legen Sie Dokumentassistenten auf 32K aus. vLLMs Rezept hält fest: „Text serving is what this recipe covers and what has been verified“, und NVIDIAs Befehl für die NVFP4-Version setzt --mm-encoder-tp-mode data, womit der Vision-Encoder auf jeder GPU einer verteilten Kopie läuft. Unser Leitfaden zu Vision-Language-Modellen für Document AI behandelt OCR-Pipelines mit kleineren Modellen.

Aufteilungen und Nutzer auf vier und acht Karten

Unsere Schätzungen nach der Regel für Nutzer je Karte, keine Messungen: gleichzeitige Gespräche in voller Länge, Cache je Gespräch wie in der Tabelle oben. Nutzbarer Speicher 25,7 GiB je RTX PRO 4500 Server Edition, 51,4 GiB je Paar, 102,8 GiB für vier; 83,0 GiB je RTX PRO 6000 Server Edition. SE: Server Edition.

Entscheidend ist die Rechnung für das Paar. Zwei Karten bieten 51,4 GiB; abzüglich 28,7 GiB FP8-Gewichte bleiben 22,7 GiB, und 22,7 ÷ 1,14 ergibt 19 Gespräche mit 32K, mit 16-Bit-Cache 10. Eine NVFP4-Kopie auf einer Karte lässt 5,3 GiB, also 4 Gespräche mit 32K. Eine RTX PRO 6000 Server Edition mit den FP8-Gewichten behält 54,3 GiB für den Cache, 47 Gespräche mit 32K, mehr als ein Server mit vier Karten als zwei Paare.

Gezählt werden Anfragen, die im selben Moment laufen. Mit den Beispielwerten unseres Leitfadens zum privaten ChatGPT-Server nach Unternehmens­größe erzeugen 500 Beschäftigte zur Spitze rund 20 gleichzeitige Anfragen; ein FP8-Paar hält sie mit 8K mit Reserve und mit 32K bis auf ein Gespräch. vLLMs Rezept setzt in den meisten Befehlen einen FP8-KV-Cache, wie diese Werte annehmen.

Wir liefern Karten der RTX PRO 4500 Server Edition und Server damit; schicken Sie uns Modell, Kontextlänge und die geplante Spitze laufender Anfragen, und unser Team antwortet mit Aufteilung und Kartenzahl für Qwen3.8-27B.

FP8-Blöcke und FP4 auf der Blackwell-4500

Qwens FP8-Version skaliert die Gewichte in Blöcken von 128 × 128 mit dynamischen Skalen für die Aktivierungen, wie die config.json angibt, und lässt Vision-Encoder, Embeddings, Ausgabeschicht und die Parameter der Linear Attention unquantisiert. Die RTX PRO 4500 Server Edition ist eine Blackwell-Karte der SM120-Familie, und für diese Familie dokumentieren die Engines unterschiedliche Wege:

• vLLM. Das Rezept zu 27B lief auf zwei Consumer-Blackwell-Karten derselben Chipfamilie mit TP=2 und hält fest: „The block-scaled FP8 checkpoint needs no workaround.“ vLLM 0.30.0 vom 22. September 2026 machte natives W4A4-NVFP4 auf SM120 zum Standard vor Weight-only-Kerneln (Pull-Request #55170).
• SGLang. Seine Quantisierungsdokumentation führt in der automatischen Auswahl einen CUTLASS-Kernel für blockweises FP8 auf SM120 und FlashInfer CUTLASS für NVFP4 auf SM120.
• TensorRT-LLM. Seine Quantisierungsmatrix (1.4.0rc1, 19. Oktober 2026) führt für SM120 NVFP4 und FP8 je Tensor, aber keine FP8-Blockskalierung; Qwens FP8-Version ist auf dieser Karte also eine Aufgabe für vLLM oder SGLang.

Der gemessene Durchsatz bleibt hinter der Hardware zurück. StorageReview hat eine NVFP4-Version von Qwen3.8-27B auf der Karte in einem Dell PowerEdge R770 mit NGC vLLM 26.08 (vLLM 0.27.1) getestet und die Ergebnisse am 14. Oktober 2026 veröffentlicht. Bei 32 parallelen Datenströmen mit je 512 Token Ein- und Ausgabe lieferte die Karte 320 Ausgabe-Token pro Sekunde, gegenüber 480 für eine L40S, die keine FP4-Tensor-Cores hat, und 616 für eine RTX PRO 6000 Workstation Edition, getestet in einer Workstation; mit 8.192 Token Eingabe und 1.024 Ausgabe waren es 153. Ein einzelner Datenstrom lief auf jeder Karte mit 17 bis 22 Token pro Sekunde. StorageReview maß auf den Matrixeinheiten der Karte 568,6 TFLOPS in NVFP4 gegenüber 280,1 in FP8 und folgerte: „NVFP4 is a software story, on every card“. Unsere Übersicht der Benchmarks der RTX PRO 4500 sammelt die übrigen Ergebnisse. Testen Sie die vLLM-Version, die Sie einsetzen werden, bevor Sie mit FP4-Durchsatz rechnen.

Tensor-Parallelismus TP=2: ein Paar über PCIe

Die Karte hat kein NVLink, ein Paar tauscht Teilergebnisse also in jeder Schicht über PCIe 5.0 aus. Bei genau zwei GPUs behält vLLM seinen Custom-All-Reduce, wenn der Peer-to-Peer-Test beim Start besteht; mit vier GPUs in einer Kopie weicht es standardmäßig auf NCCL aus, sofern nicht der optionale FlashInfer-PCIe-IPC-All-Reduce eingeschaltet ist, den vLLM 0.30.0 für Systeme ohne NVLink eingeführt hat (Release Notes vom 22. September 2026, #53576). Damit sind zwei Paare auf einem Server mit vier Karten die einfachere Aufteilung und eine TP=4-Kopie die Aufteilung mit den meisten Gesprächen. vLLMs Rezept beziffert die FP8-Gewichte auf zwei GPUs mit 14,28 GiB je GPU, passend zur Hälfte unserer 28,7 GiB. Unser Beitrag zu einem Modell auf mehreren GPUs über PCIe oder NVLink stellt die Abwägung dar.

Die Bandbreite begrenzt das einzelne Gespräch. Ein dichtes Modell liest seine Gewichte je erzeugtem Token einmal; der FP8-Checkpoint ohne seine Embedding-Tabelle mit 2,5 GB (248.320 × 5.120 Werte in 16 Bit) umfasst rund 28,3 GB. Ein Paar mit 2 × 800 GB/s kommt daher nach unserer Schätzung auf höchstens rund 56 Token pro Sekunde für einen Nutzer, vor den Kosten des All-Reduce, etwa so viel wie eine RTX PRO 6000 Server Edition mit 1.597 GB/s. In einem Server mit zwei Sockeln zeigt nvidia-smi topo -m, welche Karten an einem Prozessor hängen; ein Paar an einem Sockel vermeidet die Verbindung zwischen den Sockeln.

Desktops und ein Modell in einem Server

Viele Käufer wählen die 4500 Server Edition für virtuelle Desktops und KI zugleich. NVIDIAs Sizing-Leitfaden für vPC nennt 16 Desktops je Karte mit 2-GB-Profilen, und die Karte braucht vGPU 20 oder neuer, auf dem Zweig R595, den NVIDIA bis März 2027 unterstützt, wie unser Leitfaden zu vGPU-Profilen der RTX PRO 4500 Server Edition erklärt. Qwen3.8-27B in FP8 braucht zwei ganze Karten, denn NVIDIAs MIG-Leitfaden hält fest, dass NCCL mit MIG nicht unterstützt wird. In einem Server mit vier Karten bleiben neben einem Paar für das Modell zwei Karten für 32 Desktops bei dieser Dichte. Ob Desktops und Modell mit Ihrem vGPU-Release unter einem Hypervisor-Host laufen, prüfen wir mit der Konfiguration; für eine feste Aufteilung sind getrennte Hosts die sauberere Lösung.

Strom und Rackplatz

Bei 165 W je Karte brauchen vier Karten 660 W und der Server mit zwei AMD EPYC 9355 zu 280 W und 15 Prozent für den Rest nach unserer Schätzung rund 1,4 kW an der Steckdose; acht Karten rund 2,2 kW. Beides bleibt innerhalb der 2,94 kW, die wir je 230-V-Anschluss mit 16 A planen. Eine RTX PRO 6000 Server Edition allein braucht bis zu 600 W, etwa so viel wie vier Karten der 4500 Server Edition, und ein Server mit vier davon rund 3,4 kW. Eine Messung am gelieferten System bestätigt diese Schätzungen. Die 2U-Gehäuse, die vier Karten freigeben, stehen auf unserer Seite Server mit 4× RTX PRO 4500 Server Edition kaufen.

Wann eine RTX PRO 6000 Server Edition die bessere Wahl ist

Ist Qwen3.8-27B die Hauptlast, hält eine RTX PRO 6000 Server Edition die FP8-Gewichte nach unserer Regel mit 47 Gesprächen zu 32K, gegenüber 19 für ein Paar der 4500 Server Edition, ohne Verkehr über PCIe und mit derselben Obergrenze für einen einzelnen Stream. Ein 2U-Server mit zwei davon, unsere Einstiegskonfiguration, hält als zwei Kopien rund 94. Unsere Seite zum Server mit zwei RTX PRO 6000 Server Edition rechnet es vor.

Die 4500 Server Edition passt besser, wo ein Server Desktops, MIG-Instanzen für kleine Modelle und Qwen3.8-27B als eine von mehreren Lasten trägt, oder wo die begrenzten Steckplätze eines 2U-Gehäuses und ein 16-A-Anschluss die größere Karte ausschließen. Unser Vergleich acht RTX PRO 4500 oder vier RTX PRO 6000 Server Edition wägt beide für ganze Server ab, und dasselbe Modell auf Ada-Karten mit 48 GB behandelt unsere Seite zu Qwen3.8-27B auf der L40S. Volles Feintuning des Modells gehört auf H200 NVL, wie unser Leitfaden zum vollen Feintuning von Qwen3.8-27B zeigt.

Was wir liefern

Dieses System können Sie bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir liefern die RTX PRO 4500 Server Edition als Karte und bauen KI-Server auf Bestellung mit vier oder acht davon in Gehäusen, deren Hersteller sie freigeben, vor der Lieferung montiert und getestet, mit EU-Vertrag und EU-Rechnung und mit Herstellergarantie auf jede Komponente. vGPU- und NVIDIA-AI-Enterprise-Lizenzen kommen auf dieselbe Rechnung. Den Betrieb von Qwen3.8-27B mit Retrieval auf Ihren Dokumenten übernimmt unser Service Private AI/ML; beschreiben Sie die Dokumente und Nutzer, an die Sie denken, und wir legen die Paare aus.

FAQ