NVIDIA DGX Spark: echte Benchmarks und Grenzen

Was drinsteckt

Das Herz ist der GB10-Grace-Blackwell-Chip: zwanzig Arm-Kerne (10× Cortex-X925 + 10× Cortex-A725) plus eine Blackwell-GPU mit 6.144 CUDA-Kernen und Tensor-Kernen der fünften Generation. CPU und GPU teilen sich kohärenten Speicher über NVLink-C2C – nichts wird je zwischen RAM und VRAM kopiert.

Die erste Überraschung für neue Besitzer: Das System zeigt etwa 119–122 GiB statt 128 GB. Ein Teil davon sind die Einheiten (Linux zählt in Gibibyte), der Rest ist Speicher, den Firmware und GPU-Treiber reservieren; unabhängige Tests messen rund 121 GiB nutzbar pro Gerät. NVIDIA hat dazu eine eigene Knowledge-Base-Notiz veröffentlicht, weil die Frage immer wiederkam.

Das Limit, das die Folien überspringen

Ein LLM arbeitet in zwei Phasen: Es liest Ihren Prompt (Prefill) und gibt dann die Antwort Token für Token aus (Decode). Prefill ist rechenlimitiert; Decode ist speicherlimitiert, denn für jedes Token werden alle Gewichte des Modells einmal gelesen.

Der Spark hat Rechenleistung im Überfluss und Speicher, der sich mit 273 GB/s bewegt – siebzehnmal langsamer als eine H200 NVL. Diese Lücke erklärt fast jede Besitzer-Beschwerde. Die Streuung bei gpt-oss 120B sieht so aus:

Eine 3,8-fache Streuung bei ein und demselben Modell – verschiedene Engines, Builds, Quantisierungsformate und Testdaten. Einen Prompt mit 1.725 Tok/s zu lesen ist wirklich schnell; mit 55 Tok/s zu generieren ist weit schneller, als jemand lesen kann. Für Chat gut, für Batch-Dokumentpipelines dünn.

Die Zahl, die man vor dem Kauf kennen muss

Die meisten Käufer wollen die 128 GB für 70B-Klasse-Modelle, die keine normale GPU fasst. LMSYS hat Llama 3.1 70B in FP8 mit einem Nutzer gemessen: 2,7 Token pro Sekunde. Eine Antwort von dreihundert Wörtern braucht etwa zweieinhalb Minuten, bis sie fertig getippt ist. Das Modell passt und läuft – die Frage ist, ob Sie ihm beim Denken zusehen wollen. Für Nachtläufe akzeptabel, interaktiv schmerzhaft.

Die Arithmetik bestätigt es: Ein dichtes 70B in FP8 wiegt ~70 GB, jedes Token liest alles davon, und 70 GB bei 273 GB/s deckeln das Tempo unter vier Token pro Sekunde. Die gemessenen 2,7 liegen genau in dieser Rechnung.

Der Teil, der das Bild ändert

Alles oben gilt für einen Nutzer. Stapeln sich die Anfragen, werden die Gewichte einmal pro Batch gelesen – dann ist die Maschine ein anderes Kaliber. Die vLLM-Messungen von Dendro Logic:

Token pro Sekunde, aggregiert

Ein 120-facher Zuwachs bei Nemotron Super 49B ist kein Tippfehler. Der Spark wurde gebaut, um eine Arbeitslast zu bedienen, nicht um mit einer Person zu chatten. Ein Team von fünfzehn Entwicklern hinter einem internen Coding-Assistenten – ja. Ein Enthusiast mit dem größten herunterladbaren Modell – das Geld floss in die falsche Richtung.

Strom, und die Petaflop-Fußnote

In NVIDIAs Forum steht ein bezeichnender Thread: „Only getting half the advertised performance and capping at 100W“. Das Gerät war in Ordnung. 240 W ist die Nennleistung des externen Netzteils; der GPU-Teil zieht höchstens 120 W, der Rest ist für CPU, ConnectX-7 und Peripherie budgetiert. Auch das beworbene Petaflop braucht seine Fußnote: FP4 mit Sparsity, geliefert in kurzen Spitzen. Der Leerlaufverbrauch ist nicht spezifiziert; der Netzwerkchip erwies sich als Hauptverbraucher im Idle, teilweise per Firmware behoben.

Zwei Knoten

Zwei Sparks verbinden sich direkt über ein QSFP-Kabel und teilen sich ein Modell über 2 × 128 GB, tensor- oder pipeline-parallel über den Link geshardet; NVIDIAs Angabe zum Launch war Unterstützung für Modelle bis 405B Parameter auf diesem Weg (die Produktseite nennt inzwischen vier Geräte für bis zu 700B). Was die Kopplung nicht bringt, ist Tempo für einen einzelnen Nutzer: In Community-Tests mit llama.cpp gewinnt das Prompt-Lesen 6–25%, die Generierung praktisch nichts. Man koppelt, um ein größeres Modell unterzubringen – nicht, um schneller Antworten zu bekommen; Batch-Serving ist die Ausnahme.

Für wen er passt – und für wen nicht

Gut geeignet: CUDA-Entwicklung mit produktionsidentischer Umgebung ohne monatliche Cloud-Rechnung; Daten, die das Haus nicht verlassen dürfen; ein Team, das gleichzeitig bedient werden muss; QLoRA-Fine-Tuning bis 70B mit Geduld. Schlecht geeignet: flotter interaktiver Chat auf dem größten verfügbaren Modell; Windows-only-Toolchains (DGX OS ist aarch64-Linux); Gaming oder klassisches Rendering.

Was wir liefern

Eurokommerz liefert den NVIDIA DGX Spark (Founders Edition, 4 TB) in die ganze EU – auf Bestellung verfügbar, dazu NVIDIA-AI-Enterprise-Subscriptions; Cluster aus mehreren Geräten richten wir mit NVIDIA Sync ein. Wenn der Prototyp dem Schreibtisch entwächst, konfigurieren wir den nächsten Schritt – GPU-Server oder Nutanix-NX-Knoten.

FAQ