NVIDIA DGX Spark Benchmarks: Token pro Sekunde, Speicherbandbreite und TDP

DGX Spark: Token pro Sekunde nach Modell

Bei einer einzelnen Anfrage generiert DGX Spark je nach Modell, Engine und Build zwischen 2,7 Token pro Sekunde bei einem dichten 70B-Modell und rund 60 bei gpt-oss-120b; die Speicherbandbreite von 273 GB/s bestimmt dieses Tempo, und der GB10-Chip hat eine TDP von 140 W bei einem externen Netzteil mit 240 W. Bei vielen gleichzeitigen Anfragen erreicht der aggregierte Durchsatz mit gpt-oss-120b 862,8 Token pro Sekunde. Die Tabelle fasst die veröffentlichten Werte zusammen, die dieser Artikel bespricht; die Abschnitte darunter erklären die Streuung. Speicher, Bandbreite, TDP und Leistungsaufnahme stehen in unseren technischen Daten des DGX Spark.

Generierung in Token pro Sekunde. 1 Anfrage: ein Nutzer; Spitze, aggregiert: alle gleichzeitigen Anfragen zusammen, bei der angegebenen Zahl von Anfragen. Werte wie von LMSYS und NVIDIA (Oktober 2025), ServeTheHome (Test zum Marktstart) und Dendro Logic (vLLM 26.03, April 2026; aus dem Quellcode gebautes vLLM auf einem GB10-System eines Partners, Mai 2026) veröffentlicht. Jeder Lauf nutzte eigene Engine, eigenen Build und eigenes Quantisierungsformat; Zeilen mit verschiedenen Engines sind daher nicht direkt vergleichbar.

Was drinsteckt

DGX Spark basiert auf dem GB10-Grace-Blackwell-Chip, der zwanzig Arm-Kerne (10× Cortex-X925 + 10× Cortex-A725) mit einer Blackwell-GPU kombiniert, die 6.144 CUDA-Kerne und Tensor-Kerne der fünften Generation hat. CPU und GPU teilen sich kohärenten Speicher über NVLink-C2C, es gibt also keinen separaten VRAM und keine Kopie über einen PCIe-Bus zwischen CPU- und GPU-Speicher.

In der Konfiguration mit 128 GB zeigt das System etwa 119 bis 122 GiB. Den Rest halten Firmware und GPU-Treiber zurück, darunter eine Reserve für die Anzeige, standardmäßig 2 GB und seit Juli 2026 auf 4 GB erhöhbar; seit NVIDIAs Release vom Oktober 2026 kann ein Spark ohne angeschlossenen Bildschirm sie automatisch auf das Minimum von 512 MB senken. Im September 2026 meldeten DevelopersIO und Unsloth rund 121 GiB pro Spark.

Die Speicherbandbreite begrenzt das Generierungstempo

Ein LLM arbeitet in zwei Phasen: Es liest Ihren Prompt (Prefill) und gibt dann die Antwort Token für Token aus (Decode). Prefill ist rechenlimitiert. Decode ist speicherlimitiert, denn jedes neue Token erfordert einen Durchlauf über die Gewichte, die es nutzt: bei einem dichten Modell alle, bei einem Mixture-of-Experts-Modell nur die gemeinsamen Schichten und die aktiven Experten.

Der Spark hat Rechenleistung im Überfluss, aber sein Speicher liefert 273 GB/s, während eine H200 NVL 4,8 TB/s liefert, 17,6-mal so viel, und dieser Abstand erklärt fast alle Berichte über langsame Generierung. Die Streuung bei gpt-oss-120b sieht so aus:

Die Ergebnisse für dasselbe Modell unterscheiden sich um den Faktor 3,8, weil sich die Läufe in Engine, Build, Quantisierungsformat und Testzeitpunkt unterscheiden. Im Mai 2026 meldete Dendro Logic 60,4 Token pro Sekunde für eine einzelne Anfrage an gpt-oss-120b, mit einem aus dem Quellcode gebauten vLLM auf einem GB10-System eines Partners; neuere Engine-Builds haben den Wert für eine Anfrage seit dem Marktstart also erhöht. Ein Prefill mit 1.725 Token pro Sekunde ist schnell, und eine Generierung mit 55 Token pro Sekunde liegt deutlich über der Lesegeschwindigkeit. Das reicht für Chat, lässt aber wenig Spielraum für Batch-Pipelines mit Dokumenten.

Geschwindigkeit für einen Nutzer mit einem 70B-Modell

Die meisten Käufer wollen die Konfiguration mit 128 GB für Modelle der 70B-Klasse, die auf eine normale GPU nicht passen. LMSYS hat Llama 3.1 70B in FP8 mit 2,7 Token pro Sekunde für einen Nutzer gemessen; eine Antwort von 300 Wörtern braucht damit etwa zweieinhalb Minuten. Das Modell passt und läuft, und dieses Tempo ist für Batch-Läufe über Nacht akzeptabel, für die interaktive Nutzung aber zu langsam.

Ein dichtes 70B-Modell in FP8 belegt ~70 GB, und für jedes Token muss alles davon gelesen werden. Bei 273 GB/s liegt die Obergrenze damit unter vier Token pro Sekunde, und die gemessenen 2,7 bleiben darunter.

Für ein 70B-Modell in Lesegeschwindigkeit ist der übliche nächste Schritt ein GPU-Server mit Karten der RTX PRO 6000 Server Edition; wir liefern beides. Nennen Sie uns das Modell und ob es für interaktive Nutzung oder für Batch-Läufe über Nacht gedacht ist, und wir sagen Ihnen, was passt.

Durchsatz bei vielen gleichzeitigen Anfragen

Alles oben gilt für einen Nutzer. Bei vielen gleichzeitigen Anfragen werden die Gewichte einmal pro Batch gelesen, der aggregierte Durchsatz steigt daher stark. Die vLLM-Messungen von Dendro Logic (vLLM 26.03, April 2026):

Token pro Sekunde, aggregiert

Bei Nemotron Super 49B steigt der aggregierte Durchsatz auf das 120-Fache, von 5,8 Token pro Sekunde bei einer Anfrage auf 695,1 bei 256. Der Spark eignet sich weit besser dafür, viele Anfragen gleichzeitig zu bedienen, als dafür, einer einzelnen Person ein großes dichtes Modell mit interaktivem Tempo zu liefern. Nach den Ergebnissen der Maintainer von llama.cpp hält ein Spark mit 128 GB etwa 16 gleichzeitige Anfragen an gpt-oss-120b mit Prompts von 4.096 Token bei 10 Token pro Sekunde oder mehr je Anfrage, genug für ein Team, das mit einem Assistenten chattet (wie man ein Team auf einem Spark dimensioniert), während Coding-Agenten mit langen Prompts auf eine Handvoll paralleler Aufgaben begrenzt sind.

Schreiben Sie uns die Zahl der Entwickler und ob sie mit einem Assistenten chatten oder Coding-Agenten laufen lassen, und wir sagen Ihnen, ob ein Spark reicht.

Leistungsaufnahme, TDP und die Angabe von 1 PFLOP

NVIDIAs Hardware-Dokumentation (aktualisiert am 21. Oktober 2026) nennt für den GB10-SoC eine Thermal Design Power (TDP) von 140 W, ein Budget, das sich die 20 Arm-Kerne und die GPU auf dem Chip teilen, und 100 W für die übrigen Systemkomponenten (ConnectX-7, WLAN, SSD, USB-C und weitere); zusammen ergibt das die 240 W des externen Netzteils. In einem Thread in NVIDIAs Forum mit dem Titel „Only getting half the advertised performance and capping at 100W?“ bezifferten NVIDIA-Mitarbeiter den GPU-Teil des Chips auf höchstens etwa 120 W und sagten, das 240-W-Netzteil sei auf die Spitzenlast ausgelegt. NVIDIA gibt 38,0 W im Leerlauf und maximal 233,2 W bei 230 V an. Das beworbene 1 PFLOP ist ein FP4-Wert mit Sparsity.

NVIDIAs Software-Update vom Januar 2026 brachte Hot-Plug-Unterstützung für den ConnectX-7-Adapter, die laut NVIDIA bis zu 18 W spart, solange die Netzwerkports ungenutzt sind. Tom’s Hardware maß am USB-C-Eingang, dass die Leistungsaufnahme im Leerlauf nach diesem Update von etwa 37 W auf 22 bis 25 W sank.

Zwei Knoten

Zwei Spark-Systeme werden direkt mit einem QSFP-Kabel verbunden und teilen sich ein Modell über 2 × 128 GB, aufgeteilt per Tensor- oder Pipeline-Parallelismus über die Verbindung. NVIDIAs Hardware-Dokumentation (aktualisiert am 21. Oktober 2026) nennt weiterhin Modelle bis 405B Parameter auf diese Weise; die Produktseite gibt mit Stand Oktober 2026 bis zu 400B auf zwei Spark-Systemen mit 128 GB und bis zu 700B auf vier an. Die Aufteilung des Modells nach Schichten bringt für einen einzelnen Nutzer wenig Tempo: In Tests mit llama.cpp auf zwei Spark-Systemen, die DevelopersIO veröffentlicht hat, gewann die Prompt-Verarbeitung bis zu etwa 25 Prozent, und die Generierungs­geschwindigkeit änderte sich in den meisten Läufen kaum. Zwei Spark-Systeme verbindet man vor allem, um ein größeres Modell unterzubringen; Tensor-Parallelismus kann je Anfrage etwas Tempo zurückgewinnen, und Batch-Serving ist die Ausnahme.

Für wen er passt, und für wen nicht

DGX Spark eignet sich für CUDA-Entwicklung auf demselben NVIDIA-Software-Stack wie Rechenzentrumssysteme, hier für Arm gebaut, ohne monatliche Cloud-Kosten, für Arbeit mit Daten, die im Haus bleiben müssen, für die Bedienung eines Teams und für QLoRA-Fine-Tuning bis 70B, wenn lange Trainingsläufe akzeptabel sind. Nicht geeignet ist er für schnellen interaktiven Chat mit dem größten verfügbaren Modell, für reine Windows-Toolchains (DGX OS ist aarch64-Linux), für Gaming oder klassisches Rendering.

Wenn ein Spark für die Zahl der Nutzer zu langsam ist, vergleicht DGX Station vs. DGX Spark die nächsten Schritte, darunter eine Workstation mit einer bis vier RTX PRO 6000.

Was wir liefern

Wir liefern den NVIDIA DGX Spark in der Founders Edition (128 GB, 4 TB) in die ganze EU, unter einem Vertrag und auf einer Rechnung, mit Herstellergarantie; Mengen und Lieferzeit bestätigen wir schriftlich mit dem Angebot. Anhand des Modells, der Kontextlänge und der Zahl der Personen, die es gleichzeitig nutzen, sagen wir Ihnen, ob ein Spark schnell genug ist oder ob ein nach Auftrag gebauter GPU-Server besser passt. Für zwei bis vier verbundene Spark-Systeme richtet der Cluster Assistant von NVIDIA Sync das Netzwerk zwischen ihnen ein; größere Cluster, laut NVIDIAs Blog vom 21. Oktober 2026 bis zu acht Spark-Systeme, werden manuell konfiguriert. NVIDIA AI Enterprise für DGX Spark ist eine eigene Lizenz, die wir in dasselbe Angebot aufnehmen können.

FAQ