RTX PRO 5000 72 GB vs DGX Spark: schnellere Token oder größere Modelle für lokale LLMs

RTX PRO 5000 72 GB vs DGX Spark: das Wichtigste in Kürze

Im Vergleich RTX PRO 5000 72 GB vs DGX Spark generiert die Workstation-GPU Token bei jedem Modell, das in ihre 72 GB passt, um ein Mehrfaches schneller als ein DGX Spark, und der DGX Spark fasst Modelle, die auf die Karte nicht passen. Beide Unterschiede kommen vom Speicher, denn die Karte hat 72 GB GDDR7 mit 1.344 GB/s und der Spark 128 GB LPDDR5x mit 273 GB/s, die sich CPU und GPU teilen. Die Token-Generierung ist durch die Speicherbandbreite begrenzt, und 1.344 GB/s sind fast das Fünffache von 273 GB/s.

Bei der Frage DGX Spark oder RTX PRO 5000 wählen Sie die Karte für Modelle bis zu einem 70B-Modell in 4 Bit, für interaktives Tempo pro Nutzer und für Teams, die sich ein Modell teilen. Wählen Sie den Spark, wenn das Modell größer als 72 GB ist, etwa gpt-oss-120b mit Platz für Kontext, ein 70B-Modell in FP8 oder ein 4-Bit-Modell mit bis zu etwa 200 Milliarden Parametern, und wenn die Kapazität mehr zählt als das Tempo pro Nutzer. Dieser Vergleich bezieht sich auf die DGX Spark Founders Edition mit 128 GB; unser Vergleich der RTX PRO 5000 mit 48 oder 72 GB behandelt die kleinere Karte.

Technische Daten von RTX PRO 5000 72 GB und DGX Spark

NVIDIA-Datenblatt zur RTX PRO 5000 Blackwell (Juli 2026, die von der Produktseite verlinkte Fassung) und Produktseite; NVIDIA-Produktseite und Hardwaredokumentation zum DGX Spark; alle geprüft am 16. Oktober 2026.

Die RTX PRO 5000 ist eine Karte, die in eine Workstation oder einen Server mit eigenem Prozessor, Arbeitsspeicher und Laufwerken eingebaut wird. Der Spark ist ein vollständiger Computer auf Basis des GB10-Grace-Blackwell-Chips, bei dem 20 Arm-Kerne und eine Blackwell-GPU auf einen gemeinsamen Speicherpool zugreifen; einen separaten VRAM-Wert hat er daher nicht.

Token pro Sekunde: 1.344 GB/s gegen 273 GB/s

Um ein Token für einen Nutzer zu generieren, liest die GPU jedes aktive Gewicht einmal; das Tempo für eine Anfrage kann daher die Speicherbandbreite geteilt durch die pro Token gelesenen Bytes nicht übersteigen. Llama 3.3 70B in NVFP4 liest etwa 40,6 GB pro Token. Auf der Karte ergeben 1.344 GB/s geteilt durch 40,6 GB eine Obergrenze von etwa 33 Token pro Sekunde; auf dem Spark ergeben 273 GB/s geteilt durch 40,6 GB etwa 6,7. Qwen3-32B in NVFP4 liest etwa 19,1 GB pro Token, was auf der Karte etwa 70 und auf dem Spark etwa 14 ergibt. Diese Obergrenzen folgen aus den Spezifikationen, und die Engines bleiben darunter, umso mehr, je stärker der Cache mit dem Kontext wächst; unser Benchmark-Artikel zur RTX PRO 5000 erläutert die Methode und die Bytes pro Token.

Auf dem Spark bleiben die Messungen innerhalb dieser Obergrenze. LMSYS hat Llama 3.1 70B in FP8 mit SGLang bei 2,7 Token pro Sekunde für einen Nutzer gemessen, veröffentlicht am 13. Oktober 2025; 273 GB/s geteilt durch etwa 70 GB Gewichte lassen knapp 4 zu. Für die RTX PRO 5000 haben wir keine veröffentlichte Token-Rate gefunden, die Engine-Version, Präzision, Zahl gleichzeitiger Anfragen und Testsystem zusammen nennt. Am nächsten kommt derselbe Test von LMSYS, in dem gpt-oss-20b in Ollama auf dem Spark 49,7 Token pro Sekunde generierte und auf einer RTX PRO 6000 Blackwell 215, deren Edition LMSYS nicht nennt; die RTX PRO 5000 hat drei Viertel der 1.792 GB/s der Workstation- und Max-Q-Karten der RTX PRO 6000.

Mixture-of-Experts-Modelle laufen auf dem Spark viel schneller als dichte Modelle derselben Größe, weil jedes Token nur einen kleinen Teil der Gewichte liest. gpt-oss-120b hat 117 Milliarden Parameter, davon 5,1 Milliarden aktiv, und NVIDIA hat es auf einem Spark mit llama.cpp bei 55,4 Token pro Sekunde gemessen, mit einem Prompt von 2.048 Token und Batchgröße 1 (NVIDIA Technical Blog, 24. Oktober 2025). Unsere Benchmarks zum DGX Spark sammeln die übrigen veröffentlichten Läufe. Auf der 72-GB-Karte lässt sich dasselbe Modell gerade noch laden, wie der nächste Abschnitt zeigt.

Welche LLMs in 72 GB und in 128 GB passen

Auf der Karte nimmt unsere Dimensionierungsregel 90 Prozent des Speichers, den der Treiber meldet, abzüglich etwa 3 GiB für Aktivierungen und Laufzeitumgebung. Auf dem Spark setzen NVIDIAs Serving-Playbooks Speicheranteile von 0,8 bis 0,9, woraus unser Artikel dazu, was auf einen DGX Spark passt, ein Arbeitsbudget von rund 102 bis 115 GB für Gewichte und Cache ableitet.

Gewichte und Belegung der Karte aus unserem Vergleich 48 oder 72 GB (FP8-Cache), Qwen3-32B aus unserem Benchmark-Artikel zur RTX PRO 5000; Belegung des Spark aus unserem Artikel zu 128 GB; gemessene Raten: NVIDIA Technical Blog vom 24. Oktober 2025 (Prompt mit 2.048 Token, Batchgröße 1) und LMSYS vom 13. Oktober 2025; die Obergrenzen sind unsere Rechnung, 1.344 oder 273 GB/s geteilt durch etwa 19,1 GB (Qwen3-32B) oder 40,6 GB (Llama 3.3 70B), die pro Token gelesen werden.

Bis zu einem 70B-Modell in 4 Bit fassen beide das Modell, und die Obergrenze der Generierung liegt auf der Karte etwa fünfmal höher, da 1.344 GB/s das 4,9-Fache von 273 GB/s sind. gpt-oss-120b markiert die Grenze: Seine 60,8 GiB Gewichte lassen sich auf der 72-GB-Karte mit weniger als 1 GiB für Kontext laden, während der Spark etwa 45 GB für Cache frei hält. Darüber hinaus fasst ein Spark, was eine Karte nicht fasst, ein 70B-Modell in FP8 oder ein 4-Bit-Modell mit bis zu etwa 200 Milliarden Parametern. NVIDIAs Produktseite nennt bis zu 400 Milliarden Parameter für zwei verbundene Spark-Systeme und bis zu 700 Milliarden für vier. Zwei 72-GB-Karten in einer Workstation fassen 144 GB, doch ohne NVLink tauscht ein auf beide verteiltes Modell seine Daten über PCIe aus.

Wir liefern die DGX Spark Founders Edition und die RTX PRO 5000 mit 48 und 72 GB. Nennen Sie uns die Modelle, ihre Präzision und die Kontextlänge, und wir prüfen, welche der beiden Lösungen sie fasst.

Prompt-Verarbeitung und lange Kontexte

Die Prompt-Verarbeitung, auch Prefill genannt, ist durch die Rechenleistung begrenzt und nicht durch die Bandbreite, und der Abstand ist daher kleiner als bei der Generierung. Auf dem Papier hat die Karte 2.064 FP4-TOPS mit Sparsity gegenüber den 1.000 des Spark, etwa doppelt so viel. In den Ergebnissen der Maintainer von llama.cpp für gpt-oss-120b (Build vom Februar 2026) verarbeitet der Spark Prompts von 4.096 Token mit etwa 2.400 Token pro Sekunde, ob eine Anfrage wartet oder 32. Zweiunddreißig solcher Prompts brauchen 54,4 Sekunden, bevor die letzte Anfrage ihr erstes Token sieht. Für das dichte Llama 3.1 70B in FP8 hat LMSYS einen Prefill von 803 Token pro Sekunde gemessen.

Einen Prefill-Wert für die RTX PRO 5000, der seine Testbedingungen nennt, haben wir nicht gefunden. Im gpt-oss-20b-Test von LMSYS mit Ollama verarbeitete der Spark 2.053 Prompt-Token pro Sekunde und die RTX PRO 6000 Blackwell 10.108. Die RTX PRO 5000 hat etwa die Hälfte der FP4-Spitzenleistung der RTX PRO 6000 Workstation Edition mit 600 W, 2.064 gegenüber 4.000 AI TOPS; ihr Vorsprung vor dem Spark beim Prefill dürfte daher kleiner sein als der der 6000.

Mehrere Nutzer gleichzeitig

Für den Spark ist die Parallelität gemessen. Die Maintainer von llama.cpp haben gpt-oss-120b mit Prompts von 4.096 Token und 32 generierten Token pro Anfrage bei 55,2 Token pro Sekunde für eine Anfrage gemessen. Bei 8 Anfragen lag der aggregierte Durchsatz bei 139,07 und bei 16 bei 196,26, also bei etwa 17,4 und 12,3 pro Anfrage. Unser Artikel zu einem DGX Spark für ein Team liest daraus etwa 16 gleichzeitige Anfragen, bevor jede Antwort unter ein bequemes Lesetempo von 10 Token pro Sekunde fällt.

Für die Karte ist keine vergleichbare Messung veröffentlicht. Auch auf der Karte werden die Gewichte eines dichten Modells pro Schritt einmal für den ganzen Batch gelesen, und der aggregierte Durchsatz steigt daher mit der Parallelität, bis Rechenleistung oder Cache-Platz ausgehen. Mit einem 70B-Modell in 4 Bit hat die 72-GB-Karte Cache für etwa siebzehn 8K-Gespräche. Mit einem 32B-Modell in FP8 behält sie etwa 30 GiB für Cache, rund dreißig 8K-Gespräche zu je 1 GiB. Der Spark fasst das 70B-Modell in 4 Bit mit weit mehr Cache, und bei einem dichten Modell kosten zusätzliche Anfragen wenig Tempo je Anfrage: LMSYS hat Llama 3.1 70B in FP8 mit 2,7 Token pro Sekunde für eine Anfrage gemessen und mit 20,2 insgesamt für acht, etwa 2,5 je Anfrage. Da jede Anfrage unter etwa 6,7 Token pro Sekunde bleibt, eignet sich der Spark bei dichten 70B-Modellen eher für Batch-Jobs als für einen Chat-Assistenten.

Betriebssystem, Software und Strom

Der Spark läuft mit NVIDIA DGX OS, das NVIDIA auf Ubuntu aufbaut, auf Arm-Kernen. CUDA-Code läuft darauf, sobald er für Arm gebaut ist, doch jede nur als Binärdatei verfügbare Abhängigkeit braucht einen Build für Arm-Linux; prüfen Sie die Toolchain daher vor der Bestellung. Die Karte kommt in eine x86-Workstation mit dem Betriebssystem und den Verwaltungswerkzeugen, die Ihre IT bereits nutzt. NVIDIAs Datenblatt nennt für die Karte CUDA 12.8 und für die 72-GB-Version MIG mit bis zu zwei isolierten Instanzen zu 36 GB, sodass zwei Dienste je eine halbe Karte bekommen können. MIG braucht Linux und den auf Compute umgestellten Display-Modus, der die Displayausgänge der Karte abschaltet. NVIDIAs Liste der von vGPU unterstützten GPUs, aktualisiert am 2. Oktober 2026, führt die Workstation Edition mit 72 GB ab Release 20.2; die Karte kann also auch virtuelle Maschinen bedienen.

NVIDIAs Hardwaredokumentation gibt für den GB10-Chip eine TDP von 140 W an, mit 100 W für die übrigen Komponenten, und der Spark wird mit einem externen 240-W-Netzteil geliefert. Die Karte hat eine gesamte Leistungsaufnahme von 300 W, und Prozessor, Arbeitsspeicher, Laufwerke und Lüfter des Hosts kommen hinzu. Eine Workstation mit zwei Karten braucht ein Netzteil, das für 600 W an Karten plus Host ausgelegt ist, während ein Spark an einer Steckdose am Schreibtisch läuft.

Rechenbeispiel: ein Team von 10 bis 30 Entwicklern und Analysten

Für ein Team von 10 bis 30 Entwicklern und Analysten, das einen privaten Assistenten für Code, Daten und Dokumente will, wird jede der beiden Lösungen nach der Spitze gleichzeitig laufender Anfragen in den Gateway-Protokollen eines Pilotbetriebs dimensioniert, nicht nach der Kopfzahl.

Mit zwei bis vier Spark-Systemen bedient jedes gpt-oss-120b als eigene Kopie hinter einem Load Balancer. Nach den Ergebnissen von llama.cpp hält jedes etwa 16 Anfragen mit Prompts von 4.096 Token bei 10 Token pro Sekunde oder mehr; zwei Spark-Systeme tragen damit etwa 32 solcher Anfragen und vier etwa 64. Jeder Spark kann außerdem ein 70B-Modell in FP8 für Batch-Arbeit betreiben oder, wie NVIDIAs Technical Blog vom 24. Oktober 2025 berichtet, ein QLoRA-Fine-Tuning von Llama 3.3 70B.

Mit zwei Workstations mit je einer oder zwei RTX PRO 5000 72 GB bedient jede Karte ihre eigene Kopie eines 70B-Modells in 4 Bit oder eines 32B-Modells. Vier Karten halten Cache für je etwa siebzehn 8K-Gespräche, zusammen etwa 68, bei einer Obergrenze von etwa 33 Token pro Sekunde für eine Anfrage; zwei Karten halten die Hälfte. Um gpt-oss-120b mit Platz für Kontext zu bedienen, braucht eine Workstation beide Karten, mit dem Modell über PCIe aufgeteilt.

Wählen Sie die Spark-Systeme, wenn das Team gpt-oss-120b oder Modelle über 72 GB braucht und Prompts in Chat-Länge schickt. Wählen Sie die Workstations, wenn sich das Team auf Modelle bis zu einem 70B-Modell in 4 Bit festlegt, lange Prompts von Coding-Agenten oder aus Retrieval schickt oder schnellere Antworten pro Nutzer will.

Workstations mit einer oder zwei RTX PRO 5000 bauen wir auf Bestellung, und den Spark liefern wir unter demselben Vertrag. Schicken Sie uns Teamgröße, Modelle und Prompt-Längen über das Formular unten.

Was wir liefern

Wir liefern die NVIDIA DGX Spark Founders Edition (128 GB, 4 TB) und die RTX PRO 5000 Blackwell mit 48 GB und 72 GB in die ganze EU, mit Herstellergarantie, unter einem EU-Vertrag und auf einer Rechnung. Die Karte liefern wir für sich oder in einer auf Bestellung gebauten Workstation, montiert und im Burn-in getestet; bei Rack-Servern prüfen wir Rack, Strom und Luftstrom vor dem Angebot. Braucht ein Modell mehr Speicher pro Karte, liefern wir auch die RTX PRO 6000 mit 96 GB in allen drei Editionen und die H200 NVL. Details stehen auf der Seite zum DGX Spark, im Katalog professioneller GPUs und bei unseren KI-Servern auf Bestellung.

FAQ