DGX Spark 256 GB: dieses Modell gibt es nicht, und so ergeben zwei DGX Spark zusammen 256 GB

Gibt es einen DGX Spark mit 256 GB

Einen DGX Spark mit 256 GB Speicher gibt es nicht. NVIDIAs Produktseite führt Konfigurationen mit 64 GB und 128 GB, und ihre Fußnote besagt, die „Speicherkonfiguration mit 64 GB ist ausschließlich über teilnehmende OEM-Partner erhältlich“; Stand 16. Oktober 2026 kennzeichnet die Seite sie als „Coming Soon“, und NVIDIAs Blog nennt für die OEM-Systeme den 23. Oktober 2026. Die Founders Edition hat 128 GB. Die 256 GB sind der Speicher von zwei DGX Spark mit je 128 GB, verbunden über ein QSFP-Kabel, ein Aufbau, den dieselbe Seite als „2x DGX Spark“ mit 256 GB und „Up to 400B parameters“ zeigt.

Die 128 GB sind LPDDR5x an einer 256-Bit-Schnittstelle mit 273 GB/s, und CPU und GPU teilen sie sich; beim DGX Spark sind RAM und VRAM also derselbe Pool, und auch 256 GB RAM bedeuten zwei gekoppelte Spark-Systeme. Unsere technischen Daten des DGX Spark führen die übrigen Werte auf. Ein GB10-System mit mehr als 128 GB, von NVIDIA oder von einem Partnerhersteller, haben wir Stand 16. Oktober 2026 nicht gefunden.

Manche Händler führen ein „Bundle“ aus zwei DGX-Spark-Systemen mit Verbindungskabel. NVIDIAs Produktseite zeigt die Konfigurationen 2x und 4x als Kombinationen standardmäßiger Systeme mit 128 GB, nicht als eigene Produkte.

Ein, zwei oder vier Spark-Systeme: Speicher, Verbindung und Unterstützung

Jeder Spark behält seine eigenen 128 GB. Gekoppelte Spark-Systeme bilden keinen gemeinsamen Speicherpool, den jedes Programm adressieren kann; die Serving-Software verteilt ein Modell auf sie, Schicht für Schicht oder Tensor für Tensor, und die Teile tauschen Daten über die Netzwerkverbindung aus.

NVIDIA-Produktseite zum DGX Spark und User Guide (Hardwareübersicht und Kapitel zum Clustering, aktualisiert am 10. September 2026), gelesen am 16. Oktober 2026; Gewichte und Cache sind unsere Rechnung, 0,8 und 0,9 des gesamten Speichers, die Einstellungen in NVIDIAs vLLM-Playbook.

Die Werte 0,8 und 0,9 sind die Einstellungen für --gpu-memory-utilization in den Beispielen für zwei Spark-Systeme in NVIDIAs vLLM-Playbook (GitHub-Fassung, zuletzt aktualisiert am 12. Juni 2026). Auf 128 GB angewandt ergeben dieselben Anteile die 102 bis 115 GB, mit denen unser Artikel dazu rechnet, was auf einen DGX Spark passt; NVIDIAs Startskript für einen Spark setzt 0,7, etwa 90 GB. Die Werte sind Schätzungen für Gewichte und KV-Cache zusammen; den Rest behält das Betriebssystem.

NVIDIAs Parameterzahlen sind Kapazitätsangaben und gelten nach unserer Rechnung nur für 4-Bit-Gewichte. Bei 4,5 Bit je Gewicht belegen 400 Milliarden Parameter etwa 225 GB der 256 GB in zwei Spark-Systemen und 700 Milliarden etwa 394 GB der 512 GB in vier.

Wie viele DGX Spark sich verbinden lassen

NVIDIAs Clustering-Dokumentation schreibt, die Plattform unterstütze „bis zu drei DGX-Spark-Systeme, direkt über Kabel verbunden, und bis zu vier Systeme bei Verwendung eines Switches“. Die Produktseite nennt dieselbe Grenze von vier. NVIDIAs Switch-Playbook verlangt einen „QSFP-Switch mit mindestens 4 QSFP56-DD-Ports (jeweils mindestens 200 Gbit/s)“ und ein Kabel je Spark und ergänzt, „dasselbe Setup lässt sich auf weitere DGX-Spark-Systeme am selben Switch erweitern“. Produktseite und Clustering-Dokumentation nennen weiterhin vier als Maximum; planen Sie also mit vier.

Zwei Spark-Systeme brauchen ein Kabel. NVIDIAs Playbook für zwei Spark-Systeme schreibt, „die volle Bandbreite lässt sich mit nur einem QSFP-Kabel erreichen“, und verlangt auf beiden Systemen denselben physischen Port. Jeder Port erscheint in Linux als zwei logische Schnittstellen. Das Clustering-Kapitel nennt die freigegebenen Direct-Attach-Kabel, das Amphenol NJAAKK-N911 und NJAAKK0006 und das Luxshare LMTQF022-SD-R, und merkt an, dass ein schnelleres Kabel nichts bringt, „weil der Port selbst auf 200 Gb/s begrenzt ist“. Wie unser Leitfaden zum Kauf eines DGX Spark in der EU festhält, liegt das Kabel nicht im Karton; planen Sie also ein freigegebenes Kabel je Verbindung ein.

Was 256 GB auf zwei Spark-Systemen an Tempo und Einrichtung kosten

In einem Spark liest die GPU ihren Speicher mit 273 GB/s. Zwischen zwei Spark-Systemen ist der Port mit 200 Gbit/s angegeben, etwa 25 GB/s, rund ein Elftel davon. Ein auf zwei Spark-Systeme verteiltes Modell läuft deshalb in einem Tempo, das beide Werte bestimmen. Mit Tensor-Parallelismus liest jeder Spark je Token die Hälfte der Gewichte, was die Bandbreitengrenze anhebt, und die beiden tauschen an jeder Schicht Daten über die Verbindung aus.

NVIDIAs eigene Messung zeigt die Wirkung. In seinem Technikblog vom 24. Oktober 2025 erzeugte Qwen3 235B in NVFP4 auf zwei Spark-Systemen mit TensorRT-LLM 11,73 Token pro Sekunde bei Batchgröße 1, mit 23.477 Token pro Sekunde in der Prompt-Verarbeitung (Prompt mit 2.048 Token, 128 erzeugte Token). Das Modell hat 22 Milliarden aktive Parameter, bei 4,5 Bit etwa 12,4 GB je Token. Auf zwei Spark-Systeme verteilt sind das etwa 6,2 GB, die jeder Spark liest, nach unserer Rechnung eine Bandbreitengrenze von rund 44 Token pro Sekunde. Der gemessene Wert liegt bei etwa einem Viertel davon. Zum Vergleich: gpt-oss-120b, das auf einen Spark passt, lief in derselben NVIDIA-Tabelle mit llama.cpp bei 55,37 Token pro Sekunde.

Die Einrichtung ist Schritt für Schritt dokumentiert und kostet etwas Aufwand. NVIDIAs Playbook für zwei Spark-Systeme veranschlagt „1 Stunde einschließlich Validierung“ allein für die Netzwerkverbindung. Der Cluster Assistant in NVIDIA Sync „validiert die Systeme, übernimmt die Netzwerkeinstellungen für ConnectX-7, prüft die Verbindungsleistung und richtet SSH zwischen den Knoten ein“. Danach wird die Serving-Engine eingerichtet, und NVIDIAs vLLM-Rezept betreibt Llama 3.3 70B über zwei Spark-Systeme mit einer Tensor-Parallel-Größe von 2 und dem Ray-Backend. Unser Artikel zu zwei Knoten behandelt Verkabelung, Befehle und weitere Messwerte.

Welche Modelle 256 GB brauchen

Ein Modell braucht einen zweiten Spark, wenn seine Gewichte plus der KV-Cache für Ihren Kontext und Ihre Nutzer etwa 102 bis 115 GB übersteigen. Die Größe der Gewichte ist Parameter mal Byte je Parameter: 2 bei BF16, 1 bei FP8 und etwa 0,56 bei NVFP4 mit seinen Blockskalierungen.

Parameter und Größen aus den Modellkarten und Dateilisten auf Hugging Face (NVIDIAs Checkpoint Qwen3-235B-A22B-FP4, MiniMax-M2.5, der 405B-Checkpoint in AWQ-INT4) und aus OpenAIs Checkpoint gpt-oss-120b, gelesen am 16. Oktober 2026; Budgets der Spark-Systeme wie in der ersten Tabelle; GPU-Server nach unserer Dimensionierungsregel, 0,9 des vom Treiber gemeldeten Speichers minus 3 GiB, etwa 89 GB je RTX PRO 6000 und 132 GB je H200 NVL.

Die Zeile zu 405B zeigt die Grenze von zwei Spark-Systemen. NVIDIAs vLLM-Playbook lädt den 405B-AWQ-Checkpoint auf zwei Spark-Systemen mit --max-model-len 64, einer Sequenz und 0,9 des Speichers und warnt, das „405B-Modell hat für den Produktionseinsatz zu wenig Speicherreserve“. Laut Modellkarte braucht der Checkpoint zum Laden etwa 203 GiB, was von den 230 GB etwa 12 GB für Cache, Aktivierungen und CUDA-Graphen lässt. Auf vier Spark-Systemen lädt der Checkpoint mit Platz für Cache, doch als dichtes Modell liest er je Token alle Gewichte, etwa 54 GB je Spark, was nach unserer Rechnung eine Anfrage auf etwa 5 Token pro Sekunde begrenzt. Für MiniMax-M2.5, 229 Milliarden Parameter in FP8, nutzt NVIDIAs Switch-Beispiel eine Tensor-Parallel-Größe von 4 und merkt an: „Wenn Sie mit vier oder mehr Spark-Systemen arbeiten, können Sie dieses Modell bequem mit Tensor-Parallelismus betreiben.“

Der Kontext kommt in jeder Zeile hinzu. Qwen3-235B-A22B hat 94 Schichten, 4 KV-Köpfe und eine Kopfdimension von 128, eine Unterhaltung mit 32.768 Token belegt also in FP8 etwa 3,15 GB KV-Cache. NVIDIAs NVFP4-Checkpoint des Modells belegt 134 GB, die auf zwei Spark-Systemen verbleibenden 71 bis 96 GB fassen also etwa 22 bis 30 solcher Unterhaltungen, mit einem 16-Bit-Cache halb so viele.

Wann ein Spark genügt

Ein Spark genügt, wenn Modell und Cache in etwa 102 bis 115 GB passen. Das gilt für gpt-oss-120b, ein 70B-Modell in FP8 oder NVFP4 und 4-Bit-Modelle deutlich unter 200 Milliarden Parametern. Ein 4-Bit-Modell in der Größe von NVIDIAs Angabe mit 200 Milliarden passt nur mit wenig Platz für Cache. NVIDIAs TensorRT-LLM-Playbook führt in seiner Support-Matrix ein Modell als „two Sparks only“, Qwen3-235B-A22B; die Grenze eines Spark liegt also unterhalb der 235B-Klasse.

Will ein Team mehr gleichzeitige Nutzer auf einem Modell, das bereits passt, können zwei Spark-Systeme statt gekoppelt jeweils eine eigene Kopie hinter einem Load Balancer bereitstellen. Jede Kopie läuft im Tempo eines Spark, und keine Anfrage wartet auf Verkehr über die Verbindung. Unser Artikel zu einem DGX Spark im Team kommt nach den Ergebnissen der llama.cpp-Maintainer auf etwa 16 gleichzeitige Anfragen an gpt-oss-120b je Spark, mit Prompts von 4.096 Token bei 10 Token pro Sekunde oder mehr.

Wann ein Server mit RTX PRO 6000 oder H200 NVL besser passt

Gekoppelte Spark-Systeme fassen große Modelle in einem Tempo, das zu einem Entwickler oder einem Batch-Job passt. Wenn ein 235B- oder 405B-Modell einer ganzen Abteilung antworten soll, entscheidet die Speicherbandbreite. Eine RTX PRO 6000 Server Edition bewegt 1.597 GB/s und eine H200 NVL 4,8 TB/s je Karte, gegenüber 273 GB/s je Spark. Die H200 NVL verbindet außerdem 2 oder 4 Karten über eine NVLink-Bridge mit 900 GB/s je GPU, während die RTX PRO 6000 Daten über PCIe austauscht.

Nutzen Sie die Spark-Systeme, um das Modell auszuwählen und zu testen, und dimensionieren Sie den Server dann nach diesem Modell und der Spitze gleichzeitig laufender Anfragen. Die letzte Spalte der Tabelle oben nennt die kleinste Kartenzahl nach unserer Dimensionierungsregel, aufgerundet auf 1, 2, 4 oder 8 Karten, die üblichen Größen für Tensor-Parallelismus; mehr Nutzer brauchen mehr Cache und mehr Karten.

Wir liefern den DGX Spark und KI-Server auf Bestellung mit Karten RTX PRO 6000 Server Edition oder H200 NVL. Nennen Sie uns das Modell, seine Genauigkeit und Ihre Kontextlänge, und wir antworten innerhalb eines Werktages mit einer Konfiguration und einem Angebot.

Rechenbeispiel: ein Team von 10 bis 20 mit zwei oder vier Spark-Systemen

Ein Team von 10 bis 20 Entwicklern und Data Scientists will einen Chat- und Coding-Assistenten für die tägliche Arbeit und ein 235B-Modell, das es vor einer Entscheidung über einen GPU-Server bewertet. Dimensionieren Sie nach der Spitze gleichzeitiger Anfragen aus den Gateway-Logs eines Pilotbetriebs, nicht nach der Kopfzahl.

Mit vier Spark-Systemen werden zwei über ein QSFP-Kabel zu einem System mit 256 GB gekoppelt, das Qwen3-235B-A22B in NVFP4 für die Bewertung betreibt, bei NVIDIAs gemessenen 11,73 Token pro Sekunde für eine Anfrage. Die anderen zwei stellen gpt-oss-120b als getrennte Kopien hinter einem Load Balancer bereit, etwa 32 gleichzeitige Anfragen mit Prompts von 4.096 Token, jede mit 10 Token pro Sekunde oder mehr. Vier Spark-Systeme nehmen an Schreibtischsteckdosen höchstens etwa 0,9 kW auf, nach NVIDIAs deklarierten 233,2 W maximal je System.

Mit zwei Spark-Systemen stellen beide gpt-oss-120b für die tägliche Arbeit bereit und werden für die 235B-Bewertung außerhalb der Arbeitszeit gekoppelt. Der Wechsel kostet einen Neustart der Serving-Engines, und während der Bewertung hat das Team keinen Assistenten. Zeigt die Bewertung, dass das Team das 235B-Modell täglich braucht, ist der nächste Schritt ein Server mit zwei oder mehr Karten RTX PRO 6000 Server Edition, dimensioniert wie oben.

Wir liefern zwei oder vier Spark-Systeme unter einem EU-Vertrag und auf einer Rechnung, mit Herstellergarantie. Schicken Sie uns Teamgröße, Spitze der Anfragen und Modelle, und wir antworten innerhalb eines Werktages mit einer Konfiguration und einem Angebot.

Was wir liefern

Für 256 GB liefern wir zwei NVIDIA DGX Spark in der Founders Edition (je 128 GB, 4 TB) und vier, wo ein Team 512 GB oder getrennte Kopien braucht, EU-weit unter einem Vertrag und auf einer Rechnung mit Herstellergarantie; die Mengen bestätigen wir schriftlich mit dem Angebot. Wenn ein Modell über gekoppelte Spark-Systeme hinauswächst, bauen wir KI-Server auf Bestellung mit der RTX PRO 6000 Server Edition oder der H200 NVL und prüfen Rack, Stromversorgung und Luftführung, bevor wir ein Angebot machen. Die Einrichtung der Serving-Engine über die Spark-Systeme oder auf dem Server ist Teil unserer Leistung Private AI/ML, mit Engineering von unserem Engineering-Partner Vixen.UNO.

FAQ