BLOG · VERGLEICH · · AKTUALISIERT

DGX Spark, eine RTX PRO 6000 oder ein Server mit H200 NVL: womit ein erstes KI-Projekt startet

Eurokommerz, Wien, seit 2006: Private AI/ML · IT Managed Services · Enterprise Training · KI-Hardware & Software

IN KÜRZE
  • Der Speicher entscheidet, was lädt, die Bandbreite entscheidet, ob es nutzbar ist: 273 GB/s beim DGX Spark, 1.597 GB/s bei der RTX PRO 6000 Server Edition, 1.792 GB/s bei den Workstation- und Max-Q-Karten, 4,8 TB/s bei der H200 NVL
  • NVIDIAs „bis zu 200 Milliarden Parameter“ auf einem DGX Spark ist eine 4-Bit-Aussage: Mit ihren Blockskalierungen belegen 200 Milliarden 4-Bit-Gewichte 106 bis 112 GB von den 128 GB gemeinsamem Speicher, wo BF16 bei rund 55 Milliarden endet
  • Ein dichtes 70B-Modell in FP8 liest je Token etwa 70,6 GB Gewichte; sie bei 273 GB/s für jedes Token erneut zu lesen ergibt eine rechnerische Obergrenze von 3,9 Token pro Sekunde für einen Nutzer, gegen eine menschliche Lesegeschwindigkeit von etwa 5 bis 7
  • Die Schlagzeilen „1 PFLOP FP4“ und „4 PFLOPS FP4“ sind Sparsity-Werte, nach NVIDIAs Fußnote beim ersten und nach den Workstation-Werten im Whitepaper beim zweiten; dicht ist es ungefähr die Hälfte, und keiner der beiden Werte sagt Token pro Sekunde voraus
  • Die Ausbauwege unterscheiden sich: DGX Spark wächst auf drei Geräte per Kabel und vier über einen Switch, die RTX PRO 6000 hat in keiner Edition NVLink und spricht über PCIe Gen 5 mit 128 GB/s, die H200 NVL verbindet zwei oder vier Karten mit 900 GB/s je GPU

Geliefert von Eurokommerz: DGX Spark, RTX PRO 6000 oder H200 NVL  Preis und Verfügbarkeit anfragen →

Die vier Fragen, die die Entscheidung tragen

Die meisten ersten KI-Projekte landen bei derselben engeren Auswahl: ein NVIDIA DGX Spark auf dem Schreibtisch, eine RTX PRO 6000 Blackwell in einer Workstation oder einem Server, oder ein Server mit einer oder zwei H200-NVL-Karten. Das sind nicht drei Größen derselben Maschine, und die Wahl ergibt sich aus vier Fragen, die mit den Produktseiten nichts zu tun haben.

Wie groß ist das Modell, und in welcher Genauigkeit? Eine Parameterzahl allein entscheidet nichts. Dieselben 70 Milliarden Parameter belegen 141,2 GB in BF16, etwa 72,7 GB in FP8 und etwa 42,7 GB in NVFP4; die Antwort auf der Hardwareseite ändert sich also um mehr als den Faktor drei durch eine Entscheidung, die noch niemand getroffen hat.

Wie viele Menschen nutzen es gleichzeitig? Ein Entwickler, der an Prompts feilt, ist eine Batchgröße von eins, und genau so hat NVIDIA seine Spark-Inferenzwerte vom Oktober 2025 gemessen. Zwanzig Leute in einem Assistenten sind zwanzig gleichzeitige Sequenzen, von denen jede ihren eigenen Key-Value-Cache hält, und auf einer einzelnen Karte geht der Cache vor den Gewichten aus.

Wo steht die Maschine physisch? Ein DGX Spark misst 150 mm im Quadrat, ist 50,5 mm hoch und wiegt 1,2 kg, will 5 bis 30 °C und zieht nach NVIDIAs Angabe höchstens 233,2 W aus einer gewöhnlichen Steckdose. Eine H200 NVL ist eine passiv gekühlte Dual-Slot-Karte, die ein namentlich genanntes Lüfterkit, einen namentlich genannten Luftkanal, einen bestimmten Riser und die richtige Teilenummer des 16-poligen Kabels für genau diesen Steckplatz braucht, in einem Server auf der Supportliste des Herstellers. Verschiedene Projekte, verschiedene Menschen.

Was passiert nach dem Pilot? Jeder Startpunkt wächst anders, und zwei der drei tragen eine harte Grenze in der Hardware. Die gehört jetzt in die Entscheidung.

Die drei Optionen nebeneinander

Alles Folgende stammt von NVIDIAs Produktseiten, Datenblättern, User Guides und Product Briefs sowie aus den OEM-Handbüchern dort, wo ein Hersteller NVIDIA überschreibt. Lesen Sie die Zeile zur Bandbreite zweimal; sie entscheidet, wie sich die Maschine anfühlt.

MerkmalDGX SPARKRTX PRO 6000 BLACKWELLH200 NVL
Speicher128 GB LPDDR5x, gemeinsam mit der CPU96 GB GDDR7 mit ECC141 GB HBM3e
Bandbreite273 GB/s1.597 GB/s Server Edition, 1.792 GB/s Workstation und Max-Q4,8 TB/s
Aufstellungsortein Schreibtisch: 150 × 150 × 50,5 mm, 1,2 kgeine Workstation (Workstation, Max-Q) oder ein Server (Server Edition, passiv)ein Server auf der Supportliste des Herstellers, Dual Slot passiv, FHFL
Leistungsaufnahme240 W Netzteil, 233,2 W Maximum und 38,0 W im Leerlauf nach NVIDIAs Angabe600 W Workstation, 300 W Max-Q, 400 bis 600 W Server Editionbis 600 W konfigurierbar; prüfen Sie die GPU-Konfigurationsmatrix des Serverherstellers für genau dieses Modell und diesen Steckplatz
GPU zu GPU200 GbE QSFP zwischen den Geräten, RoCEkeine: nur PCIe Gen 5, kein NVLink in irgendeiner EditionNVLink-Bridge, 900 GB/s je GPU, zwei oder vier Karten
Ehrlich gut inAufbau, Prototyping und Fine-Tuning, wo das Modell groß ist und die Nutzerzahl einsein Team von einer Karte aus zu bedienen, und in gemischter Arbeit: Rendering, Video, virtuelle DesktopsLatenz, langer Kontext und alles, was über GPUs verteilt werden muss

NVIDIA-Produktseite und User Guide zum DGX Spark; Datenblätter der RTX PRO 6000 und das Architektur-Whitepaper zu Blackwell PRO; Product Brief PB-12128-001 und Datenblatt zur H200 NVL; Produkthandbücher von Dell, HPE und Lenovo. September 2026.

Eine Zeile wird häufiger falsch zitiert als jede andere. Die Zahl 1.792 GB/s, die zur RTX PRO 6000 kursiert, gehört zur Workstation Edition und zur Max-Q. Die Server Edition, die einzige passiv gekühlte für ein Gehäuse und die einzige auf NVIDIAs vGPU-Liste, läuft mit 1.597 GB/s, etwa 11 Prozent darunter; ein Rack-Deployment auf 1.792 GB/s zu bemessen überschätzt seine Token-Generierung also um rund 12 Prozent. Unser Editionsvergleich deckt den Rest ab.

Auch der Lizenzanspruch unterscheidet sich. Die H200 NVL wird mit einem Fünf-Jahres-Abonnement NVIDIA AI Enterprise verkauft, pro GPU lizenziert und gegen die Seriennummer der GPU aktiviert; notieren Sie die Seriennummern also, bevor die Karten ins Rack gehen. Der DGX Spark bringt keinen solchen Anspruch mit: NVIDIA schreibt, er bestehe nur, wenn er gekauft, als Evaluierung angefordert oder per Zertifikat gewährt wurde, und der kostenlose Weg ist NVIDIAs Testlizenz über 90 Tage.

Der Speicher ist das erste Tor, die Bandbreite das zweite

Gewichte sind Parameter mal Byte je Parameter: zwei in BF16 oder FP16, eines in FP8 und in NVFP4 ein halbes Byte plus ein FP8-Skalierungsfaktor je 16 Gewichte, wobei Embeddings und Ausgabeschicht in FP8- wie in NVFP4-Checkpoints meist in BF16 bleiben. NVIDIAs NVFP4-Checkpoint von Llama 3.3 70B hat 42,7 GB, etwa 0,61 Byte je Parameter. Bei MXFP4-Checkpoints kommt dasselbe hinzu: ein gemeinsamer Skalierungsfaktor je Block von Gewichten und einige Schichten in höherer Genauigkeit. Diese Rechnung, und sonst nichts, entscheidet, ob ein Modell überhaupt lädt.

MODELLBF16FP8NVFP4
Llama 3.1 8B16,1 GB9,1 GB6,0 GB
Qwen3-32B65,6 GB34,3 GB20,7 GB
Llama 3.1 70B141,2 GB72,7 GB42,7 GB

Nur Gewichte. BF16 aus den nominalen Parameterzahlen 8,03B, 32,8B und 70,6B; FP8 aus den veröffentlichten FP8-Checkpoints (NVIDIAs für die Llama-Modelle, Qwens für Qwen3-32B), die Embeddings und Ausgabeschicht in BF16 halten; NVFP4 aus NVIDIAs Checkpoints von Qwen3-32B und Llama 3.3 70B (dieselbe Architektur wie 3.1 70B), für das 8B-Modell nach unserer Rechnung, mit 0,5625 Byte je Gewicht für die linearen Schichten und 2 Byte für Embeddings und Ausgabeschicht. Cache, Aktivierungen und Framework-Overhead kommen obendrauf; der VRAM-Leitfaden hat die Formel.

Ein 70B-Modell in BF16 braucht 141,2 GB, das sind 131,5 GiB: Es lädt auf einer H200 NVL, deren Treiber 140,4 GiB meldet, mit etwa 9 GiB Rest und ohne Platz für Nutzer, und es passt weder auf die 96 GB der RTX PRO 6000 noch in die 128 GB des Spark. NVIDIAs NIM-Supportmatrix sagt dasselbe mit eigenen Worten: Auf der RTX PRO 6000 Server Edition läuft ein 70B-Modell in FP8 und NVFP4 auf einer Karte, und BF16 braucht vier oder acht Karten.

Die 128 GB des Spark werden auf zwei Arten falsch gelesen. Es ist gemeinsamer Systemspeicher, den sich eine Arm-CPU mit 20 Kernen, DGX OS und die Desktop-Sitzung teilen, kein Framebuffer: nvidia-smi gibt auf dieser Plattform „Memory-Usage: Not Supported“ aus, und NVIDIA warnt, dass cudaMemGetInfo weniger meldet, als sich tatsächlich belegen lässt. NVIDIA veröffentlicht keine Angabe zur nutzbaren Kapazität; die eigenen Playbooks setzen 0,8 des Speichers in vLLM und 0,80 bis 0,9 in TensorRT-LLM als Standard, was ein Arbeitsbudget von rund 102 bis 115 GB ergibt. Das ist unsere Rechnung aus NVIDIAs Voreinstellungen, keine Spezifikation.

Die zweite Fehllesung ist die Schlagzeile. NVIDIA schreibt, ein Spark könne „KI-Modelle mit bis zu 200 Milliarden Parametern testen, validieren und inferenzieren“. Das gilt bei 4 Bit, aber nur knapp: Bei 4,25 bis 4,5 Bit je Gewicht mit den Blockskalierungen belegen 200 Milliarden Parameter 106 bis 112 GB, es bleiben 16 bis 22 GB der 128 GB für Cache, Aktivierungen und Betriebssystem. In FP8 erreicht dieselbe Box rund 110 Milliarden Parameter und in BF16 rund 55 Milliarden. Wer „200B auf dem Schreibtisch“ als BF16-Aussage liest, bemisst das Projekt um fast das Vierfache falsch.

Zu passen ist nur das erste Tor. Die Token-Generierung liest für jedes ausgegebene Token jedes Gewicht erneut aus dem Speicher, die Rate je Nutzer bei kleiner Batchgröße ist also Bandbreite geteilt durch die Byte der Gewichte, nicht FLOPS.

DICHTES 70B IN FP8BANDBREITEOBERGRENZE, EIN NUTZER
DGX Spark273 GB/s3,9 Token/s
RTX PRO 6000 Server Edition1.597 GB/s23 Token/s
H200 NVL4,8 TB/s68 Token/s

Unsere Rechnung: Bandbreite geteilt durch die 70,6 GB Gewichte, die je Token gelesen werden. Eine Obergrenze, die reale Systeme nicht erreichen, keine Messung. In NVFP4 werden je Token etwa 40,6 GB gelesen, die 4-Bit-Schichten plus die Ausgabeschicht in BF16, und jede Obergrenze steigt um etwa drei Viertel.

Drei Komma neun Token pro Sekunde ist die schärfste Zahl hier. Stilles Lesen von Sachtexten liegt im Mittel bei 238 Wörtern pro Minute, was bei etwa 0,75 Wörtern je Token rund 5,3 Token pro Sekunde entspricht. Ein dichtes 70B-Modell in FP8 erreicht auf einem Spark nicht einmal theoretisch Lesegeschwindigkeit, und die Theorie ist großzügig: NVIDIAs eigene Spark-Messungen nennen Llama 3.1 8B in NVFP4 mit 38,65 Token pro Sekunde gegen eine Obergrenze von etwa 55 und Qwen3 14B mit 22,71 gegen etwa 30, beide bei rund 70 bis 75 Prozent der Obergrenze nach unserer Rechnung aus den je Token gelesenen Bytes, was das dichte 70B-Modell eher bei drei als bei vier ansiedelt. NVIDIAs Spark-Inferenzwerte vom Oktober 2025 sind alle 4 Bit bei Batchgröße eins; sein Test in FP8 mit vLLM vom März 2026 endet bei vier gleichzeitigen Aufgaben.

Darum führen die FLOPS-Schlagzeilen in die Irre, und beide, denen ein Ingenieur begegnet, sind nach den Fußnoten des Herstellers Sparsity-Werte. NVIDIAs Spark-Seite druckt „bis zu 1 PFLOP FP4“ unter der Fußnote „theoretische FP4-TOPS unter Nutzung der Sparsity-Funktion“ und wir haben bei NVIDIA keinen dichten Wert für GB10 gefunden. Die Seite der RTX PRO 6000 Server Edition druckt 4 PFLOPS FP4, 2 PFLOPS FP8 und 1 PFLOP FP16 ohne Angabe der Basis, aber das Architektur-Whitepaper nennt für die Workstation Edition Paare aus dicht und Sparsity, 2.015,2 gegen 4.030,4 TFLOPS in FP4, mit der Fußnote „effektive TOPS/TFLOPS unter Nutzung der Sparsity-Funktion“, und diese dichten Werte skalieren auf die veröffentlichten Zahlen der Server Edition. Halbieren Sie sie. Jede Tensor-Angabe der H200 NVL von TF32 bis INT8 trägt ebenfalls „mit Sparsity“. Übliches LLM-Serving nutzt keine strukturierte 2:4-Sparsity, und keine dieser Zahlen sagt Token pro Sekunde bei Batchgröße eins voraus. Die Bandbreite tut es.

Gleichzeitigkeit ändert die Antwort

Ein Entwickler und zwanzig Angestellte sind verschiedene Maschinen, und der Grund ist der Key-Value-Cache. Jedes aktive Gespräch hält Keys und Values für jedes Token, das es gesehen hat, bemessen als 2 × Schichten × Key-Value-Köpfe × Kopfdimension × Byte je Element × Sequenzlänge. Grouped-Query-Attention macht das Serving auf einer Karte überhaupt möglich: Llama 3.1 70B hat 80 Schichten, 64 Query-Köpfe und 8 Key-Value-Köpfe, kostet also 320 KiB je Token in FP16 statt der 2.560 KiB, die es ohne GQA kosten würde.

Rechnen Sie das gegen die 95,6 GiB, die der Treiber auf einer 96-GB-Karte meldet, bei 90 Prozent, dem Standard von vLLM bis Release 0.19 (0,92 seit 0.20.0 vom April 2026) und unserem Planungswert, abzüglich etwa 3 GiB für Aktivierungen und CUDA-Graphen.

AUF EINER 96-GB-KARTEGEWICHTEKV-BUDGETBEI 8KBEI 32K
Llama 3.1 8B, FP88,5 GiB74,5 GiB74 / 14918 / 37
Qwen3-32B, NVFP419,3 GiB63,7 GiB31 / 637 / 15
Llama 3.1 70B, FP867,7 GiB15,3 GiB6 / 121 / 3
Llama 3.1 70B, NVFP439,8 GiB43,2 GiB17 / 344 / 8

Maximale gleichzeitige Sequenzen, die jeweils einen Kontext voller Länge halten, mit einem FP16-Cache / einem FP8-Cache. Eher eine Untergrenze als eine Obergrenze, da PagedAttention Blöcke nach Bedarf zuteilt, aber es entscheidet, ob eine Anfrage angenommen oder eingereiht wird. FP8-Gewichte sind die veröffentlichten FP8-Checkpoints, die Embeddings und Ausgabeschicht in BF16 halten.

Lesen Sie die beiden 70B-Zeilen zusammen. In FP8 lässt das Modell 15,3 GiB Cache übrig, sechs volle 8K-Sitzungen oder eine mit 32K; in NVFP4 sind es 43,2 GiB und siebzehn. Die Entscheidung über die Quantisierung kauft auf einer Karte mehr Gleichzeitigkeit, als eine zweite Karte es täte. Langer Kontext lässt die Gleichzeitigkeit schneller einbrechen als die Modellgröße, und darum lautet die erste Frage nicht, wie viele Nutzer es sind, sondern wie lang die Gespräche werden.

Eine ehrliche Lücke gehört hierher. NVIDIAs absolute LLM-Angaben für die Karte sind Werte zum maximalen Durchsatz der Server Edition in der Performance-Übersicht zu TensorRT-LLM, gemessen mit der eigenen Engine, etwa Qwen3-30B-A3B in FP4 auf einer GPU mit 9.938 Ausgabe-Token pro Sekunde und GPU bei 1.000 Token Eingabe und 1.000 Token Ausgabe. Wir haben bei NVIDIA keine Angabe je Nutzer gefunden; die von MLCommons verifizierten Ergebnisse für die Karte in MLPerf® Inference v6.0 vom April 2026 sind Durchsätze von Servern mit mehreren GPUs, keine Raten je Nutzer; NVIDIAs Seite zur Inferenzleistung führt diese GPU nur mit Vision-, Bild- und Videogenerierungsmodellen, und die übrigen LLM-Aussagen, die NVIDIA veröffentlicht, sind relativ, gegen eine L40S als Basis, ohne genannte Genauigkeit und ohne genannte Batchgröße. Die Messung für Ihr Modell und Ihren Kontext ist die auf Ihrer eigenen Karte, wo vLLM beim Start GPU KV cache size und Maximum concurrency ausgibt.

Beispiel: Eintrag 6.0-0004, MLPerf Inference v6.0 Datacenter, Closed Division, Kategorie Available, Llama 2 70B (llama2-70b-99), Szenario Interactive, acht Karten RTX PRO 6000 Blackwell Server Edition, 6.238,12 Token pro Sekunde mit FP4-Gewichten, abgerufen von mlcommons.org am 24. September 2026. Ergebnis von der MLCommons Association verifiziert. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Das Szenario Interactive von MLPerf Inference v6.0 für Llama 2 70B verlangt zum Vergleich das erste Token innerhalb von 450 ms und danach höchstens 40 ms je Token, also 25 Token pro Sekunde je Nutzer, rund das Fünffache der mittleren stillen Lesegeschwindigkeit. Der Artikel zur Gleichzeitigkeit rechnet es durch.

Kommen die Nutzer als virtuelle Maschinen statt als API-Clients, kehrt die Frage nach der Edition zurück. vGPU läuft auf der RTX PRO 6000 Server Edition ab vGPU 19.0; die Workstation Edition und die Max-Q stehen überhaupt nicht auf NVIDIAs Liste der unterstützten Karten. MIG teilt jede der drei in vier Instanzen zu 24 GB, zwei zu 48 GB oder eine zu 96 GB, und für Compute-Profile liegt die Obergrenze bei 12 zeitgeteilten virtuellen Maschinen zu 8 GB. Unser Leitfaden zu MIG und vGPU hat die Tabellen.

Wo jede der drei scheitert

Jede der drei ist für manche Projekte richtig und für andere falsch. Das sind die Fehlschläge, die uns tatsächlich begegnen, und was gegen jeden hilft.

Der DGX Spark scheitert an der Geschwindigkeit, nicht an der Größe. Er lädt ein Modell, das er anschließend zu langsam bedient, um es vor einen Menschen zu stellen, und das geht schlechter aus, als es gar nicht erst zu laden: 273 GB/s liegen um den Faktor 6,6 unter einer RTX-PRO-6000-Workstation-Karte und um den Faktor 17,6 unter einer H200 NVL. NVIDIA positioniert ihn als Maschine, auf der prototypisiert, feinabgestimmt und validiert wird, bevor die Arbeit in ein Rechenzentrum wandert. Kaufen Sie ihn also für die Leute, die den Code schreiben, und entscheiden Sie die Serving-Hardware, sobald der Prototyp Modell, Genauigkeit und Kontextlänge geklärt hat. Achten Sie auch auf die Umgebung: 5 bis 30 °C sind für ein Büro eng, und GPUDirect RDMA wird wegen des Modells mit gemeinsamem Speicher nicht unterstützt. Wirklich stark ist die Box beim Fine-Tuning, und NVIDIAs dokumentierte Leiter auf einem Gerät ist ein volles Fine-Tuning bei 3B, LoRA bei 8B und QLoRA bei 70B, gemessen mit 13.519,54, 6.969,59 und 759,79 Token pro Sekunde in der Spitze. Der Benchmark-Artikel hat die Tabelle.

Die RTX PRO 6000 scheitert an der Edition und an der Kontextlänge. Eine Workstation Edition, die für ein Rack bestellt wurde, ist eine 600-W-Karte mit Double-Flow-Through-Kühlung, die kein Server annimmt, und ohne vGPU; eine Server Edition, die für eine Workstation bestellt wurde, ist eine passive Karte ohne Lüfter. Dann der Speicher: 96 GB sind für ein 70B-Modell in NVFP4 bequem und in FP8 knapp, und geleert werden sie von langen Gesprächen, nicht von Parameterzahlen. Eine Karte ist außerdem eine Fehlerdomäne, und daran ändern weder MIG noch vGPU etwas, da beide eine einzelne physische GPU aufteilen. Legen Sie die Edition danach fest, wo die Karte stehen wird, quantisieren Sie, bevor Sie eine zweite Karte kaufen, und wenn der Dienst zählt, setzen Sie die zweite Karte in einen zweiten Host.

Die H200 NVL scheitert am Gehäuse, nicht an der Karte. Der Support gilt je Konfiguration und nicht je Server, und die Hürden sind allesamt Blocker für die Nachrüstung. Dell führt die Karte nur auf Systemen der 17. Generation, höchstens zwei in einem R770 oder R7725, und nicht in den Tabellen zu 15G oder 16G; ein Server, den Sie bereits besitzen, kann also fehlen. Lenovo unterstützt sie im SR650a V4 und schreibt, sie sei „auf dem SR650 V4 nicht unterstützt“, zwei Maschinentypen dessen, was wie eine einzige 2U-Familie aussieht. Jenseits der Modellnummer stehen benannte Teile: Dells HPR-Platinum-Lüfter, die Riser-Kits und je Steckplatz eine andere Teilenummer für das Stromkabel; Lenovos Lüftermodul für 600 W, der vordere Luftkanal in doppelter Breite, ausschließlich die Steckplätze 21 und 23 und eine Umgebungsgrenze von 30 °C. Die Laufwerks-Backplane kann die GPU für sich allein ausschließen, weil sie den Luftwiderstand vor der Karte bestimmt. Und der Fehler, der ein Wartungsfenster kostet: Das 16-polige Hilfskabel muss für die Klasse 451 bis 600 W kodiert sein, sonst bootet die Karte gar nicht, statt gedrosselt zu laufen. Prüfen Sie Maschinentyp, Backplane, Riser, Lüfterkit, Luftkanal und die Teilenummer des Kabels vor der Bestellung: Wir haben weder bei NVIDIA noch bei den Herstellern eine Luftmengenangabe gefunden, gegen die sich ein Gehäuse prüfen ließe, die Liste der unterstützten Konfigurationen ist also die thermische Spezifikation. Die Nachrüst-Checkliste ist die lange Fassung.

Wie der Ausbauweg von jedem Startpunkt aussieht

Die drei Startpunkte skalieren auf drei verschiedene Arten, und nur einer davon skaliert, indem Sie eine weitere Box derselben Art danebenstellen.

AUSGANGSPUNKTWIE ES WÄCHSTGRENZE
DGX SparkGeräte ergänzen: bis zu drei direkt über 200-GbE-QSFP-Kabel verbunden, bis zu vier über einen Switch, per RoCENVIDIA veröffentlicht sowohl „zwei Systeme, 405 Milliarden Parameter“ als auch „bis zu vier Systeme, 700 Milliarden“; beides gilt nur bei 4 Bit
RTX PRO 6000Karten in einem Server ergänzen, bis zu acht in NVIDIAs Referenzdesign: 768 GB GDDR7, bis zu 12,8 TB/s zusammenkein NVLink in irgendeiner Edition, jeder Sprung von Karte zu Karte läuft also über PCIe Gen 5 mit 128 GB/s gegen 900 GB/s einer NVLink-Bridge
H200 NVLein Paar oder ein Quartett mit NVLink-Bridge ergänzen: eine Bridge je Karte, die 2-Wege-Variante verbindet zwei benachbarte Karten, die 4-Wege-Variante vier900 GB/s je GPU in beiden Fällen, 1,8 TB/s zusammen und 564 GB über vier Karten; ein 8-GPU-Knoten ist 4 × NVL2 oder 2 × NVL4, nie eine einzige 8-Wege-Domäne

Nehmen Sie den Spark-Weg zuerst, denn eine Aussage dazu ist veraltet. Der DGX Spark hört nicht bei zwei Geräten auf: NVIDIAs Clustering-Dokumentation unterstützt bis zu drei Systeme, die direkt über Kabel verbunden sind, und bis zu vier über einen Switch. Die beiden veröffentlichten Angaben zur Modellgröße widersprechen sich auf NVIDIAs eigenen Seiten, 405 Milliarden über zwei Geräte und 700 Milliarden über vier, und beide gelten nur bei 4 Bit: Bei 4,5 Bit je Gewicht sind 405 Milliarden Parameter etwa 228 GB gegen 256 GB in zwei Geräten, und 700 Milliarden etwa 394 GB gegen 512 GB in vier Geräten. NVIDIAs Tabelle der validierten Modelle markiert genau einen Eintrag als Multi-Node, Qwen3-235B-A22B in NVFP4, gemessen mit 11,73 Token pro Sekunde über zwei Sparks. Wachstum kauft hier Kapazität, keine Geschwindigkeit. Der Artikel zum Clustering behandelt die Verkabelung.

Der Weg über die RTX PRO 6000 trägt die Einschränkung, die die meisten überrascht: Es gibt in keiner Edition NVLink, weder bei den Workstation-Karten noch bei der Server Edition. Lenovos Produkthandbuch schreibt es nüchtern hin, NVIDIAs Spezifikationstabellen lassen es aus, und die Referenzarchitektur beschreibt die Platzierung der GPUs rein in PCIe-Begriffen. Der Abstand zu einer Karte mit Bridge beträgt etwa das Siebenfache, 128 GB/s gegen 900 GB/s. Die Leiter lautet also: erst quantisieren, bevor Sie in die Breite gehen, denn Gewichte in FP8 oder NVFP4 auf einer Karte schlagen BF16, verteilt über zwei Karten ohne schnelle Verbindung; dann unabhängige Repliken ergänzen, eine Modellinstanz je Karte hinter einem Load Balancer, was keinen Verkehr zwischen GPUs erzeugt und die Verfügbarkeit verdoppelt; und erst, wenn das Modell wirklich nicht passt, es aufteilen, mit Pipeline-Parallelismus vor Tensor-Parallelismus, was vLLMs eigene Empfehlung für Knoten ohne NVLink ist.

Der Weg über die H200 NVL ist der für Wachstum gebaute, mit einem Vorbehalt zur Geometrie. Jede Karte trägt genau eine Bridge, die größte Änderung gegenüber der H100 NVL mit ihren dreien, ein vorhandener Bridge-Satz lässt sich also nicht übernehmen. Die Karten müssen physisch benachbart sein. NVIDIAs Product Brief schreibt, per Bridge verbundene Karten sollten in derselben CPU-Domäne sitzen, und führt eine Bridge über CPUs hinweg als zulässig, aber nicht empfohlen; in einem Server, dessen Riser die GPUs zwei und zwei auf die Sockel verteilen, würde eine 4-Wege-Bridge beide Sockel überspannen, was NVIDIA nicht empfiehlt. Planen Sie die Steckplatzbelegung vor der Bestellung. Unser direkter Vergleich führt diese beiden Karten weiter.

Ist die Antwort wirklich unklar, gibt es eine vertretbare Reihenfolge. Starten Sie auf einem Spark, solange Modell, Genauigkeit und Kontextlänge noch in Bewegung sind. Wechseln Sie auf eine RTX PRO 6000, wenn ein Team die Sache täglich nutzt und die Bandbreite zur Beschwerde wird. Wechseln Sie auf die H200 NVL, wenn Latenz, langer Kontext oder ein Modell, das über GPUs verteilt werden muss, die Bridge und die 4,8 TB/s zum Sinn des Kaufs machen.

Was wir liefern

Eurokommerz liefert alle drei auf einem europäischen Vertrag, Mengen und Lieferzeit schriftlich mit dem Angebot bestätigt: DGX-Spark-Geräte, RTX PRO 6000 Blackwell-Karten in allen drei Editionen samt Workstation oder Server darum herum und H200-NVL-Karten mit ihren NVLink-Bridges, in auf Bestellung gebauten KI-Servern oder, nach einer Prüfung von Plattform, Stromversorgung und Kühlung, in einem Server, den Sie bereits besitzen. Der schnellste Weg zur richtigen Antwort führt über drei Angaben: welches Modell Sie betreiben wollen und in welcher Genauigkeit, wie viele Menschen es gleichzeitig nutzen und wo die Maschine physisch stehen wird. Damit liefern wir die Speicherrechnung, die Bandbreitenobergrenze und die Teileliste.

FAQ

Kann ein DGX Spark wirklich ein Modell mit 200 Milliarden Parametern betreiben?
Ja, in 4 Bit, aber nur knapp. Mit den Blockskalierungen kommen MXFP4 und NVFP4 auf 4,25 bis 4,5 Bit je Gewicht, 200 Milliarden Parameter sind also 106 bis 112 GB Gewichte in 128 GB gemeinsamem Speicher, es bleiben 16 bis 22 GB für den Key-Value-Cache, Aktivierungen und das Betriebssystem. In FP8 erreicht dieselbe Box rund 110 Milliarden Parameter und in BF16 rund 55 Milliarden, die Aussage gehört also mit ihrer Genauigkeit gelesen.
Reicht eine RTX PRO 6000 für ein 70B-Modell?
In FP8 hat NVIDIAs Checkpoint etwa 72,7 GB und passt auf die 96-GB-Karte, es bleiben etwa 15,3 GiB Key-Value-Cache, also sechs gleichzeitige 8K-Sitzungen. In NVFP4 sind die Gewichte etwa 42,7 GB, das Cache-Budget steigt auf etwa 43,2 GiB und siebzehn Sitzungen passen. In BF16 ist das Modell 141,2 GB und passt nicht; NVIDIAs NIM-Matrix führt 70B in BF16 auf dieser GPU nur mit vier oder acht Karten.
Wie viele Menschen kann eine GPU gleichzeitig bedienen?
Der Speicher setzt eine Untergrenze, die sich rechnen lässt, und der Durchsatz setzt die reale Grenze. Für Ihre eigene Karte gibt vLLM beim Start die Größe des GPU-KV-Cache und die maximale Gleichzeitigkeit aus, und das ist eine Messung statt einer Behauptung.
Brauche ich für ein erstes KI-Projekt eine H200 NVL?
Meistens nicht. Sie verdient ihren Platz, wenn die Latenz je Nutzer zählt, wenn die Kontexte lang sind oder wenn das Modell über GPUs verteilt werden muss, denn 4,8 TB/s sind etwa das Dreifache der RTX PRO 6000 Server Edition, und die NVLink-Bridge läuft mit 900 GB/s je GPU. Passt jede Modellkopie auf eine Karte und kommen die Nutzer als gewöhnliche API-Clients, beantwortet eine einzelne RTX PRO 6000 dieselbe Frage.
Kann ich eine H200 NVL in den Server einbauen, den ich schon habe?
Nur wenn genau diese Konfiguration auf der Liste des Herstellers steht. Dell führt die Karte auf Systemen der 17. Generation und nicht auf 15G oder 16G; Lenovo unterstützt den SR650a V4 und ausdrücklich nicht den SR650 V4. Jenseits des Maschinentyps brauchen Sie den richtigen Riser, das Lüfterkit, den Luftkanal, die Laufwerks-Backplane, die Netzteile und ein 16-poliges Kabel, das für die Klasse 451 bis 600 W kodiert ist, sonst bootet die Karte gar nicht.
Kann ich später eine zweite RTX PRO 6000 ergänzen?
Ja, aber es gibt in keiner Edition NVLink, die beiden Karten sprechen also über PCIe Gen 5 mit 128 GB/s gegen 900 GB/s einer NVLink-Bridge. Quantisieren Sie zuerst und betreiben Sie dann eine Modellinstanz je Karte hinter einem Load Balancer, was Durchsatz und Verfügbarkeit ohne Verkehr zwischen GPUs bringt. Teilen Sie ein Modell erst über Karten auf, wenn es wirklich nicht passt, und bevorzugen Sie auf einer Maschine ohne NVLink Pipeline-Parallelismus vor Tensor-Parallelismus.

Nennen Sie uns das Modell und seine Genauigkeit, wie viele Menschen es gleichzeitig nutzen und ob die Maschine auf einen Schreibtisch oder in ein Rack geht, und wir liefern die Rechnung zu allen drei Optionen. Wir antworten innerhalb eines Werktages.

Mit einem Experten sprechen
Mit einem Experten sprechen

Wir antworten innerhalb eines Werktages

Mit dem Absenden stimmen Sie zu, dass wir Ihre Angaben zur Beantwortung Ihrer Anfrage verarbeiten – siehe unsere Datenschutzerklärung.

request@eurokommerz.at
Jordangasse 7, 1010 Wien