Ein DGX Spark für ein Team: wie viele Personen er bedient und wie Sie ihn teilen

Wie viele Personen ein DGX Spark bedient

Nach den veröffentlichten Messungen der Maintainer von llama.cpp hält ein DGX Spark (128 GB) mit gpt-oss-120b und Prompts von 4.096 Token bis zu etwa 16 gleichzeitigen Anfragen jede Antwort bei 10 Token pro Sekunde oder mehr, einem bequemen Lesetempo. Wie vielen Personen das entspricht, hängt davon ab, wie oft sie Anfragen schicken. NVIDIA positioniert den DGX Spark für „Workloads von KI-Entwicklern, Forschern und Data Scientists“, und eine Zahl von NVIDIA dazu, wie viele Personen sich einen Spark teilen können, haben wir nicht gefunden. Am nächsten kommt dem eine Aussage zur Software: „Mit Unterstützung von Frameworks, die gut mit Parallelität umgehen (etwa NVIDIA TensorRT LLM, vLLM und SGLang), laufen Multi-Agenten-Workloads auf NVIDIA DGX Spark reibungslos.“ Deutlicher zum vorgesehenen Einsatz äußert sich die Garantie: ein „small-scale server for consumer and enterprise end user and multi-users purposes“, im Unterschied zu „large-scale datacenter use or GPU cluster commercial deployments“, die der englische Text „Enterprise Use“ nennt und ausschließt. Ein Spark, den sich ein Team im Büro teilt, passt zur ersten Beschreibung. Der deutsche Garantietext gibt den Ausschluss als Nutzung „für Unternehmenszwecke“ wieder; lassen Sie sich die Garantie für Ihren Einsatz daher vom Verkäufer bestätigen. Unser Artikel zum Kauf eines DGX Spark in der EU zitiert den englischen und den deutschen Wortlaut.

Maßgeblich für die Auslegung sind gleichzeitige Anfragen, nicht Personen. Zehn Entwickler mit einem Coding-Assistenten schicken selten zehn Anfragen in derselben Sekunde, und eine Dokumentenpipeline schickt alle ihre Anfragen auf einmal. Unser Artikel zu Nutzern pro RTX PRO 6000 erklärt, wie Sie die Zahl, auf die es ankommt, aus Ihren eigenen Logs ablesen; hier wenden wir die veröffentlichten Messungen auf den Spark an.

Tempo je Anfrage, von 1 bis 32 gleichzeitig

Die vollständigsten öffentlichen Daten stammen von den Maintainern von llama.cpp, die den DGX Spark mit mehreren parallel laufenden Anfragen messen. Die Tabelle zeigt die Generierungs­geschwindigkeit, die jede einzelne Anfrage erhält.

Token pro Sekunde je Anfrage. DGX-Spark-Ergebnisse der Maintainer von llama.cpp (llama-batched-bench, Build vom Februar 2026, Promptlänge 4.096 Token und 32 erzeugte Token je Anfrage); das Tempo je Anfrage ist der veröffentlichte Gesamtwert geteilt durch die Zahl der Anfragen.

Der Gesamtdurchsatz steigt dabei weiter, bei gpt-oss-120b von 55 Token pro Sekunde für eine Anfrage auf 262 bei 32, während jede einzelne Anfrage langsamer wird. LMSYS hat zum Marktstart im Oktober 2025 denselben Verlauf gemessen, mit SGLang und Prompts und Antworten von je 2.048 Token. In diesem Test fiel gpt-oss-120b von 50,5 Token pro Sekunde im Einzelbetrieb auf 14,6 je Anfrage bei 8, 9,2 bei 16, 6,3 bei 32 und 4,6 bei 64, in Summe etwa 290 Token pro Sekunde. NVIDIAs eigener Test zur Parallelität, veröffentlicht im März 2026, ließ Qwen3 Coder Next in FP8 auf vLLM mit Prompts von 32K Token und Antworten von 1K Token laufen. Eine, zwei und vier gleichzeitige Aufgaben dauerten 35, 54 und 91 Sekunden, und das erste Token kam im Median nach 9, 12 und 15 Sekunden.

Unser 70B-Rechenbeispiel rechnet mit 10 Token pro Sekunde als bequemem Lesetempo. Daran gemessen bleibt gpt-oss-120b auf einem Spark mit Prompts von 4.096 Token bis zu etwa 16 gleichzeitigen Anfragen über dieser Marke und fällt bei 32 darunter, während gpt-oss-20b bei 32 darüber bleibt. Wir liefern den DGX Spark in der Founders Edition und dimensionieren den nächsten Schritt nach Ihren eigenen Zahlen. Nennen Sie uns Ihr Modell und die Zahl gleichzeitiger Anfragen, und wir sagen Ihnen, ob ein Spark sie trägt.

Lange Prompts und die Zeit bis zum ersten Token

Die Prompt-Verarbeitung (Prefill) ist durch die Rechenleistung begrenzt, und auf dem Spark läuft sie mit einer ziemlich festen Rate: etwa 2.400 Token pro Sekunde für gpt-oss-120b in den Ergebnissen von llama.cpp, ob nun eine Anfrage wartet oder zweiunddreißig. Prompts reihen sich deshalb hintereinander ein. Acht Anfragen mit Prompts von 4.096 Token brauchen zusammen 13,6 Sekunden Prompt-Verarbeitung, und zweiunddreißig brauchen 54,4 Sekunden; mit Prompts von 8.192 Token brauchen zweiunddreißig 111 Sekunden. Längere Kontexte bremsen auch die Prompt-Verarbeitung: Bei einer Kontexttiefe von 32K Token verarbeitet dasselbe Modell Prompts mit etwa 1.570 Token pro Sekunde.

Deshalb werden Chat- und Agenten-Workloads unterschiedlich ausgelegt. Menschen, die Fragen tippen, schicken kurze Prompts, und ein Spark kann viele davon bewältigen. Retrieval-Pipelines und Coding-Agenten schicken bei jedem Aufruf Dokumente und ganze Dateien mit, und NVIDIAs eigene Tabelle endet bei vier solchen Aufgaben gleichzeitig. Auch die Antwortlänge spielt eine Rolle; in diesem Test dauerte das Erzeugen der Antworten mit 1K Token länger als die Verarbeitung der Prompts mit 32K Token. Sehen Sie sich vor der Auslegung die Prompt- und Antwortlängen in Ihren Logs an, nicht nur die Zahl der Nutzer.

Welches Modell Sie bereitstellen

Mixture-of-Experts-Modelle sind es, die den Spark für ein Team brauchbar machen, weil jedes Token nur die aktiven Parameter liest. gpt-oss-20b hat 21 Milliarden Parameter, davon 3,6 Milliarden aktiv, und 13,8 GB Gewichte; gpt-oss-120b hat 117 Milliarden, davon 5,1 Milliarden aktiv, und 65,3 GB; Qwen3-Coder-30B-A3B hat 30,5 Milliarden, davon 3,3 Milliarden aktiv. Dichte Modelle verhalten sich anders. LMSYS hat ein dichtes Llama 3.1 70B in FP8 mit 2,7 Token pro Sekunde für eine Anfrage gemessen und mit 20,2 insgesamt für acht, 2,5 je Anfrage. Ein solches Modell eignet sich eher für einen nächtlichen Batch-Job als für ein Team.

Der Speicher entscheidet, wie viele davon gleichzeitig passen. Unser Artikel zu den 128 GB leitet aus NVIDIAs Playbook-Einstellungen von 0,8 und 0,9 ein praktisches Arbeitsbudget von etwa 102 bis 115 GB für Gewichte und Cache auf einem Spark mit 128 GB ab, aus der Einstellung 0,7 von NVIDIAs vLLM-Startskript für einen Spark rund 90 GB. Allein betrieben lässt gpt-oss-120b in 102 GB nach unserer Rechnung Platz für etwa 30 Gespräche mit je 32K Token, in 90 GB für etwa 20, sodass bei Chat das Tempo je Anfrage aus der Tabelle oben die Grenze setzt, bevor der Speicher knapp wird. gpt-oss-120b und gpt-oss-20b belegen zusammen etwa 79 GB Gewichte, was für beide rund 23 bis 36 GB Cache übrig lässt, bei 0,7 rund 10 GB. Damit passen ein schnelles Modell für Alltagsfragen und ein größeres für schwierigere Fragen auf denselben Spark, sofern die Speicheranteile der beiden Engines zusammen dieses Budget ergeben, statt dass jede ihre Voreinstellung nimmt. Auf die 64-GB-Konfiguration, seit dem 23. Oktober 2026 bei OEM-Partnern erhältlich, passen die 79 GB Gewichte der beiden Modelle nicht.

Wie Sie einen DGX Spark teilen

Eine Serving-Engine. vLLM, SGLang, TensorRT-LLM, der llama.cpp-Server und NVIDIA NIM stellen alle eine OpenAI-kompatible API bereit, und NVIDIA veröffentlicht für jede davon DGX-Spark-Playbooks. Prüfen Sie zuerst die Voreinstellungen für gleichzeitige Anfragen: Ollama verarbeitet jeweils eine Anfrage pro Modell, solange OLLAMA_NUM_PARALLEL nicht erhöht wird, und stellt den Rest in die Warteschlange; der llama.cpp-Server ist standardmäßig auf vier gleichzeitige Anfragen eingestellt; vLLM bezieht seine Grenzen aus --max-num-seqs und --gpu-memory-utilization. NVIDIAs vLLM-Playbook setzt mit Stand 10. Oktober 2026 den zweiten Wert im Startskript für einen Spark, auf das build.nvidia.com verweist, auf 0,7, in seinen übrigen Beispielen für einen Spark auf 0,8 oder 0,4 und auf zwei Spark-Systemen auf 0,8 oder 0,9, und seine Beispiele begrenzen --max-num-seqs auf Werte zwischen 1 und 10, sodass weitere Anfragen in der Warteschlange warten.

Ein Frontend mit Konten. Open WebUI verbindet sich mit OpenAI-kompatiblen Endpunkten wie vLLM und dem llama.cpp-Server. Das erste angelegte Konto wird Administrator, neue Registrierungen bleiben im Wartezustand, bis jemand sie freigibt, Berechtigungen legen fest, wer welche Modelle und Wissensdatenbanken sieht, und die Anmeldung über OIDC oder LDAP ist dokumentiert. NVIDIAs Open-WebUI-Playbook richtet es mit einem lokalen Administratorkonto auf dem Gerät ein. Open WebUI hat zwei als High eingestufte Schwachstellen in Version 0.11.4 (September 2026) und eine weitere in 0.12.2 (18. Oktober 2026) behoben; setzen Sie auf einem Spark, an dem sich mehrere Personen anmelden, daher 0.12.2 oder neuer ein. Stellt Ollama die Modelle bereit, verwenden Sie 0.35.0 oder neuer, das CVE-2026-103663 (8. Oktober 2026) behebt, eingestuft als kritisch (CVSS 9,4), wo der Ollama-Dienst in /usr/lib/ollama schreiben kann, sonst mit 6,9 bewertet, und halten Sie Port 11434 vom Büronetz fern.

Entwicklerkonten. DGX OS ist Ubuntu, und jeder Entwickler sollte ein eigenes Linux-Konto haben. Das DGX Dashboard gibt jedem Konto ein eigenes JupyterLab mit eigenem Port und eigenem Arbeitsverzeichnis, NVIDIA Sync kann seit Version 0.117 denselben Spark mehrfach unter verschiedenen Benutzerkonten hinzufügen, und der Zugriff auf Docker wird pro Nutzer vergeben. Für den Zugriff von außerhalb des Büros hat NVIDIA Sync Tailscale eingebaut. Das Brev-Playbook von NVIDIA, aktualisiert am 21. September 2026, registriert einen Spark bei NVIDIA Brev als „A shared GPU workspace your team can access from anywhere“; vorausgesetzt werden ein Brev-Konto und Netzwerkzugang zu den Brev-Diensten.

Training: jeweils eine Arbeitslast. Ein Fine-Tuning-Lauf und eine Serving-Engine teilen sich dieselben 128 GB und dieselbe GPU. Planen Sie das Training außerhalb der Arbeitszeit ein, oder geben Sie ihm ein zweites Gerät.

Sie können die Hardware allein bestellen, die Einrichtung von Serving-Engine, Frontend und Konten allein oder beides zusammen: den Spark mit allem fertig installiert und eingerichtet; schreiben Sie uns, wie viele Nutzer den Spark verwenden werden und wie viele Anfragen gleichzeitig eintreffen.

Wann ein Team mehr als einen Spark braucht

Für Chat mit gpt-oss-120b und Prompts von 4.096 Token trägt ein Spark nach den Messungen etwa 16 gleichzeitige Anfragen, bevor jede unter das Lesetempo fällt. Soll jede Antwort mit 17 Token pro Sekunde oder mehr streamen, sind es etwa 8. gpt-oss-20b verdoppelt beide Werte ungefähr. Für Coding-Agenten und Dokumentenpipelines mit langen Prompts ist die Grenze viel früher erreicht, bei einer Handvoll paralleler Aufgaben.

Ein zweiter Spark bringt eher Kapazität als Tempo je Anfrage. Zwei verbundene Spark-Systeme mit je 128 GB fassen 256 GB, und StorageReview hat für gpt-oss-120b bei 128 Anfragen mit Pipeline-Parallelismus insgesamt 555 Token pro Sekunde gemessen, wie unser Artikel zu zwei Knoten beschreibt. Mit Pipeline-Parallelismus läuft jede Anfrage weiterhin mit der Bandbreite eines Spark. Braucht ein Team viele schnelle Ströme aus einem großen Modell, ist der nächste Schritt eine Karte mit mehr Bandbreite: Eine RTX PRO 6000 Server Edition im Server bewegt 1.597 GB/s und die RTX PRO 6000 Workstation Edition in einer Workstation 1.792 GB/s, gegenüber 273 beim Spark. Unser Vergleich für ein erstes KI-Projekt geht diese Entscheidung durch.

Für ein ganzes Unternehmen statt eines Teams rechnet die Dimensionierung eines eigenen ChatGPT-Servers nach Unternehmens­größe Konfigurationen für 100, 500 und 2.000 Mitarbeitende durch.

Was wir liefern

Wir liefern den NVIDIA DGX Spark in der Founders Edition (128 GB, 4 TB) EU-weit unter einem Vertrag und auf einer Rechnung, mit Herstellergarantie; Mengen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Wächst ein Team über seinen Spark hinaus, bemessen wir den nächsten Schritt anhand seiner eigenen Zahlen: zwei oder vier verbundene Spark-Systeme oder ein auf Bestellung gebauter GPU-Server mit Karten der RTX PRO 6000 Server Edition.

FAQ