Gemeinsamer GPU-Server oder GPU-Workstation je Person: Teams von 5 bis 30 im Vergleich

Zehn Workstations oder ein Server: die Entscheidung für ein Team

Für ein Data-Science- oder ML-Team mit 5 bis 30 Personen eignet sich ein gemeinsamer GPU-Server für den Großteil der Arbeit, sobald das Team Modelle, Daten und einen Modelldienst teilt und mehr als ein paar Personen gleichzeitig eine GPU brauchen. Eine Workstation je Person passt zu Personen, die einen lokalen Bildschirm brauchen, offline arbeiten oder den ganzen Tag eine ganze Karte mit 72 oder 96 GB für sich benötigen. Viele Teams mit 10 Personen landen bei beidem: zwei oder drei Workstations und ein Server mit vier Karten.

Der folgende Vergleich geht von einem Team mit 10 Personen und zwei konkreten Konfigurationen aus, die wir liefern. Auf der einen Seite zehn Workstations mit je einer NVIDIA RTX PRO 5000 Blackwell 72 GB. Auf der anderen ein Server mit vier NVIDIA RTX PRO 6000 Blackwell Server Edition, der Inferenzknoten auf unserer Seite KI-Server, mit MIG in 16 Instanzen zu 24 GB geteilt.

Datenblatt NVIDIA RTX PRO 5000 Blackwell und Product Brief der RTX PRO 6000 Blackwell Server Edition, wie in unseren Leitfäden zu Workstation und Server zitiert; NVIDIA-MIG-Benutzerhandbuch (13. Oktober 2026) für das Profil 1g.24gb; Leistung nach unseren Schätzungen unten.

Unser Leitfaden Rack-Server, Tower oder Workstation für KI vergleicht die Gehäusearten für bestimmte Karten. Diese Seite beantwortet die Frage nach der Anzahl: wie viele Maschinen ein Team braucht und wo sie stehen.

Was jede Person bekommt: Speicher und Rechenleistung

Eine Workstation stellt ihrem Nutzer die ganze Karte zur Verfügung. Die RTX PRO 5000 72 GB hat 14.080 CUDA-Kerne, 72 GB GDDR7 mit ECC und 1.344 GB/s bei 300 W, und nach unserer Regel für Nutzer je Karte nehmen 61,5 GiB davon Gewichte und Cache auf. Das reicht für Qwen3-32B in FP8 mit Cache für 29 Gespräche zu 8K oder für Llama 3.3 70B in NVFP4 mit Cache für 17, wie unser Leitfaden zur Workstation mit RTX PRO 5000 72 GB vorrechnet.

Auf dem Server teilt MIG jede RTX PRO 6000 Server Edition in bis zu vier isolierte Instanzen zu 24 GB, zwei zu 48 GB oder eine zu 96 GB, und NVIDIAs MIG-Benutzerhandbuch führt sie als 1g.24gb, 2g.48gb und 4g.96gb. Eine Instanz 1g.24gb hat ein Viertel der Rechenleistung und des Speichers der Karte. Nach unserer Division der NVIDIA-Angaben sind das rund 6.000 CUDA-Kerne und rund 400 GB/s je Person, gegenüber 14.080 Kernen und 1.344 GB/s bei der Workstation-Karte. Eine Instanz mit 24 GB fasst ein Modell bis etwa 14B Parameter in FP8, etwa Qwen3-14B mit 15,2 GiB Gewichten, mit etwas Platz für Cache; ein 32B-Modell in FP8 braucht eine Instanz mit 48 GB.

NVIDIA-Datenblätter, wie in unseren Leitfäden zu RTX PRO 5000 und RTX PRO 6000 zitiert; die Werte der Instanz sind unsere Division der 24.064 CUDA-Kerne und 1.597 GB/s der Karte durch vier, keine NVIDIA-Angaben.

Die Workstation ist also je Person die schnellere Maschine für den Job, den eine Person allein ausführt, etwa das Training eines Bildmodells auf einer GPU. Der Server gewinnt bei Jobs, die eine Person auf einer Arbeitsplatzkarte nicht ausführen kann: eine Karte mit 96 GB für einen Tag, zwei Karten für einen Fine-Tuning-Lauf oder ein Modell, das das ganze Team abfragt. Unsere MIG-Profile der RTX PRO 6000 zeigen, was in jede Instanzgröße passt.

Aufteilungen für zehn Personen auf einem Server mit vier Karten

MIG wird je Karte eingestellt, die vier Karten müssen also nicht gleich aussehen. Drei Aufteilungen decken die meisten Teams mit zehn Personen ab:

MIG-Profile aus NVIDIAs MIG-Benutzerhandbuch (13. Oktober 2026); gpt-oss-120b mit 19 Gesprächen zu 32K auf einer Karte nach unserer Regel für Nutzer je Karte, wie in unserem Leitfaden zum Server mit vier Karten.

In der zweiten Aufteilung betreibt eine Karte ein gemeinsames Modell für das ganze Team, gpt-oss-120b mit Platz für 19 Gespräche zu 32K nach unserer Regel, und die anderen drei geben zwölf Personen je eine Instanz mit 24 GB für Notebooks und Experimente. Auf zehn Workstations passt dieses Modell auf keine Karte mit 72 GB mit nutzbarem Cache; jede Person würde ein eigenes, kleineres Modell betreiben.

Ein aufgeteiltes Modell läuft auf ganzen Karten. NVIDIAs MIG-Handbuch hält fest: „NCCL is currently not supported with MIG“; ein Fine-Tuning-Job über zwei Karten braucht also zwei Karten außerhalb des MIG-Modus. Wir liefern diesen Server auf Wunsch mit installiertem Betriebssystem, Treibern und CUDA; schicken Sie uns Teamgröße, Modelle und wie oft ganze Karten gebraucht werden, und unser Team antwortet mit einer Aufteilung und Konfiguration.

Den Server teilen: JupyterHub, Kubernetes und Slurm

Zwei verbreitete Wege, die Instanzen zu vergeben, sind JupyterHub auf Kubernetes und Slurm.

JupyterHub auf Kubernetes. Der Leitfaden Zero to JupyterHub zeigt ein Profil, das eine GPU über extra_resource_limits mit nvidia.com/gpu: "1" anfordert, und setzt NVIDIAs Device Plugin auf dem Knoten voraus. Mit NVIDIAs GPU Operator stellt die MIG-Strategie „mixed“ jede Instanzgröße als eigene Ressource bereit, etwa nvidia.com/mig-1g.24gb; ein Nutzer wählt also „Notebook mit 24 GB“ oder „ganze Karte“ aus der Profilliste. Eine Instanz bleibt belegt, solange der Notebook-Server des Nutzers läuft, und geht zurück in den Pool, wenn er stoppt. Die Aufteilung wird über das Knotenlabel nvidia.com/mig.config geändert, und die Dokumentation des GPU Operators vom 14. Oktober 2026 hält fest, dass der MIG Manager „requires that no user workloads are running on the GPUs being configured“.

Slurm. Die Slurm-Dokumentation (Version 26.05) unterstützt MIG seit Release 21.08: AutoDetect=nvml in gres.conf, und die Instanzen werden in slurm.conf wie GPUs aufgeführt, optional mit dem Profil als Typ. Sie hält auch fest, dass Slurm „expects MIG devices to already be partitioned, and does not support dynamic MIG partitioning“. Eine Aufteilung nach Tag und Nacht ist unter Slurm also eine geplante Änderung durch den Administrator, nichts, was ein Job anfordert.

Unser Leitfaden zum GPU-Server für Universität und Labor behandelt Slurm-Partitionen und Kontingente genauer, und GPU-Sharing auf Kubernetes mit MIG, Time-Slicing und MPS vergleicht die Arten der Aufteilung. Wenn mehrere Abteilungen einen Pool teilen, folgen Kontingente und Verrechnung den Methoden in unserem Leitfaden zu einer gemeinsamen GPU-Plattform für Abteilungen. MIG auf Bare Metal braucht keine Lizenz; MIG-basiertes Compute-vGPU für virtuelle Maschinen braucht NVIDIA AI Enterprise je GPU.

Leerlauf, Strom und Lautstärke

Eine Workstation-Karte arbeitet nur, wenn ihr Besitzer arbeitet. In der Mittagspause, in Besprechungen, im Urlaub und nachts wartet die Karte am Arbeitsplatz. Auf dem Server gibt ein gestopptes Notebook seine Instanz für jemand anderen frei, und eine Warteschlange kann lange Jobs nachts auf ganzen Karten ausführen.

Unsere Schätzungen: Workstation mit einer RTX PRO 5000 72 GB (Karte 300 W + 350 W für Prozessor und Rest) × 1,15, wie in unserem Leitfaden zur Workstation mit RTX PRO 5000; Server mit vier RTX PRO 6000 Server Edition und zwei AMD EPYC 9355 zu 280 W plus 15 Prozent, wie in unserem Leitfaden zum Server mit vier Karten. Das sind Werte unter Volllast; eine Messung am gelieferten System bestätigt oder korrigiert sie.

Unter Volllast ziehen zehn Workstations nach unseren Schätzungen rund doppelt so viel Leistung wie der Server, und jedes Watt landet als Wärme im Büro. Der Server braucht bei 600 W je Karte einen Rackplatz mit 32 A oder Drehstrom, mit der 450-W-Begrenzung bleibt er an einem 230-V-Anschluss mit 16 A, wie unser Leitfaden zu GPU-Servern an 16 A, 32 A und Drehstrom erklärt. Neben Schreibtische gehört er nicht: Dells Technical Guide zum Achtkartenserver PowerEdge XE7745 etwa hält fest, dass der Server „not recommended for deployment in acoustically sensitive environments“ ist. Unser Leitfaden zum GPU-Server im Büro behandelt Lautstärke und Abwärme für Teams ohne Serverraum.

Daten, Sicherheit und Verwaltung

Wo die Daten liegen, hängt von der Konfiguration ab. Auf einem Server liegen Trainingsdaten, Modelle und Notebooks an einem Ort, mit einem Satz Zugriffsrechte, einer Sicherung und einem Protokoll, wer was geöffnet hat. Auf zehn Workstations hält jede Person Kopien auf einem lokalen Laufwerk, und jede Workstation mit personenbezogenen oder vertraulichen Daten ist ein weiteres Gerät, für das Ihre Sicherheitsregeln gelten. Welche Regeln für Ihre Daten gelten, klärt Ihr Datenschutz­beauftragter; die Wahl der Hardware entscheidet, wie viele Orte er abdecken muss.

Der Verwaltungsaufwand wächst mit der Zahl der Maschinen. NVIDIAs Sicherheitsbulletin vom 30. September 2026 nennt 580.178.04 und 595.91.07 als korrigierte Treiberversionen; auf dem Server ist das ein Update, auf zehn Workstations sind es zehn, jede mit eigenen Versionen von CUDA, Container-Laufzeitumgebung und Frameworks. Ein Team, das für alle identische Umgebungen will, bekommt sie von einem Server mit gemeinsamen Container-Images leichter.

Der Server ist auch ein einzelner Ausfallpunkt. Fällt er aus, steht das ganze Team, während eine ausgefallene Workstation eine Person betrifft. Zwei kleinere Server oder ein Server mit einigen Workstations verteilen dieses Risiko.

Wann eine Mischung gewinnt

Eine Mischung aus einigen Workstations und einem Server passt zu den meisten Teams mit zehn Personen. Die Workstations gehen an die Personen, deren Arbeit sie braucht: ein lokaler Bildschirm für Visualisierung, 3D oder interaktive Datenanalyse, Arbeit unterwegs oder in einem Labor ohne Netzwerkzugang, oder eine ganze Karte mit 72 GB für die tägliche Arbeit, die sonst eine Serverkarte blockieren würde. Alle anderen arbeiten auf dem Server, und das ganze Team nutzt seinen Modelldienst.

Für ein Team mit 10 Personen können das zwei Workstations mit je einer RTX PRO 5000 72 GB und ein Server mit vier Karten in der Aufteilung „Modelldienst und Instanzen“ sein: zwölf Instanzen mit 24 GB für acht Personen, mit Platz für Wachstum, und ein gemeinsames gpt-oss-120b. Ein Team, das 96 GB am Arbeitsplatz will, nimmt eine Workstation mit RTX PRO 6000 Max-Q, wie unser Leitfaden zur besten Workstation-GPU für KI vergleicht.

Von 5 bis 30 Personen

Die Zahl der Instanzen wächst mit den Karten, zwei bis acht je Server. Nicht alle im Team führen im selben Moment einen GPU-Job aus, die Zahl der Instanzen kann also unter der Kopfzahl liegen; wie weit darunter, hängt von der Arbeitsweise des Teams ab, und ein Monat Nutzungsdaten aus einem Pilotbetrieb beantwortet das besser als eine Regel.

Zahl der Instanzen aus vier Instanzen 1g.24gb je RTX PRO 6000 Server Edition (NVIDIA-MIG-Benutzerhandbuch); die Aufteilungen der Teams sind unsere Planungsbeispiele, nicht gemessen.

Ab etwa 20 Personen sind zwei Server mit vier Karten oft besser als ein Server mit acht: Sie können an zwei Anschlüssen stehen, einer lässt sich warten, während der andere läuft, und ein Ausfall nimmt die Hälfte der Kapazität weg, wie unser Vergleich ein Server mit 8 GPUs oder zwei mit 4 vorrechnet. Ein kleines Team von drei bis fünf Personen, das vor allem Prototypen baut, kann stattdessen mit DGX-Spark-Systemen beginnen, wie unser Leitfaden zu einer DGX Spark für ein Team beschreibt.

Was wir liefern

Beide Varianten können Sie bei uns kaufen: Unser Team legt die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget aus und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit zwei bis acht RTX PRO 6000 Server Edition und Workstations mit RTX-PRO-Blackwell-Workstation-Karten, vor der Lieferung montiert und getestet, über einen EU-Vertrag und eine Rechnung mit Herstellergarantie auf jede Komponente, und installieren auf Wunsch Betriebssystem, Treiber, CUDA und eine Container-Laufzeitumgebung. Die Konfiguration mit vier Karten und ihre Varianten stehen auf unserer Seite 4× RTX PRO 6000 Server Edition Server kaufen. Modelle, RAG und der gemeinsame Modelldienst für das Team sind unser Service Private AI/ML; beschreiben Sie Ihr Team, seine Modelle und seine Daten, und wir schlagen die Aufteilung zwischen Server und Workstations vor.

FAQ