GPU-Server zum Training von Vision-Modellen: Detektion und Segmentierung auf 2 bis 8 GPUs

Was ein Trainingsserver für Bildverarbeitung leistet

Ein GPU-Server für das Training von Vision-Modellen macht aus annotierten Bildern, etwa Fotos guter und fehlerhafter Teile aus einer Fertigungslinie, Detektions- oder Segmentierungsmodelle, die später auf kleinen Edge-Geräten laufen. Für die meisten Prüfprojekte trainiert ein Server mit zwei oder vier NVIDIA RTX PRO 6000 Blackwell Server Edition diese Modelle in Mixed Precision, mit 96 GB je Karte für große Batches und hohe Auflösungen. Acht RTX PRO 4500 Server Edition eignen sich für viele kleine Experimente parallel, acht H200 NVL für große Vision-Transformer und Foundation-Modelle.

Für Qualitäts­leitung oder Werksleitung beantwortet der Trainingsserver eine praktische Frage: wie schnell ein neuer Fehlertyp, eine neue Produktvariante oder eine neue Kameraposition zu einem funktionierenden Modell wird. Jede Änderung bedeutet: neu annotieren, neu trainieren, validieren. Ein Team, das über Nacht vier Trainingsjobs laufen lassen kann, probiert vier Augmentierungen oder Modellgrößen aus und wählt morgens die beste; ein Team mit einer Karte probiert eine. Inferenz, Kameras und Hardware an der Linie behandeln unsere Leitfäden zum KI-Server für die Industrie und zur Videoanalyse.

Modell- und Datensatzgrößen: wohin der Speicher geht

Detektions- und Segmentierungsmodelle sind im Vergleich zu Sprachmodellen klein. Die Ultralytics-Dokumentation zu YOLO11 nennt für YOLO11n 2,6 Millionen Parameter und 6,5 Milliarden FLOPs, für YOLO11x 56,9 Millionen Parameter und 195,3 Milliarden FLOPs, bei 640 Pixeln auf COCO. Selbst das große Modell belegt mit FP32-Gewichten, Gradienten und den beiden Adam-Momenten weniger als 1 GB, nach unserer Rechnung 4 Byte × 4 Kopien × 56,9 Millionen = 910 MB. Den übrigen Kartenspeicher füllen die Aktivierungen, die mit der Batchgröße und der Zahl der Pixel wachsen: Ein Bild mit 1.280 Pixeln Kantenlänge hat viermal so viele Pixel wie eines mit 640.

Deshalb schätzen Prüfteams viel Speicher je Karte. Kleine Fehler wie Kratzer, Poren oder Lötbrücken brauchen oft höhere Auflösungen, und ein größerer Batch in dieser Auflösung passt in 96 GB, wo er in 32 GB nicht passt. batch=-1 legt bei Ultralytics den Batch für rund 60 Prozent des GPU-Speichers aus, ein Anteil wie batch=0.70 setzt einen anderen Wert; auf einer GPU halbiert der Trainer nach einem Out-of-Memory-Fehler in der ersten Epoche den Batch und versucht es erneut, Training auf mehreren GPUs bricht mit dem Fehler ab.

Die Datensätze sind für Rechenzentrumsmaßstäbe bescheiden. COCO, die übliche Referenz, hat 118.287 Trainings- und 5.000 Validierungsbilder in 80 Klassen, und Ultralytics nennt 20,3 GB für den Download von Training und Validierung. Ein Prüfdatensatz mit einigen Tausend bis Zehntausenden Bildern je Produktlinie ist noch kleiner, es sei denn, die Bilder sind hochaufgelöst oder es werden viele Videoframes entnommen.

Ultralytics-Dokumentation zu YOLO11 und zum COCO-Datensatz, gelesen am 24. Oktober 2026; FLOPs bei 640 Pixeln.

Mixed Precision und was die Karten liefern

Der Trainingsmodus von Ultralytics setzt standardmäßig amp=True, das „uses FP16“; amp="bf16" wählt BF16 auf unterstützten CUDA-Geräten, amp=False trainiert in FP32. Mixed Precision legt die Matrixarbeit auf die Tensor-Cores, daher zählen die BF16- und FP16-Raten einer Karte mehr als ihr FP32-Wert.

Veröffentlichte Trainingswerte für diese Karten sind selten. Das Computing Handbook des Kempner Institute an der Harvard University, aktualisiert am 15. Juli 2026, hat einzelne GPUs mit PyTorch 2.8.0 und CUDA 12.8 gemessen, je drei Läufe. Es nennt die Karten RTX PRO 6000 (Blackwell) mit 96 GB GDDR7 und H200 mit 141 GB, ohne Edition oder Bauform anzugeben.

Kempner Institute Computing Handbook, „Which Kempner Partition Should Your Job Run On?“, aktualisiert am 15. Juli 2026, gelesen am 24. Oktober 2026: Matrixmultiplikation 16.384 × 16.384, Kopie von 4 GiB im Gerät, ein Trainingsschritt eines GPT-artigen Modells mit 0,94 Milliarden Parametern in BF16-Autocast; eine GPU, Mittel aus drei Läufen. Die Verhältnisse sind unsere Division.

Der Trainingsschritt gehört zu einem Sprachmodell, nicht zu einem Detektor, und eine veröffentlichte Trainingszeit für ein YOLO- oder Segmentierungsmodell auf der RTX PRO 6000 Server Edition, der H200 NVL oder der RTX PRO 4500 Server Edition haben wir nicht gefunden. Verstehen Sie die Verhältnisse als Anhaltspunkt: Je Karte trainierte eine GPU der H200-Klasse den Transformer rund 1,9-mal so schnell. Je Server rechnet eine Maschine mit vier RTX PRO 6000 Server Edition vier Experimente, wo zwei H200 NVL zwei rechnen. Das Handbuch selbst empfiehlt seine Partition mit RTX PRO 6000 für Training und Fine-Tuning auf einer GPU und die H100 oder H200 für das Aufteilen eines Modells über mehrere GPUs.

Senden Sie uns Bildgrößen, Datensatzgröße und Modellfamilie, und unser Team antwortet mit einer Konfiguration, die zu Ihren Trainingsjobs passt.

Datenladen: Prozessoren, Arbeitsspeicher und NVMe

Ein Trainingsjob für Bildverarbeitung liest, dekodiert und augmentiert in jeder Epoche jedes Bild, und diese Arbeit läuft auf den Prozessoren, solange sie nicht verlagert wird. Ultralytics startet workers=8 Worker zum Datenladen „per RANK if Multi-GPU training“, acht Karten betreiben also 64 Worker plus die acht Trainingsprozesse. Das ist mehr als die sechs Kerne je GPU, die NVIDIAs Konfigurations­leitfaden als Minimum vorgibt; wir legen die Prozessoren für die Lade-Worker aus, etwa mit zwei EPYC 9555 zu je 64 Kernen in einem Server mit acht Karten.

Caching hilft. cache=True oder cache=ram hält bei Ultralytics die Bilder im Arbeitsspeicher, cache=disk auf lokalen Laufwerken; die Dokumentation schreibt dazu: „Improves training speed by reducing disk I/O at the cost of increased memory usage.“ Nach unserer Rechnung belegen die 118.287 Trainingsbilder von COCO als 8-Bit-RGB-Arrays mit 640 × 640 Pixeln bis zu rund 145 GB, 50.000 Prüfbilder mit 1.280 × 1.280 Pixeln rund 246 GB. Unsere Konfiguration mit zwei Karten hat 384 GB Arbeitsspeicher, die mit vier Karten 768 GB; das lässt Platz für einen solchen Cache neben Betriebssystem und Page Cache. Ob bei einem Lauf auf mehreren GPUs jeder Trainingsprozess eine eigene Kopie hält, sagt die Trainingsdokumentation von Ultralytics nicht; prüfen Sie den Speicherverbrauch daher in einem Testlauf, bevor Sie sich darauf verlassen.

Die andere Möglichkeit ist, das Dekodieren auf die GPU zu verlagern. NVIDIAs Bibliothek DALI, Version 2.3.0 auf ihrer Dokumentationsseite, „addresses the problem of the CPU bottleneck by offloading data preprocessing to the GPU“, für „loading, decoding, cropping, resizing, and many other augmentations“, und arbeitet mit PyTorch, TensorFlow, PaddlePaddle und JAX. Sie braucht eigenen Pipeline-Code, daher versuchen Teams meist zuerst Caching und mehr Prozessorkerne. Als Datenablage halten lokale NVMe-Laufwerke die Arbeitskopie des Datensatzes und die Checkpoints; unser Leitfaden zu NVMe-Speicher für einen GPU-Server behandelt Laufwerksklassen.

Ein Job je Karte oder ein Job auf allen Karten

Für Vision-Modelle sind zwei Arten sinnvoll, mehrere Karten zu nutzen. Die erste ist ein Experiment je Karte: verschiedene Modellgrößen, Augmentierungen oder Produktlinien, jedes auf seiner eigenen GPU. Die zweite ist datenparalleles Training eines Modells auf mehreren Karten, das Ultralytics mit device=[0,1,2,3] startet; es „spawns a new trainer instance and executes torch.distributed.run under the hood“, also PyTorch DistributedDataParallel.

Datenparalleles Training kopiert das ganze Modell auf jede Karte und tauscht nach jedem Schritt nur Gradienten aus. Bei YOLO11x sind das 56,9 Millionen Gradienten in FP32, 227,6 MB; da der All-Reduce je Karte rund das Doppelte bewegt, dauern 455 MB bei 64 GB/s je Richtung über PCIe Gen5 nach unserer Rechnung rund 7 ms je Schritt. Das ist wenig gegenüber der Rechenzeit eines Schritts, diese Modelle skalieren also über PCIe, und das fehlende NVLink der RTX PRO 6000 Server Edition kostet hier wenig. Die NVLink-Brücken der H200 NVL mit 900 GB/s je GPU zählen bei großen Vision-Transformern und Foundation-Modellen, deren Zustände aufgeteilt werden müssen, der Fall, den unser Leitfaden zum Fine-Tuning-Server für Sprachmodelle durchrechnet.

MIG bietet ein drittes Muster für kleine Jobs. NVIDIAs MIG-Leitfaden nennt bis zu vier Instanzen für jede Edition der RTX PRO 6000, je 1g.24gb, zwei zu 16 GB für die RTX PRO 4500, was NVIDIAs Produktseite für die Server Edition bestätigt, und bis zu sieben für die H200 NVL. Jede Instanz führt einen Single-GPU-Job mit eigenem Speicher aus, was zu Hyperparameter-Suchen an einem kleinen Modell passt. Derselbe Leitfaden hält fest, dass NCCL mit MIG nicht unterstützt wird; ein datenparalleler Lauf braucht also ganze Karten, und unser Leitfaden zu den MIG-Profilen der RTX PRO 6000 zeigt die Aufteilungen.

RTX PRO 6000 Server Edition, H200 NVL oder RTX PRO 4500 Server Edition

NVIDIA-Produktseiten zur RTX PRO 6000 Blackwell Server Edition, zur H200 und zur RTX PRO 4500 Blackwell Server Edition, wie in unseren Recherchenotizen vom 24. Oktober 2026 zusammengefasst.

Die RTX PRO 6000 Server Edition ist die allgemeine Wahl für das Training von Prüfmodellen: 96 GB für hohe Auflösungen und große Batches, vier MIG-Instanzen für kleine Jobs und RT-Cores für Omniverse und Rendering, die unser Leitfaden für die Industrie behandelt. Die H200 NVL passt zu Teams, die große Vision-Transformer oder Foundation-Modelle trainieren, bei denen Speicherbandbreite, 141 GB je Karte und NVLink-Brücken zum Aufteilen zählen. Die RTX PRO 4500 Server Edition passt zu einem Team, das viele kleine Detektoren parallel trainiert: Acht Einzelslot-Karten mit 165 W ergeben acht Trainingsjobs oder 16 MIG-Instanzen zu 16 GB, doch 32 GB je Karte begrenzen Auflösung und Batchgröße.

Vier Konfigurationen von zwei bis acht Karten

Referenz­konfigurationen unserer Seite zu KI-Servern und NVIDIAs Konfigurations­leitfaden für NVIDIA-Certified Systems (30. September 2026). Leistung an der Steckdose nach unserer Schätzung: Karten mit voller Leistungsaufnahme plus zwei Prozessoren mit AMDs Standard-TDP (EPYC 9135 mit je 200 W bei zwei Karten, EPYC 9355 mit je 280 W bei vier RTX PRO 6000 Server Edition und acht RTX PRO 4500 Server Edition, EPYC 9555 mit je 360 W bei acht H200 NVL), plus 15 Prozent für den Rest.

Zwei Karten passen zu einer Produktlinie oder einem ersten Projekt: zwei Experimente über Nacht oder ein datenparalleler Lauf auf beiden Karten, und der Server passt an einen 230-V-Anschluss mit 16 A, geplant mit 2,94 kW. Vier Karten passen zu einem zentralen Team für mehrere Werke, mit vier Jobs nebeneinander oder zwei per MIG geteilten Karten für Suchläufe; mit rund 3,4 kW braucht der Server 32 A einphasig oder Drehstrom. Acht RTX PRO 4500 Server Edition rechnen acht kleine Jobs mit rund 2,2 kW, nahe an der Leistung des Servers mit zwei Karten; unser Leitfaden zum Server mit acht RTX PRO 4500 Server Edition beschreibt ihn. Acht H200 NVL sind unser Trainingsknoten für Vision-Transformer und Foundation-Modelle und brauchen Drehstrom oder mehrere Anschlüsse. Unser Vergleich acht RTX PRO 6000 oder acht RTX PRO 4500 Server Edition wägt die beiden Varianten mit acht Karten ab, und unser Leitfaden zur Stromversorgung von GPU-Servern plant die Anschlüsse.

Training hält die Karten stundenlang unter Volllast. Ein Server, der nachts trainiert, kann tagsüber andere Arbeit übernehmen, etwa einen Dokumentenassistenten oder Rendering, wenn der Scheduler oder der Kalender des Teams beides trennt.

Software und Lizenzen, die zu prüfen sind

Auf Wunsch kommt der Server mit Betriebssystem, NVIDIA-Treiber, CUDA und einer Container-Runtime, sodass ein Team am ersten Tag Container mit PyTorch oder Ultralytics starten kann. Ultralytics kennzeichnet seine Konfigurationsdateien mit der Lizenz AGPL-3.0, und seine Lizenzseite bietet eine Enterprise License für die Nutzung, ohne das ganze Projekt offenzulegen; welche der beiden zur Nutzung des Codes und der trainierten Modelle im Unternehmen passt, klärt die Rechtsabteilung. Der COCO-Datensatz ist mit CC BY 4.0 gekennzeichnet. Bilder aus den eigenen Linien brauchen meist keine Lizenz Dritter, können aber Personen zeigen, was die oder der Datenschutz­beauftragte prüft.

Einen Trainingsserver für Vision-Modelle bei uns bestellen

Diesen Server können Sie bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Die Auslegung ist kostenlos. Der Server wird vor der Lieferung montiert und getestet, und wir liefern ihn in die gesamte EU mit einem Vertrag und einer Rechnung, mit Herstellergarantie auf jede Komponente, und für die Montage stehen wir selbst ein; andere Ziele laufen über unseren Logistikpartner. Inbetriebnahme vor Ort gibt es auf Wunsch, und die MLOps-Plattform darüber gehört zu unserem Service Private AI/ML. Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt.

Für eine genaue Konfiguration brauchen wir die Modellfamilien, die Bildauflösung, Größe und Wachstum des Datensatzes, wie viele Trainingsjobs gleichzeitig laufen sollen, wie oft Modelle neu trainiert werden, und den Stromanschluss am Rackplatz. Beschreiben Sie diese Punkte im Formular unten, und wir antworten mit einer Konfiguration und einem schriftlichen Angebot.

FAQ