Wie viele GPUs passen in einen Server: PCIe-Lanes, Strom und Luft entscheiden

Drei Grenzen, in der Reihenfolge, in der sie greifen

Jede Anfrage nach einem „Server mit so vielen GPUs wie möglich“ stößt an dieselben drei Wände, und sie kommen in fester Reihenfolge: die PCIe-Lanes, die die Prozessoren bereitstellen, die Leistung, die das Chassis liefern und abführen kann, und die Luft, die das Rack bewegen kann. Die Hersteller legen ihre Systeme auf alle drei aus; der Kunde sieht meist nur die erste. Dieser Artikel geht durch, was die Datenblätter tatsächlich sagen.

Grenze eins: PCIe-Lanes

Eine Rechenzentrums-GPU ist ein PCIe-Gerät, das eine volle x16-Verbindung will. Auf Gen5 trägt diese Verbindung rund 64 GB/s in jede Richtung; Lenovo nennt 63 GB/s für seine x16-Steckplätze. NVIDIAs Konfigurationsleitfaden für zertifizierte Systeme (die PDF-Fassung von 2023) ist eindeutig: Eine Gen5- oder Gen4-x16-Verbindung pro GPU wird dringend empfohlen, x8 wird unterstützt, kann aber Leistung kosten, und höchstens zwei GPUs sollten sich eine vorgelagerte x16-Verbindung teilen; die aktuelle Web-Fassung sagt schlicht Gen5 x16 oder besser.

Quellen: AMD-EPYC-9005-Datenblatt und 9004-Tuning-Guide, Intel ARK und Xeon-6-Product-Brief.

Die AMD-Zahlen verbergen ein Detail, das man kennen sollte. In einem Zwei-Sockel-EPYC-System leiht jeder Prozessor 64 seiner 128 Lanes den Infinity-Fabric-Verbindungen zwischen den Sockeln, sodass 64 für Geräte bleiben; reduziert man die Fabric von vier Verbindungen auf drei, behält jeder Sockel 80, daher „bis zu 160“. Jede Lane muss außerdem NVMe-Laufwerke, die Netzwerkkarten und den Management-Controller bedienen, sodass die für GPUs nutzbare Zahl immer unter dem Schlagzeilenwert liegt.

Sind die Lanes erschöpft, setzt der Hersteller einen PCIe-Switch ein. Der Dell PowerEdge XE7745 nutzt vier Broadcom-Atlas-II-Switches, um acht Dual-Slot-Steckplätze aus zwei CPUs zu versorgen; die 4U-Linie von Supermicro betreibt eine Dual-Root-Switch-Fabric hinter dreizehn x16-Steckplätzen; ein 2U-Design bringt sechzehn Single-Slot-Karten hinter zwei Switches unter. NVIDIA erlaubt eine oder zwei Switch-Ebenen und will Netzwerkkarten und NVMe auf demselben Root-Complex wie die GPUs, die sie versorgen. Der Switch ist für Inferenz kein Kompromiss: Eine Karte liest ihren eigenen Speicher, nicht den Bus. Er zählt, wenn mehrere Karten ohne NVLink Tensoren austauschen, denn dann teilen sich möglicherweise zwei von ihnen einen Uplink.

Was das je Bauhöhe bedeutet

DS = Dual-Slot-Karte, SS = Single-Slot. Quellen: Datenblätter und Product Guides der Hersteller, September 2026. Konfigurationen ändern sich mit Firmware und CPU-Generation; der aktuelle Leitfaden des Herstellers hat Vorrang.

Die Tabelle zeigt das Muster: Bis zu vier Dual-Slot-Karten hängen im 2U direkt an den CPUs; sechs bis zehn brauchen 3U oder 4U und Switches; und dasselbe 2U nimmt vier Karten mit 350 W auf, aber nur zwei mit 600 W (Lenovo erlaubt vier RTX PRO 6000 im SR650a V4 nur bei Begrenzung auf 450 W). Die Leistungsaufnahme der Karte, nicht ihre Länge, entscheidet öfter über die Anzahl als jede andere einzelne Zeile.

Grenze zwei: Strom

Acht Karten mit 600 W ziehen 4,8 kW, bevor die beiden Prozessoren mit je 350 bis 500 W, die Lüfter, der Arbeitsspeicher und die Netzwerkkarten dazukommen. Dells eigenes Budget für den XE7745 nennt allein für die Lüfter der GPU-Zone 2.160 W. Ein voll bestückter PCIe-Server mit acht GPUs landet in der Größenordnung von sechs bis acht Kilowatt an der Steckdose, weshalb jeder Hersteller in der Tabelle mit vier bis acht Netzteilen zu 2.000 bis 3.200 W antwortet, die ihre volle Nennleistung nur an 200 bis 240 V liefern. Dells 3.200-W-Einheit liefert bei 200 bis 220 V nur noch 2.900 W, und wo es überhaupt einen Low-Line-Modus gibt (Dells 2.400-W-Einheit fällt an 100 bis 120 V auf 1.400 W), kann ihn keine GPU-Konfiguration nutzen.

Nun das Rack. Die Netzteile haben C19- oder C20-Eingänge für 16 A; eine typische einphasige 16-A-PDU liefert 3,7 kW und hat zwei C19-Ausgänge. Ein einziger Acht-GPU-Server überschreitet eine 16-A-Zuleitung schon allein. Das ist der Posten, der am häufigsten verhindert, dass eine Lieferung eingeschaltet wird: Der Server kommt an, das Rack hat 16 A, und der Elektriker ist für nächsten Monat gebucht. Planen Sie 32 A oder Drehstrom, und planen Sie es vor der Bestellung.

Die Karte selbst braucht das richtige Kabel. Aktuelle 600-W-Karten verwenden den 12V-2×6-Stecker aus der PCIe-CEM-5.1-Spezifikation, mit Sense-Pins, die der Karte mitteilen, ob sie 150, 300, 450 oder 600 W ziehen darf. Dell dokumentiert je Riser ein bestimmtes Kabel für Karten der L40S- und H100-Klasse und begrenzt manche 2U-Konfigurationen auf zwei Dual-Slot-Karten mit Stromkabeln. Eine 600-W-Karte an einem 450-W-Kabel läuft mit 450 W und meldet das; sie fällt nicht aus, sie verliert nur still ein Viertel ihres Leistungsbudgets.

Grenze drei: Luft

Die Faustregel für Luft lautet rund 155 CFM pro Kilowatt bei 11 °C Temperaturanstieg über den Server, oder grob 90 CFM pro Kilowatt, wenn die Abluft 20 °C über der Zuluft liegen darf. Ein 7-kW-Server bewegt daher in der Größenordnung von 600 bis 1.100 CFM, weshalb die Lüfter der GPU-Zone ihr eigenes 2-kW-Budget haben.

Bei der Zulufttemperatur beginnt das Kleingedruckte. ASHRAE-Klasse A2, die Dell für den XE7745 angibt, erlaubt 10 bis 35 °C. Supermicro und die anderen 4U-Hersteller nennen 10 bis 35 °C. Lenovo weist Besitzer eines SR675 V3 an, die Umgebungstemperatur mit L40S- oder H100-PCIe-Karten bei 30 °C oder darunter zu halten, und bei 25 °C mit einer hochgetakteten EPYC-Option. Die Karte fügt ihre eigene Bedingung hinzu: Eine passive 600-W-Karte braucht bei gleicher Zuluft rund 70 Prozent mehr Luftstrom als eine L40S mit 350 W, und jedes Grad Zulufttemperatur kostet Lüfterleistung. Eine warme Halle hindert den Server nicht am Hochfahren; sie lässt die Lüfter härter arbeiten, das Leistungsbudget wachsen und die Taktraten der Karte sinken.

Wo NVLink die Antwort ändert

Unter den PCIe-Karten dieser Klasse koppeln die Hopper-Karten an ihre Nachbarn: die H100 PCIe und die H100 NVL zweifach mit 600 GB/s, die H200 NVL zwei- oder vierfach per NVLink mit 900 GB/s pro GPU. Die RTX PRO 6000 Server Edition und die L40S haben kein NVLink; jedes Byte zwischen den Karten läuft über PCIe mit rund 64 GB/s je Richtung. Für die Inferenz eines Modells auf einer Karte ist das unerheblich. Für ein Modell, das über vier Karten verteilt ist, ist es die ganze Geschichte, und es ist der Grund, warum die Vier-Karten-Konfiguration der H200 NVL als Produkt existiert, während vier RTX PRO 6000 schlicht vier Server in einem Gehäuse sind.

Wie wir tatsächlich dimensionieren

Unser Engineering-Partner Vixen.UNO beginnt beim Modell, der Präzision und der Parallelität, die zusammen die GPU-Anzahl ergeben. Dann das Chassis: direkt angebunden bis vier Karten, mit Switch darüber. Dann der Strom am Rack, in Ampere und Phasen, nicht in Kilowatt. Dann die Zulufttemperatur, die die Halle garantieren kann. Die Reihenfolge ist Absicht: Die letzten beiden lassen sich nicht mit einer Bestellung beheben, und nach ihnen fragen wir zuerst.

FAQ