Wie viele GPUs passen in einen Server: PCIe-Lanes, Strom und Luft entscheiden

PCIe-Lanes, Strom und Luftstrom: drei Grenzen der Reihe nach

Ein 2U-Server nimmt bis zu vier Dual-Slot-GPUs auf, bei 600 W pro Karte meist nur zwei; 3U- und 4U-Server nehmen acht auf, einige 4U-Modelle zehn, die meisten davon hinter PCIe-Switches. Wie viele Karten ein bestimmter Server erreicht, legen drei Grenzen fest, immer in derselben Reihenfolge: die PCIe-Lanes, die die Prozessoren bereitstellen, die Leistung, die das Chassis liefern und abführen kann, und die Luft, die das Rack bewegen kann. Die Hersteller legen ihre Systeme auf alle drei aus, und ihre Datenblätter nennen jede dieser Grenzen.

Grenze eins: PCIe-Lanes

Eine Rechenzentrums-GPU ist ein PCIe-Gerät, das für eine volle x16-Verbindung ausgelegt ist. Auf Gen5 trägt diese Verbindung rund 64 GB/s in jede Richtung; Lenovo nennt 63 GB/s für seine x16-Steckplätze. NVIDIAs Konfigurations­leitfaden für zertifizierte Systeme (die PDF-Fassung von 2023) ist eindeutig: Eine Gen5- oder Gen4-x16-Verbindung pro GPU wird dringend empfohlen, x8 wird unterstützt, kann aber Leistung kosten, und höchstens zwei GPUs sollten sich eine vorgelagerte x16-Verbindung teilen. Die aktuelle Web-Fassung (Stand 30. September 2026) verlangt Gen5 x16 oder besser für die RTX PRO 6000 und die H200 NVL und Gen4 x16 oder besser für die L40S.

Quellen: AMD-EPYC-9005-Datenblatt und 9004-Tuning-Guide, Intel ARK und Xeon-6-Product-Brief.

In einem Zwei-Sockel-EPYC-System nutzt jeder Prozessor 64 seiner 128 Lanes für die Infinity-Fabric-Verbindungen zwischen den Sockeln, sodass 64 für Geräte bleiben; mit drei statt vier Fabric-Verbindungen behält jeder Sockel 80, daher „bis zu 160“. Dieselben Lanes bedienen außerdem die NVMe-Laufwerke, die Netzwerkkarten und den Management-Controller, sodass für GPUs weniger übrig bleiben, als die Tabelle zeigt.

Sind die Lanes erschöpft, setzt der Hersteller einen PCIe-Switch ein. Der Dell PowerEdge XE7745 nutzt vier Broadcom-Atlas-II-Switches, um acht Dual-Slot-Steckplätze aus zwei CPUs zu versorgen; die 4U-Linie von Supermicro betreibt eine Dual-Root-Switch-Fabric hinter dreizehn x16-Steckplätzen; ein 2U-Design bringt sechzehn Single-Slot-Karten hinter zwei Switches unter. NVIDIAs Leitfaden von 2023 erlaubt eine oder zwei Switch-Ebenen, und sein aktueller Leitfaden empfiehlt, Netzwerkkarten und NVMe am selben Switch oder Root-Complex anzuschließen wie die GPUs, die sie versorgen. Für Inferenz kostet ein Switch wenig, denn jede Karte liest aus ihrem eigenen Speicher und nicht über den Bus. Der Uplink des Switches, den sich alle Karten dahinter teilen, wird wichtig, wenn Karten ohne NVLink Tensoren über Switch-Grenzen hinweg oder mit den Prozessoren austauschen. Karten an einem gemeinsamen Switch tauschen Peer-to-Peer-Verkehr über ihn mit voller x16-Bandbreite aus, solange ACS am Switch oder die IOMMU-Übersetzung diesen Verkehr nicht zum Root-Complex der CPU umleitet.

GPUs je Chassis: Server mit 1U, 2U, 3U und 4U im Vergleich

DS = Dual-Slot-Karte, SS = Single-Slot. Quellen: Datenblätter und Product Guides der Hersteller, September 2026. Konfigurationen ändern sich mit Firmware und CPU-Generation; der aktuelle Leitfaden des Herstellers hat Vorrang.

In einem 2U-Server werden bis zu vier Dual-Slot-Karten direkt an die CPUs angebunden; sechs bis zehn Karten brauchen 3U oder 4U und Switches. Derselbe 2U-Server nimmt vier Karten mit 350 W auf, aber nur zwei mit 600 W: Lenovo erlaubt vier RTX PRO 6000 im SR650a V4 nur in einer auf 450 W begrenzten Version. Für vier Karten mit vollen 600 W prüfen Sie, ob der Hersteller 600 W je Steckplatz angibt, oder planen Sie ein 3U- oder 4U-Chassis. Wie viele Karten hineinpassen, entscheidet meist die Leistungsaufnahme der Karte, nicht ihre Länge.

Wir bauen KI-Server nach Auftrag und prüfen Plattform, Strom und Kühlung eines Servers, den Sie schon haben. Nennen Sie uns sein Modell und die Karten, die hinein sollen; wenn etwas nicht funktioniert, sagen wir es vorher.

Grenze zwei: Strom

Acht Karten mit 600 W ziehen 4,8 kW, bevor die beiden Prozessoren mit je 350 bis 500 W, die Lüfter, der Arbeitsspeicher und die Netzwerkkarten dazukommen. Dells eigenes Budget für den XE7745 nennt allein für die Lüfter der GPU-Zone 2.160 W. Nach unserer Rechnung aus diesem Budget kommen die Karten, die GPU-Lüfter, acht Netzwerkkarten und das Mainboard schon vor den Prozessoren auf 8,2 kW; ein voll bestückter PCIe-Server mit acht GPUs kann an der Steckdose also nahezu zehn Kilowatt erreichen. Deshalb verbaut jeder Hersteller in der Tabelle vier bis acht Netzteile zu 2.000 bis 3.200 W, die ihre volle Nennleistung nur an 200 bis 240 V liefern. Dells 3.200-W-Einheit liefert bei 200 bis 220 V nur noch 2.900 W. Ein Low-Line-Modus, wo es ihn gibt, hilft bei GPUs nicht: Dells 2.400-W-Einheit fällt an 100 bis 120 V auf 1.400 W, und mit acht Karten zu 600 W unterstützt Dell selbst die 2.400-W-Einheit bei voller Nennleistung nur mit acht belegten Einschüben und ohne A/B-Netzredundanz.

Am Rack haben die Netzteile IEC-C20-Eingänge für 16 A, gespeist aus C19-Ausgängen; eine einphasige 16-A-PDU liefert insgesamt 3,7 kW, gleich wie viele C19-Ausgänge sie hat. Ein einziger Acht-GPU-Server überschreitet eine 16-A-Zuleitung schon allein. Das ist der Punkt, an dem die Inbetriebnahme eines gelieferten Servers am häufigsten scheitert: Der Rack-Platz hat eine 16-A-Zuleitung, und die Elektroarbeiten müssen erst nach der Lieferung eingeplant werden. Planen Sie für acht Karten Drehstrom-Zuleitungen, rund 11 kW bei 16 A und 22 kW bei 32 A an 400 V, wobei Zuleitung A und Zuleitung B jeweils den ganzen Server versorgen können müssen, und planen Sie sie vor der Bestellung.

Die Karte selbst braucht das richtige Kabel. Aktuelle 600-W-Karten verwenden den 12V-2×6-Stecker aus der PCIe-CEM-5.1-Spezifikation, mit Sense-Pins, die der Karte mitteilen, ob sie 150, 300, 450 oder 600 W ziehen darf. Dell dokumentiert je Riser ein bestimmtes Kabel für Karten der L40S- und H100-Klasse und begrenzt manche 2U-Konfigurationen auf zwei Dual-Slot-Karten mit Stromkabeln. Eine RTX PRO 6000 Server Edition an einem 450-W-Kabel läuft mit 450 W und meldet diese Grenze, mit einem Viertel weniger Leistungsbudget; eine H200 NVL, die nur die 600-W-Stufe unterstützt, startet an einem solchen Kabel gar nicht.

Grenze drei: Luft

Als üblicher Planungswert für Luft gelten rund 160 CFM pro Kilowatt bei 11 °C Temperaturanstieg über den Server oder grob 90 CFM pro Kilowatt, wenn die Abluft 20 °C über der Zuluft liegen darf. Ein 7-kW-Server bewegt daher in der Größenordnung von 600 bis 1.100 CFM, weshalb die Lüfter der GPU-Zone ihr eigenes 2-kW-Budget haben.

Die Grenzen für die Zulufttemperatur unterscheiden sich je nach Hersteller und Konfiguration. ASHRAE-Klasse A2, die Dell für den XE7745 angibt, erlaubt 10 bis 35 °C, Dells Thermal-Matrix begrenzt diesen Server mit H200 NVL oder RTX PRO 6000 aber auf 30 °C (35 °C mit L40S oder L4). Supermicro nennt für seine 4U-Systeme 10 bis 35 °C. Lenovo weist Besitzer eines SR675 V3 an, die Umgebungs­temperatur mit L40S- oder H100-PCIe-Karten bei 30 °C oder darunter zu halten, und bei 25 °C mit einer hochgetakteten EPYC-Option. Nach unserer Rechnung braucht eine passive 600-W-Karte bei gleicher Zulufttemperatur und gleichem Temperaturanstieg rund 70 Prozent mehr Luftstrom als eine L40S mit 350 W, und jedes Grad Zulufttemperatur kostet Lüfterleistung. In einer warmen Halle startet der Server weiterhin, aber seine Lüfter drehen schneller und ziehen mehr Strom, und die GPUs senken ihre Taktraten.

NVLink-Brücken und über mehrere GPUs verteilte Modelle

Unter den PCIe-Karten dieser Klasse sind die Hopper-Karten über NVLink-Brücken mit ihren Nachbarn verbunden: die H100 PCIe und die H100 NVL zweifach mit 600 GB/s, die H200 NVL zwei- oder vierfach mit 900 GB/s pro GPU. Die RTX PRO 6000 Server Edition und die L40S haben kein NVLink; jedes Byte zwischen den Karten läuft über PCIe, mit rund 64 GB/s je Richtung über die Gen5-x16-Verbindung der RTX PRO 6000 und rund 32 GB/s bei der L40S, einer Gen4-Karte. Für die Inferenz eines Modells auf einer Karte spielt das keine Rolle. Für ein Modell, das über vier Karten verteilt ist, ist es die wichtigste Grenze; deshalb gibt es die Vier-Karten-Konfiguration der H200 NVL als Produkt. Auf vier RTX PRO 6000 läuft entweder eine Modellkopie je Karte oder ein größeres Modell, das über PCIe verteilt wird; für GPUs ohne NVLink schlägt die Dokumentation von vLLM Pipeline-Parallelität vor. Den Verkehr zwischen den Karten und die Peer-to-Peer-Einstellungen beschreibt unser Artikel zur Verteilung eines Modells über PCIe oder NVLink.

Wie wir einen Multi-GPU-Server dimensionieren

Unser Engineering-Partner Vixen.UNO geht vom Modell, der Präzision und der Zahl gleichzeitiger Nutzer aus, die zusammen die GPU-Anzahl ergeben, und wählt dann das Chassis: direkt angebunden bis vier Karten, darüber mit PCIe-Switches. Danach folgen der Strom am Rack, in Ampere und Phasen statt in Kilowatt, und die Zulufttemperatur, die die Halle halten kann. Nach diesen beiden fragen wir zuerst, weil sie vom Gebäude abhängen und nicht von der Bestellung. Anschließend bauen wir den Server nach Auftrag, vor der Lieferung montiert und getestet, mit Herstellergarantie, unter einem EU-Vertrag und auf einer Rechnung.

FAQ