Strom und Kühlung für ein GPU-Rack: Was vor der Lieferung zu prüfen ist

Wer Strom, Kühlung und Bodenbelastung vor der Lieferung prüft

Ein GPU-Rack für Inferenz braucht 15 bis 40 kW an Strom und Kühlung, ein Trainings-Rack 40 bis 120 kW, gegenüber 8 bis 15 kW für ein klassisches Enterprise-Rack. Nach den Zahlen des Uptime Institute kühlt Raumluft bis etwa 20 bis 25 kW pro Rack, Einhausung mit Reihenkühlung bis etwa 50 kW; darüber braucht das Rack einen Rücktür-Wärmetauscher oder Flüssigkühlung. Bevor die Server ankommen, müssen drei physikalische Fragen beantwortet werden: wie viel Strom die Reihe liefern kann, wohin die warme Luft geht und ob der Boden das Gewicht trägt.

Keine dieser Prüfungen ist schwierig, aber standardmäßig ist niemand dafür zuständig. Der Hersteller verkauft den Server, der Integrator konfiguriert ihn, und die Gebäudetechnik wird oft erst einbezogen, wenn die Lieferung ankommt. Das ist die Checkliste, die wir vor jedem Angebot für einen KI-Server durchgehen, und sie ist kurz genug, um sie selbst abzuarbeiten. Schildern Sie uns kurz Ihre Rackposition, und unser Team hilft Ihnen weiter.

Rack-Dichte in kW: Enterprise-, Inferenz- und Trainings-Racks

Racks für klassische Enterprise-Server wurden für deutlich geringere Dichten ausgelegt, als GPU-Server brauchen:

Dichte je Rack, unsere Planungswerte; die meisten ersten KI-Installationen liegen im mittleren Band

Die nächste Tabelle nennt maximale Leistungswerte, für die GPUs je Karte oder Modul und für die DGX-Zeilen je System; für die Dimensionierung eines Stromkreises zählt der Systemwert:

Vier DGX-H100-Systeme in einem Rack ziehen rund 41 kW, die Last von drei bis fünf Bestands-Racks. Ein 400-V-Drehstromabgang mit 32 A liefert etwa 22 kW, und wir planen mit 80 Prozent davon, damit Reserve bleibt. Der US-amerikanische NEC schreibt die 80 Prozent für Dauerlast vor; IEC-Leitungsschutzschalter sind für Dauerstrom in Höhe ihres Nennwerts ausgelegt, die Marge bleibt trotzdem gute Praxis. Mit 80 Prozent geplant, trägt ein Abgang rund 17,7 kW; 41 kW brauchen also drei solche Abgänge, noch vor jeder Redundanz über A- und B-Einspeisung, und das Gebäude muss sie bereitstellen können. Server mit PCIe-Karten liegen weit darunter. Nach unserer Schätzung, Karten plus Prozessoren plus 15 Prozent für Speicher, Laufwerke, Lüfter und Wandlungsverluste, zieht ein Server mit zwei RTX PRO 6000 Server Edition bei 600 W rund 1,8 kW, mit vier Karten rund 3,4 kW (2,7 kW bei einer Begrenzung auf 450 W) und mit acht Karten rund 6,3 kW; Dells Datenblatt nennt als Richtwert etwa 8 kW je Achtkartenknoten, und den Anschluss plant man nach der Angabe des Herstellers. Ein vorhandenes luftgekühltes 10-kW-Rack nimmt damit bis zu fünf Server mit zwei Karten, zwei mit vier Karten (drei bei 450 W) oder einen mit acht Karten auf, wie unser Leitfaden zu KI-Servern ohne Flüssigkühlung im 10-kW-Rack durchrechnet. Ein 230-V-Anschluss mit 16 A trägt, mit 80 Prozent geplant, 2,94 kW und reicht für den Server mit zwei Karten; welchen Anschluss die größeren brauchen, zeigt unser Leitfaden zum Stromanschluss für GPU-Server mit 16 A, 32 A und Drehstrom.

Luftmenge pro kW und Bodenplatten pro Rack

Jedes Watt, das ein Server aufnimmt, wird zu Wärme, die die Luft abtransportieren muss. Der übliche Planungswert beträgt rund 160 CFM pro kW bei 11 °C Temperaturanstieg über den Server, und Sie können ihn mit dem abgleichen, was Ihr Doppelboden liefert:

CFM-Werte bei rund 11 °C (20 °F) Temperaturanstieg; ~800 CFM pro Gitterplatte ist ein konservativer Planungswert bei typischem Plenumdruck (ASHRAE nennt bis zu ~1.900 CFM pro Platte auf Best-of-Breed-Böden)

Zwei Details zählen ebenso viel wie die Summen. Erstens liefert ein Doppelboden Luft pro Platte, und vor einem Rack ist kein Platz für sechs Platten. Zweitens strömt ohne Kalt-/Warmgang-Einhausung die heiße Abluft um das Rack herum zurück in den Ansaugbereich, sodass die Server warme statt gekühlter Luft ansaugen. Ab etwa 20 kW pro Rack ist Einhausung Pflicht.

Der von ASHRAE empfohlene Bereich für die Ansaugtemperatur liegt für die Klassen A1 bis A4 bei 18 bis 27 °C und für die Hochdichte-Klasse H1 bei 18 bis 22 °C. Liegt Ihre gemessene Ansaugtemperatur bei der heutigen Last schon am oberen Rand dieses Bereichs, bleibt für das neue Rack keine Reserve.

Wo Luft aufhört und Flüssigkeit anfängt

Es gibt keine harte Grenze, aber eine übliche Abfolge von Stufen nach Rack-Dichte:

Der Rücktür-Wärmetauscher ist die Stufe zwischen Luft und Direct-to-Chip-Flüssigkühlung. Es handelt sich um einen Kühler, der die Rücktür des Racks ersetzt: Die heiße Luft strömt hindurch und verlässt das Rack nahezu mit Raumtemperatur, sodass die Wärmelast den Raum nicht erreicht. Er braucht einen Wasserkreis bis ans Rack, typischerweise mit 14 bis 30 °C und über dem Taupunkt statt Kaltwasser. Das ist ein Bauprojekt, aber ein kleineres als ein Umbau des Raums, und die Server bleiben, wie sie sind.

Direct-to-Chip-Flüssigkühlung ist eine andere Größenordnung an Aufwand und Bindung. Sie verändert Server, Rack, Gebäudekreislauf und Wartungsablauf und lohnt sich deshalb nur, wenn die Rack-Dichte sie erfordert.

Vier Prüfungen vor dem Einschalten: Stromkreis, PDU, Bodenbelastung, GPU-Kabel

Jeder dieser vier Punkte kann verhindern, dass ein gelieferter Server eingeschaltet wird.

1. Die Absicherung des Stromkreises, in Ampere statt in Kilowatt. Fragen Sie die Gebäudetechnik nach der Absicherung des Abgangs an dieser Rackposition und nach dem bereits fließenden Strom. Ein 32-A-Drehstromabgang bei 400 V liefert rund 22 kW, und man plant mit 80 Prozent davon, damit Reserve bleibt. Zwei 10-kW-Systeme an einem solchen Abgang sind bereits am Limit.

2. Der Steckdosentyp an der PDU. Ein C13-Ausgang ist für 10 A ausgelegt, etwa 2,3 kW bei 230 V. Ein GPU-Server mit zwei 2.700-W-Netzteilen braucht C19-Ausgänge; eine PDU, die nur C13-Ausgänge hat, kann ihn nicht versorgen. Eine PDU mit C19-Ausgängen ist eine eigene Bestellung; prüfen Sie den Steckdosentyp daher vor der Lieferung.

3. Bodenbelastung. Ein Rack mit 64 GPUs kann an eine Tonne heranreichen, und das Rechenbeispiel unten stellt vier Server in ein Rack. Viele Doppelböden sind je Platte deutlich darunter zugelassen, und der Weg von der Laderampe zur Rackposition muss das Gewicht ebenfalls tragen. Prüfen Sie neben der Gesamtlast auch die Punktlast, also das Gewicht auf jedem Fuß oder jeder Rolle.

4. Das GPU-Stromkabel, das mit dem Server geliefert wird. Bei Karten mit 12V-2×6-Stecker (früher 12VHPWR) setzen die Sense-Pins das Leistungslimit, und manche beigelegten Serverkabel sind auf 450 W statt 600 W konfiguriert. Eine RTX PRO 6000 Server Edition läuft dann und meldet in nvidia-smi ohne Fehler ein Max Power Limit von 450 W, arbeitet aber mit einem Viertel weniger Leistungsbudget als ihre Nennleistung von 600 W; eine H200 NVL, die nur die 600-W-Stufe unterstützt, startet gar nicht. Manche Serverhersteller legen bewusst 450 W fest, etwa um vier Karten in einem 2U-Gehäuse unterzubringen; gleichen Sie jedes Kabel deshalb mit der GPU-Konfiguration des Herstellers für dieses Modell und diesen Steckplatz ab, und bestellen Sie ein 600-W-Kabel nur, wo der Hersteller dort 600 W unterstützt.

Bevor wir einen KI-Server anbieten, prüfen wir Rack, Strom und Luftstrom. Schreiben Sie uns, wie viele Server Sie planen und welche GPUs hineinkommen, und Sie erhalten innerhalb eines Werktages Konfiguration und Angebot.

Passive Serverkarten brauchen den Luftstrom des Gehäuses

Server-Edition-Karten (L40S, RTX PRO 6000 Server Edition, H100 und H200) haben keine eigenen Lüfter. Sie sind für den Front-to-Back-Luftstrom eines Gehäuses ausgelegt und vollständig auf ihn angewiesen. Eine passive Karte in einer Workstation ohne gerichteten Luftstrom überhitzt schon im Leerlauf, weil keine Luft durch ihren Kühlkörper strömt; sie braucht ein Servergehäuse, das Luft durch sie hindurchdrückt.

Setzen Sie eine passive Karte nur in ein Servergehäuse ein und stellen Sie dessen Lüfterprofil auf diese Karte ein. Eine Maschine, die unter einem Schreibtisch steht, braucht eine aktiv gekühlte Karte, die Workstation- oder Max-Q-Edition.

Wir liefern die RTX PRO 6000 in allen drei Editionen, und der Inferenzknoten auf unserer Seite KI-Server trägt vier Karten der Server Edition. Nennen Sie uns Gehäuse und Kartenzahl, und wir antworten innerhalb eines Werktages mit der passenden Edition.

Rechenbeispiel: vier Server mit je acht GPUs in einem Rack

Ein Team plant vier PCIe-Server mit je acht 600-W-Karten und will sie in einem Rack unterbringen.

Acht 600-W-Karten und zwei Prozessoren mit je 360 W wie der AMD EPYC 9555 ergeben 5.520 W je Server; mit 15 Prozent für Speicher, Laufwerke, Lüfter und Netzteilverluste schätzen wir rund 6,3 kW an der Steckdose, vier Server kommen also auf rund 25 kW in einem Rack. Dells Datenblatt nennt als Richtwert etwa 8 kW je Achtkartenknoten; planen Sie die Anschlüsse daher nach der Angabe des Herstellers für die genaue Konfiguration. Damit fällt die bestehende Reihe aus, die auf 12 kW pro Rack ausgelegt ist. Die Luftmenge bei 25 kW liegt bei etwa 4.000 CFM, also fünf Platten, die vor ein Rack nicht passen; Einhausung ist daher Pflicht. Statt eines Drehstromabgangs braucht es zwei. Lassen Sie sich das Gewicht jedes konfigurierten Servers nennen und prüfen Sie es gegen die zulässige Bodenlast der Rackposition; vier DGX-H100-Systeme kommen zum Vergleich allein auf rund 520 kg, bei 130 kg je System.

Das Projekt bleibt machbar, braucht aber einen zweiten Drehstromabgang und eine Einhausung, und beides plant man besser vor der Bestellung, als es erst beim Einschalten festzustellen. Bei diesen Zahlen ist die Alternative, je einen Server in vier Racks der bestehenden Reihe zu betreiben, nach unserer Schätzung rund 6,3 kW und nach Dells Angabe 8 kW je Rack, innerhalb ihrer Auslegung von 12 kW und ohne Baumaßnahmen. Für ein 70B-Modell und rund dreißig Nutzer genügt ein Server mit einer H200 NVL oder zwei RTX PRO 6000, wie unser Rechenbeispiel für ein 70B-Modell zeigt.

Was wir liefern

Wir bauen KI-Server nach Auftrag und liefern die professionellen NVIDIA-Karten dafür, darunter die RTX PRO 6000 Server Edition, mit Herstellergarantie, unter einem EU-Vertrag und auf einer Rechnung. Netzteile und Kühlung, ob Luft oder Flüssigkeit, werden nach GPU-Anzahl und Standort gewählt. Wenn Sie Deployment-Engineering wünschen, plant, implementiert und betreut unser Engineering-Partner Vixen.UNO das System unter demselben Vertrag.

FAQ