Strom und Kühlung für ein GPU-Rack: Was vor der Lieferung zu prüfen ist

Die Lücke, die niemand einplant

Das Hardware-Gespräch dreht sich um Karten. Das Liefer-Gespräch drei Wochen später dreht sich um einen Leitungsschutzschalter. Dazwischen liegen physikalische Tatsachen, für die sich niemand zuständig fühlt: wie viel Strom die Reihe wirklich liefert, wohin die warme Luft geht und ob der Boden das Gewicht trägt.

Nichts davon ist schwierig. Es ist nur standardmäßig niemandes Aufgabe – der Hersteller verkauft den Server, der Integrator konfiguriert ihn, und die Gebäudetechnik erfährt davon an dem Tag, an dem die Palette ankommt. Das hier ist die Checkliste, die wir vor jedem Angebot durchgehen, und sie ist kurz genug, um sie selbst zu machen.

Was die Zahlen tatsächlich sind

Zuerst der ehrliche Vergleich. Das Rack, in dem Ihre bestehenden Server stehen, wurde für eine andere Zeit gebaut.

Dichte je Rack; im mittleren Band landen die meisten ersten KI-Installationen

Nun die Systeme selbst. Das sind maximale Systemaufnahmen, nicht Karten-TDP – die Zahl, die zählt, wenn man einen Stromkreis dimensioniert:

Zusammengerechnet wird die Arithmetik schnell unbequem. Vier DGX-H100-Systeme sind rund 41 kW in einem Rack – mehr als drei Altbestand-Racks zusammen. Ein 400-V-Drehstromabgang mit 32 A liefert etwa 22 kW, und wir planen mit 80% davon als Reserve (der US-amerikanische NEC schreibt die 80% für Dauerlast vor; IEC-Leitungsschutzschalter sind für Dauerstrom auf ihren Nennwert ausgelegt, die Marge bleibt trotzdem gute Praxis). Also mindestens zwei Abgänge – und die müssen irgendwo herkommen.

Luftmenge: die Rechnung, die über den Raum entscheidet

Jedes Watt, das hineingeht, kommt als Wärme wieder heraus, und die Luft muss sie abtransportieren. Der Arbeitswert liegt bei rund 160 CFM pro kW bei 11 °C Temperaturanstieg über den Server. Damit haben Sie eine Zahl, die Sie gegen Ihren realen Boden prüfen können:

CFM-Werte bei rund 11 °C (20 °F) Temperaturanstieg; ~800 CFM pro Gitterplatte ist ein konservativer Planungswert bei typischem Plenumdruck (ASHRAE nennt bis zu ~1.900 CFM pro Platte auf Best-of-Breed-Böden)

Zwei Details ruinieren mehr Installationen als die Summen selbst. Erstens liefert ein Doppelboden Luft pro Platte, und man kann nicht sechs Platten vor ein Rack legen – der Platz ist nicht da. Zweitens strömt ohne Kalt-/Warmgang-Einhausung die heiße Abluft um das Rack herum zurück in den Ansaugbereich; der Raum wird wärmer, ohne dass irgendetwas gekühlt wird. Ab etwa 20 kW pro Rack ist Einhausung keine Optimierung mehr, sondern die Voraussetzung dafür, dass es überhaupt funktioniert.

Der von ASHRAE empfohlene Ansaugbereich für Geräte der Klasse A1 liegt bei 18–27 °C. Wenn Ihre gemessene Ansaugtemperatur bei der heutigen Last schon am oberen Rand liegt, hat das neue Rack keine Reserve, bevor es überhaupt ankommt.

Wo Luft aufhört und Flüssigkeit anfängt

Es gibt keine harte Grenze, aber eine praktische Abfolge – und zu wissen, auf welcher Stufe man steht, erspart viel Diskussion:

Der Rücktür-Wärmetauscher ist der Schritt, an den die wenigsten gedacht haben – und derjenige, der das Problem am häufigsten löst. Es ist ein Kühler, der die Rücktür des Racks ersetzt: Die heiße Luft geht hindurch und verlässt das Rack nahezu auf Raumtemperatur, sodass der Raum die Last nie zu sehen bekommt. Er braucht einen Wasserkreis bis ans Rack, typischerweise mit 14 bis 30 °C und über dem Taupunkt statt Kaltwasser, was ein echtes Bauprojekt ist – aber ein kleineres, als den Raum umzubauen, und die Server bleiben unangetastet.

Direct-to-Chip-Flüssigkühlung ist eine andere Größenordnung an Aufwand und Bindung. Sie ändert Server, Rack, Gebäudekreislauf und Wartungsablauf – und lohnt sich, wenn die Dichte es wirklich verlangt. Vorher nicht.

Die vier Prüfungen, die eine Lieferung stoppen

Das sind die, die wir tatsächlich schon eine Inbetriebnahme haben blockieren sehen.

1. Der Stromkreis, in Ampere statt in Kilowatt. Fragen Sie die Gebäudetechnik nach der Absicherung des Abgangs an dieser Rackposition und nach dem bereits fließenden Strom. Ein 32-A-Drehstromabgang bei 400 V sind ~22 kW, und man plant mit 80% davon als Reserve. Zwei 10-kW-Systeme an einem solchen Abgang sind bereits am Limit.

2. Der Steckdosentyp an der PDU. Ein C13-Ausgang trägt 10 A – etwa 2,3 kW bei 230 V. Ein GPU-Server mit zwei 2.700-W-Netzteilen braucht C19-Ausgänge, und eine PDU voller C13 reicht nicht. Ein billiges Teil, das man falsch machen kann, und ein langsames beim Beheben, weil die Ersatz-PDU Lieferzeit hat.

3. Bodenbelastung. Ein voll bestücktes GPU-Rack überschreitet 1.200 kg ohne Mühe. Viele Doppelböden sind je Platte deutlich darunter zugelassen, und der Weg von der Laderampe zur Rackposition muss es ebenfalls tragen. Prüfen Sie die Punktlast, nicht nur die Gesamtlast.

4. Das Kabel aus dem Karton. Bei Karten mit 12V-2×6-Stecker (früher 12VHPWR) setzen die Sense-Pins das Leistungslimit, und manche beigelegten Serverkabel sind auf 450 W statt 600 W konfiguriert. Die Karte läuft, meldet in nvidia-smi ein Max Power Limit von 450 W und liefert still weniger, als Sie bezahlt haben. Das 600-W-Kabel ist eine eigene Teilenummer – nehmen Sie es in die Stückliste auf.

Passive Karten brauchen einen Server, keine Workstation

Server-Edition-Karten – L40S, RTX PRO 6000 Server Edition, H100 und H200 – haben keine eigenen Lüfter. Sie sind dafür gebaut, im Front-to-Back-Luftstrom eines Gehäuses zu stehen, und sind vollständig darauf angewiesen. In NVIDIAs eigenem Forum steht ein bezeichnender Fall: eine L40S in einer Dell-Precision-Workstation, im Leerlauf bei 100 °C. Nichts war defekt. Die Karte hatte schlicht keinen Luftstrom, und außerhalb eines Servergehäuses ist das nicht behebbar.

Die praktische Regel: passive Karte, Servergehäuse, und das Lüfterprofil des Gehäuses auf die Karte eingestellt. Steht die Maschine unter einem Schreibtisch, braucht sie eine aktiv gekühlte Karte – die Workstation- oder Max-Q-Edition.

Ein durchgerechnetes Beispiel

Ein Team will ein 70B-Modell für rund vierzig interne Nutzer betreiben und fragt vier GPU-Server an.

Vier Server zu je rund 6,5 kW sind 26 kW in einem Rack. Damit fällt die bestehende Reihe aus, die auf 12 kW pro Rack ausgelegt ist. Die Luftmenge bei 26 kW liegt bei etwa 4.200 CFM – fünf bis sechs Platten, die vor ein Rack nicht passen; also ist Einhausung Pflicht. Statt eines Abgangs braucht es zwei, und das Rackgewicht landet bei rund 550 kg mit 4U-PCIe-Servern – oder deutlich über einer Tonne mit Systemen der DGX-Klasse.

Nichts davon macht das Projekt unmöglich. Es macht daraus ein Projekt mit einer Gebäudetechnik-Position im Budget, entdeckt in Woche eins statt in Woche zwölf. Die Alternative, die bei dieser Rechnung oft gewinnt: zwei Racks zu je 13 kW in der bestehenden Reihe – ganz ohne Baumaßnahmen und unterm Strich günstiger, als eine Position aufzurüsten.

Was wir liefern

Eurokommerz liefert die GPU-Server, Nutanix-NX-Knoten und professionellen NVIDIA-Karten – und wir dimensionieren Strom und Kühlung mit dem Angebot statt danach: Absicherungswerte, PDU-Steckdosentypen, Luftmengen und Rackgewicht, schriftlich. Das Deployment-Engineering kommt von unserem Partner Vixen.UNO unter demselben Vertrag. Klima- und Kältetechnik importieren wir seit 2014 unter eigener EU-Lizenz – die Kühlseite ist also kein Thema, das wir auslagern.

FAQ