Flüssigkühlung für GPU-Racks mit 50 bis 120 kW: Was sich ändert, was sie verlangt, wann kein Weg daran vorbeiführt

Wo Luft endet

Die veröffentlichten Grenzen stimmen stärker überein, als das Marketing vermuten lässt. Das Uptime Institute setzt Perimeterkühlung mit Luft bei 20 bis 25 kW pro Rack an und racknahe Luftkühlung, also In-Row-Einheiten mit Einhausung, bei bis zu 50 kW. Konventionelle Planungsrichtlinien setzen 25 bis 30 kW als Obergrenze für gewöhnliche Luft an; Vertiv und Schneider ziehen die praktische Linie beide bei rund 20 kW. ASHRAEs eigenes Papier nennt den physikalischen Grund: Ein guter Doppelboden liefert etwa 1.900 CFM je Bodenplatte, und ein Rack mit 40 bis 50 kW kann 5.000 brauchen.

GPU-Racks erreichen diese Grenze mit einem einzigen Kauf. Vier luftgekühlte Server mit je acht GPUs liegen knapp unter 50 kW; die 64-GPU-Racks, die Uptime beschreibt, laufen mit 80 bis 90 kW, wobei die Lüfter bis zu ein Zehntel der Last verbrauchen. Oberhalb von 50 kW erwartet Uptime Flüssigkeit, bei 150 kW vollständige Flüssigkühlung. Die Umfrage von 2025 zeigt, wie neu das ist: Das typische Rack liegt noch bei rund 9 kW, 18 % der Betreiber fahren Racks über 30 kW, 9 % über 50 kW, und Racks über 100 kW bleiben selten.

Drei Wege, drei Eingriffstiefen

Quellen: Datenblätter der Hersteller (Vertiv, Motivair, Legrand ColdLogik, GRC), Schneider Electric WP133, Uptime Institute, DCD.

Der Rear-Door-Wärmetauscher ist der Weg, der am wenigsten verändert. Die Server bleiben luftgekühlt; die Tür führt die Abluft durch ein Register und gibt gekühlte Luft an den Raum zurück. Passive Türen verlassen sich auf die Serverlüfter, aktive bringen eigene mit: Vertivs aktive DCD50 bewegt 9.000 m³/h. Die Kapazität hängt von der Wassertemperatur ab, weshalb ein Produkt 93 kW bei 14 °C und 74 kW bei 21 °C angibt. NVIDIAs Leitfaden zum DGX B300 ist unmissverständlich: Passive Türen werden nicht empfohlen, und vier Systeme pro Rack brauchen eine aktive Tür, ausgelegt für 58 kW im Mittel und 76 kW in der Spitze bei 6.200 CFM.

Kaltplatten nehmen die Wärme dort auf, wo sie entsteht. Vertiv beziffert den aufgenommenen Anteil mit 70 bis 75 %, Schneider mit 60 bis 90 %, und Supermicro beansprucht 98 % für seine neueste Generation. Wie auch immer die Zahl lautet, der Rest ist weiterhin Luft: Uptimes Werte für einen mit 132 kW angegebenen GB200 NVL72 sind rund 100 kW an die Platten und mehr als 25 kW in die Halle. Ein flüssigkeitsgekühltes Rack braucht weiterhin Luftkühlung, nur weniger davon.

Immersion beseitigt die Lüfter und den Großteil des Luftstromproblems, auf Kosten eines anderen Servers, einer anderen Serviceprozedur und, historisch, eines anderen Gesprächs über die Garantie. Für das Brandverhalten einphasiger Flüssigkeiten gibt es noch keinen anerkannten Standard, und das Interesse an Zweiphasenkühlung hat nachgelassen, seit 3M den Markt verlassen hat.

Die Wasserseite: Temperaturen, Durchfluss, Verteilung

ASHRAE klassifiziert Gebäudewasser nach seiner maximalen Vorlauftemperatur: W17, W27, W32, W40, W45 und darüber, alle mit einer Untergrenze von 2 °C, wobei Konformität den vollen, ungedrosselten Betrieb über die gesamte Klasse bedeutet. Die Branche läuft bei 32 °C Vorlauf (Klasse W32) zusammen, mit 40 und sogar 45 °C als Zielen. Je wärmer das Wasser, das die Geräte akzeptieren, desto weniger Kälteerzeugung braucht der Standort: NVIDIAs erklärter Zielpunkt für die nächste Generation ist 45 °C Wasser ganz ohne Kältemaschinen.

Der Durchfluss folgt einer einfachen Regel: rund 1,5 Liter pro Minute je Kilowatt, was Wasser bei 10 K Erwärmung trägt: Ein 9-kW-Server braucht rund 13 L/min. Das Kühlmittel im Sekundärkreis ist meist PG25, drei Teile Wasser auf einen Teil Propylenglykol, gefiltert auf 50 µm, und wird stets über dem Taupunkt des Raums gehalten, damit an einer Kaltplatte nichts kondensiert.

Quellen: Schneider Electric WP133, Vertiv-CoolChip-Datenblätter.

Die Flüssigkeit-zu-Luft-Einheiten sind die verlockende Abkürzung: keine Rohrleitungen zum Gebäude, die Wärme geht zurück in die Halle. Sie funktionieren für ein oder zwei Racks und reichen das Problem dann an die Klimatisierung weiter, wo es hergekommen ist. Alles ab einer Reihe aufwärts braucht einen Gebäudekreislauf, einen Weg zur Wärmeabfuhr außerhalb des Gebäudes und, in einem modernen Design, Trockenrückkühler statt Kältemaschinen.

Wie 120 kW aussehen

Der GB200 NVL72 ist die Referenz, weil er die Diskussion entschieden hat. NVIDIA gibt das Rack mit etwa 120 kW an; Supermicros Version nennt 132 kW. Die achtzehn Compute-Trays und die neun NVLink-Switch-Trays sind flüssigkeitsgekühlt; nur die Power-Shelves und das Management-Netzwerk bleiben luftgekühlt. Acht Power-Shelves liefern je 33 kW in N+N-Anordnung, und die Leckageerkennung ist eingebaut. Auf der GTC beschrieb NVIDIA den Kreislauf mit 25 °C Vorlauf, 45 °C Rücklauf und rund 2 Litern pro Sekunde; Integratoren nennen Vorlaufgrenzen um 45 °C, Rücklauf bis 65 °C und bis zu 130 L/min je Rack. Eine luftgekühlte Version gibt es nicht. Dasselbe Silizium in luftgekühlter Form ist der DGX B200 mit etwa 14,3 kW auf zehn Höheneinheiten, und Supermicro bringt 32 luftgekühlte B200-GPUs in einem Rack unter, gegenüber 96 mit Kaltplatten.

Die Nachrüstung, die niemand einplant

Ein Flüssigkeitsrack in einer bestehenden Halle ist ein Bauprojekt, bevor es ein IT-Projekt ist. Zuerst der Boden: TIA-942 setzt den Boden einer Rechenzentrumshalle der Klasse 3 mit 12 kPa an, etwa 1.220 kg je Quadratmeter, und NVIDIA hat dem NVL72-Rackrahmen mehr als 100 lb Stahl hinzugefügt, um der Steckkraft der Trays gegen die Backplane standzuhalten. Dann der Kreislauf: Vor- und Rücklaufleitungen zu jeder Rackposition, Auffangwannen mit Leckageerkennung und verrohrte Abläufe unter allem, was über laufenden Geräten verläuft, was ASHRAE als Anforderung und nicht als Vorschlag führt. Dann die Wärmeabfuhr nach draußen, die Inbetriebnahme der CDUs mit redundanten Pumpen und eine Serviceprozedur für ein Rack, das sich nicht einfach abstecken und herausrollen lässt.

Vertiv veröffentlicht genau dafür eine Roadmap in sechs Schritten: Arbeitslast, Standortaudit, thermische Modellierung, Auswirkungen auf den Standort, Nachhaltigkeitsprüfung, Planung; die Inbetriebnahme kommt obendrauf. Kein Hersteller veröffentlicht einen Zeitplan, und wir erfinden keinen; die ehrliche Antwort auf „Wie bekommt man Flüssigkühlung am schnellsten in Betrieb?“ lautet, dass der Rear-Door-Wärmetauscher der einzige Weg ist, der das Gebäude nicht berührt, und er endet irgendwo zwischen 50 und 90 kW, je nachdem, wie kalt Ihr Wasser ist.

Die Entscheidung

Unter 30 kW pro Rack: Luft mit Einhausung. Zwischen 30 und 75 kW sind ein aktiver Rear-Door-Wärmetauscher und kaltes Wasser meist die am wenigsten eingreifende Antwort. Ab 75 kW aufwärts, oder wo immer die Server selbst mit Kaltplatten ausgeliefert werden, Direct-to-Chip mit Gebäudekreislauf. Bei 120 kW gibt es keine Entscheidung mehr, nur noch die Rohrinstallation.

Unser Engineering-Partner Vixen.UNO behandelt die Kühlmethode als Eingangsgröße der Serverbestellung, nicht als nachträglichen Gedanken: Dieselben GPUs gibt es in luft- und flüssigkeitsgekühlten Varianten, und die falsche Wahl ist teuer rückgängig zu machen. Das Effizienzargument ist real, aber zweitrangig: Flüssigkeitsgekühlte Anlagen berichten von PUE-Werten von 1,05 bis 1,15 gegenüber einem Branchendurchschnitt von 1,54, und Vertiv hat recht damit, dass der PUE unterschätzt, was Direct-to-Chip an Lüfterleistung im Server einspart.

FAQ