Flüssigkühlung für GPU-Racks mit 50 bis 120 kW: Was sich ändert, was sie verlangt, wann kein Weg daran vorbeiführt

Wo Luft endet

Die veröffentlichten Grenzen stimmen stärker überein, als das Marketing vermuten lässt. Das Uptime Institute setzt Perimeterkühlung mit Luft bei 20 bis 25 kW pro Rack an und racknahe Luftkühlung, also In-Row-Einheiten mit Einhausung, bei bis zu 50 kW. Vertiv und Schneider ziehen die praktische Linie für gewöhnliche Luft beide bei rund 20 kW. ASHRAEs eigenes Papier nennt den physikalischen Grund: Ein guter Doppelboden liefert etwa 1.900 CFM je Bodenplatte, und ein Rack mit 40 bis 50 kW kann 5.000 brauchen.

GPU-Racks erreichen diese Grenze mit einem einzigen Kauf. Vier luftgekühlte Server mit je acht GPUs liegen knapp unter 50 kW, wobei die Lüfter bis zu ein Zehntel der Last verbrauchen; die 64-GPU-Racks, die Uptime beschreibt, laufen mit 80 bis 90 kW. Oberhalb von 50 kW erwartet Uptime Flüssigkeit, bei 150 kW vollständige Flüssigkühlung. Uptimes Umfrage von 2025 zeigt, wie neu das ist: Das typische Rack liegt noch bei rund 9 kW, weniger als jeder fünfte Betreiber hat überhaupt ein Rack über 30 kW, etwa 9 % über 50 kW, und Racks über 100 kW bleiben selten.

Drei Wege, drei Eingriffstiefen

Quellen: Datenblätter der Hersteller (Vertiv, Motivair, Legrand ColdLogik, GRC), Schneider Electric WP133, Uptime Institute, DCD.

Der Rear-Door-Wärmetauscher ist der Weg, der am wenigsten verändert. Die Server bleiben luftgekühlt; die Tür führt die Abluft durch ein Register und gibt gekühlte Luft an den Raum zurück. Passive Türen verlassen sich auf die Serverlüfter, aktive bringen eigene mit: Vertivs aktive DCD50 bewegt 9.000 m³/h. Die Kapazität hängt von der Wassertemperatur ab, weshalb ein Produkt 93 kW bei 14 °C und 74 kW bei 21 °C angibt. NVIDIAs Leitfaden zum DGX B300 ist unmissverständlich: Passive Türen werden nicht empfohlen, und vier Systeme pro Rack brauchen eine aktive Tür, ausgelegt für 58 kW im Mittel und 76 kW in der Spitze bei 6.200 CFM.

Kaltplatten nehmen die Wärme dort auf, wo sie entsteht. Vertiv beziffert den aufgenommenen Anteil mit 70 bis 75 %, Schneider mit 60 bis 90 %, und Supermicro beansprucht bis zu 92 % der Wärme für seine flüssigkeitsgekühlten 4U-Server und bis zu 98 % je Rack für seine DLC-2-Generation. Wie auch immer die Zahl lautet, der Rest ist weiterhin Luft: Uptimes Werte für einen mit 132 kW angegebenen GB200 NVL72 sind rund 100 kW an die Platten und mehr als 25 kW in die Halle. Ein flüssigkeitsgekühltes Rack braucht weiterhin Luftkühlung, nur weniger davon.

Immersion beseitigt die Lüfter und den Großteil des Luftstromproblems, auf Kosten eines anderen Servers, einer anderen Serviceprozedur und, historisch, eines anderen Gesprächs über die Garantie. Einen anerkannten Standard für das Brandverhalten einphasiger Flüssigkeiten haben wir nicht gefunden, und Zweiphasen-Immersion ist laut Uptime Institute deutlich schwerer erhältlich, seit 3M die Produktion von PFAS-Kühlmitteln eingestellt hat.

Die Wasserseite: Temperaturen, Durchfluss, Verteilung

ASHRAE klassifiziert Gebäudewasser nach seiner maximalen Vorlauftemperatur: W17, W27, W32, W40, W45 und darüber, alle mit einer Untergrenze von 2 °C, wobei Konformität den vollen, ungedrosselten Betrieb über die gesamte Klasse bedeutet. Die Branche läuft bei 32 °C Vorlauf (Klasse W32) zusammen, mit 40 und sogar 45 °C als Zielen. Je wärmer das Wasser, das die Geräte akzeptieren, desto weniger Kälteerzeugung braucht der Standort: NVIDIAs erklärter Zielpunkt für die nächste Generation ist 45 °C Wasser ganz ohne Kältemaschinen.

Der Durchfluss folgt einer einfachen Regel: rund 1,5 Liter pro Minute je Kilowatt, was Wasser bei 10 K Erwärmung trägt: Ein 9-kW-Server braucht rund 13 L/min. Das Kühlmittel im Sekundärkreis ist meist PG25, drei Teile Wasser auf einen Teil Propylenglykol, gefiltert auf 50 µm, und wird stets über dem Taupunkt des Raums gehalten, damit an einer Kaltplatte nichts kondensiert.

Quellen: Schneider Electric WP133, Vertiv-CoolChip-Datenblätter.

Die Flüssigkeit-zu-Luft-Einheiten sind die verlockende Abkürzung: keine Rohrleitungen zum Gebäude, die Wärme geht zurück in die Halle. Sie funktionieren für ein oder zwei Racks und reichen das Problem dann an die Klimatisierung weiter, wo es hergekommen ist. Alles ab einer Reihe aufwärts braucht einen Gebäudekreislauf, einen Weg zur Wärmeabfuhr außerhalb des Gebäudes und, in einem modernen Design, Trockenrückkühler statt Kältemaschinen.

Wie 120 kW aussehen

Der GB200 NVL72 ist die Referenz, weil er die Diskussion entschieden hat. NVIDIA gibt das Rack mit etwa 120 kW an; Supermicros Version nennt 132 kW. Die achtzehn Compute-Trays und die neun NVLink-Switch-Trays sind flüssigkeitsgekühlt; nur die Power-Shelves und das Management-Netzwerk bleiben luftgekühlt. Acht Power-Shelves liefern je 33 kW in N+N-Anordnung, und die Leckageerkennung ist eingebaut. Auf der GTC beschrieb NVIDIA den Kreislauf mit 25 °C Vorlauf, 45 °C Rücklauf und rund 2 Litern pro Sekunde. Eine luftgekühlte Version gibt es nicht. Dasselbe Silizium in luftgekühlter Form ist der DGX B200 mit etwa 14,3 kW auf zehn Höheneinheiten, und Supermicro bringt 32 luftgekühlte B200-GPUs in einem Rack unter, gegenüber 96 mit Kaltplatten.

Die Nachrüstung, die niemand einplant

Ein Flüssigkeitsrack in einer bestehenden Halle ist ein Bauprojekt, bevor es ein IT-Projekt ist. Zuerst der Boden: TIA-942 setzt den Boden einer Rechenzentrumshalle der Klasse 3 mit 12 kPa an, etwa 1.220 kg je Quadratmeter, und NVIDIA hat dem NVL72-Rackrahmen mehr als 100 lb Stahl hinzugefügt, um der Steckkraft der Trays gegen die Backplane standzuhalten. Dann der Kreislauf: Vor- und Rücklaufleitungen zu jeder Rackposition, Auffangwannen mit Leckageerkennung und verrohrte Abläufe unter allem, was über laufenden Geräten verläuft, was ASHRAE als Anforderung und nicht als Vorschlag führt. Dann die Wärmeabfuhr nach draußen, die Inbetriebnahme der CDUs mit redundanten Pumpen und eine Serviceprozedur für ein Rack, das sich nicht einfach abstecken und herausrollen lässt.

Vertiv veröffentlicht genau dafür eine Roadmap in sechs Schritten: Arbeitslast, Standortaudit, thermische Modellierung, Auswirkungen auf den Standort, Nachhaltigkeitsprüfung, Planung; die Inbetriebnahme kommt obendrauf. Einen Zeitplan eines Herstellers haben wir nicht gefunden, und wir erfinden keinen; die ehrliche Antwort auf „Wie bekommt man Flüssigkühlung am schnellsten in Betrieb?“ lautet, dass der Rear-Door-Wärmetauscher der Weg ist, der am wenigsten verändert: Er lässt Server und Raum unangetastet, braucht aber trotzdem Wasser bis ans Rack, und er endet irgendwo zwischen 50 und 93 kW, je nachdem, wie kalt Ihr Wasser ist.

Die Entscheidung

Bis etwa 20 bis 25 kW pro Rack: Raumluft. Bis etwa 50 kW: Einhausung mit racknaher Kühlung, In-Row-Einheiten oder einem Rear-Door-Wärmetauscher. Von 50 bis etwa 75 kW ist ein aktiver Rear-Door-Wärmetauscher mit kaltem Wasser meist die am wenigsten eingreifende Antwort; NVIDIA empfiehlt einen für vier DGX B300 pro Rack. Ab 75 kW aufwärts, oder wo immer die Server selbst mit Kaltplatten ausgeliefert werden, Direct-to-Chip mit Gebäudekreislauf. Bei 120 kW gibt es keine Entscheidung mehr, nur noch die Rohrinstallation.

Unser Engineering-Partner Vixen.UNO behandelt die Kühlmethode als Eingangsgröße der Serverbestellung, nicht als nachträglichen Gedanken: Dieselben GPUs gibt es in luft- und flüssigkeitsgekühlten Varianten, und die falsche Wahl ist teuer rückgängig zu machen. Das Effizienzargument ist real, aber zweitrangig: Der durchschnittliche PUE in der Umfrage 2025 des Uptime Institute lag bei 1,54, Flüssigkühlung senkt vor allem den Energiebedarf von Lüftern und Kältemaschinen, und Vertiv argumentiert, dass der PUE unterschätzt, was Direct-to-Chip an Lüfterleistung im Server einspart.

FAQ