Wie viel RAM ein GPU-Server braucht: Arbeitsspeicher für 2, 4 und 8 GPUs

Die veröffentlichten Regeln für den Arbeitsspeicher

Ein GPU-Server braucht nach NVIDIAs Leitfaden für NVIDIA-Certified Systems mindestens doppelt so viel Arbeitsspeicher wie GPU-Speicher insgesamt: 384 GB für zwei NVIDIA RTX PRO 6000 Blackwell Server Edition, 768 GB für vier und 1.536 GB für acht, und 2.256 GB für acht NVIDIA H200 NVL. NVIDIAs Referenzarchitekturen setzen eine niedrigere Untergrenze von 128 GB je GPU, und Cisco verlangt in seinen Servern mit H200 NVL mindestens das Dreifache des HBM. Der Speicher soll gleichmäßig über jeden Sockel und jeden Speicherkanal verteilt sein, und das entscheidet in der Praxis über die Modulgröße.

Diese Quellen widersprechen sich weniger, als es scheint. Der Leitfaden für zertifizierte Systeme nennt ein Verhältnis zum GPU-Speicher; die Referenzarchitekturen nennen ein Minimum je GPU, das unabhängig von der Speichergröße der Karte gilt; Cisco nennt ein empfohlenes Minimum je Konfiguration für den eigenen Server. HPE wiederholt den Wert 2× als Empfehlung. Alle beschreiben Inferenz- und Trainingsserver allgemein, nicht eine bestimmte Arbeitslast.

NVIDIA-Certified Systems Configuration Guide, zuletzt aktualisiert am 30. September 2026; NVIDIA Enterprise Reference Architecture for RTX PRO AI Factory, Components, zuletzt aktualisiert am 18. Mai 2026; Referenzarchitektur zu NVIDIA AI Enterprise, Compute Node Hardware (ohne Datum); Cisco UCS C845A M8 Spec Sheet Rev. A.11 (11. Mai 2026); HPE ProLiant Compute DL380a Gen12 QuickSpecs. Alle gelesen am 24. Oktober 2026.

Der Leitfaden für zertifizierte Systeme ergänzt: „Using all memory slots can increase the bandwidth.“ Seine übrigen Regeln für den Host gelten für dieselben Server: mindestens zwei Sockel, 2,0 GHz Basistakt und sechs physische Kerne je GPU. Die Referenzarchitekturen verlangen sieben Kerne je GPU, zwei weitere je GPU für Betriebssystem oder Virtualisierung und zwei je MIG-Instanz. Unser Leitfaden CPU für GPU-Server behandelt die Kerne; diese Seite den Arbeitsspeicher.

Arbeitsspeicher für 2, 4 und 8 Karten

Auf die Karten angewandt, die wir liefern, ergeben die Regeln diese Werte. Die H200 NVL hat 141 GB HBM3e, die RTX PRO 6000 Server Edition 96 GB GDDR7 und die RTX PRO 4500 Server Edition 32 GB.

Unsere Rechnung nach den Regeln oben; Cisco-Werte aus Tabelle 8 des Spec Sheets zum C845A M8, die die RTX PRO 4500 ohne Speicherwert aufführt.

Zwei Muster fallen auf. Bei der H200 NVL mit 141 GB je Karte liegt das Doppelte des GPU-Speichers deutlich über 128 GB je GPU, und Ciscos Dreifaches über beiden. Bei der RTX PRO 4500 Server Edition mit 32 GB je Karte ist es umgekehrt: 128 GB je GPU sind das Vierfache des GPU-Speichers, die Untergrenze der Referenzarchitektur ist also der höhere Wert. Bei der RTX PRO 6000 Server Edition stimmt Ciscos Tabelle bis vier Karten mit der 2×-Regel überein und verlangt bei acht 2.048 GB.

Für ein Angebot ist die Spalte mit der 2×-Regel der Ausgangspunkt, denn NVIDIA nutzt sie für zertifizierte Systeme und HPE wiederholt sie in seinen QuickSpecs. Die Untergrenze von 128 GB zählt bei Karten mit wenig Speicher, und Ciscos höhere Werte für die H200 NVL sind seine Empfehlung für den eigenen Server. Wir legen den Arbeitsspeicher jedes Servers, den wir bauen, an diesen Werten und an der Arbeitslast aus; nennen Sie uns die Karten und die geplanten Arbeitslasten, und unser Team antwortet mit Speichergröße und Bestückung für Ihre Konfiguration.

Was der Arbeitsspeicher aufnimmt

Der GPU-Speicher hält, womit die Karten rechnen: Gewichte, KV-Cache und Aktivierungen. Der Arbeitsspeicher hält den Rest des Dienstes. Auf einem LLM-Server sind das Betriebssystem, die Prozesse der Serving-Engine, die Modelldateien auf dem Weg zu den Karten und der Linux-Page-Cache, in dem sie nach dem Laden bleiben, sodass ein Neustart oder eine zweite Kopie auf einer anderen Karte sie aus dem RAM statt von der Platte liest. Unser Leitfaden CPU, RAM und Storage für einen KI-Server mit 4 GPUs erklärt, wie vLLM diesen Page-Cache nutzt und welche Einstellungen Gewichte oder KV-Cache gezielt in den Arbeitsspeicher legen.

Drei Arbeitslasten treiben den Speicher über die 2×-Regel:

• KV-Cache-Offloading. Gespräche, die nach einer Pause zurückkehren, finden ihren Cache im RAM, statt ihn neu zu berechnen. Unser Leitfaden KV-Cache-Offloading in CPU-Speicher und auf NVMe dimensioniert den Puffer je Nutzer; Um 500 Gespräche eines Assistenten warm zu halten, braucht es rund 500 GiB zusätzlich zur Basis; das bringt einen Vierkartenserver auf rund 1 TB.
• Fine-Tuning mit Optimizer-Offload. DeepSpeeds ZeRO-Offload verlagert Optimizer-Zustände und Gradienten in den Arbeitsspeicher, laut seinem Paper 14 Byte je Parameter, nach der Rechnung in unserem CPU- und RAM-Leitfaden rund 990 GB für ein vollständiges Fine-Tuning von Llama 3.3 70B. Ein LoRA-Lauf braucht einen Bruchteil davon, wie VRAM für Fine-Tuning zeigt.
• RAG und virtuelle Maschinen. Vektordatenbank, Dokumentenparser und Gateway laufen auf dem Host und nutzen seinen Speicher, und jede virtuelle Maschine mit vGPU oder MIG-Instanz hat ihre eigene RAM-Zuteilung.

Speicherkanäle bestücken: EPYC 9005 und Xeon 6

Der Speicher muss gleichmäßig über jeden Kanal verteilt sein; die Kapazität kommt daher in Stufen, die die Kanalzahl des Prozessors und die vom Serverhersteller geführten Modulgrößen vorgeben. Mehr genutzte Kanäle bedeuten zudem mehr Speicherbandbreite, und deshalb verlangt NVIDIAs RTX-PRO-Referenzarchitektur mindestens ein DIMM in jedem Kanal. Nach unserer Rechnung bewegt ein DDR5-Kanal mit 6400 MT/s 51,2 GB/s, 6.400 Millionen Transfers zu 8 Byte; zwölf Kanäle ergeben also rund 614 GB/s je Sockel, sechs Kanäle die Hälfte, rund 307 GB/s. Ein PCIe-Gen5-x16-Link trägt rund 64 GB/s je Richtung, und acht Karten, die gleichzeitig Gewichte laden oder ausgelagerten KV-Cache austauschen, können rund 512 GB/s vom Arbeitsspeicher verlangen. Ein leerer Kanal ist Bandbreite, die den Karten genau in diesen Momenten fehlen kann.

AMD-Produktseiten zu EPYC 9135, 9355 und 9555 (12 Kanäle je Sockel, DDR5 bis 6400 MT/s); Dell PowerEdge XE7745 Technical Guide Rev. A09 vom September 2026 (24 Steckplätze, 1DPC, RDIMMs mit 32 bis 256 GB bei 6400 MT/s, bis 6 TB) und XE7740 Technical Guide Rev. A04 (Xeon 6, je Prozessor 8 Kanäle mit 2 DIMMs, 6400 MT/s bei 1DPC und 5200 MT/s bei 2DPC, bis 4 TB); HPE DL380a Gen12 QuickSpecs (dieselben Geschwindigkeiten, 32 Steckplätze); Intels Spezifikationen zum Xeon 6960P (12 Kanäle) und Kingstons Leitfaden zur Xeon-6-Plattform (November 2025) für ein DIMM je Kanal beim Xeon 6900P. Kapazitäten nach unserer Rechnung mit Modulen zu 32, 64, 96 und 128 GB.

Die Tabelle erklärt mehrere verbreitete Konfigurationen. Zwei EPYC 9005 mit 24 Modulen zu 32 GB ergeben 768 GB, genau das Doppelte des Speichers von vier RTX PRO 6000 Server Edition. Mit Modulen zu 96 GB sind es 2.304 GB, knapp über dem Doppelten der 1.128 GB von acht H200 NVL. Zwei Xeon 6700P nehmen bei einem Modul je Kanal 16 Module auf, die Stufe nach 512 GB ist also 1.024 GB; das Testsystem von StorageReview mit vier RTX PRO 6000 Server Edition in einem HPE ProLiant Compute DL380a Gen12 hatte genau das, 16 Module zu 64 GB. Für acht H200 NVL auf Xeon 6700P ergeben 16 Module zu 128 GB 2.048 GB, weniger als der Wert nach der 2×-Regel; zur Wahl stehen dann ein zweites Modul je Kanal mit 5200 MT/s oder eine andere Plattform.

Das Board-Design zählt so viel wie der Prozessor. Ciscos C845A M8 mit AMD EPYC 9005 führt acht Kanäle je Prozessor mit je bis zu zwei DIMMs, also 32 Steckplätze, mit bis zu 5200 MT/s bei einem DIMM je Kanal und 4400 MT/s bei zwei. Prüfen Sie Steckplatzzahl und Geschwindigkeitstabelle im Leitfaden des Herstellers für genau diesen Server, und fragen Sie im Angebot nach der Bestückung, nicht nur nach der Summe.

Womit Server und Clouds ausgeliefert werden

Veröffentlichte Konfigurationen zeigen, wo die Praxis liegt. Die Spalte „Verhältnis“ ist der Arbeitsspeicher geteilt durch den GPU-Speicher, nach unserer Rechnung.

Google-Cloud-Blog vom 20. Oktober 2025 (g4-standard-96, -192, -384); CoreWeave-Dokumentation der Instanz; StorageReview-Test des HPE-Systems vom 6. November 2025, geändert am 14. Oktober 2026; Helix-Engineering-Blog vom 14. August 2026; OVHcloud-Leitfaden zur Instanz mit 8 × H200 NVL, aktualisiert am 1. Oktober 2026; Lambda-Scalar-Datenblatt, März 2025. Gelesen für unsere Recherche am 24. Oktober 2026.

Die meisten Konfigurationen liegen beim 1,7- bis 2,7-Fachen des GPU-Speichers. Bei Googles G4-Instanzen wächst der Speicher mit 180 GB je GPU proportional zur Kartenzahl, und Lambdas Server mit H200 NVL trifft die 2×-Regel. Helix hat DeepSeek-V4-Flash auf acht Karten der Server Edition mit 256 GB Arbeitsspeicher betrieben; das zeigt, dass das Serving eines einzelnen Modells weit unter der Regel funktioniert. Es lässt aber keinen Platz für den Page-Cache mehrerer Modelle, eine KV-Offload-Stufe oder einen RAG-Index neben der Engine, und genau dafür ist der zusätzliche Speicher in den anderen Konfigurationen da.

Unsere Referenz­konfigurationen

Unsere Referenz­konfigurationen auf der Seite KI-Server folgen NVIDIAs Leitfaden für zertifizierte Systeme: mindestens das Doppelte des GPU-Speichers, mindestens sechs Kerne je GPU und zwei Sockel.

Unsere Seite zu KI-Servern; Verhältnis nach unserer Rechnung. Alle drei mit zwei AMD-EPYC-Prozessoren; DDR5-RDIMMs mit 16 GB, wie im Konfigurator des Puget Systems E282-4U geführt.

Auf zwei EPYC 9005 füllen diese Kapazitäten jeden Kanal mit einem Modul: 24 Module zu 16, 32 und 96 GB. Der Trainingsknoten liegt mit 2.304 GB zwischen den 2.256 GB der 2×-Regel und Ciscos 4.096 GB für dieselben acht Karten; ist Fine-Tuning mit Optimizer-Offload geplant, legen wir ihn größer aus. Für Server mit zwei oder vier H200 NVL bieten wir 768 GB und 1.152 GB an, die ersten gleichmäßigen Bestückungen von 24 Kanälen über dem Doppelten ihres GPU-Speichers (24 Module zu 32 GB oder zu 48 GB, sofern der Hersteller diese Größe führt). Wir liefern diese Server auf Wunsch mit mehr Speicher; senden Sie uns Ihre Modelle, die Zahl der Nutzer und etwaige Pläne für Fine-Tuning, und unser Team antwortet mit der Speicherbestückung und einer Konfiguration.

Wann mehr oder weniger als die Regel sinnvoll ist

Mehr als das Doppelte des GPU-Speichers lohnt sich, wenn der Host mehr tut, als die Karten zu versorgen. Ein Inferenzserver mit vier Karten und KV-Offloading für viele wiederkehrende Nutzer kommt auf rund 1 TB. Ein Trainingsserver für vollständiges Fine-Tuning mit ZeRO-Offload braucht für ein 70B-Modell rund 1 TB für Optimizer- und Gradientenzustände zusätzlich zur Basis. Ein Server mit virtuellen Maschinen auf vGPU oder MIG-Instanzen braucht zusätzlich den Speicher jeder VM. In jedem Fall ergibt sich die nächste Stufe aus der Kanaltabelle: auf zwei EPYC 9005 1.536 GB nach 768 GB mit Modulen zu 64 GB, oder 1.152 GB mit Modulen zu 48 GB, sofern der Hersteller sie führt.

Weniger als das Doppelte des GPU-Speichers reicht für einen Server, der ein Modell mit einer Engine auf Bare Metal betreibt, wie die Helix-Konfiguration zeigt, und die 128 GB je GPU der Referenzarchitekturen decken einen solchen Server ab. Der Preis ist die Reserve: Ein zweites Modell, ein größerer Page-Cache oder eine Offload-Stufe brauchen dann mehr Speicher. Auf einem Board mit einem Steckplatz je Kanal wie Dells XE7745 heißt das, jedes Modul zu tauschen; auf Boards mit zwei Steckplätzen je Kanal ein zweites Modul in jedem Kanal bei der niedrigeren Geschwindigkeit. Wir legen den Speicher auf die geplante Arbeitslast und den geplanten Ausbauschritt des Servers aus, wie unser Leitfaden GPU später nachrüsten es für Karten erklärt. Für einen Server mit vier Karten steht die vollständige Aufschlüsselung von Kernen, Speicher und NVMe in unserem Leitfaden zu CPU, RAM und Storage, und NVMe für LLM-Server behandelt die Laufwerke.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit zwei, vier oder acht RTX PRO 6000 Server Edition oder H200 NVL oder mit RTX PRO 4500 Server Edition, auf AMD-EPYC- oder Intel-Xeon-Prozessoren mit DDR5-ECC-Speicher, der auf den GPU-Speicher ausgelegt und gleichmäßig über die Kanäle bestückt ist. Jeder Server wird vor der Lieferung montiert und getestet, jede Komponente hat Herstellergarantie, und Sie erhalten einen EU-Vertrag und eine EU-Rechnung.

FAQ