NVMe-Speicher für LLM-Server: Modelle, Ladezeiten, RAG-Indizes und KV-Cache-Offloading

Wie viel NVMe ein LLM-Server braucht

Ein LLM-Server braucht lokales NVMe für drei Dinge: die Modelldateien, die er bereitstellt, den RAG-Index neben den Modellen und, wenn viele Konversationen zurückkehren, eine Stufe für das Auslagern des KV-Cache. NVIDIAs Leitfäden setzen die Untergrenze bei einem NVMe-Laufwerk mit mindestens 1 TB je CPU-Sockel für Inferenz und 2 TB je Sockel für Deep Learning, und Checkpoints aktueller offener Modelle reichen von rund 31 GB bis 690 GB. Für einen Inferenzserver mit Karten der NVIDIA RTX PRO 6000 Blackwell Server Edition oder der NVIDIA H200 NVL deckt ein gespiegelter Modellspeicher von einigen Terabyte plus ein getrenntes Boot-Paar die meisten Einsätze in Unternehmen ab, mit ein oder zwei zusätzlichen Laufwerken für die Offload-Stufe.

Die Kapazität ist der einfache Teil. Über das Layout entscheidet, wo die Originalkopie jeder Datei liegt, wie schnell ein Modell nach einem Neustart wieder bereit sein muss und wie viele Schreibvorgänge eine Cache-Stufe auf ihre Laufwerke bringt. Die folgenden Abschnitte nennen die Werte für jeden Punkt, Ladezeiten als Untergrenzen aus Link- und Laufwerksraten, jeweils als unsere Rechnung gekennzeichnet.

Modellspeicher: Checkpoint-Größen aktueller Modelle

Ein Checkpoint ist der Satz von Safetensors-Dateien, den die Serving-Engine lädt. Seine Größe folgt aus Parametern mal Byte je Parameter, plus Skalierungsfaktoren und Embeddings; die Dateiliste auf Hugging Face nennt den genauen Wert.

Dateilisten auf Hugging Face, gelesen am 24. Oktober 2026 für unsere Schwesterartikel (GB = 10⁹ Byte; Qwen3-235B-A22B-2507 ist das Release Instruct-2507); Qwen3-32B und Llama 3.3 70B in BF16 wie in unseren Leitfäden zum KV-Cache-Offloading und zur Sicherung eines KI-Servers. GPU-Aufteilung für RTX PRO 6000 Server Edition mit 96 GB nach unserer Auslegungsregel, wie in unseren Artikeln zu zwei, vier und acht Karten.

Drei Dinge kommen zur Summe der Modelle im Betrieb hinzu. Während eines Updates liegen alte und neue Version nebeneinander, bis die neue ihre Tests bestanden hat; planen Sie also das Doppelte des größten Modells. Kandidaten für Evaluierungen kommen und gehen: Ein Team, das drei 70B-Checkpoints in BF16 testet, hält nach unserer Rechnung rund 423 GB davon vor. Und Embedding- und Reranker-Modelle sind klein, rund 1,2 GB für Qwen3-Embedding-0.6B und 15 GB für das 8B-Modell in BF16, wie unser Leitfaden zu Embedding- und Reranker-Servern zeigt.

Ein Beispiel nach unserer Rechnung: Ein Inferenzknoten mit vier Karten der Server Edition, der gpt-oss-120b und Qwen3-235B-A22B in FP8 neben einem 8B-Embedding-Modell bereitstellt, belegt 65,3 + 236 + 15 GB, rund 316 GB, und rund 632 GB, während alle drei aktualisiert werden. Ein Testplatz für ein 141 GB großes Modell in BF16 bringt ihn auf rund 773 GB. NVIDIAs Untergrenze von 1 TB je Sockel würde das fassen, aber auf einzelnen Laufwerken ohne Spiegel und mit wenig Raum zum Wachsen; wir planen einen solchen Knoten deshalb mit einem gespiegelten Paar von 3,84-TB-Laufwerken für Modelle und Index.

Wie schnell ein Modell von NVMe, einem NAS oder dem Page-Cache lädt

Ein Neustart der Serving-Engine liest den ganzen Checkpoint erneut, und auf einem Server mit mehreren Kopien eines Modells liest jede Kopie ihren Teil. Die Untergrenzen unten gelten nur für die Übertragung: Checkpoint-Größe geteilt durch die Datenrate der Quelle.

Unsere Rechnung: 14,0 GB/s sequenzielles Lesen je Laufwerk, wie Micron für seine PCIe-Gen5-NVMe-SSD 9550 angibt (vier Laufwerke 56 GB/s), Leitungsraten von 25 und 100 GbE geteilt durch acht. Untergrenzen; Dateisystem, Start der Engine und Verarbeitung der Gewichte kommen hinzu.

Die Untergrenze erreicht eine Standardeinrichtung selten. NVIDIAs Dokumentation zu Dynamo (Release 1.6.0) beschreibt den Standard-Loader von vLLM als einen, der jede Safetensors-Datei per Memory Mapping einbindet und die Tensoren weitgehend in einem einzigen Datenstrom kopiert, und nennt für ein Lustre-Dateisystem in der Cloud gemessene effektive rund 124 MB/s. Bei dieser Rate bräuchte ein Checkpoint von 72,7 GB nach unserer Rechnung fast zehn Minuten. Im selben Dokument brauchte ein Checkpoint von 554 GiB, verteilt auf zwei Knoten, zum Laden zunächst 76 Minuten und nach dem Wechsel auf den Run:ai Model Streamer und dem Verteilen der Dateien über alle Speicherziele 5,3 Minuten. Die Seite nennt den Standard-Loader latenzgebunden; der Abstand ist deshalb auf entferntem Speicher am größten, und Netzwerk-Dateisysteme brauchen parallele Lesezugriffe, um ihre Bandbreite annähernd zu erreichen.

Die Ladeeinstellungen von vLLM (Dokumentation vom 17. Oktober 2026) bieten dafür die Hebel. Standardmäßig werden Safetensors-Dateien per Memory Mapping verzögert geladen, mit automatischem Vorladen, wenn ein NFS-Dateisystem erkannt wird und der Checkpoint in den freien Arbeitsspeicher passt. Die Strategie prefetch liest die Dateien zuerst in den Page-Cache des Betriebssystems, und eager liest jede Datei vor dem Laden in den CPU-Speicher, was die Dokumentation für Netzwerk-Dateisysteme empfiehlt. Das Ladeformat runai_streamer liest Safetensors mit vielen gleichzeitigen Anfragen. Liegt ein Checkpoint einmal im Page-Cache, liest ein Neustart oder eine zweite Kopie auf einer anderen Karte ihn aus dem Arbeitsspeicher; das ist ein Grund, warum NVIDIAs Leitfaden für zertifizierte Systeme doppelt so viel Arbeitsspeicher wie GPU-Speicher verlangt, wie unser Leitfaden Wie viel RAM ein GPU-Server braucht erklärt.

Für Inferenzserver ergibt das eine klare Regel: Halten Sie die Modelle im Betrieb auf lokalem NVMe und holen Sie neue Versionen im Hintergrund aus dem gemeinsamen Repository. Unser Leitfaden zu CPU, RAM und Speicher für einen Server mit vier GPUs vergleicht lokales NVMe und NAS genauer.

Wir bauen LLM-Server mit NVMe passend zu den Modellen, die Sie betreiben, und zu denen, die Sie testen wollen; schicken Sie uns die Modelle und wie oft Sie sie aktualisieren, und unser Team antwortet mit Zahl, Kapazität und Layout der Laufwerke.

RAG-Indizes und Dokumentenspeicher

Ein RAG-System bringt einen Vektorindex, den aufbereiteten Text der Dokumente und meist die Originaldateien mit. Die Vektoren selbst sind klein. Wie unser Vergleich der Vektordatenbanken rechnet, belegt eine Million Float32-Vektoren mit 1.024 Dimensionen vor jedem Index 4,10 GB; zehn Millionen Chunks sind also rund 41 GB Vektordaten vor Indizes und Zeilen-Overhead. Ein HNSW-Index fügt seinen Graphen hinzu, und der HNSW-Index von pgvector speichert jeden Vektor ein zweites Mal.

Der Index liegt meist im Arbeitsspeicher, während er Anfragen beantwortet, und NVMe hält seine dauerhafte Kopie, das Write-Ahead-Log der Datenbank und den Dokumentenspeicher. Milvus dokumentiert außerdem DISKANN, das seinen Graphen auf dem Laufwerk hält, für Datensätze, die zu groß für den Arbeitsspeicher sind; dann geht die Leselatenz des NVMe in jede Anfrage ein. Für einen Firmenkorpus von einigen Millionen Chunks passen die RAG-Daten auf dasselbe gespiegelte Paar wie die Modelle. Sie sollten gespiegelt und gesichert sein, denn ein Neuaufbau heißt, den Korpus erneut aufzubereiten und einzubetten: nach der Rechnung unseres Embedding-Leitfadens rund 17 Stunden für 3 Millionen Chunks auf einer L4. Unser Leitfaden zur Sicherung eines KI-Servers behandelt, was zu kopieren ist und wie.

KV-Cache-Offloading auf NVMe

KV-Cache-Offloading hält den Cache von Konversationen, die gerade nichts erzeugen, außerhalb des GPU-Speichers, zuerst im CPU-Speicher und dann auf NVMe, damit der Prompt eines zurückkehrenden Nutzers nicht neu berechnet werden muss. Unser Leitfaden zum KV-Cache-Offloading in CPU-Speicher und auf NVMe behandelt die Parameter in vLLM, LMCache, NVIDIA Dynamo und SGLang; hier geht es darum, was die NVMe-Stufe braucht.

Werte aus unserem Leitfaden zum KV-Cache-Offloading (vLLM-Dokumentation und Blogbeiträge vom September und Oktober 2026); Laufwerksschreibvorgänge je Tag (DWPD) nach unserer Rechnung: 2,15 TB ÷ 3,84 TB.

Aus dem Aufbau von vLLM folgen drei Eigenschaften. Jede Übertragung aus der Dateistufe läuft über den CPU-Speicher, denn laut vLLM hat nur die primäre CPU-Stufe direkten Zugriff auf die GPU; die NVMe-Stufe eignet sich daher für Konversationen von früher am Tag, nicht für Nutzer, die innerhalb einer Minute antworten. Jeder neu ausgelagerte Prompt-Block wird auch auf NVMe geschrieben; die Stufe belastet ihre Laufwerke also im Takt der neuen Konversationen, und die Lebensdauerangabe des Laufwerks muss dazu passen. Und die Stufe ist ein Cache: Fällt ein Laufwerk aus, berechnet der Server die Prompts neu. Sie braucht keinen Spiegel, und zwei Laufwerke im Stripe-Verbund können ihre Bandbreite verdoppeln. NVIDIAs Dynamo KV Block Manager empfiehlt einen Laufwerks-Cache, der mindestens so groß ist wie der CPU-Cache, und bietet dafür O_DIRECT und GPUDirect Storage an.

NVMe je Sockel in NVIDIAs Leitfäden und was die Server bieten

NVIDIAs Konfigurations­leitfaden für NVIDIA-Certified Systems, aktualisiert am 30. September 2026, verlangt ein NVMe-Laufwerk mit mindestens 1 TB je CPU-Sockel. Die Enterprise Reference Architecture für RTX PRO AI Factory, aktualisiert am 18. Mai 2026, setzt mindestens 1 TB je CPU-Sockel für Inferenzserver und 2 TB je Sockel für Deep-Learning-Server und hält fest, dass Netzwerkkarten und NVMe-Laufwerke unter demselben PCIe-Switch oder Root Complex sitzen sollen wie die GPUs. Auf einem Server mit zwei Sockeln heißt das: Datenlaufwerke an beiden Prozessoren, jedes neben den Karten, die davon lesen, damit Gewichte und ausgelagerter Cache nicht die Verbindung zwischen den Sockeln kreuzen.

Dell PowerEdge XE7740 Technical Guide Rev. A04 (April 2026) und XE7745 Technical Guide Rev. A09 (September 2026); HPE ProLiant Compute DL380a Gen12 QuickSpecs; Lenovo-Produktleitfaden LP2128 (aktualisiert am 20. Oktober 2026); Datenblatt Supermicro SYS-422GA-NRT; alle gelesen am 24. Oktober 2026.

Acht Laufwerksschächte an der Front sind bei diesen GPU-Servern der übliche Wert. Dell listet für XE7740 und XE7745 E3.S-Laufwerke von 1,6 bis 15,36 TB und für keinen der beiden einen Storage-Controller; der Leitfaden zum XE7745 hält fest, dass Storage-Controller in diesem Release nicht unterstützt werden, und beide führen Dells interne, externe und Software-RAID-Controller als nicht verfügbar. Für die Datenschächte dieser Server bieten Dells Leitfäden also kein RAID an; die Spiegelung übernimmt dann das Betriebssystem, etwa mit Linux-Software-RAID. HPE bietet Intel VROC mit RAID 0, 1, 5 und 10 für bis zu acht direkt angebundene NVMe-Schächte, abhängig von der Lizenz. Alle vier legen die Boot-Laufwerke auf M.2-Module getrennt von den Datenschächten, mit eigener Spiegelung, wo der Hersteller sie anbietet.

RAID und Spiegelung: welche Stufe was bekommt

Der Schutz richtet sich danach, wo das Original der Daten auf jedem Laufwerk liegt.

Unsere Empfehlung, nach der Aufteilung von NVIDIAs DGX H200 (Betriebssystem auf zwei 1,92-TB-Laufwerken in RAID 1, acht 3,84-TB-Datenlaufwerke in RAID 0 als Daten-Cache), wie in unserem Leitfaden zu CPU, RAM und Speicher beschrieben.

Der Modellspeicher sieht aus wie ein Cache, weil sich jeder Checkpoint neu herunterladen lässt, ist es aber oft nicht. Unser Leitfaden zur Sicherung zeigt, dass ein zugangsbeschränktes Modell unerreichbar werden kann, dass Ihre eigenen feinabgestimmten Gewichte und LoRA-Adapter nirgends sonst existieren und dass ein Checkpoint von 141 GB über eine Leitung mit 1 Gbit/s fast 19 Minuten zum Kopieren braucht. Ein gespiegeltes Paar hält den Server bei einem Laufwerksausfall im Betrieb, und eine Kopie außerhalb des Servers deckt den Rest ab. Veröffentlichte Systeme folgen demselben Muster: CoreWeaves Instanz mit acht RTX PRO 6000 Server Edition hat zwei 7,68-TB-Laufwerke in RAID 1, und Googles G4-Instanzen bringen 3, 6 und 12 TB lokale SSD für zwei, vier und acht Karten mit.

Training ist der Fall für Striping. Ein fortsetzbarer Checkpoint eines vollständigen Fine-Tunings von Llama 3.3 70B umfasst nach der Rechnung unseres CPU- und RAM-Leitfadens rund 990 GB. Mit den 10,0 GB/s sequenziellem Schreiben, die Micron für die 9550 nennt, braucht ein Laufwerk nach unserer Rechnung mindestens 99 Sekunden dafür und sechs Laufwerke im Stripe-Verbund mindestens 17 Sekunden. Ein Job, der jede Stunde einen Checkpoint schreibt, verbringt diese Zeit jede Stunde; die Scratch-Stufe wird deshalb auf Tempo ausgelegt, und die fertigen Checkpoints werden auf gespiegelten oder gemeinsamen Speicher kopiert.

Speicher in unseren Referenz­konfigurationen

Unsere Referenz­konfigurationen auf der Seite KI-Server haben zwei, vier oder acht NVMe-Laufwerke. Ein Layout, das zu den Stufen oben passt, als unser Beispiel:

• Einstiegsserver, 2 × RTX PRO 6000 Server Edition, 2 × NVMe: ein gespiegeltes Paar für Modelle, RAG-Index und Dokumente; die Boot-Laufwerke auf dem getrennten Boot-Modul des Servers.
• Inferenzknoten, 4 × RTX PRO 6000 Server Edition, 4 × NVMe: ein gespiegeltes Paar für Modelle und Index, zwei Laufwerke einzeln oder im Stripe-Verbund als KV-Offload-Stufe, eines je Sockel.
• Trainingsknoten, 8 × H200 NVL, 8 × NVMe: ein gespiegeltes Paar für Modelle und fertige Checkpoints, sechs Laufwerke im Stripe-Verbund als Scratch für Datensätze und laufende Checkpoints, verteilt auf beide Sockel.

Die Kapazitäten folgen den Modellen: 3,84 TB je Laufwerk decken das Rechenbeispiel oben mit Raum zum Wachsen ab, und die Untergrenze von 2 TB je Sockel für Deep Learning übertrifft die Scratch-Stufe um ein Vielfaches. Unser Engineering-Partner Vixen.UNO setzt vLLM und RAG-Plattformen im Rahmen unseres Private-AI/ML-Service on-premise auf; nennen Sie uns die Modelle, Dokumente und Nutzer, die der Server bedienen soll, und wir dimensionieren GPUs, Arbeitsspeicher und NVMe zusammen.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit zwei, vier oder acht RTX PRO 6000 Server Edition oder H200 NVL und NVMe-Laufwerken für Rechenzentren, aufgeteilt auf Modellspeicher, RAG-Daten, Offload-Stufe und Scratch. Jeder Server wird vor der Lieferung montiert und getestet, jede Komponente hat Herstellergarantie, und Sie erhalten einen EU-Vertrag und eine EU-Rechnung.

FAQ