NVIDIA Cosmos Hardware-Anforderungen: VRAM je Cosmos3-Modell und die passenden GPU-Server

Cosmos-Hardware-Anforderungen im Überblick

NVIDIA Cosmos ist eine Familie von World Foundation Models, die Videos physischer Szenen für Robotik, Fahrzeugentwicklung und Fertigung erzeugen, vorhersagen und auswerten; die aktuellen Modelle sind Cosmos3 Edge, Nano und Super mit 4, 16 und 64 Milliarden Parametern. Für Nano verlangt NVIDIAs NIM-Support-Matrix 58 GiB GPU-Speicher je Karte, um Video in BF16 ohne Offloading zu erzeugen; das bietet eine einzelne NVIDIA RTX PRO 6000 Blackwell Server Edition mit 96 GB. Super in FP8 braucht 93 GiB je Karte und passt mit Reserve auf eine H200 NVL mit 141 GB.

Die Zahlen dieses Leitfadens stammen aus der Support-Matrix von NVIDIA NIM for Cosmos, zuletzt aktualisiert am 21. Oktober 2026, aus den Hugging-Face-Modellkarten der Cosmos3-Modelle und aus NVIDIAs Cosmos-Dokumentation, alle gelesen am 25. Oktober 2026. Ein NIM ist NVIDIAs fertig gepackter Inferenz-Container: Er startet ein Modell mit einem Profil, das zur vorgefundenen GPU passt. Die Speicher-Untergrenzen gelten für den NIM; die offenen Laufzeiten, die die Modellkarten nennen, vLLM-Omni, SGLang und Hugging Face Diffusers, veröffentlichen keine eigenen.

Zwei Regeln der Support-Matrix entscheiden über die Hardware noch vor jeder Tabelle. Die GPUs einer Installation müssen identisch sein, und „Do not add VRAM across devices“: Jede GPU muss die Untergrenze allein erfüllen, beim gesamten und beim freien Speicher zum Start. Acht Karten mit 96 GB zählen für den Super-Generator in BF16 deshalb als acht einzelne Geräte mit 96 GB, von denen jedes den vollständigen Speicherbedarf des Profils allein decken muss.

Unsere Leitfäden zu Servern für Isaac Sim und Isaac Lab und zu den Omniverse-Systemanforderungen behandeln Simulation und digitale Zwillinge, unser Leitfaden zu den GPU-Anforderungen der Videogenerierung kreative Videomodelle; dieser behandelt die Cosmos-Modelle, die Videos aus diesen Abläufen erzeugen, umwandeln und auswerten.

Die Cosmos-Modelle im Oktober 2026

Cosmos3 ist laut Modellkarte ein „Mixture-of-Transformers“-Modell: ein autoregressiver Transformer für diskrete Token wie Text und ein Diffusions-Transformer für kontinuierliche Ausgaben wie Video, gemeinsam trainiert. Der NIM betreibt es in zwei Modi aus einem Container-Image, nvcr.io/nim/nvidia/cosmos3:2.1.0. Der Generator übernimmt Text-zu-Video, Bild-zu-Video, Video-zu-Video, Aktionsvorhersage und Transfer über /v1/infer. Der Reasoner beantwortet Fragen zu Bildern und Videos über eine OpenAI-kompatible Chat-API. Jeder Container läuft in einem Modus.

Hugging-Face-Modellkarten und „Files“-Seiten von nvidia/Cosmos3-Nano, Cosmos3-Super, Cosmos3-Edge und Cosmos-Reason2-8B; NVIDIA-Modellmatrix für Cosmos Transfer2.5; gelesen am 25. Oktober 2026. Transformer-Größe = Summe der safetensors-Dateien im Ordner transformer.

Das Nano-Repository umfasst insgesamt 35 GB, davon 30,3 GB für den Diffusions-Transformer: 16 Milliarden Parameter zu je zwei Byte, wie BF16 sie speichert, dazu die Text-, Bild- und Audioteile. Allein der Super-Transformer hat 128 GB und passt in BF16 auf keine einzelne PCIe-Karte. Die Cosmos3-Modellkarten schreiben: „Only BF16 precision is tested“; die FP8- und NVFP4-Profile erscheinen nur in der Support-Matrix des NIM.

Die älteren Familien sind weiter dokumentiert. Cosmos-Predict2.5-2B erzeugt Video aus Text, einem Bild oder einem Video; Cosmos-Transfer2.5-2B braucht laut NVIDIAs Modellmatrix eine GPU mit 65,4 GB für die Inferenz; Cosmos-Reason2 braucht laut NVIDIAs Voraussetzungsseite mindestens 24 GB für das 2B- und 32 GB für das 8B-Modell. Die Multiview-Inferenz von Predict2.5 für Fahrzeuge mit sieben Kameraansichten „requires a minimum of 8 GPUs with at least 80GB memory each“.

VRAM je NIM-Profil: Generator, Transfer und Reasoner

Die Support-Matrix nennt je Profil eine Untergrenze in GiB je GPU und ein Minimum an Arbeitsspeicher je Host. Offloading verlagert Teile des Modells während der Laufzeit in den Arbeitsspeicher: „Model“-Offload verlagert ganze Komponenten, „Layer“-Offload den Transformer Schicht für Schicht und braucht den wenigsten GPU-Speicher.

NVIDIA NIM for Cosmos, Support-Matrix, zuletzt aktualisiert am 21. Oktober 2026, gelesen am 25. Oktober 2026. Spannen je nachdem, ob die Guardrail-Modelle auf der GPU bleiben oder ausgelagert werden. Offload-Zeilen gelten für eine GPU; Zeilen ohne Offload erlauben 1, 2, 4 oder 8 GPUs.

Transfer ist der Modus, der ein Quellvideo unter Steuereingaben in ein neues verwandelt, etwa mit Tiefe, Kanten oder Segmentierung aus einem Simulator; so sehen simulierte Szenen anschließend wie echte Kameraaufnahmen aus. Sein Spitzenbedarf liegt höher als bei der reinen Generierung, und der NIM prüft ihn beim Start getrennt: Eine Installation kann Generierung bedienen und Transfer ablehnen. NVIDIAs Schalter NIM_ALLOW_UNSAFE_TRANSFER=1 ist „for diagnosis only“ und kann mit Speichermangel enden; planen Sie daher nach der Transfer-Zeile, wenn Ihr Ablauf sie nutzt.

NVIDIA NIM for Cosmos, Support-Matrix vom 21. Oktober 2026, gelesen am 25. Oktober 2026. Auf diskreten GPUs misst der Reasoner den freien Speicher nach einer Laufzeitreserve von 4 GiB.

Auch die Genauigkeit hat eine Hardware-Untergrenze. FP8-Profile brauchen Compute Capability 8.9, die die L40S, die H200 NVL (9.0) und alle RTX-PRO-Blackwell-Karten (12.0) erfüllen. Das NVFP4-Profil des Reasoners braucht 10.0 und läuft daher auf Blackwell-Karten, nicht auf der H200 NVL.

Welche GPU welche Untergrenze erfüllt

Wir vergleichen jede Untergrenze mit dem Speicher, den der Treiber meldet: 95,6 GiB bei einer RTX PRO 6000 Server Edition und 140,4 GiB bei einer H200 NVL. Unsere übliche LLM-Regel, 90 Prozent abzüglich 3 GiB, gilt hier nicht, weil der NIM die Untergrenzen beim Start selbst prüft. Die Spielräume sind unsere Rechnung.

Untergrenzen aus NVIDIAs Support-Matrix für NIM for Cosmos (21. Oktober 2026); sichtbarer Speicher nach NVIDIA-Treiberwerten, wie auf unserer Website verwendet (RTX PRO 4500 Server Edition abgeleitet aus unserem nutzbaren Wert von 25,7 GiB); Zuordnung nach unserer Lesart, gelesen am 25. Oktober 2026.

Zur Zeile der RTX PRO 6000 Server Edition zwei Anmerkungen. Der Super-Generator in FP8 hat eine Untergrenze von 93 GiB, 2,6 GiB unter dem, was die Karte zeigt, und der NIM prüft zum Start auch den freien Speicher; für „H100, RTX PRO 6000 Blackwell, and lower-throughput discrete GPUs“ rät NVIDIA selbst: „Default to Nano, especially for video“. Mit Model-Offload sinkt Super in FP8 auf 64 GiB je Karte und 80 GiB Arbeitsspeicher; das passt bequem, kostet aber Geschwindigkeit. Für Transfer mit Super braucht die Karte Model-Offload (76 GiB) oder Layer-Offload.

Die H200 NVL erfüllt Super-Generator und Super-Transfer in FP8 mit Reserve, und für GPUs der H200- und B200-Klasse rät NVIDIA, Super einzusetzen, wenn die Aufgabe es verlangt. Den Super-Generator in BF16 (150 GiB) erreicht sie nicht, wie keine PCIe-Karte. Beim Super-Reasoner in BF16 auf einer Karte bleiben 5,4 GiB über der Untergrenze von 135 GiB, nach der Reserve von 4 GiB etwa 1,4 GiB; wir würden dort das FP8-Profil betreiben.

Bei den kleineren Karten meldet eine 24-GB-Karte dem Treiber weniger als 24 GiB und überschreitet die 23,1 GiB des Nano-Reasoners damit bestenfalls um weniger als 1 GiB, vor der Reserve von 4 GiB; nach unserer Lesart betreiben diese Karten den Edge-Reasoner. Die L40S mit 48 GB lässt über der Untergrenze von 44 GiB für den Nano-Generator in FP8 ohne Offload wenig Spielraum, zu wenig für eine Planung, und betreibt ihn mit Model-Offload (38 GiB) oder Layer-Offload. Die RTX PRO 4500 Server Edition mit 32 GB trägt den Nano-Reasoner; bei ihren Generator-Untergrenzen mit Layer-Offload (31 GiB) bliebe weniger als 1 GiB, das planen wir nicht ein. NVIDIAs Support-Matrix erwähnt weder MIG noch vGPU, deshalb dimensionieren wir Cosmos auf ganzen GPUs.

Wir liefern die RTX PRO 6000 Server Edition und die H200 NVL in Servern nach Maß mit zwei, vier oder acht Karten. Nennen Sie uns die Cosmos-Modi, die Sie betreiben wollen, und die Zahl der Clips pro Tag; unser Team antwortet mit einer Konfiguration.

Voraussetzungen: Arbeitsspeicher, Speicherplatz und Software

Der Arbeitsspeicher ist je Host angegeben und wächst mit dem Offloading. Nano ohne Offload braucht 40 GiB Host-RAM; die Offload-Zeilen für Super brauchen 80 GiB in FP8 und 150 GiB in BF16. Auf einem Server mit einem Generator-Container je GPU summiert sich das. Vier Nano-Container brauchen nach unserer Multiplikation 160 GiB, die unsere Einstiegskonfiguration mit 384 GB aufnimmt. Vier Super-Container mit BF16 und Layer-Offload bräuchten 600 GiB, die erst die 768 GB unserer Konfiguration mit vier Karten abdecken. Unser Beitrag dazu, wie viel RAM ein GPU-Server braucht, erklärt, warum wir den Host-Speicher mit dem Doppelten des GPU-Speichers ansetzen.

Für den Cosmos3-NIM empfiehlt NVIDIAs Voraussetzungsseite einen Treiber ab 595.58.03 und nennt die getestete Umgebung (Ubuntu 24.04.5 LTS, Docker 27.0.3, Container Toolkit 1.20.1), ohne Mindestwerte für Speicherplatz oder Softwareversionen festzulegen. Für die älteren NIMs von Predict2.5 und Transfer2.5 nennt die Voraussetzungsseite der vorigen Dokumentationsversion (3.0.0) Linux auf x86_64 oder Arm mit glibc 2.35 oder neuer, einen NVIDIA-Treiber ab 580, Docker 23.0.1 oder neuer, NVIDIA Container Toolkit 1.16.2 oder neuer, mindestens 100 GB Speicherplatz für Container und Modell und mindestens 90 GB RAM. Der Transfer2.5-NIM verlangt Compute Capability 9.0 oder höher, was Ada-Karten wie die L40S ausschließt; sein Release 1.1.0 hat die RTX PRO 6000 Workstation und Server Edition aufgenommen. Beim Speicherplatz kommt der Modell-Cache hinzu: Das Cosmos3-Nano-Repository hat 35 GB, der Super-Transformer 128 GB, und jedes weitere NIM-Image und jeder feinabgestimmte Checkpoint kommt dazu.

Ohne NIM nennen die Cosmos3-Modellkarten PyTorch, vLLM-Omni, Diffusers und SGLang. Die Nano-Modellkarte nennt vLLM 0.21.0 für CUDA-13-Treiber oder 0.19.1 für CUDA 12.8 mit dem Zusatzpaket vllm-cosmos3 und empfiehlt --enable-layerwise-offload auf GPUs mit weniger Speicher. Container auf einem Server mit mehreren GPUs brauchen eine ausdrückliche GPU-Zuweisung; unser Leitfaden zur GPU-Zuweisung an Docker-Container ohne Kubernetes zeigt, wie.

Was mehr GPUs bringen: Latenz und Durchsatz

Mehr Karten helfen auf zwei Wegen, und der NIM hat für jeden ein Profil. Das Profil throughput betreibt eine Engine-Replik je GPU, ein Vier-Karten-Server erzeugt also vier Clips gleichzeitig. Das Profil latency verteilt eine Anfrage auf die Karten, mit Guidance-Parallelität 2 und Sequenz-Parallelität der halben GPU-Zahl, sodass ein Clip früher fertig ist. Die Zeilen des Super-Generators ohne Offload erlauben 1, 2, 4 oder 8 GPUs, doch jede GPU muss weiter die 93 GiB (FP8) oder 150 GiB (BF16) erfüllen.

Die Modellkarten geben einen Eindruck von den Zeiten. Auf einer RTX PRO 6000 Blackwell Server Edition erzeugte Cosmos3-Edge einen Bild-zu-Video-Clip in 480p mit 189 Frames in 36,29 Sekunden mit vLLM-Omni und in 38,98 Sekunden mit PyTorch, bei Batchgröße 1; eine H100 NVL brauchte 35,60 Sekunden. Die Super-Modellkarte gibt für ein Video mit 50 Schritten etwa 55 Sekunden auf acht H200-GPUs und etwa drei Minuten auf zwei an. Das sind NVIDIAs Werte mit NVIDIAs Einstellungen, keine Ergebnisse, die wir nachgestellt haben.

Für den Reasoner nennt die Edge-Modellkarte eine RTX PRO 6000 Blackwell Server Edition, die 64 gleichzeitige kurze Anfragen (ihre Last 50/100/1) mit 10,27 Anfragen und 1.026 Ausgabe-Token pro Sekunde bedient. Das Auswerten von Video ist eine Vision-Language-Aufgabe, eine Karte bedient also viele Nutzer zugleich, während die Videogenerierung je Clip eine Karte beschäftigt.

Lizenzen: Gewichte, Container und Produktivbetrieb

Die Cosmos3-Gewichte stehen unter OpenMDW-1.1. Die Lizenz erlaubt, mit den Model Materials „without restriction“ umzugehen; sie nennt kein Gebiet und keinen Einsatzbereich, beschränkt die Ausgaben nicht und verlangt, Lizenz und Hinweise bei der Weitergabe beizulegen. Die Rechte enden, wenn Sie mit der Behauptung klagen, die Materialien verletzten ein Patent oder Urheberrecht. Laut den Modellkarten sind die Modelle „ready for commercial and non-commercial use“.

Cosmos-Reason2 steht unter der NVIDIA Open Model License vom 24. Oktober 2025. Sie erlaubt kommerzielle Nutzung weltweit, verlangt bei der Weitergabe des Modells den Hinweis „Licensed by NVIDIA Corporation under the NVIDIA Open Model License“ und bei der Weitergabe eines Produkts, das es nutzt, oder beim Training eines anderen Modells damit den Vermerk „Built on NVIDIA Cosmos“ und beendet Ihre Rechte automatisch, wenn Sie eine Sicherheits-Guardrail ohne gleichwertigen Ersatz umgehen oder abschalten. Keine der beiden Lizenzen schließt die EU aus.

Der NIM-Container ist eine eigene Frage: Für ihn gelten das NVIDIA Software License Agreement und NVIDIAs produktspezifische Bedingungen. NVIDIAs NIM-FAQ, wie in unserem Leitfaden zu kostenloser NVIDIA-Software zitiert, hält fest, dass der Produktivbetrieb eines NIM eine NVIDIA-AI-Enterprise-Lizenz je GPU verlangt. Die H200 NVL enthält fünf Jahre AI Enterprise. Mit den offenen Laufzeiten aus den Modellkarten gilt nur die Modelllizenz. Ihre Rechtsberatung bestätigt, wie diese Bedingungen zu Ihrem Projekt passen.

Serverkonfigurationen für synthetische Daten mit Cosmos

Für ein Team, das synthetische Trainingsvideos erzeugt und einen Dienst zur Videoauswertung betreibt, decken drei Konfigurationen die meisten Fälle ab. Die Werte zur Leistungsaufnahme sind unsere Schätzung aus den Nennwerten von Karten und Prozessoren und werden durch eine Messung am gelieferten System bestätigt.

Konfigurationen von unserer KI-Server-Seite; Untergrenzen aus NVIDIAs Support-Matrix; Leistungsaufnahme nach unserer Schätzung (Karten, Prozessoren und 15 Prozent für den Rest), 25. Oktober 2026.

Die RTX PRO 6000 bringt außerdem mit, was der H200 NVL für die Nachbararbeit fehlt: RT-Cores für Isaac Sim, das GPUs ohne sie nicht unterstützt, wie unser Leitfaden zu Robotik-Servern erklärt, und NVFP4 für den Reasoner. Wer in Isaac Sim simuliert, die Clips mit Cosmos Transfer anreichert und darauf ein Wahrnehmungsmodell trainiert, landet oft bei Karten der RTX PRO 6000 Server Edition für beides und ergänzt H200-NVL-Knoten erst, wenn Super in FP8 zum Standard wird. Unser Vergleich von vier RTX PRO 6000 Server Edition und vier H200 NVL beschreibt diese Wahl für Sprachmodelle.

Wir liefern diese KI-Server vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer Rechnung, auf Wunsch mit Betriebssystem, Treiber, CUDA und Container-Laufzeit installiert. Beschreiben Sie Ihren Cosmos-Ablauf, vom Simulator bis zum Trainingsjob, und wir dimensionieren Karten und Host-Speicher danach.

FAQ