Nemotron 3.5 Super VL Hardware: RTX PRO 6000 Blackwell Server Edition oder H200 NVL

Was Nemotron 3.5 Super VL von einer GPU braucht

Nemotron 3.5 Super VL läuft on-premise auf einer NVIDIA H200 NVL oder auf zwei NVIDIA RTX PRO 6000 Blackwell Server Edition mit Platz für viele Dokumente und Videos gleichzeitig; eine einzelne Server-Edition-Karte hält das Modell nach unserer Regel für Nutzer je Karte mit 13,2 GiB Reserve, genug für ein Pilotprojekt oder eine kleine Abteilung. Der NVFP4-Checkpoint hat 75,0 GB, und jede Anfrage belegt wenig zusätzlichen Speicher, weil nur wenige Schichten einen KV-Cache halten.

NVIDIA hat das Modell am 15. Oktober 2026 auf Hugging Face veröffentlicht, als „Mamba-2–Transformer hybrid Mixture of Experts with a C-RADIO vision encoder“. Es hat 120B Parameter, davon 12B aktiv je Token, 512 geroutete Experten je MoE-Schicht, und verarbeitet Text, Bilder und Video. Unser Leitfaden zur Nemotron-Hardware behandelt die Textmodelle der Familie und lässt dieses Modell in seinen Tabellen aus; diese Seite rechnet es durch. Die Zahlen unten sind unsere Schätzungen aus NVIDIAs Dateien, gelesen am 24. Oktober 2026, mit offengelegter Rechnung.

Die Checkpoints und ihr Inhalt

Model Cards und Dateilisten von nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 und -BF16 auf Hugging Face, gelesen am 24. Oktober 2026; Größen sind unsere Summen der Safetensors-Dateien.

Die NVFP4-Version entsteht durch quantisierungsbewusste Destillation aus dem BF16-Modell. Die Model Card hält fest: „The vision encoder, connector, Mamba convolutions, and embeddings remain in BF16“, und „the MoE router remains in FP32“. Die Datei ist deshalb größer, als pauschal 4 Bit je Parameter ergäben. In NVIDIAs Benchmarks bleibt NVFP4 in den meisten Zeilen nahe an BF16, etwa bei OCRBench v2 (Englisch) mit 68,34 gegenüber 68,12 und bei SWE-bench Verified mit 71,07 gegenüber 71,10, fällt aber bei einigen agentischen Tests ab, etwa bei WebVoyager mit 66,31 gegenüber 77,72.

Weiter heißt es dort: „Inference uses W4A4 on Blackwell and W4A16 on non-Blackwell platforms.“ Auf einer RTX PRO 6000 rechnen die Tensor Cores die 4-Bit-Gewichte direkt in FP4; auf einer H200 NVL werden sie für jede Operation auf 16 Bit entpackt, was Speicher spart, aber keine Rechenarbeit. Den Unterschied der Formate erklärt unser Beitrag zu FP4-Modellen auf H200 NVL und Ada-GPUs.

Speicher je Anfrage: Bilder, Seiten und Video

Jede Anfrage braucht einen KV-Cache in den Attention-Schichten und einen festen Zustand in den Mamba-2-Schichten. Die config.json des Sprachmodells nennt 2 KV-Heads mit der Dimension 128 je Attention-Schicht, und acht Schichten nutzen Attention, wie bei Nemotron 3 Super: Das ergibt unsere Zählung der Schichtliste in der config.json, und es passt zu den acht Gewichtsdateien in Attention-Größe unter den 88 Dateien des NVFP4-Repositorys. Das ergibt 8 × 2 × 128 × 2 (Key und Value) × 2 Byte = 8 KiB je Token mit 16-Bit-Cache, den vLLM verwendet, solange --kv-cache-dtype nichts anderes vorgibt, oder 4 KiB mit FP8-Cache. Jede Mamba-2-Schicht hält je Anfrage 128 Heads × 64 × 128 Werte, 2 MiB in dem float16, das der vLLM-Befehl der Model Card setzt; bei rund 40 solchen Schichten sind das etwa 80 MiB je Anfrage, unabhängig von ihrer Länge.

Bilder werden zu Token, bevor sie den Cache erreichen. Die config.json setzt eine Patch-Größe von 16 Pixeln, ein Downsample-Verhältnis von 0,5, das in diesem Aufbau nach InternVL-Art 2 × 2 Patches zu einem Token zusammenfasst, und 1.024 bis 13.312 Patches je Bild. Nach unserer Rechnung kostet ein Bild damit 256 bis 3.328 Token. Eine mit 150 dpi gescannte A4-Seite, 1.240 × 1.754 Pixel, ergibt rund 8.500 Patches und 2.100 Token.

Für Video nennt die Model Card MP4 „up to 2 minutes“, standardmäßig mit 2 Bildern pro Sekunde bis zu 256 Bildern abgetastet und mit einer Video-Pruning-Rate von 0,5 in ihren Startbefehlen; für 1080p empfiehlt sie 1 Bild pro Sekunde und bis zu 128 Bilder. Eine Tokenzahl je Bild nennt sie nicht, messen Sie also die prompt_tokens, die Ihre Clips im Usage-Feld der API-Antwort erzeugen. Die Obergrenze setzt der Kontext: Laut Model Card teilen sich „The prompt, visual inputs, conversation history, tool results, and generated response“ dieses Fenster von bis zu 1M Token, und 1M Token 16-Bit-Cache sind nach der Zahl oben 8 GiB.

Unsere Schätzung: 8 KiB 16-Bit-KV-Cache je Token plus rund 80 MiB Mamba-2-Zustand je Anfrage; ein FP8-Cache halbiert den ersten Teil. Die Beispiele dienen der Veranschaulichung; messen Sie Ihre eigenen Eingaben.

Hier liegt der Hauptunterschied zu einem dichten Vision-Language-Modell. Qwen3.8-27B braucht für dieselbe gescannte Seite rund 0,36 GiB, wie unser Leitfaden zu Vision-Language-Modellen für Dokumenten-KI ausrechnet, also das Dreifache bei einem Modell von einem Viertel der Größe. Bei Nemotron 3.5 Super VL bestimmen die Gewichte die Zahl der Karten, und der Cache bestimmt, wie viele Anfragen gleichzeitig laufen.

Eine Server Edition, zwei oder eine H200 NVL

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den der Treiber meldet, und zieht je Karte 3 GiB für CUDA Graphs und Aktivierungen ab: 83,0 GiB auf einer RTX PRO 6000 Server Edition, die 95,6 GiB meldet, und 123,4 GiB auf einer H200 NVL, die 140,4 GiB meldet. Die Herleitung steht in unserem Leitfaden Wie viele Nutzer schafft eine RTX PRO 6000?. Was nach den 69,9 GiB NVFP4-Gewichten übrig bleibt, nimmt den Cache auf.

Unsere Schätzung nach der Regel für Nutzer je Karte: gleichzeitig im Speicher gehaltene Anfragen, jede in der gezeigten vollen Größe, 16-Bit-KV-Cache und Mamba-Zustand in float16 wie oben. Ein FP8-Cache verdoppelt die Spalten 128K und 1M ungefähr.

Das sind Speichergrenzen. Die vLLM-Befehle der Model Card begrenzen den Scheduler auf H100 und H200 mit --max-num-seqs 128, und die Aktivierungen des Vision-Encoders kommen aus demselben freien Speicher; halten Sie also Reserve über der Tabelle, wenn viele Bilder gleichzeitig eintreffen. Die Model Card schreibt selbst: „Individual deployment recipes may use a smaller context window to accommodate the available GPU memory and concurrency.“

Mit einer zweiten Server-Edition-Karte zählt die Aufteilung mehr als der zusätzliche Speicher. Zwei Kopien, eine je Karte, behalten je 13,2 GiB und brauchen keinen Verkehr zwischen den Karten. Eine Kopie, die mit Tensor-Parallelismus über beide läuft, speichert die Gewichte einmal und lässt 96,2 GiB für Anfragen, siebenmal so viel, zum Preis eines All-Reduce über PCIe in jeder Schicht, denn die Karte hat kein NVLink. Unser Vergleich TP=2, TP=4 oder Replikate auf der RTX PRO 6000 behandelt diese Abwägung. Wir liefern beide Karten und bauen die Server darum; schicken Sie uns Dokumentenmenge, Videolängen und Spitzenlast, und unser Team antwortet mit einer Konfiguration und den Zahlen für jede Aufteilung.

Software und unterstützte Hardware im Oktober 2026

Die Model Card nennt die Architekturen NVIDIA Blackwell und Hopper und vier Einsatzziele: „1× DGX Spark, 1× H200, 2× H100, or 1× GB200“. Ihre Tabelle zeigt für H200 und H100 Text, Bild und Video mit 1M Token Kontext und Multi-Token Prediction, für DGX Spark Text und Bild. Die vLLM-Befehle verwenden das Image vllm/vllm-openai:v0.32.0 oder einen Nightly-Build, --trust-remote-code, den Reasoning-Parser nemotron_v3 und den Tool-Parser qwen3_coder. Für eine H200 verweist die Model Card auf den Befehl für zwei H100 mit --tensor-parallel-size 1; dieser setzt --gpu-memory-utilization 0.89, einen Mamba-Cache in float16 mit stochastischer Rundung, drei MTP-Draft-Token und Video mit 2 Bildern pro Sekunde bis zu 256 Bildern. Konfigurationen für SGLang und TensorRT-LLM 1.3.0rc28 stehen ebenfalls dort.

Die RTX PRO 6000 Server Edition steht weder unter den Zielen der Model Card noch unter den sieben SKUs von NVIDIAs Dynamo-Rezept für das Modell (H100, H200, B200, GB200, B300, GB300 und VR200), die alle „NVFP4 weights, FP8 KV“ verwenden. Sie ist eine Blackwell-Karte mit FP4-Tensor-Cores, und das vLLM-Rezept betreibt das Textmodell Nemotron 3 Super in NVFP4 auf einer RTX PRO 6000, wie unser Nemotron-Leitfaden zitiert; einen veröffentlichten Lauf des VL-Modells auf dieser Karte haben wir bis zum 24. Oktober 2026 nicht gefunden. Planen Sie ein Pilotprojekt auf dem gelieferten System, bevor Sie mehr als einen Server dimensionieren. NVIDIAs NIM-Support-Matrix, aktualisiert am 19. Oktober 2026, führt einen NIM für Nemotron 3.5 Super VL mit NVFP4-Profilen für TP1 und TP2 und BF16-Profilen für TP2, TP4 und TP8; der produktive Einsatz eines NIM braucht eine Lizenz für NVIDIA AI Enterprise je GPU, wie unser Leitfaden zu NVIDIA AI Enterprise Lizenzen erklärt.

Durchsatz: was veröffentlicht ist und was Sie messen sollten

Einen veröffentlichten Durchsatz dieses Modells auf einer RTX PRO 6000 oder einer H200 NVL haben wir bis zum 24. Oktober 2026 nicht gefunden. NVIDIAs technischer Bericht vom 21. Oktober 2026 nennt Zahlen nur für GB200, eine andere Systemklasse. Die Rate, die ein Dokumenten- oder Videodienst braucht, ermitteln Sie deshalb am besten in einem Pilotprojekt: Schicken Sie eine repräsentative Auswahl an Seiten und Clips, lesen Sie Prompt- und Ausgabe-Token je Anfrage aus dem Usage-Feld der API und die Anfragen pro Sekunde aus den Metriken von vLLM, und rechnen Sie von dort hoch.

Drei Einstellungen bestimmen das Ergebnis. Die Auflösung, mit der Dokumentseiten gerendert werden, legt die Bild-Token fest, 256 bis 3.328 je Bild. Bildrate und Bildgrenze legen die Token je Clip fest, und die Empfehlung der Model Card von 1 Bild pro Sekunde für 1080p halbiert die Bilder. Reasoning fügt jeder Anfrage Ausgabe-Token hinzu; für Vision-Aufgaben empfiehlt die Model Card Temperature 0,6 und top_p 0,95. Die H200 NVL liest Speicher mit 4,8 TB/s gegenüber 1.597 GB/s bei der Server Edition, während die Server Edition die 4-Bit-Gewichte nativ rechnet; die beiden Karten liegen also nicht bei jeder Last in derselben Reihenfolge. Unser Vergleich RTX PRO 6000 und H200 NVL zeigt, wo welche Karte vorne liegt.

Welche Konfiguration passt

Eine RTX PRO 6000 Server Edition passt zu einem Pilotprojekt oder einer Abteilung, die einige Dutzend Seiten oder kurze Clips gleichzeitig schickt. Sie hält das Modell mit 13,2 GiB Cache, nach unserer Schätzung 40 Anfragen mit 32K, und rechnet die 4-Bit-Gewichte nativ. Sie passt in einen vorhandenen Server, dessen Hersteller die Karte für diesen Steckplatz freigibt, wie unsere Liste kompatibler Server für die RTX PRO 6000 Server Edition erläutert.

Zwei Server-Edition-Karten als eine Tensor-Parallel-Kopie halten 293 Anfragen mit 32K oder 11 mit dem vollen Kontext von 1M. Das ist unser Einstiegsserver: zwei RTX PRO 6000 Server Edition, zwei AMD-EPYC-Prozessoren, 384 GB DDR5 ECC und zwei NVMe-Laufwerke, nach unserer Schätzung rund 1,8 kW an der Steckdose und damit innerhalb eines 230-V-Anschlusses mit 16 A. Unsere Seite zum Server mit zwei Server-Edition-Karten zeigt, was er sonst noch betreibt.

Eine H200 NVL hält neben den NVFP4-Gewichten 163 Anfragen mit 32K; NVIDIAs Model Card nennt eine H200, und die H200 NVL hat dieselben 141 GB HBM3e. Zwei H200 NVL nehmen auch den BF16-Checkpoint mit 231,8 GiB auf und behalten 14,9 GiB Reserve, was zu einem Team passt, das beide Formate vergleichen will; unser Server mit zwei H200 NVL zieht nach unserer Schätzung rund 2,0 kW. Vier Server-Edition-Karten halten die BF16-Gewichte ebenfalls, mit 100,3 GiB Reserve.

Für reine OCR in großen Mengen kostet ein kleines Dokumentenmodell auf einer 24-GB-Karte je Seite weit weniger, wie unser Leitfaden zur Dokumenten-KI zeigt; Nemotron 3.5 Super VL ist die bessere Wahl, wo Seiten Schlussfolgerungen verlangen, Tabellen und Diagramme gedeutet oder Videos beschrieben werden müssen. Für Kamerastreams im Dauerbetrieb behandelt unser Leitfaden zum GPU-Server für Videoanalyse Decoder und Streamzahlen. Wir bauen Server mit einer bis acht RTX PRO 6000 Server Edition oder H200 NVL; beschreiben Sie Ihre Dokumente, Clips und Antwortzeiten, und wir legen Kartenzahl und Aufteilung fest.

Lizenz: OpenMDW-1.1

Die Model Card hält fest: „This model is ready for commercial or non-commercial use.“ Der Lizenzvertrag OpenMDW License Agreement 1.1 erlaubt, „to deal in the Model Materials without restriction“, und enthält keine Einschränkung nach Einsatzgebiet, keine Umsatzschwelle und keine regionale Beschränkung; Unternehmen in der EU sind also nicht ausgenommen. Bei Weitergabe verlangt er „a copy of this agreement“ sowie die Urheberrechts- und Herkunftshinweise, die den Materialien beiliegen. Die Rechte enden, wenn Sie einen Rechtsstreit beginnen, in dem Sie behaupten, die Materialien verletzten ein Patent oder Urheberrecht, außer als Antwort auf eine zuerst gegen Sie erhobene Klage. Die Materialien werden „AS IS“ bereitgestellt. Ob eine Klausel auf Ihr Unternehmen zutrifft, bestätigt Ihre Rechtsberatung; unsere Übersicht zu offenen LLM-Lizenzen für Unternehmen vergleicht die anderen Modellfamilien.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team dimensioniert die Konfiguration nach Ihrer Last und Ihrem Budget und antwortet innerhalb eines Werktages. Wir liefern die RTX PRO 6000 Server Edition und die H200 NVL als Karten oder in KI-Servern nach Maß, vor der Lieferung montiert und getestet, mit EU-Vertrag und EU-Rechnung und mit Herstellergarantie auf jede Komponente; Mengen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Das Modell mit Retrieval und der Verarbeitungskette für Dokumente oder Videos einzurichten, ist unser Service Private AI/ML, umgesetzt mit unserem Engineering-Partner Vixen.UNO.

FAQ