NVFP4-Modelle für die NVIDIA RTX PRO 6000 Blackwell: Checkpoint-Liste für Oktober 2026

Welche NVFP4-Checkpoints es für die RTX PRO 6000 gibt

Stand 24. Oktober 2026 hat das Hugging-Face-Konto von NVIDIA 85 Repositories mit NVFP4 im Namen, und 22 davon sind aktuelle Sprachmodelle, die ein Unternehmen auf einer NVIDIA RTX PRO 6000 Blackwell Server Edition betreiben würde. Ihre Checkpoints reichen von 6,0 GB für Llama 3.1 8B bis 595,2 GB für Kimi K2.6; dreizehn passen mit Platz für einen KV-Cache auf eine Karte mit 96 GB, die größten brauchen einen Server mit acht Karten. Fast jede Modellkarte nennt NVIDIA Blackwell als Ziel, und keine nennt die RTX PRO 6000 als Hardware, auf der getestet wurde.

NVFP4 ist das 4-Bit-Format, das Blackwell-Tensor-Cores nativ rechnen, und die RTX PRO 6000 ist in allen drei Editionen eine Blackwell-Karte mit Compute Capability 12.0. Wie das Format funktioniert, erklärt unser Leitfaden zu FP8, NVFP4, MXFP4 und INT4; welche Engine-Releases es auf diesen Karten unterstützen, steht in unserem Leitfaden zur Software-Unterstützung für SM120. Diese Seite ist die Liste, auf die beide verweisen: welche fertigen NVFP4-Checkpoints es gibt, wie groß sie sind und wie viele Karten jeder braucht. Sie ist eine Momentaufnahme eines Tages und veraltet schnell: Die zuletzt geänderten Repositories der Suche wurden am 23. Oktober 2026 aktualisiert.

Wie die Liste entstanden ist

Die Werte stammen aus drei Quellen, alle gelesen am 24. Oktober 2026.

• Größe. Die Summe der safetensors-Dateien in der Dateiliste jedes Repositorys, in dezimalen GB und in GiB. Tokenizer- und Konfigurationsdateien sind nicht mitgezählt; sie machen einige Megabyte aus.
• Kartenzahl. Unsere Nutzer-pro-Karte-Regel: 90 Prozent der 95,6 GiB, die der Treiber meldet, abzüglich 3 GiB pro Karte für Aktivierungen und Laufzeit. Das lässt 83,0 GiB pro Karte für Gewichte und Cache, 166,1 GiB auf zwei Karten, 332,2 GiB auf vier und 664,3 GiB auf acht. Die Liste nennt die kleinste dieser Stufen, die die Gewichte fasst, und was für den KV-Cache bleibt.
• Angaben der Karten. Testhardware, unterstützte Engines, was quantisiert ist und die Lizenz stammen aus der jeweiligen Modellkarte von NVIDIA.

Die Suche liefert auch Varianten mit Zusätzen wie DSpark, DFlash, QAD oder MLPerf, ältere Generationen derselben Familien sowie Embedding-, Bild- und Videomodelle; sie stehen nicht in den Tabellen. Die Checkpoint-Größe umfasst alles in den Dateien, auch Vision-Encoder und Schichten in 8 oder 16 Bit, und liegt deshalb über Parameterzahl × 0,5625 Bytes.

NVFP4-Checkpoints für eine RTX PRO 6000

Dateilisten auf Hugging Face (Summe der safetensors-Dateien) und Modellkarten der genannten nvidia/-Repositories, gelesen am 24. Oktober 2026; freier Speicher nach unserer Nutzer-pro-Karte-Regel (83,0 GiB pro Karte abzüglich der Gewichte). Einige Namen gekürzt: Die Nemotron-Repositories beginnen mit NVIDIA- und enden auf -NVFP4, Llama 4 Scout heißt Llama-4-Scout-17B-16E-Instruct-NVFP4, das 49B-Modell Llama-3_3-Nemotron-Super-49B-v1_5-NVFP4. Für die beiden Super-Modelle nennt die Karte eine GPU-Liste statt eines Feldes für Testhardware.

Die Modelle der letzten drei Zeilen lassen sich auf eine Karte laden, aber der Platz für den Cache ist klein. Wie viele Unterhaltungen er fasst, hängt vom Attention-Aufbau des Modells ab: Die Nemotron-Karten beschreiben Mamba-Schichten, die keinen KV-Cache pro Token halten, daher ist ihr Cache pro Token kleiner als bei einem dichten Transformer, und ein fester Wert pro Sitzung würde in die Irre führen. Lesen Sie die Cache-Größe, die vLLM beim Start ausgibt, wie unser Leitfaden zu KV-Cache-Größe und maximaler Parallelität in vLLM beschreibt. Für einen Dienst mit mehr als einer Handvoll paralleler Nutzer planen Sie für diese drei zwei Karten.

Für das dichte 70B-Modell ist die Rechnung in unserem Leitfaden zu Nutzern pro RTX PRO 6000 veröffentlicht: Mit NVFP4-Gewichten und FP8-KV-Cache fasst eine Karte 34 Sitzungen von Llama 3.3 70B mit vollen 8K Kontext.

NVFP4-Checkpoints für zwei, vier oder acht Karten

wie oben, Namen in gleicher Weise gekürzt; nutzbarer Speicher nach unserer Regel 166,1 GiB auf zwei Karten, 332,2 GiB auf vier, 664,3 GiB auf acht. DeepSeek-V4-Flash-0731 lässt auf zwei Karten 2,6 GiB frei und Nemotron 3 Ultra auf vier 4,1 GiB, daher nennt die Tabelle die nächste Größe. Die Karte von Nemotron 3 Ultra führt H100, H200, GB200, GB300, B200 und B300 auf.

Zwei Modelle liegen auf einer Grenze. DeepSeek-V4-Flash-0731 in NVIDIAs NVFP4-Version passt nach Gewicht gerade auf zwei Karten und lässt keinen Cache, ist auf der RTX PRO 6000 also ein Modell für vier Karten. Nemotron 3 Ultra ist derselbe Fall eine Stufe höher: 328,1 GiB gegenüber 332,2 GiB auf vier Karten. Beide planen Sie besser auf der nächsten Servergröße, wie es unsere Leitfäden zum Server mit vier Karten und zum Server mit acht Karten der RTX PRO 6000 Server Edition für ihre Modelle tun.

Die Beispiele auf den Karten setzen weit mehr Speicher pro GPU voraus. NVIDIA betreibt Qwen3.8-Flash-Next und DeepSeek-V4-Flash-0731 in seinen Beispielbefehlen mit acht GPUs, GLM-5.3-Flash und Kimi K2.6 mit vier, und die Karte von Nemotron 3 Ultra nennt als Minimum vier B200 oder acht H100. Auf Karten der RTX PRO 6000 folgt die Aufteilung aus 96 GB pro Karte und PCIe ohne NVLink: Tensor-Parallelität innerhalb eines Knotens, dimensioniert nach den Tabellen oben.

Wir bauen Server mit zwei, vier oder acht Karten der RTX PRO 6000 Server Edition auf Bestellung; senden Sie uns den Checkpoint, den Sie betreiben wollen, und die Zahl Ihrer Nutzer, und unser Team antwortet mit der nötigen Kartenzahl und Speicherkonfiguration.

Was die Modellkarten zu Hardware und Engines sagen

Alle Karten der Liste bis auf eine nennen NVIDIA Blackwell als unterstützte oder kompatible Mikroarchitektur; die Karte des NVFP4-Modells Llama-3.3-Nemotron-Super-49B nennt nur Ampere und Hopper als empfohlen. Mehrere nennen außerdem Hopper oder Ampere: Die Karte von Llama 4 Scout führt Blackwell, Hopper und Ampere auf, Qwen3.6-35B-A3B Hopper und Blackwell, und die Karte von Nemotron 3.5 Lightning „NVIDIA Hopper (NVFP4 / W4A16); NVIDIA Ampere (W4A16)“. Auf Hopper und Ampere laufen diese Checkpoints über Weight-only-Kernel, wie unser Leitfaden zu FP4-Modellen auf H200 NVL und Ada-GPUs erklärt. Am engsten ist die Karte von Qwen3.8-Flash-Next: Sie nennt „NVIDIA Blackwell B200“ und „NVIDIA Blackwell B300“ als unterstützte Hardware.

Bei der Testhardware fehlt die RTX PRO 6000. B200 und B300 haben Compute Capability 10.0 und 10.3, die RTX PRO 6000 hat 12.0, und die Engines liefern für beide eigene Kernel. Ein auf einer B200 getesteter Checkpoint zeigt, dass Format und Rezept funktionieren, nicht, dass jeder Kernel bereitsteht, den die Engine auf SM120 wählt. Prüfen Sie bei den großen Mixture-of-Experts-Modellen vor der Bestellung die Release Notes der Engine für die Modellfamilie auf SM120, wie unser SM120-Leitfaden es für Modelle der DeepSeek-Klasse festhält.

Die genannten Engines unterscheiden sich je Karte. Die älteren Checkpoints (Llama 3.3 70B, Qwen3-32B, Qwen3-235B-A22B-2507, Llama 4 Scout) nennen TensorRT-LLM, die neueren vLLM, SGLang oder beide. Die Dokumentation von Model Optimizer gibt an, dass die exportierten Checkpoints auf TensorRT-LLM, vLLM und SGLang laufen; in vLLM werden sie mit quantization="modelopt" geladen.

Was quantisiert ist und warum die Größen schwanken

„NVFP4“ im Namen eines Repositorys deckt mehrere Rezepte ab. Die Karten nennen sie:

die genannten Modellkarten von NVIDIA, gelesen am 24. Oktober 2026.

Rezepte, die Attention oder Shared Experts in 8 oder 16 Bit halten, tauschen Speicher gegen Genauigkeit, und die Größen zeigen es. Mistral Medium 3.5 hat 128B Parameter und einen NVFP4-Checkpoint von 95,2 GB, etwa 0,74 Bytes pro Parameter, weil die MLP-Operatoren in fünf seiner 88 Decoder-Schichten (0 bis 87), die Attention-Projektionen und der KV-Cache in FP8 bleiben. DeepSeek-V4-Flash-0731 zeigt den Extremfall: DeepSeek veröffentlicht das Modell bereits mit FP4-Experten und sonst FP8 in 167 GB, wie unser Leitfaden zur DeepSeek-Hardware aufführt, und NVIDIAs NVFP4-Version hat 175,6 GB. Sie liefert den NVFP4-Kerneln der Engines einen Checkpoint in ihrem Format und spart keinen Speicher; auf zwei Karten lässt nur DeepSeeks eigenes Release Platz für einen Cache (166,1 GiB gegenüber etwa 155,5 GiB Gewichten, nach unserer Schätzung).

Mehrere Karten veröffentlichen außerdem die Genauigkeit gegenüber dem BF16-Modell, gemessen von NVIDIA auf eigener Hardware:

Modellkarten von NVIDIA zu Gemma-4-31B-IT-NVFP4, Qwen3.8-27B-NVFP4, Qwen3.6-35B-A3B-NVFP4 und NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4, gelesen am 24. Oktober 2026. Lightning = Nemotron 3.5 Lightning.

Die meisten Unterschiede liegen unter einem Punkt; die Karte von Lightning zeigt, dass Coding- und Langkontext-Aufgaben mehr verlieren können, knapp drei Punkte bei SWE-bench Multilingual. Lassen Sie Ihren eigenen Evaluierungsdatensatz auf dem Checkpoint laufen, bevor er ein FP8- oder BF16-Modell ersetzt, wie unser Leitfaden zur LLM-Evaluierung vor Modell-Upgrades beschreibt.

Lizenzen, die Sie vor dem Einsatz lesen sollten

Die NVFP4-Repositories von NVIDIA haben zwei Ebenen von Bedingungen: die von NVIDIA und die des Originalmodells. Die Modelle unter Apache 2.0 und MIT in der Liste (Gemma 4, Qwen3, Qwen3.5, Qwen3.6, Qwen3.8-27B, DeepSeek-V4-Flash, GLM-5.3-Flash) enthalten keine Nutzungsbeschränkungen über diese Lizenzen hinaus. Bei anderen gibt es sie:

• Llama 4 Scout. Die Karte nennt die NVIDIA Open Model License und die Llama 4 Community License. Metas Llama 4 Acceptable Use Policy schreibt: „With respect to any multimodal models included in Llama 4, the rights granted under Section 1(a) of the Llama 4 Community License Agreement are not being granted to you if you are an individual domiciled in, or a company with a principal place of business in, the European Union.“ Ausgenommen sind Endnutzer eines Produkts, das ein solches Modell enthält. Llama 4 Scout verarbeitet laut Metas Modellkarte Text und Bilder. Ein Unternehmen mit Sitz in der EU sollte diesen Checkpoint nicht ohne Bewertung durch seine Rechtsberatung einplanen.
• Mistral Medium 3.5. Die Karte nennt Mistrals Modified MIT License. Wie in unserem Leitfaden zur Mistral-Hardware zitiert, gewährt ihr zweiter Abschnitt keine Rechte, wenn der weltweite konsolidierte Monatsumsatz des Unternehmens im Vormonat 20 Millionen US-Dollar überstieg.
• Qwen3.8-Flash-Next. NVIDIA Open Model License und Qwen Community License 1.0, die, wie unser Leitfaden zu offenen LLM-Lizenzen darlegt, für Angebote als Model as a Service oder als KI-Arbeitsassistent eine eigene Lizenz verlangt.
• Kimi K2.6 und GLM-5.3. Kimi K2.6 fügt die Modified MIT License von Moonshot AI hinzu, mit einer Anzeigepflicht für sehr große kommerzielle Dienste; GLM-5.3 unterliegt dem NVIDIA Open Model Agreement, das laut Karte die GLM-5.3 License und ihre Bedingungen weder ändert noch ersetzt.
• Llama 3.1 und 3.3. Llama 3.1 8B und Llama 3.3 70B nennen die NVIDIA Open Model License mit Metas Lizenz für Llama 3 beziehungsweise Llama 3.3 als zusätzlichen Bedingungen; die Bedingungen von Metas Lizenzen, darunter die Klausel für Dienste mit mehr als 700 Millionen monatlichen Nutzern, stehen in unserem Lizenz-Leitfaden.
• Nemotron. Nemotron 3 Super nutzt die NVIDIA Nemotron Open Model License; Nemotron 3 Ultra, 3.5 Super VL und 3.5 Lightning das OpenMDW License Agreement 1.1.

Das sind allgemeine Informationen aus den Lizenztexten, keine Rechtsberatung; Ihre Rechtsberatung bestätigt die Bedingungen für Ihre Nutzung.

So wählen Sie einen Checkpoint aus der Liste

1. Zuerst das Modell wählen. Entscheiden Sie nach Aufgabe und Lizenz; prüfen Sie dann, ob es in den Tabellen oben eine NVFP4-Version von NVIDIA gibt. Den Speicherbedarf in anderen Formaten nennt unser Überblick zu den Hardware­anforderungen je LLM.
2. Nach der Tabelle dimensionieren. Die Kartenzahl oben ist das Minimum für Gewichte und etwas Cache. Rechnen Sie Nutzer und Kontextlänge nach der Regel in unserem Nutzer-Leitfaden hinzu.
3. Das Rezept lesen. Die Dokumentation von Model Optimizer empfiehlt für höhere NVFP4-Genauigkeit Rezepte, die nur die Experten oder nur die MLP-Schichten quantisieren; sie ergeben größere Checkpoints als Rezepte, die jede lineare Schicht quantisieren.
4. Die Engine auf SM120 prüfen. Nutzen Sie die Engine, die die Karte nennt, in einem Release, das SM120-Unterstützung für diese Modellfamilie aufführt, und lesen Sie das Start-Log auf Fallback-Warnungen.
5. Evaluieren. Vergleichen Sie den NVFP4-Checkpoint auf Ihren eigenen Prompts mit dem FP8- oder BF16-Modell. Gibt es für Ihr Modell keinen NVFP4-Checkpoint, beschreibt unser Leitfaden zum Quantisieren eines LLM nach NVFP4 oder FP8, wie Sie einen erzeugen.

Unser Team dimensioniert den Server für den gewählten Checkpoint und bietet ihn schriftlich an; nennen Sie uns die Modelle aus der Liste, die Sie betreiben wollen, und wir antworten mit einer Konfiguration für zwei, vier oder acht Karten.

FAQ