NVIDIA RTX PRO 4000 Blackwell für lokale LLMs: was 24 GB auf einer bis vier Karten fassen

Ein lokales LLM auf der RTX PRO 4000 Blackwell und was 24 GB fassen

Eine NVIDIA RTX PRO 4000 Blackwell hat Platz für ein lokales Sprachmodell, dessen Datei bis etwa 18 GiB groß ist: Nach unserer Dimensionierungsregel lassen ihre 24 GB ein Budget von 18,5 GiB für die Gewichte und den Kontext. Das deckt gpt-oss-20b in MXFP4 und Ministral 3 14B Instruct in FP8 mit Reserve ab und Qwen3.5-9B in BF16 fast ohne. Zwei oder vier Karten bringen zusätzliches Budget, jede Karte mit ihren eigenen 24 GB. Ein gemessener Wert in Token pro Sekunde ist für diese Karte in den Quellen, die wir gelten lassen, nicht veröffentlicht.

Hinter der Frage steht meist eine von drei Aufgaben. Ein Entwickler möchte ein Coding- oder Chat-Modell am Arbeitsplatz. Ein Team möchte Antworten aus eigenen Dokumenten, ohne dass diese das Unternehmen verlassen. Oder eine IT-Abteilung probiert Modelle an einem Platz aus, bevor sie einen Server dimensioniert. In allen drei Fällen ist zuerst zu klären, ob die Modelldatei in den Speicher passt, und das lässt sich vor jeder Bestellung ausrechnen.

Das Budget von 18,5 GiB und wie wir rechnen

Ein Sprachmodell belegt den Grafikspeicher zweimal: einmal mit seinen Gewichten, das ist die Größe der Datei, und einmal mit dem KV-Cache, dem Zwischenspeicher, der mit dem Text des Gesprächs wächst. Unsere Dimensionierungsregel hält Platz für beides vor. Sie nimmt das 0,9-Fache des Speichers, den der Treiber meldet, und zieht 3 GiB Overhead für die Laufzeitumgebung ab; der Rest ist das Budget für Gewichte und KV-Cache.

Für die RTX PRO 4000 Blackwell beträgt dieses Budget 18,5 GiB. NVIDIA veröffentlicht für die Karte keinen Wert für den Speicher, den der Treiber sieht; wir skalieren den gemeldeten Speicher deshalb aus den 95,6 GiB, die der Treiber auf der 96-GB-Karte zeigt. Die Skalierung ist unsere Annahme; es zählt der Wert, den nvidia-smi auf der gelieferten Karte zeigt. Der GDDR7-Speicher der Blackwell-Karten hat ECC, das immer eingeschaltet ist und vom nutzbaren Speicher nichts abzieht.

Die Regel wurde für eine Serving-Engine wie vLLM mit mehreren Nutzern geschrieben. Für einen einzelnen Nutzer, der eine GGUF-Datei in llama.cpp oder Ollama lädt, rechnet sie vorsichtig. Wir nennen sie zu jeder Zahl, weil sich eine Zahl ohne ihre Regel nicht nachprüfen lässt. Hergeleitet ist sie in unserem Leitfaden dazu, wie viele Nutzer eine RTX PRO 6000 bedient.

Welche LLM-Dateien auf eine RTX PRO 4000 Blackwell passen

Die Größen sind die der eigenen Dateien der Herausgeber auf Hugging Face, gelesen am 10. November 2026. „Frei“ ist, was vom Budget für Kontext bleibt.

unsere Rechnung nach der Dimensionierungsregel, keine Messung; Dateigrößen und Lizenzangaben aus den Hugging-Face-Repositories der Herausgeber, gelesen am 10. November 2026.

Zu den Dateien aus derselben Abfrage, die nicht auf eine Karte passen, gehören Gemma 4 12B-it in BF16 (22,28 GiB), Devstral Small 2 24B Instruct in FP8 (24,02 GiB), Qwen3.8-27B in FP8 (28,75 GiB) und Qwen3.6-35B-A3B in FP8 (34,88 GiB). Zwischen 17,98 und 22,28 GiB enthält unsere Liste keine Datei; einen Grenzfall gibt es auf dieser Karte also nicht.

Bemessen Sie ein Modell nach seiner Datei und nicht nach seinem Namen. Gemma 4 E4B-it ist ein Checkpoint mit etwa 8,0 Milliarden Parametern, und seine BF16-Datei hat 14,89 GiB. gpt-oss-20b ist nur in MXFP4 veröffentlicht. Und ein Modell gibt es in mehreren Dateien: Ministral 3 14B hat 7,67 GiB als Q4_K_M-GGUF-Datei mit ihrer mmproj-Datei, 13,37 GiB als Q8_0, 14,65 GiB in FP8 und 25,97 GiB in BF16; die ersten drei passen auf diese Karte.

Der freie Platz entscheidet, wie sich das Modell nutzen lässt. Mit 5,7 GiB hat gpt-oss-20b reichlich Platz für Kontext; mit 0,5 GiB passt Qwen3.5-9B in BF16 nach der Regel und hat Platz für sehr wenig Text. Wie viele Token ein GiB Cache fasst, ist von Modell zu Modell verschieden; die Rechnung zeigt unser Leitfaden dazu, wie viel VRAM ein LLM braucht. Die Mixture-of-Experts-Modelle der 30B-Klasse auf dieser Karte behandelt 30B-MoE-Modelle auf 24-GB-GPUs.

Wir liefern die RTX PRO 4000 Blackwell in der gesamten EU; senden Sie uns das Modell, das Sie betreiben wollen, sein Format und die Kontextlänge, und wir antworten innerhalb eines Werktages mit dem Ergebnis nach unserer Regel und einem schriftlichen Angebot.

FP4, FP8 und GGUF-Dateien auf einer Blackwell-Karte

NVIDIA führt die RTX PRO 4000 Blackwell mit Compute Capability 12.0. Mit ihren Tensor-Kernen der fünften Generation kommt zu FP8 und BF16 noch FP4 hinzu; in diesen Formaten sind mehrere der Dateien oben veröffentlicht, und NVFP4-Dateien rechnen nur auf Blackwell-Karten nativ. GGUF ist das Dateiformat von llama.cpp und Ollama. Die Formate und die Karten, auf denen sie laufen, stellt unser Artikel zu FP8, NVFP4, MXFP4, INT4 und GGUF zusammen.

Eine Zahl aus dem Datenblatt sollte man nicht als Geschwindigkeit lesen. NVIDIAs Datenblatt (Juni 2026) nennt 1.178 AI TOPS und 37 TFLOPS, die Produktseite 1.290 und 40. AI TOPS ist ein theoretischer FP4-Wert mit Sparsity, keine gemessene Rate und keine Angabe in Token.

RTX PRO 4000 Blackwell im LLM-Benchmark, KI-Leistung und Token pro Sekunde

Für die RTX PRO 4000 Blackwell gibt es in den Quellen, die wir gelten lassen, keine Messung der Geschwindigkeit von Sprachmodellen; gemeint sind veröffentlichte Tests mit benanntem System und Verfahren. Wir nennen deshalb keine Token pro Sekunde und auch keine Schätzung dafür.

Am nächsten kommt die Übersicht professioneller GPUs von Puget Systems vom 18. Dezember 2025, gemessen auf einem Ryzen 9 9950X3D. Sie misst die Karte in Software für Rendering und Video gegen die RTX 4000 Ada: 83 Prozent schneller in V-Ray GPU, 40 Prozent in Blender Cycles, 39 Prozent in Topaz Video AI. Im selben Artikel hat Puget MLPerf Client v1.0 laufen lassen und berichtet, dass die Blackwell-Karten bei der Rate des zweiten und der folgenden Token im Schnitt 50 Prozent über den Ada-Karten derselben Nummer lagen, die RTX PRO 2000 bei 25 Prozent. Einen eigenen Wert für die RTX PRO 4000 und eine absolute Rate nennt der Text nicht, und es sind Pugets eigene Läufe, keine von MLCommons veröffentlichten Ergebnisse.

Wovon die Geschwindigkeit eines lokalen Modells abhängt, lässt sich ohne Zahl benennen: von Größe und Genauigkeit der Datei, von der Engine, von der Länge des Kontexts, von der Zahl gleichzeitiger Anfragen und von der Speicherbandbreite der Karte, 672 GB/s. Ein Testlauf mit Ihrem Modell auf der gelieferten Karte klärt es.

Zwei und vier RTX PRO 4000 Blackwell und die Grenzen ohne NVLink

Die RTX PRO 4000 Blackwell ist eine Single-Slot-Karte; ein Tower nimmt also zwei oder vier davon auf, wenn er die Steckplätze und die Netzteilleistung hat und sein Hersteller die Bestückung freigibt.

unsere Rechnung aus dem NVIDIA-Datenblatt 5323450 (Juni 2026) und der Dimensionierungsregel oben.

Mehrere Karten lassen sich auf drei Arten nutzen. Jede Karte betreibt ihr eigenes Modell, zum Beispiel ein Chat-Modell, ein Coding-Modell und ein Embedding-Modell nebeneinander. Jede Karte betreibt eine Kopie desselben Modells; das vervielfacht die Anfragen, die gleichzeitig laufen können. Oder die Serving-Engine verteilt ein größeres Modell über die Karten. Nach den Gewichten allein liegen Gemma 4 12B-it in BF16 und Qwen3.8-27B in FP8 innerhalb der 37,0 GiB eines Paars, und Qwen3.6-35B-A3B in FP8 lässt davon 2,1 GiB für Kontext übrig. Ob sich ein bestimmter Checkpoint verteilen lässt, hängt von der Engine und vom Modell ab.

Die Grenzen ergeben sich aus der Hardware. NVIDIAs Datenblatt führt für die Karte kein NVLink, und jede Karte arbeitet mit ihren eigenen 24 GB; ein verteiltes Modell tauscht seine Daten also über PCIe zwischen den Karten aus. NVIDIAs MIG-Leitfaden und die vGPU-Liste enthalten die Karte nicht; mehrere Nutzer teilen sich eine Karte über die Serving-Engine. Die Aufteilungen rechnen unsere Seiten zu vier RTX PRO 4000 in einer Workstation, zu zwei RTX PRO 4000 oder einer RTX PRO 6000 Max-Q und zu einem Modell auf mehreren GPUs über PCIe durch.

Für ein einzelnes größeres Modell ist eine größere Karte oft die bessere Bestellung als eine zweite kleine.

NVIDIA-Datenblätter 5323450 (Juni 2026), 5108623 (April 2026) und 5349550 (Juni 2026); Budgets nach unserer Dimensionierungsregel; „größte Datei“ ist die größte Datei unserer Liste, die nach der Regel passt; Dateigrößen von Hugging Face, gelesen am 10. November 2026.

Eine NVIDIA RTX PRO 5000 Blackwell mit 48 GB belegt die zwei Steckplatzbreiten eines Paars RTX PRO 4000, bei 300 W gegenüber 290 W, und fasst 40,0 GiB auf einer GPU statt 37,0 GiB auf zweien. Nach unserer Lesart ist das Paar die bessere Bestellung für zwei Personen oder zwei Modelle und die einzelne Karte die bessere für ein Modell über 18,5 GiB. Dazwischen liegt die NVIDIA RTX PRO 4500 Blackwell Workstation Edition; die beiden Nachbarn vergleicht RTX PRO 4000 oder RTX PRO 4500 Blackwell. Die Kartenseiten sind RTX PRO 4500 Blackwell kaufen mit den Daten der 32-GB-Karte sowie RTX PRO 5000 Blackwell 48 GB kaufen mit RTX PRO 5000 48 GB oder 72 GB. Zur Klasse darunter siehe lokale LLMs auf 16-GB-Karten, zur Ada-Generation RTX 5000 Ada und RTX 4500 Ada für KI.

Stable Diffusion und ComfyUI auf denselben 24 GB

Bildmodelle werden anders bemessen, weil das Diffusionsmodell, seine Text-Encoder und der VAE getrennte Dateien sind. Nach unserer Rechnung gegen neun Zehntel des Kartenspeichers, ohne jede Messung, gilt für 24 GB Folgendes. SDXL base 1.0, Stable Diffusion 3.5 Medium und FLUX.2 klein 4B passen mit allen Teilen. Stable Diffusion 3.5 Large passt mit allen Teilen, wenn der T5-Encoder die FP8-Datei ist. Von FLUX.2-dev in NVFP4 passt nur die Modelldatei, und die BF16-Dateien von FLUX.1-dev und Qwen-Image liegen über dieser Grenze und laufen nur, wenn Teile aus dem Arbeitsspeicher nachgeladen werden.

Die Lizenzen unterscheiden sich. FLUX.2 klein 4B steht unter Apache 2.0. SDXL steht unter OpenRAIL++, das die kommerzielle Nutzung innerhalb seiner Nutzungsbeschränkungen erlaubt. Stable Diffusion 3.5 steht unter der Stability AI Community License, deren Bedingungen zu lesen sind, und FLUX.1-dev und FLUX.2-dev stehen unter nicht kommerziellen Lizenzen. Ein Bildmodell und ein Sprachmodell, die gleichzeitig geladen sind, teilen sich die 24 GB; das Budget oben gilt dann nicht mehr. Die Tabelle für alle drei Karten steht in unserem Leitfaden zu ComfyUI auf RTX PRO 2000, 4000 und 4500.

Die Workstation rund um die Karte

NVIDIAs Quick Start Guide verlangt einen PCI-Express-x16-Steckplatz und mindestens so viel Arbeitsspeicher wie Grafikspeicher und empfiehlt das Doppelte: 24 GB und 48 GB für eine Karte, 96 GB und 192 GB für vier. Jede Karte hat 145 W Leistungsaufnahme und einen 16-poligen Anschluss nach PCIe CEM5, und ein Adapter von einem 8-poligen PCIe-Kabel liegt bei.

Unter Linux führen die aktuellen Treiber 620.70.06 (R620), 595.112.07 (R595) und 580.196.07 (R580) die Karte. NVIDIA ordnet CUDA 13.5 dem Zweig R620 zu, 13.2 dem Zweig R595 und 13.0 dem Zweig R580, und Anwendungen mit CUDA 13.x brauchen einen Treiber ab Zweig 580. Zu den Linux-Distributionen in NVIDIAs Release Notes gehören Ubuntu 26.04, 24.04 und 22.04 LTS, RHEL und Rocky 10.x, 9.y und 8.y sowie Debian 13 und 12.

Sie können die Karte oder die Workstation allein bestellen, die Einrichtung des Modells und seiner Serving-Software allein oder beides zusammen: die Workstation mit allem fertig installiert und eingerichtet; schreiben Sie uns, wir schlagen Ihnen die beste Lösung für Ihre Aufgaben und Ihr Budget vor. Die Karte selbst beschreiben unsere Seite RTX PRO 4000 Blackwell kaufen und die technischen Daten der RTX PRO 4000 Blackwell; wie sie gegenüber GeForce-Karten mit 16 bis 32 GB steht, zeigt RTX PRO 4000 Blackwell oder RTX 5070 Ti, 5080 und 5090.

FAQ