Lokales LLM mit 16 GB: Modelle für NVIDIA RTX PRO 2000 Blackwell und RTX 2000 Ada

Ein lokales LLM auf einer 16-GB-Karte

Eine kompakte Workstation mit einer 16-GB-Karte kann ein lokales Sprachmodell für einen einzelnen Nutzer oder ein kleines Team aufnehmen. Auf der NVIDIA RTX PRO 2000 Blackwell und der NVIDIA RTX 2000 Ada Generation lässt unsere Dimensionierungsregel 11,3 GiB für Modellgewichte und KV-Cache. Modelldateien bis etwa 10 GiB passen, zum Beispiel Ministral 3 8B Instruct in FP8, Gemma 4 12B-it in Googles 4-Bit-QAT-Dateien oder phi-4 als Q4_K-GGUF. gpt-oss-20b liegt über diesem Budget, und wir planen nicht damit; 14B-Modelle in FP8 brauchen 24 GB.

Diese Seite rechnet mit Dateigrößen. Geschwindigkeiten nennt sie nicht, denn in den Quellen, die wir gelten lassen, gibt es für keine der beiden Karten eine Messung in Token pro Sekunde; ein späterer Abschnitt nennt, was stattdessen bekannt ist. Server mit der L4 und Nutzerzahlen je Modell behandelt unser Leitfaden zu kleinen Sprachmodellen auf L4 und RTX PRO 2000.

Das Budget von 11,3 GiB und die drei Klassen

Die Regel stammt von uns: Für Gewichte und KV-Cache hat eine Karte das 0,9-Fache des Speichers, den der Treiber meldet, abzüglich 3 GiB. NVIDIA veröffentlicht für diese Karten keinen vom Treiber gemeldeten Speicher; wir skalieren ihn deshalb aus den 95,6 GiB, die der Treiber auf der 96-GB-Karte zeigt. Das ergibt 15,9 GiB gemeldeten Speicher, 14,3 GiB beim Faktor 0,9 und 11,3 GiB nach Abzug der 3 GiB. Die Skalierung ist eine Annahme; nvidia-smi auf der gelieferten Karte zeigt den tatsächlichen Wert, und der ist maßgeblich.

Daraus folgen drei Klassen.

• Passt. Die Gewichte liegen im Budget, und was von den 11,3 GiB bleibt, ist Platz für Kontext.
• Knapp. Die Gewichte liegen über dem Budget und innerhalb des 0,9-Fachen des gemeldeten Speichers, hier also zwischen 11,3 und 14,3 GiB. Eine solche Datei liegt über unserem Budget, und wir planen nicht mit ihr.
• Passt nicht. Die Gewichte liegen über dem 0,9-Fachen des gemeldeten Speichers.

Geschrieben wurde die Regel für vLLM mit mehreren Nutzern. Für einen Nutzer mit einer GGUF-Datei in llama.cpp oder Ollama ist sie vorsichtig gerechnet; um wie viel, sagt für diese Karten keine veröffentlichte Messung. Wir nennen deshalb die Regel und die Dateigröße und führen die Klasse „knapp“ in den Tabellen als eigene Kennzeichnung. Die Regel selbst erklärt unser Leitfaden dazu, wie viel VRAM ein LLM braucht.

Modelldateien, die auf eine 16-GB-Karte passen

Alle Größen der Tabelle sind in GiB angegeben und stammen aus den eigenen Hugging-Face-Repositorys der Herausgeber, gelesen am 10. November 2026. Die dritte Spalte ist 11,3 GiB abzüglich der Gewichte.

Dateigrößen und Lizenzangaben aus den Hugging-Face-Repositorys der Herausgeber, gelesen am 10. November 2026; Budget nach unserer Dimensionierungsregel. Die Zeilen zu Gemma 4 12B-it Q4_0 und Ministral 3 14B Q4_K_M sind GGUF-Dateien und enthalten die mmproj-Datei des Herausgebers; die Zeile zu Ministral 3 14B meint das Instruct-Modell.

Drei Hinweise helfen beim Lesen der Tabelle. Erstens teilen sich alle Gespräche den Rest: Der KV-Cache jedes offenen Gesprächs geht davon ab, und er wächst mit der Länge des Kontexts und mit der Zahl paralleler Nutzer. Zweitens sagt der Name eines Modells weniger als seine Datei. Der Checkpoint von Gemma 4 E2B enthält rund 5,1 Milliarden Parameter; deshalb belegt seine BF16-Datei 9,54 GiB. NVIDIAs Repository mit dem Namen Nemotron 3.5 Bolt E4B-4GB enthält eine Q4_K_M-Datei von 5,76 GiB. Diese Datei passt mit 5,5 GiB Rest; ihre Lizenz ist OpenMDW-1.1, deren Bedingungen wir nicht gelesen haben. Drittens passt auch Qwen3.5-4B in BF16 (8,68 GiB) mit 2,6 GiB Rest. Seine Lizenz haben wir für diese Seite nicht erneut gelesen; prüfen Sie vor einer kommerziellen Nutzung die Modellkarte.

Die Lizenzspalte gibt das Lizenz-Tag des Repositorys wieder. Ob eine Klausel für Ihr Unternehmen eine Rolle spielt, ist eine Frage für Ihre Rechtsabteilung; die verbreiteten Lizenzen beschreibt unsere Übersicht zu LLM-Lizenzen für die kommerzielle Nutzung.

Sie können die Karten oder eine Workstation allein bestellen, die Einrichtung von vLLM oder Ollama mit einem lokalen Modell allein oder beides zusammen: die Workstation mit allem fertig installiert und eingerichtet; schreiben Sie uns, wir schlagen Ihnen die beste Lösung für Ihre Aufgaben und Ihr Budget vor.

gpt-oss-20b und 14B-Modelle in FP8 auf einer 16-GB-Karte

Dateigrößen aus den Hugging-Face-Repositorys der Herausgeber, gelesen am 10. November 2026; Klassen nach unserer Dimensionierungsregel mit Budgets von 11,3 GiB bei 16 GB und 18,5 GiB bei 24 GB. Die Zeile zu Gemma 4 26B-A4B enthält die mmproj-Datei des Herausgebers. Die Zeilen zu Ministral 3 14B meinen das Instruct-Modell. Alle Dateien sind mit Apache 2.0 gekennzeichnet, phi-4 mit MIT; das Repository von gpt-oss-20b enthält zusätzlich eine Datei mit Nutzungsrichtlinien.

Die drei als knapp eingestuften Dateien liegen zwischen 11,3 und 14,3 GiB. Ein Beispiel ist gpt-oss-20b: OpenAI veröffentlicht das Modell nur als MXFP4, eine Datei von 12,82 GiB; ein kleineres Original gibt es also nicht. Auf einer 16-GB-Karte liegt es über unserem Budget, und wir planen nicht damit. Die letzte Zeile zeigt die andere Grenze: Ein 8B-Modell passt in FP8, in BF16 passt es nicht.

RTX PRO 2000 Blackwell oder RTX 2000 Ada für KI, FP4 gegen FP8

Beide Karten haben 16 GB, das Budget ist also gleich. Beide nehmen 70 W ohne Stromkabel auf, haben halbe Bauhöhe (2,7 Zoll), das Format, das meist Low Profile genannt wird, und sind zwei Steckplätze breit. Sie unterscheiden sich in der Generation.

NVIDIA-Datenblätter 5322351 (Juni 2026) und 2999417 (Januar 2024); NVIDIAs Seite „CUDA GPU Compute Capability“ (16. Oktober 2026); Budget nach unserer Dimensionierungsregel.

Laut NVIDIA kommt mit den Tensor-Kernen der fünften Generation auf den Blackwell-Karten die Unterstützung für FP4 hinzu. Für die Ada-Generation dokumentiert NVIDIA FP8: Die NIM-Support-Matrix für visuelle generative KI vom 20. Oktober 2026 verlangt für FP8 die Compute Capability 8.9, die die RTX 2000 Ada hat, und eine Hardwarebeschleunigung für FP4 haben Ada-Karten nicht. Praktisch entscheidet, welchen Checkpoint Sie betreiben wollen. NVFP4-Dateien rechnen nur auf Blackwell-Karten nativ und gehören deshalb auf die RTX PRO 2000; auf der RTX 2000 Ada stehen FP8-, BF16- und GGUF-Dateien zur Wahl. Keine Datei der ersten Tabelle ist NVFP4, obwohl Herausgeber solche Versionen anbieten, etwa IBM für Granite 4.2; deren Größe haben wir nicht ermittelt. Welches Format auf welcher Karte läuft, erklärt unser Artikel zu FP8, NVFP4, MXFP4, INT4 und GGUF.

Die beiden KI-Kennwerte der Tabelle lassen sich nicht miteinander vergleichen. 545 AI TOPS ist eine theoretische FP4-Rate mit Sparsity, 191,9 TFLOPS eine FP8-Rate mit Sparsity, und keiner der beiden Werte ist eine gemessene Geschwindigkeit. Das ECC des GDDR7-Speichers der Blackwell-Karte ist immer aktiv und kostet keinen nutzbaren Speicher. Die Karten selbst beschreiben die technischen Daten der RTX PRO 2000 Blackwell und die technischen Daten der RTX 2000 Ada, und unser Vergleich von RTX PRO 2000 und RTX 2000 Ada behandelt CAD und Rendering. GeForce-Karten mit 16 GB stehen neben der Blackwell-Karte in RTX PRO 2000 Blackwell oder RTX 5060 Ti und 5070.

LLM-Leistung von RTX PRO 2000 und RTX 2000 Ada in veröffentlichten Zahlen

Für die RTX PRO 2000 Blackwell und die RTX 2000 Ada gibt es keine verwertbare Messung in Token pro Sekunde: keine von Puget Systems oder StorageReview mit absoluten Werten und kein Ergebnis bei MLCommons. Eine eigene Zahl nennen wir nicht, denn wir sind Lieferant und betreiben keinen Prüfstand.

Drei veröffentlichte Angaben kommen dem nahe. Puget Systems nennt in seiner Übersicht professioneller GPUs vom 18. Dezember 2025 auf einem Ryzen 9 9950X3D für die RTX PRO 2000 in MLPerf Client v1.0 eine um 25 Prozent höhere Token-Rate als für die RTX 2000 Ada; das war Pugets eigener Lauf und ist kein von MLCommons veröffentlichtes Ergebnis. NVIDIAs Blog vom 11. August 2025 nennt für die RTX PRO 2000 bei der Textgenerierung das 2,3-Fache der vorherigen Generation, ohne die Vergleichskarte zu nennen und ohne Testbedingungen zu veröffentlichen. Und die Datenblätter nennen 288 gegenüber 224 GB/s Speicherbandbreite, nach unserer Rechnung 29 Prozent mehr. Das ist ein Verhältnis zweier Spezifikationen und keine gemessene Rate.

Ein Nutzer oder ein kleines Team

Der Rest aus der ersten Tabelle ist die Planungsgröße. Ein 3B-Modell in FP8 lässt etwa 7 GiB für den KV-Cache, den sich alle offenen Gespräche teilen. Ministral 3 8B Instruct in FP8 lässt 1,6 GiB; nach unserer Lesart ist das eine Karte für einen Nutzer mit kurzem Kontext. Der oben verlinkte Leitfaden zu kleinen Modellen zählt Gespräche je Modell aus der Konfiguration jedes Modells; er rechnet mit den nominalen 16 GiB und damit mit einem Budget von 11,4 GiB.

Ein Arbeitsplatz, der aus Unternehmens­dokumenten antwortet, braucht neben dem Chat-Modell ein Embedding-Modell. NVIDIAs Nemotron 3.5 Embed 1B in BF16 ist eine Datei von 2,90 GiB; zusammen mit Granite 4.2 8b als Q4_K_M-GGUF sind das 7,88 GiB, und es bleiben nach unserer Rechnung 3,4 GiB. Die Lizenz des Embedding-Modells haben wir nicht gelesen; prüfen Sie sie vor dem Einsatz. Die Dimensionierung für Retrieval behandelt unser Artikel zu Embedding- und Reranker-Modellen für RAG; Bildmodelle folgen einer eigenen Rechnung, die ComfyUI auf RTX PRO 2000, 4000 und 4500 darstellt.

Für das System verlangt NVIDIAs Quick Start Guide für die Blackwell-Karten mindestens so viel Arbeitsspeicher wie Grafikspeicher und empfiehlt das Doppelte, also 16 GB und 32 GB. Anwendungen mit CUDA 13.x brauchen mindestens einen Treiber des Zweigs 580, und der erste Linux-Treiber, der die RTX PRO 2000 nennt, ist nach unserer Lesart von NVIDIAs Produktlisten 580.76.05.

Die RTX 2000E Ada mit 16 GB als Single-Slot-Karte

Die NVIDIA RTX 2000E Ada Generation hat laut NVIDIAs Datenblatt vom Oktober 2025 dieselben 16 GB GDDR6 mit ECC, belegt einen Steckplatz und nimmt 50 W auf. Das Budget nach unserer Regel beträgt ebenfalls 11,3 GiB. NVIDIAs Seite zur Compute Capability führt die Karte nicht. Ihr Datenblatt nennt 8,9 TFLOPS in einfacher Genauigkeit, gegenüber 12,0 bei der RTX 2000 Ada und 17 bei der RTX PRO 2000; sie hat damit die niedrigste veröffentlichte Rate der drei, und auch für sie gibt es keine Messung. Sie ist die Karte für ein System mit nur einem freien Steckplatz; siehe RTX 2000E Ada für Edge-KI, ihre technischen Daten und die Seite RTX 2000E Ada kaufen.

Wann 24 GB die richtige Karte sind

Steht das Modell, das Sie brauchen, in der zweiten Tabelle, ist eine 16-GB-Karte die falsche Bestellung. Die NVIDIA RTX PRO 4000 Blackwell hat 24 GB und nach derselben Regel ein Budget von 18,5 GiB: gpt-oss-20b lässt dann 5,7 GiB für den Kontext, und Ministral 3 14B Instruct in FP8 passt. Die Karte nimmt 145 W auf, braucht ein 16-poliges Stromkabel und belegt einen Steckplatz voller Bauhöhe. Hat der Steckplatz nur halbe Bauhöhe, bietet die RTX PRO 4000 Blackwell SFF Edition dieselben 24 GB bei 70 W. Die Modellliste steht in unserem Artikel zur RTX PRO 4000 Blackwell für lokale LLMs, die Karten vergleicht RTX PRO 2000 oder RTX PRO 4000 Blackwell, und die größeren Workstation-Karten zeigt unsere Übersicht zur besten Workstation-GPU für KI 2026.

In der anderen Richtung lassen 8 GB nach derselben Regel 4,2 GiB; das rechnet unser Artikel zu RTX A1000 und RTX A400 für KI durch.

Wie eine Bestellung abläuft, beschreiben die Seiten RTX PRO 2000 Blackwell kaufen, RTX 2000 Ada kaufen und RTX PRO 4000 Blackwell kaufen mit ihren technischen Daten. Steht das Modell fest und die Karte noch nicht, dann senden Sie uns das Modell, die Kontextlänge und die Zahl der Nutzer, und wir nennen die Karte, die dafür reicht.

FAQ