NVIDIA RTX 5000 Ada und RTX 4500 Ada für KI: Welche Modelle passen in 32 GB und 24 GB

Was die RTX 5000 Ada und die RTX 4500 Ada für KI bieten

Für KI bietet die NVIDIA RTX 5000 Ada Generation 32 GB und die NVIDIA RTX 4500 Ada Generation 24 GB GDDR6 mit ECC. Nach unserer Dimensionierungsregel bleiben damit 25,7 GiB und 18,5 GiB für ein Sprachmodell und seinen Kontext. Beide Karten rechnen in FP8 und BF16 und haben keine FP4-Beschleunigung in der Hardware. In 24 GB passt damit zum Beispiel Ministral 3 14B Instruct in FP8; mit 32 GB kommen Gemma 4 12B-it in BF16 und Devstral Small 2 24B Instruct in FP8 hinzu.

Zwei Arten von Unternehmen stellen diese Frage. Die einen haben diese Karten bereits in ihren CAD- oder Rendering-Workstations und wollen wissen, ob sie für einen lokalen Assistenten, die Dokumentensuche, Bildgenerierung oder Spracherkennung reichen. Die anderen entscheiden Ende 2026, ob eine Ada-Karte für einen neuen KI-Arbeitsplatz noch die richtige Bestellung ist. Die Antworten stützen sich auf NVIDIAs Dokumente, auf Dateigrößen, die am 10. November 2026 bei Hugging Face gelesen wurden, und auf die wenigen veröffentlichten Messungen, die es gibt.

Die beiden Karten in den Zahlen, die für KI zählen

NVIDIA-Datenblätter 2898211 (August 2023) und 2895216 (Oktober 2023); NVIDIAs Seite „CUDA GPU Compute Capability“ vom 16. Oktober 2026; NVIDIAs Liste der von vGPU unterstützten GPUs vom 2. Oktober 2026. Die Budget-Zeile ist unsere Rechnung.

Wir planen mit dem Budget. Unsere Regel nimmt das 0,9-Fache des Speichers, den der Treiber meldet, und zieht 3 GiB ab; der Rest fasst die Gewichte und den KV-Cache, also den Speicher, den ein Modell für seinen Kontext braucht. Den gemeldeten Speicher skalieren wir von den 95,6 GiB, die der Treiber auf der 96-GB-Karte zeigt. Diese Skalierung ist eine Annahme, und es entscheidet der Treiber auf der gelieferten Karte. Die Regel wurde für einen vLLM-Server mit mehreren Nutzern geschrieben; für einen einzelnen Nutzer mit einer GGUF-Datei ist sie vorsichtig gerechnet.

Die Tensor-Zeile beantwortet die Suche nach einem AI-TOPS-Wert. NVIDIAs Datenblätter nennen 1.044,4 und 634,0 TFLOPS als effektive FP8-Raten mit Sparsity, und NVIDIAs Line Card vom März 2025 gibt dieselben Werte, 1.044 und 634, als AI TOPS an. Es sind Spitzenwerte auf dem Papier. Mit den AI TOPS einer Blackwell-Karte, die NVIDIA als FP4-Angaben mit Sparsity nennt, lassen sie sich nicht vergleichen.

FP8 ohne FP4 und welche Datei eines Modells die richtige ist

Viele Modelle werden in mehreren Zahlenformaten veröffentlicht, und eine Karte beschleunigt nur einen Teil davon. NVIDIAs CUDA-Seite führt die RTX 5000 Ada und die RTX 4500 Ada mit Compute Capability 8.9. In der Support-Matrix von NVIDIA NIM for Visual Generative AI vom 20. Oktober 2026 verlangt FP8 die Compute Capability 8.9 und NVFP4 die 10.0, und die dort genannten GPUs der Ada-Generation erhalten nur FP8-Engines. Für eine Ada-Karte ist deshalb die FP8- oder die BF16-Datei die richtige.

Dateien in NVFP4 rechnen nur auf den Blackwell-Karten nativ. Das zählt dort, wo ein Herausgeber nichts anderes anbietet: gpt-oss-20b gibt es nur als MXFP4-Datei. Nach der Größe passt sie auf beide Ada-Karten, die Karten beschleunigen FP4-Arithmetik aber nicht in der Hardware. Was eine Serving-Engine mit einer solchen Datei auf einer GPU ohne Tensor-Kerne mit FP4 tut, behandelt unser Artikel zu FP4-Modellen auf H200 NVL, L40S und Ada-Karten.

GGUF-Dateien mit vier Bit sind ein anderes Format als NVFP4 und MXFP4, und die Dateien dieser Art, die die Herausgeber selbst anbieten, sind klein. Ministral 3 14B Instruct als Q4_K_M mit seiner Projektor-Datei hat 7,67 GiB, Gemma 4 26B-A4B-it als QAT Q4_0 mit seiner Projektor-Datei 13,45 GiB; ein Modell mit rund 26 Milliarden Parametern passt also in das Budget der 24-GB-Karte.

Welche Sprachmodelle in 24 GB und in 32 GB passen

Größen der Dateien der Herausgeber auf Hugging Face, gelesen am 10. November 2026, in GiB; Budgets und Restwerte sind unsere Rechnung und keine Messung.

Der Rest ist der Platz für den KV-Cache, also für die Länge des Kontexts und für Anfragen, die parallel laufen. Eine Datei, die 0,5 GiB übrig lässt, wie Qwen3.5-9B in BF16 auf der 24-GB-Karte, liegt innerhalb des Budgets und hat so gut wie keinen Platz für Kontext. Für ein Team, das ein Modell gemeinsam nutzt, empfiehlt sich eine Datei, die mehrere GiB frei lässt.

„Knapp“ bezeichnet Dateien, die über unserem Budget und innerhalb des 0,9-Fachen des Speichers liegen, den der Treiber meldet; bei der 32-GB-Karte sind das nach unserer Skalierung 28,7 GiB. Ministral 3 14B in BF16 (25,97 GiB) und Granite 4.2 30b in FP8 (28,03 GiB) liegen in diesem Band: über unserem Budget, wir planen nicht damit. Qwen3.8-27B in FP8 (28,75 GiB) liegt ebenfalls über unserem Budget, für die 32-GB-Karte planen wir nicht damit.

Lesen Sie die Größe an der Datei ab, nicht am Namen. Der Checkpoint von Gemma 4 E4B-it enthält rund 8,0 Milliarden Parameter und hat in BF16 14,89 GiB. Zu den Lizenzen: Die am 10. November 2026 gelesenen Repositories tragen Apache 2.0 für gpt-oss-20b, Ministral 3, Gemma 4, Granite 4.2 und Qwen3.8-27B in FP8. Die Lizenzen von Qwen3.5-9B, Devstral Small 2 und Qwen3.6-35B-A3B haben wir nicht gelesen; prüfen Sie sie vor einem gewerblichen Einsatz.

Sie können die Karten allein bestellen, die Einrichtung der Inferenz-Software und der Modelle allein oder beides zusammen: eine Workstation mit der Karte, mit allem fertig installiert und eingerichtet; schreiben Sie uns, wir schlagen Ihnen die beste Lösung für Ihre Aufgaben und Ihr Budget vor.

Bildgenerierung und Spracherkennung mit 24 und 32 GB

Dateigrößen auf Hugging Face, gelesen am 10. November 2026, gegen das 0,9-Fache des Kartenspeichers gerechnet; unsere Rechnung, nichts gemessen, keine Geschwindigkeiten.

„Alles“ heißt, dass das Diffusionsmodell, die Text-Encoder und der VAE zusammen in den Kartenspeicher passen. „Modell“ heißt, dass die Modelldatei passt und der Text-Encoder entladen oder im Arbeitsspeicher gehalten werden muss. „Auslagerung“ heißt, dass die Modelldatei allein das 0,9-Fache des Kartenspeichers übersteigt und nur mit teilweisem Laden aus dem Arbeitsspeicher läuft, was langsamer ist. Die NVFP4-Dateien der FLUX-Modelle rechnen nur auf Blackwell-Karten nativ; für eine Ada-Karte ist die FP8- oder BF16-Datei die richtige.

NVIDIAs eigene Angabe in der NIM-Support-Matrix vom 20. Oktober 2026 lautet 16 GB Minimum und 32 GB empfohlen für FLUX.1-dev und für SD 3.5 Large, 48 GB für FLUX.2 klein und 80 GB für Qwen-Image. Keine der beiden Ada-Karten steht in der dortigen Liste der GPUs mit vorgefertigten Engines. Wie solche Modelle in ComfyUI betrieben werden, beschreibt für die Blackwell-Karten ComfyUI auf RTX PRO 2000, 4000 und 4500.

Spracherkennung braucht wenig Speicher. OpenAI nennt im README seiner Referenzimplementierung rund 10 GB VRAM für Whisper large-v3 und rund 6 GB für das Turbo-Modell, unter der MIT-Lizenz; jede der beiden Karten fasst also jedes der beiden Modelle.

Veröffentlichte Messungen der RTX 5000 Ada und RTX 4500 Ada für KI

Der Test der Lenovo ThinkStation P3 Tiny Gen 2 von StorageReview vom 20. November 2025, geändert am 14. August 2026, enthält eine ThinkStation P3 Tower Gen 2 mit einem Core Ultra 9 285 und einer RTX 5000 Ada. Im Textgenerierungstest von UL Procyon erreichte dieses System 160,757 Token pro Sekunde mit Phi, 117,784 mit Mistral, 96,565 mit Llama3 und 57,623 mit Llama2. Im Bildgenerierungstest brauchte es 1,674 Sekunden pro Bild mit Stable Diffusion 1.5 in FP16 und 11,386 Sekunden mit SDXL in FP16. Das sind Ergebnisse eines ganzen Systems unter Windows 11 Pro, und der Test nennt den Treiber nicht.

Puget Systems hat beide Karten in seinem Artikel zur LLM-Inferenz mit professionellen Karten vom 22. August 2024, aktualisiert am 4. Oktober 2024, mit llama.cpp und einem Phi-3-mini-Modell in 4 Bit gemessen. Die Token-Raten stehen dort in Diagrammbildern. Der Text hält fest, dass die RTX 5000 Ada rund 90 Prozent der Token-Generierungsrate der RTX A6000 erreichte, einer 48-GB-Karte der Ampere-Generation mit 768 GB/s. Für die RTX 4500 Ada können wir aus keiner unserer Quellen eine Token-Rate zitieren.

MLCommons hat für keine der beiden Karten ein Ergebnis veröffentlicht. Die Ergebnisse von SPEC und Blender, die es für sie gibt, betreffen CAD und Rendering und stehen in unseren technischen Daten der RTX 5000 Ada und den technischen Daten der RTX 4500 Ada.

Mehr als eine Karte, vGPU und MIG

NVIDIAs Datenblätter nennen für NVLink bei beiden Karten „No“, und NVIDIAs MIG-Leitfaden vom 4. November 2026 führt keine Ada-Karte. Unsere Lesart: keine Brücke zwischen zwei dieser Karten und keine isolierten Instanzen auf einer.

Für das Teilen über virtuelle Maschinen führt NVIDIA eine der beiden. Auf NVIDIAs vGPU-Liste vom 2. Oktober 2026 steht die RTX 5000 Ada ab Release 16.1, mit abgeschalteten Displayausgängen beim Einsatz der vGPU-Software; die RTX 4500 Ada steht nicht darauf. In einem Bestand, zu dem auch Blackwell-Karten gehören, reicht ein aktueller Treiber für beide Generationen, wie unser Artikel zum Mischen von Ada- und Blackwell-GPUs erklärt.

Wann die Blackwell-Karte mit gleichem Speicher die bessere Bestellung ist

NVIDIA-Datenblätter 2895216 (Oktober 2023), 5323450 (Juni 2026), 2898211 (August 2023) und 5108623 (April 2026).

Die Speichergröße bestimmt das Budget; jede Blackwell-Karte lädt also dieselben Dateien wie die Ada-Karte neben ihr. Was sich ändert, ist die Art, wie die Dateien gelesen und gerechnet werden. Beide Blackwell-Karten haben nach unserer Rechnung 56 Prozent mehr Speicherbandbreite, bei geringerer Leistungsaufnahme. Ihre Tensor-Kerne bringen FP4 mit, NVFP4-Dateien rechnen also nativ. Für einen neuen KI-Arbeitsplatz sprechen diese Punkte bei 24 GB für die NVIDIA RTX PRO 4000 Blackwell und bei 32 GB für die NVIDIA RTX PRO 4500 Blackwell Workstation Edition.

Eine veröffentlichte Zahl stützt das, mit einer Einschränkung. In den eigenen Läufen von Puget Systems mit MLPerf Client v1.0 für die Übersicht vom 18. Dezember 2025, die keine von MLCommons veröffentlichten Ergebnisse sind, lagen die Blackwell-Karten bei der Token-Rate im Mittel rund 50 Prozent vor der Ada-Karte derselben Nummer, beim 2000er-Paar 25 Prozent. Diese Paare richten sich nach der Nummer, zum Beispiel RTX PRO 4500 Workstation Edition gegenüber RTX 4500 Ada, und nicht nach dem Speicher wie in der Tabelle. Eine zitierbare Token-Rate gibt es weder für die RTX PRO 4000 noch für die RTX PRO 4500 Workstation Edition.

Die Ada-Karte bleibt in drei Fällen die richtige Bestellung: Die Karten stecken bereits in den Workstations und die Modelle passen; ein Bestand hat ein validiertes Image und einen FP8-Softwarestack, der sich nicht ändern soll; oder die 32-GB-Karte soll virtuelle Maschinen über vGPU bedienen, und die RTX PRO 4500 Workstation Edition steht nicht auf NVIDIAs vGPU-Liste.

Die Bestellungen beschreiben unsere Seiten RTX 5000 Ada kaufen, RTX 4500 Ada kaufen, RTX PRO 4000 Blackwell kaufen (technische Daten) und RTX PRO 4500 Blackwell kaufen (Datenseite mit 32 GB). Die Paare vergleichen RTX 4500 Ada oder RTX PRO 4500 und 4000 Blackwell und RTX 5000 Ada oder RTX PRO 4500 Blackwell, und die Blackwell-Karte mit 24 GB hat einen eigenen Leitfaden, lokale LLMs auf der RTX PRO 4000 Blackwell. Modelle über 32 GB führen zur Karte in RTX PRO 5000 Blackwell oder RTX 5000 Ada, kleinere zu lokalen LLMs auf 16-GB-Karten.

Kennen Sie die Modelle bereits, dann senden Sie uns deren Namen und die Zahl der Personen, die sie gleichzeitig nutzen, und wir antworten mit der Karte und dem Dateiformat, mit denen wir planen würden.

FAQ