NVIDIA RTX A1000 und RTX A400 für KI: welche lokalen Modelle in 8 GB und 4 GB passen

Was RTX A1000 und RTX A400 für KI leisten

Die NVIDIA RTX A1000 mit 8 GB hat Platz für Spracherkennung bis Whisper turbo, für ein kleines Embedding-Modell und für Sprachmodell-Dateien bis etwa 4 GiB; nach unserer Dimensionierungsregel hat sie 4,2 GiB für Modellgewichte und KV-Cache. Die NVIDIA RTX A400 mit 4 GB kommt nach derselben Regel auf 0,6 GiB. Ihre 4 GB nehmen nach OpenAIs Angabe Whisper small auf und lassen nach unserer Regel keinen Platz für ein Sprachmodell mit Kontext; NVIDIA selbst beschreibt den Einsatz der Karte als „light AI workloads“. Ein lokales LLM für ein Team beginnt nach derselben Regel bei 16 GB.

Die Frage stellt sich dort, wo in kompakten Workstations bereits eine der beiden Karten steckt oder solche Rechner bestellt werden sollen und ein Arbeitsplatz zusätzlich Besprechungen transkribieren, Dokumente durchsuchen oder einen kleinen Assistenten ausführen soll, ohne Daten an einen Cloud-Dienst zu senden. Beide Karten belegen einen Slot bei 2,7 Zoll Höhe und 50 W Leistungsaufnahme, und beide haben Tensor-Kerne der dritten Generation, 72 auf der RTX A1000 und 24 auf der RTX A400. Bei beiden setzt zuerst der Speicher die Grenze.

Das Speicherbudget von 4,2 GiB bei 8 GB und 0,6 GiB bei 4 GB

Unsere Dimensionierungsregel für Sprachmodelle legt Speicher zurück, bevor sie das Modell zählt: das 0,9-Fache des Speichers, den der Treiber meldet, abzüglich 3 GiB. Der Rest muss die Gewichte und den KV-Cache aufnehmen, also den Speicher, den ein Modell für jedes Token des Kontexts vorhält.

Speicher und Tensor-Werte aus NVIDIAs Datenblättern zur RTX A1000 (April 2024) und zur RTX A400 (3279761, Mai 2024), die Tensor-Werte als effektive FP16-TFLOPS mit Sparsity; die Budgets sind unsere Rechnung.

Zu diesen Zahlen ist zweierlei zu sagen. Den Speicher, den der Treiber meldet, skalieren wir hier von den 95,6 GiB, die er auf der 96-GB-Karte zeigt; das ist eine Annahme, NVIDIA veröffentlicht für keine der beiden Karten einen solchen Wert, und es entscheidet nvidia-smi auf der gelieferten Karte. Eine Datei innerhalb des Budgets passt, und der Rest ist ihr Platz für Kontext. Eine Datei über dem Budget und unter dem 0,9-Fachen des Speichers nennen wir knapp: Wir planen nicht mit ihr. Eine Datei über dieser Grenze passt nicht.

Die Regel wurde für eine Serving-Engine wie vLLM mit mehreren Nutzern geschrieben. Für einen Nutzer mit einer GGUF-Datei in llama.cpp oder Ollama ist sie vorsichtig, und eine veröffentlichte Messung des tatsächlichen Mehrbedarfs auf diesen beiden Karten gibt es nicht; diese Seite nennt deshalb die Regel und die Dateigröße und nichts darüber hinaus. Sprach- und Bildmodelle werden anders gezählt, wie ihre Abschnitte erläutern.

Lokales LLM auf der RTX A1000 und die Modelldateien, die passen

Dateigrößen aus den Repositories der Herausgeber auf Hugging Face, gelesen am 10. November 2026; Einstufung nach unserer Dimensionierungsregel, eine Rechnung und keine Messung.

Zwei Sprachmodell-Dateien liegen im Budget der RTX A1000. Granite 4.2 3b in FP8 lässt 0,3 GiB für den KV-Cache; wie viele Token Kontext das sind, hängt vom Cache des Modells je Token ab, den wir nicht berechnet haben. Für das Format FP8 gilt auf dieser Karte ein eigener Vorbehalt, der weiter unten steht. Die Dateien in den Zeilen „knapp“ verbrauchen einen Teil der 3 GiB, die die Regel zurückhält.

Der Name eines Repositorys sagt nichts über die Größe seiner Datei. NVIDIAs Repository „Nemotron 3.5 Bolt E4B-4GB“ enthält eine Q4_K_M-Datei von 6,18 GB, das sind 5,76 GiB: knapp auf der 8-GB-Karte und zu groß für eine 4-GB-Karte. Die Gemma-4-Checkpoints E2B und E4B enthalten rund 5,1 und 8,0 Milliarden Parameter, und ihre BF16-Dateien von 9,54 und 14,89 GiB passen auf keine der beiden Karten. OpenAI veröffentlicht gpt-oss-20b nur in MXFP4, mit 12,82 GiB.

Zu den Lizenzen: Granite 4.2, Ministral 3, Gemma 4 und gpt-oss-20b sind auf Hugging Face mit Apache 2.0 gekennzeichnet, phi-4 mit MIT, gelesen am 10. November 2026. Die Lizenz der Qwen3.5-Dateien haben wir an diesem Tag nicht gelesen, und Nemotron 3.5 Bolt steht unter OpenMDW-1.1, deren Bedingungen wir nicht gelesen haben; prüfen Sie beide vor einem kommerziellen Einsatz. Dieselben Modellfamilien dimensioniert unser Leitfaden zu kleinen Sprachmodellen auf L4 und RTX PRO 2000 für Server.

Lokales LLM auf der RTX A400 bei einem Budget von 0,6 GiB

Keine Sprachmodell-Datei, die wir durchgerechnet haben, liegt innerhalb von 0,6 GiB. Zwei Dateien sind auf der RTX A400 knapp, Qwen3.5-0.8B in BF16 und das Embedding-Modell Nemotron 3.5 Embed 1B mit 2,90 GiB: Beide liegen über unserem Budget und bleiben unter dem 0,9-Fachen des Speichers, rund 3,6 GiB; wir planen nicht mit ihnen.

NVIDIA selbst spricht bei dieser Karte von „light AI workloads“. Der NVIDIA-Blog vom 16. April 2024 nennt Chatbots und Copilots auf dem Desktop und gibt weder eine Modellgröße noch eine Geschwindigkeit an. Dokumentiert sind KI-Funktionen innerhalb von Anwendungen: NVIDIAs Produktseite nennt KI-Entrauschung und DLSS, und das KI-Diagramm im Datenblatt verwendet Super Resolution in Adobe Photoshop, gemessen an der T400 4GB. Einen Test der RTX A400, den wir verwenden könnten, gibt es nicht; Token pro Sekunde lassen sich für sie deshalb nicht angeben.

Whisper mit 8 GB und mit 4 GB

README des Whisper-Repositorys von OpenAI, Tabelle „Available models and languages“, gelesen am 10. November 2026.

OpenAIs Werte sind der gesamte VRAM für die Referenzimplementierung; sie werden deshalb direkt mit dem Speicher der Karte verglichen, und unsere Sprachmodell-Regel gilt hier nicht. Das README nennt weder Genauigkeit noch Batch-Größe, und andere Laufzeitumgebungen brauchen andere Mengen, für die uns kein Primärwert vorliegt. Code und Gewichte von Whisper stehen unter der MIT-Lizenz. Das Modell turbo ist eine optimierte Fassung von large-v3 und wurde nicht für Übersetzung trainiert. Die relativen Geschwindigkeiten hat OpenAI auf einer A100 gemessen; über diese beiden Karten sagen sie nichts.

Whisper turbo lässt auf einer RTX A1000 rund 2 GB frei; Transkription und ein Sprachmodell planen wir deshalb nicht auf derselben Karte. NVIDIAs eigene Sprachmodelle Parakeet TDT 0.6B v3 und Canary 1B v2, beide unter CC-BY-4.0 und beide für 25 europäische Sprachen, lassen sich auf dem Papier nicht dimensionieren: Ihre Model Cards verlangen mindestens 2 GB und 6 GB Arbeitsspeicher zum Laden und nennen keinen GPU-Speicher. Die Serverseite behandelt unser Leitfaden zu den GPU-Anforderungen von Whisper.

Sie können die Karte oder eine komplette Workstation allein bestellen, die Einrichtung von Whisper und einem kleinen Sprachmodell allein oder beides zusammen: die Workstation mit allem fertig installiert und eingerichtet; schreiben Sie uns, wir schlagen Ihnen die beste Lösung für Ihre Aufgaben und Ihr Budget vor.

Embedding-Modelle und Dokumentensuche mit 8 GB

Ein Embedding-Modell wandelt Text in Vektoren für einen Suchindex um. Nemotron 3.5 Embed 1B in BF16 ist eine Datei von 2,90 GiB: Sie passt auf die RTX A1000 mit rund 1,3 GiB Rest und ist auf der RTX A400 knapp. Ihre Lizenz haben wir am 10. November 2026 nicht gelesen. Die 8B-Modelle derselben Familie für Embedding und Reranking haben in BF16 je 15,61 GiB und brauchen nach unserer Regel eine 24-GB-Karte.

Eine Suche mit generierten Antworten braucht zwei Modelle zugleich. Das Embedding-Modell und die kleinste Sprachmodell-Datei kommen zusammen auf 4,53 GiB und liegen damit nach unserer Rechnung über den 4,2 GiB der RTX A1000. Ein Index lässt sich auf der Karte aufbauen; ihn auf derselben Karte mit einem Sprachmodell zu beantworten, liegt außerhalb des Budgets. Mehr dazu steht in unserem Artikel zu den GPU-Anforderungen von Embedding und Reranking.

Stable Diffusion und andere Bildmodelle auf der RTX A1000

Bei Bildmodellen vergleichen wir die Dateigrößen mit dem 0,9-Fachen des Kartenspeichers, auf der RTX A1000 rund 7,2 GiB. Auch das ist eine Rechnung, und über die Geschwindigkeit sagt sie nichts.

• SDXL base 1.0, fp16-Dateien. Das Modell hat 4,78 GiB, die gesamte Pipeline 6,46 GiB; Modell, Text-Encoder und VAE passen also zusammen. Die Lizenz OpenRAIL++ erlaubt die kommerzielle Nutzung innerhalb ihrer Nutzungsbeschränkungen.
• Stable Diffusion 3.5 Medium. Die Modelldatei von 4,76 GiB passt; die Pipeline mit dem T5-Text-Encoder in FP8 hat 10,84 GiB, der Text-Encoder muss also entladen oder im Arbeitsspeicher gehalten werden. Die Stability AI Community License stellt Bedingungen, die wir nicht gelesen haben.
• FLUX.2 klein 4B, Apache 2.0. Schon die Modelldatei von 7,22 GiB überschreitet die Grenze; das Modell läuft deshalb nur mit teilweisem Laden aus dem Arbeitsspeicher, was langsamer ist.

Für 4 GB haben wir keine Zeile gerechnet. Das README von ComfyUI, gelesen am 10. November 2026, nennt 4 GB VRAM mit 8 GB Arbeitsspeicher als untere Grenze, die es über das Auslagern von Modellen bewältigt; gemessen ist für die RTX A400 nichts. NVIDIAs Support-Matrix zu NIM for Visual Generative AI vom 20. Oktober 2026 setzt für FLUX.1-dev und Stable Diffusion 3.5 Large 16 GB als Minimum und führt keine der beiden Karten unter den vorgefertigten Engines. Die größeren Karten behandelt unser Artikel zu ComfyUI auf RTX PRO 2000, 4000 und 4500.

FP16, FP8 und FP4 auf diesen beiden Karten

NVIDIA veröffentlicht die Tensor-Leistung dieser Karten in FP16 und INT8: 53,8 TFLOPS und 107,8 TOPS für die RTX A1000, 21,7 TFLOPS und 43,3 TOPS für die RTX A400, jeweils mit Sparsity. In FP16 hat die RTX A1000 das 2,5-Fache des Werts der RTX A400. FP8 oder FP4 erwähnt NVIDIA für keine der beiden Karten, und die Seite „CUDA GPU Compute Capability“ vom 16. Oktober 2026 führt keine von beiden.

Das ist für das Format einer Modelldatei von Bedeutung. Dieselbe NIM-Support-Matrix knüpft bf16 an Compute Capability 8.0 und fp8 an 8.9, die Stufe der Ada-Generation. Eine FP8-Datei wie Granite 4.2 3b passt der Größe nach auf die RTX A1000; ob eine bestimmte Laufzeitumgebung sie auf dieser Karte rechnet, ist vor der Bestellung mit deren Dokumentation zu klären. Dateien in NVFP4 werden nur auf Blackwell-Karten nativ gerechnet.

KI-Leistung der RTX A1000 in veröffentlichten Zahlen

NVIDIAs Produktseite nennt für generative KI bis zum 3,6-Fachen der Leistung der vorherigen Generation. Der Testhinweis nennt als diese Generation die T1000 8GB, Bildgenerierung bei 512 × 512 mit Stable Diffusion webUI v1.7.0 und TensorRT, einen Core i9-12900K und eine Vorabversion der Software. NVIDIAs Datenblatt zur T1000 8GB führt keine Tensor-Kerne; der Faktor vergleicht also eine Karte mit Tensor-Kernen mit einer Karte ohne.

Unabhängige Zahlen gibt es für ein System. StorageReviews Test der Lenovo ThinkStation P3 Tiny Gen 2 (20. November 2025, geändert am 14. August 2026; Core Ultra 9 285) nennt für die RTX A1000 im KI-Textgenerierungstest von UL Procyon 39,379 Token pro Sekunde mit dem Modell Phi, 27,734 mit Mistral und 24,323 mit Llama3 sowie kein Ergebnis mit Llama2. Im Bildtest nennt er 11,196 s je Bild mit Stable Diffusion 1.5 in FP16 und kein SDXL-Ergebnis. Das sind die Raten eines Benchmarks mit eigenen Modellen in einem System; wie viele Personen eine Karte bedient, sagen sie nicht.

Wo der Schritt auf 16 GB beginnt

Vier Fälle führen über 8 GB hinaus: ein Sprachmodell über etwa 4 GiB mit Platz für Kontext, Whisper large-v3, Transkription und Sprachmodell zur selben Zeit sowie die Dokumentensuche mit generierten Antworten. Eine 16-GB-Karte hat nach derselben Regel ein Budget von 11,3 GiB. Qwen3.5-4B in BF16 (8,68 GiB) und Ministral 3 8B Instruct in FP8 (9,70 GiB) liegen darin; gpt-oss-20b mit 12,82 GiB liegt selbst dort über unserem Budget, und wir planen nicht damit.

Drei 16-GB-Karten haben dieselbe Höhe von 2,7 Zoll. Die NVIDIA RTX 2000E Ada Generation ist die Single-Slot-Karte mit 50 W; mit 6,6 Zoll ist sie 0,2 Zoll länger als die beiden kleinen Karten, und dieses eine Maß ist im Gehäuse zu prüfen: technische Daten der RTX 2000E Ada, RTX 2000E Ada kaufen und unser Artikel zur RTX 2000E Ada für Edge-KI. Die NVIDIA RTX 2000 Ada Generation und die NVIDIA RTX PRO 2000 Blackwell belegen zwei Slots und nehmen 70 W auf; NVIDIA führt für die erste Compute Capability 8.9, die Stufe, die seine Matrix für FP8 verlangt, und für die zweite 12.0, deren Tensor-Kerne FP4 mitbringen. Siehe die technischen Daten der RTX 2000 Ada und die Seite RTX 2000 Ada kaufen, die technischen Daten der RTX PRO 2000 Blackwell und die Seite RTX PRO 2000 Blackwell kaufen. Welche Modelle passen, behandelt lokale LLMs auf 16-GB-Karten, und den Hardware-Schritt vergleicht RTX A1000, RTX 2000 Ada oder RTX PRO 2000.

Zu den beiden kleinen Karten selbst führen die technischen Daten der RTX A1000 und die Seite RTX A1000 kaufen, die technischen Daten der RTX A400 und die Seite RTX A400 kaufen sowie der Vergleich RTX A1000 oder RTX A400. Sind Sie unsicher, ob 8 GB reichen, dann senden Sie uns die Modelldateien oder die Aufgaben, die Sie planen, und wir antworten mit der Karte, die sie aufnimmt.

FAQ