LLM-Guardrails on-premise: die GPU für Sicherheitsprüfungen neben dem Hauptmodell

Wo ein Guardrail-Modell sitzt und was es braucht

Ein Guardrail-Modell, also ein KI-Sicherheitsfilter für Prompts und Antworten, braucht neben dem Haupt-LLM eigenen GPU-Speicher: Ein 24-GB-Gerät wie eine NVIDIA L4, eine RTX PRO 4000 Blackwell oder eine 24-GB-MIG-Instanz einer RTX PRO 6000 Blackwell Server Edition hält eines der offenen Sicherheitsmodelle mit 4B bis 21B Parametern und Platz für mehrere gleichzeitige Prüfungen. Es sollte sich das Cache-Budget nicht mit dem Hauptmodell teilen, denn jede Anfrage eines Nutzers wartet auf sein Urteil.

In einem On-Premise-Assistenten prüft eine Eingangsprüfung den Prompt des Nutzers, bevor das Hauptmodell ihn erhält, und eine Ausgangsprüfung die Antwort, bevor sie den Nutzer erreicht. Jede Runde bringt also ein bis zwei Aufrufe eines zweiten Modells, und eine gestreamte Antwort, die abschnittsweise geprüft wird, noch mehr. NVIDIAs NeMo Guardrails, ein Open-Source-Toolkit unter Apache 2.0, bei unserem Abruf des Repositorys am 24. Oktober 2026 in Release 0.24.1, ordnet diese Prüfungen als Input-, Dialog-, Retrieval-, Execution- und Output-Rails und bringt „NVIDIA safety models (content safety, topic safety)“ mit. Die Bedrohungen, gegen die solche Prüfungen helfen, behandelt unser Beitrag zu Prompt Injection und LLM-Sicherheit, das Gateway, das Anfragen verteilt und protokolliert, unser Leitfaden zum LLM-Gateway mit Schlüsseln, Budgets und Logging. Diese Seite dimensioniert die Hardware für das zweite Modell.

Offene Guard-Modelle im Oktober 2026

Model Cards, Dateilisten und config.json-Dateien auf Hugging Face sowie die Karte des Safety Guard 8B v3 auf build.nvidia.com, gelesen am 24. Oktober 2026; Gewichte sind unsere Summen der Safetensors-Dateien; Kontext von gpt-oss-safeguard-20b aus max_position_embeddings seiner config.json.

Nemotron Content Safety Reasoning 4B, veröffentlicht im November 2025, ist „a finetuned version of Google's Gemma-3-4B-it model“. Es stuft Prompt und Antwort anhand von 22 Kategorien oder einer eigenen Richtlinie als schädlich oder unschädlich ein und hat zwei Modi: Reasoning aus, „A low-latency mode for standard, fast classification“, und Reasoning an, das zuerst eine kurze Begründung schreibt. Seine Model Card nennt H100 und A100 als Testhardware und zeigt vllm serve mit --max-model-len 8192.

Llama-3.1-Nemotron-Safety-Guard-8B-v3, seit dem 1. August 2025 auf Hugging Face, ist „a multilingual content safety model“ mit 23 Kategorien in Englisch, Spanisch, Mandarin, Deutsch, Französisch, Hindi, Japanisch, Arabisch und Thai, einem Kontext von bis zu 8K und einer JSON-Antwort mit Sicherheit der Nutzereingabe, Sicherheit der Antwort und den Kategorien. Seine Karte auf build.nvidia.com nennt „Test Hardware L40sx1“ und vLLM als Engine.

gpt-oss-safeguard-20b und -120b sind „safety reasoning models built-upon gpt-oss“, die eine von Ihnen geschriebene Richtlinie auslegen, mit Reasoning-Aufwand low, medium oder high, und „should only be used with the harmony format“. Die Model Card des 20b-Modells hält fest, dass es „fits into GPUs with 16GB of VRAM“. Die Modelle sind für Sicherheitsaufgaben gedacht; für andere Arbeit empfiehlt OpenAIs Model Card die allgemeinen gpt-oss-Modelle. Unser Leitfaden zur Hardware für gpt-oss-120b dimensioniert die größere Architektur.

Llama Guard 4 12B verarbeitet „mixed text-and-image prompts“ und steht unter der Llama 4 Community License; der Lizenzabschnitt unten erklärt, warum das für Unternehmen in der EU zählt.

Speicher je Prüfung

Das Guard-Modell hält wie jedes LLM einen KV-Cache für jede laufende Prüfung. Seine Größe folgt aus der jeweiligen config.json; die allgemeine Methode steht in unserem Leitfaden Wie viel VRAM braucht ein LLM?.

• Safety Guard 8B v3 hat 32 Schichten mit 8 KV-Heads zu 128 Dimensionen: 32 × 8 × 128 × 2 × 2 Byte = 128 KiB je Token in 16 Bit, eine Prüfung mit 4.096 Token belegt also 0,5 GiB, eine mit dem Maximum von 8K 1,0 GiB.
• gpt-oss-safeguard-20b hält den vollen Kontext in 12 seiner 24 Schichten, mit 8 KV-Heads zu 64 Dimensionen: 24 KiB je Token in 16 Bit, dazu ein Fenster von 128 Token in den übrigen 12 Schichten; eine Prüfung mit 4.096 Token belegt also rund 0,1 GiB. Der Reasoning-Verlauf zählt zu dieser Länge.
• Für Content Safety Reasoning 4B konnten wir die config.json am 24. Oktober 2026 nicht lesen; wir geben daher nur den freien Speicher an.

Eine Prüfung enthält die Anweisungen des Guards oder Ihre Richtlinie, den Prompt des Nutzers und bei einer Ausgangsprüfung die ganze Antwort. Eine Richtlinie von einigen Seiten plus eine lange Antwort erreicht schnell 4K Token; messen Sie deshalb die Prompt-Token echter Prüfungen, bevor Sie dimensionieren.

Unsere Regel für Nutzer je Karte nimmt 90 Prozent des Speichers, den das Gerät meldet, und zieht 3 GiB für CUDA Graphs und Aktivierungen ab. Das ergibt 17,2 GiB auf einer L4 mit ECC an, wie unsere Seite zum Server mit acht L4 herleitet, rund 18,5 GiB auf einer RTX PRO 4000 nach unserer Hochrechnung von der 96-GB-Karte und 18,3 GiB in einer MIG-Instanz 1g.24gb einer RTX PRO 6000, die in einer veröffentlichten nvidia-smi-Ausgabe 23,62 GiB meldete, wie unser Leitfaden zu MIG-Profilen der RTX PRO 6000 zeigt.

Unsere Schätzung nach der Regel für Nutzer je Karte: freier Speicher nach den Gewichten und gleichzeitig gehaltene Prüfungen, Gewichte 14,96 GiB (8B), 12,82 GiB (20b) und 9,26 GiB (4B); jede Prüfung mit 4.096 Token und 16-Bit-KV-Cache. Wert der RTX PRO 4000 von den 95,6 GiB der 96-GB-Karte hochgerechnet, eine Annahme; prüfen Sie nvidia-smi auf der gelieferten Karte.

Der 8B-Guard passt mit wenig Reserve auf eine 24-GB-Karte: vier Prüfungen mit 4K auf einer L4. Für ein Pilotprojekt mit einer Handvoll gleichzeitiger Anfragen reicht das, für einen Dienst mit Dutzenden laufenden Anfragen nicht; dort passt eine Instanz 2g.48gb oder eine ganze Karte besser. gpt-oss-safeguard-20b lässt mehr Platz, weil seine 4-Bit-Experten weniger Speicher belegen und sein Cache je Token nur ein Fünftel von dem des 8B-Guards beträgt.

Latenz: jede Prüfung liegt auf dem kritischen Pfad

Eine Eingangsprüfung läuft, bevor das Hauptmodell startet, ihre ganze Dauer kommt also zur Zeit bis zum ersten Token hinzu; eine Ausgangsprüfung verzögert den Moment, in dem der Nutzer die Antwort oder einen Abschnitt davon sieht. Zwei Größen bestimmen diese Zeit: der Prompt, den der Guard liest, und die Token, die er schreibt.

Das Schreiben wird durch die Speicherbandbreite begrenzt. Ein dichtes 8B-Modell in BF16 liest für jedes erzeugte Token seine 16,1 GB Gewichte, eine Prüfung schreibt nach unserer Schätzung also höchstens rund 19 Token pro Sekunde auf einer L4 (300 GB/s), rund 42 auf einer RTX PRO 4000 (672 GB/s) und rund 99 auf einer ganzen RTX PRO 6000 Server Edition (1.597 GB/s). Das sind Obergrenzen; reale Raten liegen darunter. Auf einer L4 dauert ein Urteil mit 20 Token also mindestens eine Sekunde. Ein Guard mit kurzer Antwort, abgeschaltetem Reasoning oder Reasoning-Aufwand low hält diese Zeit niedrig; ein Guard, der vor jedem Urteil nachdenkt, schreibt Hunderte Token und passt besser zur nachträglichen Prüfung als zur Prüfung im laufenden Gespräch.

Das Lesen des Prompts wird durch die Rechenleistung begrenzt, und eine lange Richtlinie plus lange Antwort kostet bei jeder Prüfung Prefill-Zeit. Veröffentlichte Werte zu Latenz oder Prüfungen pro Sekunde für diese Modelle auf L4, RTX PRO 4000 oder einer MIG-Instanz haben wir bis zum 24. Oktober 2026 nicht gefunden; messen Sie deshalb mit Ihrer Richtlinie, Ihren Prompt-Längen und Ihrer Parallelität in einem Pilotprojekt. Wir liefern die Karten für dieses zweite Modell und bauen sie in Server ein, die Sie bereits betreiben; schicken Sie uns Hauptmodell, Spitzenlast und geplante Prüfungen, und unser Team antwortet mit einer Platzierung und den Speicherwerten.

Warum der Guard eigenen Speicher braucht

vLLM reserviert beim Start den Anteil des GPU-Speichers, den --gpu-memory-utilization vorgibt, seit Release 0.20.0 standardmäßig 0,92, und füllt, was die Gewichte übrig lassen, mit KV-Cache. Eine zweite Engine auf derselben Karte braucht für beide niedrigere Anteile, die zusammen unter der ganzen Karte bleiben, und die beiden Engines konkurrieren dann um dieselbe Rechenleistung. Wenn das Hauptmodell einen großen Batch rechnet, warten die Prüfungen des Guards, und mit ihnen jede Anfrage eines Nutzers.

MIG beseitigt diese Konkurrenz. Jede Instanz erhält eigenen Speicher, eigenen L2-Cache und eigene Streaming-Multiprozessoren, der Guard in einer Instanz 1g.24gb behält also seinen Speicher und seine Rechenleistung, was die anderen Instanzen auch rechnen. MIG wird je Karte eingestellt, und NVIDIAs MIG-Leitfaden hält fest: „NCCL is currently not supported with MIG“; eine Karte, die einen Teil eines Tensor-Parallel-Hauptmodells trägt, lässt sich also nicht zugleich aufteilen. In einem Server mit vier RTX PRO 6000 Server Edition läuft das Hauptmodell auf ganzen Karten, und eine Karte im MIG-Modus trägt Guard, Embedding-Modell und Reranker in getrennten Instanzen; unsere Seite zum Server mit vier Server-Edition-Karten beschreibt diese Aufteilung. Unsere Schritt-für-Schritt-Anleitung zu MIG auf RTX PRO Blackwell richtet sie ein, und unser Beitrag zur GPU-Aufteilung in Kubernetes mit MIG, Time-Slicing und MPS behandelt die Planung im Cluster.

Drei Platzierungen

Eine L4 in einem freien Steckplatz. Die L4 ist eine Low-Profile-Karte mit 72 W, einem Slot und 24 GB GDDR6 und passt damit in viele vorhandene Server neben die GPUs des Hauptmodells. Sie hält den Nemotron-Guard mit 4B oder 8B für ein Pilotprojekt oder ein kleines Team, und die Karte des Safety Guard 8B v3 nennt mit der L40S eine Ada-Karte als Testhardware. Das gpt-oss-Rezept von vLLM, datiert auf den 15. Oktober 2026, dokumentiert Hopper, die B200 und Ampere und schreibt, dass die Arbeit am Betrieb auf Ada Lovelace weiterläuft; gpt-oss-safeguard planen wir auf einer L4 deshalb nicht ohne Test. Unser Vergleich L4 und L40S für Inferenz behandelt die Karte.

Eine RTX PRO 4000 Blackwell. Dieselben 24 GB mit 672 GB/s und 145 W in einem Slot, mit FP4-Tensor-Cores und mehr als der doppelten Bandbreite der L4, eine Prüfung ist also schneller fertig. Sie passt zu einem Server, in dem der Guard gleichmäßige Last sieht. Sie ist eine Workstation-Karte und gehört in einem Rack-Server daher in ein Gehäuse, dessen Hersteller sie freigibt. Auch die RTX-PRO-Karten nennt das vLLM-Rezept nicht; testen Sie gpt-oss-safeguard deshalb auf der gelieferten Karte. Unsere Seite zu den technischen Daten der RTX PRO 4000 Blackwell listet die Werte der Karte.

Eine MIG-Instanz einer RTX PRO 6000 Server Edition. In einem Server mit mehreren Server-Edition-Karten trägt eine Karte, aufgeteilt in vier Instanzen 1g.24gb, den Guard, ein Embedding-Modell, einen Reranker und ein Modell zur Schwärzung personenbezogener Daten, jeweils voneinander isoliert. Eine Instanz 2g.48gb hält den 8B-Guard nach unserer Schätzung mit Platz für 49 Prüfungen mit 4K Token. Für größere Dienste mit vielen Modellen zeigt unser Leitfaden zu mehreren Modellen auf einem GPU-Server die Optionen.

Lizenzen der Guard-Modelle

• NVIDIA Open Model License (beide Nemotron-Guards): „Models are commercially usable.“ Ihre Rechte enden automatisch, wenn Sie eine Sicherheitsvorkehrung (Guardrail) des Modells umgehen, abschalten oder aushebeln, ohne eine im Wesentlichen gleichwertige einzusetzen, und bei einem Patent- oder Urheberrechtsstreit über das Modell. Beim 8B-Guard kommt laut Model Card die Llama 3.1 Community License hinzu, beim 4B-Guard die Gemma Terms of Use und die Gemma Prohibited Use Policy.
• Apache 2.0 (gpt-oss-safeguard): eine freizügige Lizenz; das Repository enthält die LICENSE-Datei und eine kurze USAGE_POLICY, die um sicheren und verantwortungsvollen Einsatz bittet und festhält, dass die Nutzung der Modelle die Einhaltung der für Sie geltenden Gesetze voraussetzt.
• Llama 4 Community License (Llama Guard 4): Die Acceptable Use Policy von Llama 4 hält für multimodale Modelle fest, „the rights granted under Section 1(a) of the Llama 4 Community License Agreement are not being granted to you“, wenn Sie „a company with a principal place of business in, the European Union“ sind, und dass die Einschränkung „does not apply to end users of a product or service that incorporates any such multimodal models“. Llama Guard 4 verarbeitet Bilder; für ein Unternehmen mit Sitz in der EU sind die drei anderen Modellfamilien daher die einfachere Wahl. Unser Leitfaden zur Llama-4-Hardware behandelt die Klausel für die Hauptmodelle.

Ob eine Klausel auf Ihr Unternehmen zutrifft, bestätigt Ihre Rechtsberatung, und unsere Übersicht zu offenen LLM-Lizenzen für Unternehmen vergleicht die großen Modellfamilien. Ein Guard-Modell ist zudem ein Baustein der Kontrollen, die ein Unternehmen für seinen KI-Einsatz dokumentiert; unser Beitrag zum EU AI Act für Unternehmen, die LLMs nutzen gibt den allgemeinen Überblick.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team dimensioniert die Konfiguration nach Ihrer Last und Ihrem Budget und antwortet innerhalb eines Werktages. Wir liefern die L4, die RTX PRO 4000 und die RTX PRO 6000 Server Edition als Karten für Ihre vorhandenen Server, nach einer Kompatibilitätsprüfung, oder in KI-Servern nach Maß, vor der Lieferung montiert und getestet, mit EU-Vertrag und EU-Rechnung und mit Herstellergarantie auf jede Komponente. Hauptmodell, Guard-Modell und die Serving-Schicht einzurichten, ist unser Service Private AI/ML, umgesetzt mit unserem Engineering-Partner Vixen.UNO; beschreiben Sie Ihren Assistenten, seine Nutzer und Ihre Richtlinien, und wir schlagen vor, wo welches Modell läuft.

FAQ