KI-Server für Gerichte und Justiz: Urteile anonymisieren, Verhandlungen protokollieren

Was ein KI-Server für Gerichte und Justiz leistet

Ein KI-Server für die Justiz betreibt die Sprach- und Sprach­erkennungs­modelle eines Gerichts, einer Gerichtsverwaltung oder des IT-Zentrums eines Justizministeriums auf Hardware, die die Justiz selbst kontrolliert. Er anonymisiert Urteile vor der Veröffentlichung, macht aus Aufnahmen von Verhandlungen Text, sortiert eingehende Klagen und liest ihre Angaben aus, wenn Tausende gleichartiger Verfahren eingehen, und er lässt Richterinnen und Richter die eigenen Entscheidungen des Gerichts in natürlicher Sprache durchsuchen. Ein Server mit zwei Karten der NVIDIA RTX PRO 6000 Blackwell Server Edition trägt alle vier Aufgaben für ein Gericht; vier Karten je Server und zwei solche Server passen zu einem IT-Zentrum, das viele Gerichte versorgt.

Die ersten Abschnitte beschreiben die Arbeit und ihre Dimensionierung für Gerichtsleitungen und Justizverwaltung; danach folgen die Punkte zur KI-Verordnung und zum Datenschutz, dann die Konfigurationen und die Hinweise für das IT-Team. Die Werte sind veröffentlichte Messungen mit Quelle oder unsere Schätzungen und als solche gekennzeichnet. Diese Seite behandelt die Justiz; Behörden und Kommunen behandelt unser Leitfaden zu GPU-Servern für die öffentliche Verwaltung, die Seite der Anwaltschaft unser Leitfaden zu einem privaten LLM für Kanzleien.

Vier Aufgaben im Gericht und ihre Bemessungsgrößen

Unsere Zusammenfassung. Modellangaben aus den Modellkarten und dem Open-ASR-Leaderboard-Papier, wie in unserem Whisper-Leitfaden wiedergegeben; Dimensionierung in den folgenden Abschnitten.

Drei der vier Aufgaben sind Batch-Arbeit. Ein Urteil wartet Tage auf die Veröffentlichung, eine Aufnahme Stunden auf ihr Transkript, und ein Stapel neuer Klagen lässt sich über Nacht sortieren. Nur die Suche für Richterinnen und Richter ist interaktiv und braucht Antworten in Sekunden. Ein Server erledigt die Batch-Aufgaben also nachts auf Karten, die tagsüber die Richterschaft bedienen, wie unser Leitfaden zur LLM-Batch-Inferenz on-premise für Dokumentenarchive erklärt.

Urteile für die Veröffentlichung anonymisieren

Gerichte veröffentlichen nur einen Teil ihrer Entscheidungen. LTO berichtete am 20. Mai 2026, dass Bayern mit dem „Projekt 50k“ in den kommenden Jahren 50.000 per KI anonymisierte Urteile veröffentlichen will, und nannte Schätzungen, nach denen nur etwa 3 Prozent der deutschen Urteile veröffentlicht werden. Das Werkzeug ALeKS entstand aus Forschung mit der Friedrich-Alexander-Universität Erlangen-Nürnberg, Niedersachsen hat den Prototyp mit weiterentwickelt, und das Oberlandesgericht München testet es seit März 2026. Es entfernt Namen, Geburtsdaten und Adressen. Ob ein Urteil veröffentlicht wird, entscheidet die Richterin oder der Richter, und Servicekräfte prüfen jede anonymisierte Entscheidung von Hand, weil eine Kombination aus Berufen, Orten oder Auszeichnungen eine Person weiterhin erkennbar machen kann. Welches Modell das Werkzeug nutzt und wo es läuft, sagt der Bericht nicht.

Eine tragfähige Strecke hat drei Schritte. Regeln und Muster erfassen alles mit fester Form: Aktenzeichen anderer Verfahren, Daten, Postleitzahlen, Kontonummern und Kennzeichen. Ein Sprachmodell liest das Urteil und gibt jede weitere Nennung einer Person, eines Unternehmens, eines Orts oder eines Berufs als Liste mit Kategorie und Position zurück, festgelegt auf ein JSON-Schema mit den Structured Outputs von vLLM. Danach ersetzt Code jede Nennung einheitlich, sodass dieselbe Partei durchgehend „A“ heißt, und eine Prüferin sieht den markierten Text und bestätigt oder korrigiert ihn. Das Modell schreibt den veröffentlichten Text nie selbst; so bleibt der Wortlaut des Gerichts erhalten, und die Prüfung geht schnell.

Diese Entscheidung bestimmt auch die GPU-Zeit, denn ein Sprachmodell verbringt den größten Teil seiner Rechenzeit mit dem Erzeugen von Ausgabetoken. Eine Liste der Nennungen umfasst einige Hundert Token je Urteil, ein neu geschriebenes Urteil so viele Token, wie das Urteil hat. Unser Leitfaden zur Anonymisierung personenbezogener Daten vor einem LLM vergleicht regelbasierte, kleine Modelle und LLMs für die Erkennung; im Gericht kommt die indirekte Identifizierung hinzu, deshalb bleibt die Prüfung durch Menschen Teil der Strecke.

Anonymisierung nach Urteilen pro Jahr dimensionieren

MLPerf® Inference v6.1 veröffentlicht den Offline-Durchsatz für acht Karten der RTX PRO 6000 Server Edition: 15.256 Token pro Sekunde mit gpt-oss-120b und 50.965,3 mit Llama 3.1 8B im Eintrag 6.1-0050. Durch acht geteilt sind das etwa 1.907 und 6.371 Token pro Sekunde je Karte, unsere Division und keine MLPerf-Kennzahl. Die Eingaben des Benchmarks sind keine Urteile, daher plant dieses Beispiel mit der Hälfte der veröffentlichten Rate, dem Planungsabschlag unseres Leitfadens zur Batch-Inferenz, und zählt nur Ausgabetoken.

Unsere Rechnung für 50.000 Urteile bei der Hälfte der Rate je Karte. MLPerf® Inference: Datacenter v6.1, Closed Division, Kategorie Available, Offline-Szenario, gpt-oss-120b und Llama 3.1 8B, Eintrag 6.1-0050, HPE ProLiant Compute DL380a Gen12 mit acht RTX PRO 6000 Blackwell Server Edition, abgerufen von mlcommons.org am 24. Oktober 2026. Result verified by MLCommons Association. Der Wert je Karte ist unsere Division des Systemergebnisses, keine MLPerf-Kennzahl. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Mit der Liste der Nennungen passen die 50.000 Urteile des bayerischen Projekts in eine Nacht auf einer Karte mit gpt-oss-120b, auch bei der Hälfte der veröffentlichten Rate. Ein langes Urteil zu lesen kostet außerdem Rechenzeit vor dem ersten Ausgabetoken, die diese Werte nicht enthalten; messen Sie daher eine Stichprobe von einigen Hundert echten Urteilen, bevor Sie den Server festlegen. Der Speicher ist unkritisch: Nach unserer Regel für Nutzer je Karte lässt gpt-oss-120b auf einer Karte 22,2 GiB für den Cache, und ein Urteil mit bis zu 16.384 Token belegt 0,5625 GiB 16-Bit-Cache, also sind 39 Urteile gleichzeitig in Bearbeitung. Die Modellkarte von gpt-oss nennt keine Sprachen; testen Sie das Modell oder jeden anderen Kandidaten daher mit Urteilen in Ihrer eigenen Sprache und lassen Sie Ihre Prüferinnen und Prüfer das Ergebnis bewerten.

Wir bauen Server mit zwei, vier oder acht Karten der RTX PRO 6000 Server Edition für diese Arbeit; schicken Sie uns Ihre Urteile pro Jahr und die Stunden Aufnahme pro Tag, und unser Team antwortet mit einer Konfiguration.

Aufnahmen von Verhandlungen und Protokolle

Wo Verhandlungen aufgezeichnet werden, macht ein Transkript die Aufnahme durchsuchbar und gibt der Richterin einen Entwurf zur Prüfung. Ob und wie ein Gericht eine Verhandlung aufzeichnet und welchen Status ein Transkript hat, regelt das nationale Verfahrensrecht. Technisch ist die Last klein. OpenAI nennt etwa 10 GB GPU-Speicher für Whisper large, und NVIDIAs Parakeet TDT 0.6B v3 hat 600 Millionen Parameter und deckt 25 europäische Sprachen ab, wie unser Leitfaden zum Whisper-Spracherkennungs-Server darlegt.

Nehmen Sie als Beispiel 20 Sitzungssäle mit je 4 aufgezeichneten Stunden am Tag, also 80 Stunden Audio. Auf der A100 des Open-ASR-Leaderboard-Papiers erreichte Whisper large-v3 einen RTFx von 145,5, Sekunden Audio je Sekunde Rechenzeit, und Parakeet TDT 0.6B v3 von 3.333. Nach unserer Rechnung sind die 80 Stunden mit Whisper etwa 33 Minuten Rechenzeit und mit Parakeet unter 2 Minuten. Die Sprecherzuordnung kostet weit mehr: In NVIDIAs ASR-NIM-Werten für die L40S senkte die Diarisierung den Offline-RTFx von 3.638 auf 101,5, womit die 80 Stunden immer noch etwa 47 Minuten dauern. Keiner dieser Werte wurde auf einer RTX PRO 6000 oder einer MIG-Instanz davon gemessen; ein Test mit Ihren eigenen Aufnahmen, mit den Mikrofonen und der Akustik Ihrer Säle, entscheidet über die Einstellung. Eine MIG-Instanz mit 24 GB hält nach den veröffentlichten Speicherangaben jedes der beiden Modelle.

Triage in Massenverfahren und Suche für Richter

Manche Gerichte erhalten in wenigen Monaten Tausende fast gleicher Klagen. Ein Sprachmodell kann jede Klageschrift lesen und Klageart, Parteien, Daten und Beträge als Felder zurückgeben, sodass die Geschäftsstelle die Verfahren zuweisen, bündeln und terminieren kann. Das läuft als Batch-Job auf derselben Karte wie die Anonymisierung, mit einigen Dutzend Ausgabetoken je Klage. Eine zweite Anwendung ist die Suche in den eigenen Entscheidungen des Gerichts und in der Akte: Die Richterin fragt in natürlicher Sprache und erhält die Fundstellen mit Quelle. Nach unserer Schätzung aus den Werten unseres Kanzlei-Leitfadens hält gpt-oss-120b auf einer Karte 19 Gespräche mit 32K Kontext und auf einem Tensor-Parallel-Paar mit einer gemeinsamen Kopie des Modells etwa 93.

Diese beiden Anwendungen liegen näher an der rechtsprechenden Tätigkeit als die Anonymisierung, und das zählt für die KI-Verordnung weiter unten. Ein Triage-Werkzeug, das nur Felder ausfüllt, ist etwas anderes als eines, das vorschlägt, wie über eine Klage zu entscheiden ist; diese Grenze sollte ein Gericht vor dem Pilotprojekt mit seiner Rechtsabteilung ziehen.

KI-Verordnung und DSGVO im Gericht

Anhang III Nummer 8 Buchstabe a der KI-Verordnung führt als hochriskant „KI-Systeme, die bestimmungsgemäß von einer oder im Namen einer Justizbehörde verwendet werden sollen, um eine Justizbehörde bei der Ermittlung und Auslegung von Sachverhalten und Rechtsvorschriften und bei der Anwendung des Rechts auf konkrete Sachverhalte zu unterstützen“ auf, ebenso Systeme, die auf ähnliche Weise für die alternative Streitbeilegung genutzt werden sollen. Erwägungs­grund 61 ergänzt: „die endgültige Entscheidungsfindung muss eine von Menschen gesteuerte Tätigkeit bleiben.“ Die Einstufung als hochriskant soll sich jedoch nicht auf KI-Systeme erstrecken, „die für rein begleitende Verwaltungstätigkeiten bestimmt sind, die die tatsächliche Rechtspflege in Einzelfällen nicht beeinträchtigen, wie etwa die Anonymisierung oder Pseudonymisierung gerichtlicher Urteile, Dokumente oder Daten, die Kommunikation zwischen dem Personal oder Verwaltungsaufgaben.“

Nach Artikel 6 Absatz 3 fällt ein System aus Anhang III aus der Hochrisiko-Einstufung, wenn es kein erhebliches Risiko eines Schadens birgt, etwa wenn es dazu bestimmt ist, „eine eng gefasste Verfahrensaufgabe durchzuführen“ oder „eine vorbereitende Aufgabe für eine Bewertung durchzuführen“. Ein System aus Anhang III, das ein Profiling natürlicher Personen vornimmt, gilt immer als hochriskant, und nach Artikel 6 Absatz 4 dokumentiert ein Anbieter, der ein System aus Anhang III nicht für hochriskant hält, seine Bewertung, bevor das System in Verkehr gebracht oder in Betrieb genommen wird. Wie unser Artikel zu den Pflichten der Betreiber nach dem EU AI Act darlegt, gelten die Hochrisiko-Regeln nach Artikel 113 in der Fassung der Verordnung (EU) 2026/1744, des Digital Omnibus zu KI, für Anwendungen nach Anhang III ab dem 2. Dezember 2027, und die Pflicht zur KI-Kompetenz nach Artikel 4 gilt seit dem 2. Februar 2025.

Das Datenschutzrecht gilt für jede Aufnahme und jedes Urteil auf der Plattform. Nach Artikel 55 Absatz 3 DSGVO sind die Aufsichtsbehörden nicht zuständig für die Aufsicht über die von Gerichten im Rahmen ihrer justiziellen Tätigkeit vorgenommenen Verarbeitungen, Erwägungs­grund 20 begründet das ebenso, und Artikel 23 Absatz 1 Buchstabe f erlaubt Beschränkungen für „den Schutz der Unabhängigkeit der Justiz und den Schutz von Gerichtsverfahren“. Wie das für die Verwaltungsseite eines Gerichts gilt, etwa die Veröffentlichung, regelt das nationale Recht. Dies ist eine allgemeine Information zum EU-Recht mit Stand Oktober 2026, aus dem deutschen Text der KI-Verordnung im AI Act Service Desk der Kommission (konsolidierte Fassung vom 27. Juli 2026) und auf EUR-Lex sowie aus der DSGVO auf EUR-Lex (Artikel 55 Absatz 3 sinngemäß wiedergegeben); nationale Regeln können abweichen, und Ihre Datenschutz­beauftragte und Ihre Rechtsabteilung bestätigen die Anwendung. Eine Datenschutz-Folgenabschätzung ist der übliche Ort, um die Entscheidung festzuhalten.

Konfigurationen nach Kartenzahl

Die Varianten folgen den Referenz­konfigurationen auf unserer Seite zu KI-Servern und NVIDIAs Leitfaden für zertifizierte Systeme: zwei Prozessoren, mindestens sechs Kerne je GPU und Arbeitsspeicher in doppelter Höhe des GPU-Speichers.

Referenz­konfigurationen auf unserer Seite zu KI-Servern; Sitzungen nach unserer Regel für Nutzer je Karte mit gpt-oss-120b in einem 16-Bit-Cache bei 32K; Batch-Werte aus der Tabelle oben; Leistung nach unserer Schätzung (Karten mit 600 W, Prozessoren, plus 15 Prozent für den übrigen Server).

Zwei Karten. Der Einstiegsserver hat zwei RTX PRO 6000 Server Edition, zwei AMD-EPYC-Prozessoren, 384 GB DDR5 ECC und zwei NVMe-Laufwerke. Eine Karte betreibt das Sprachmodell für die Suche während der Dienstzeit und nachts die Warteschlangen für Anonymisierung und Triage. Die andere wird per MIG in vier isolierte Instanzen mit 24 GB geteilt: Spracherkennung, Sprecherzuordnung, Embedding-Modell mit Reranker und eine Testinstanz. Das passt zu einem Gericht oder einem Pilotprojekt.

Vier Karten. Der Inferenzknoten mit 768 GB und vier NVMe-Laufwerken gibt der Richterschaft ein eigenes Paar und hält eine ganze Karte für Batch-Jobs frei, sodass Veröffentlichung und Triage auch tagsüber laufen. Diese Größe würden wir einer Gerichtsverwaltung vorschlagen, die mehrere Gerichte versorgt.

Zwei Server oder acht Karten. Ein IT-Zentrum eines Ministeriums, das viele Gerichte versorgt, plant zwei Server mit je vier Karten, die jeweils die Spitze der Richterschaft tragen, sodass einer ausfallen oder gepatcht werden kann, während der andere antwortet, wie unser Leitfaden zur Hochverfügbarkeit von LLMs mit zwei GPU-Knoten beschreibt. Acht Karten in einem Server bieten dieselbe Kapazität in einem Gehäuse, mit etwa 6,3 kW und ohne Ausfallreserve.

Die RTX PRO 6000 Max-Q ist die Workstation-Karte, eine Radiallüfter-Karte mit 300 W; im Rack gehört sie nur in ein Gehäuse, dessen Hersteller sie listet, und für den Dauerbetrieb empfehlen wir die Server Edition. Die Modelle, die Anonymisierungsstrecke und die Suche richten wir über unseren Service Private AI/ML ein; beschreiben Sie die Aufgabe, mit der Sie das Pilotprojekt beginnen würden, und wir schlagen Server und Pilotprojekt vor.

Hinweise für das IT-Zentrum der Justiz

1. Mandanten. Versorgt eine Plattform mehrere Gerichte, erhält jedes Gericht eigene API-Schlüssel, einen eigenen Index und ein eigenes Protokoll, und die Batch-Warteschlangen bleiben getrennt. Ein LLM-Gateway mit Schlüsseln und Abfrageprotokoll vor den Engines hält fest, wer was gefragt hat.
2. Prüfoberfläche. Das Ergebnis der Anonymisierung geht als markierter Text mit jeder sichtbaren Ersetzung an die Prüferin. Protokollieren Sie jede bestätigte und korrigierte Nennung, damit sich Regeln und Prompt aus echten Korrekturen verbessern lassen.
3. Anbindung. vLLM bietet eine OpenAI-kompatible API mit Structured Outputs, und sein Batch-Runner liest JSONL-Dateien, sodass das Fachverfahren die Urteile nachts als Dateien übergeben kann. Halten Sie die Engines im internen Netz: --api-key schützt bei vLLM nur Pfade unter /v1, /v2, /inference und /cohere; Routen wie /invocations und /metrics antworten auch ohne ihn (Sicherheitsleitfaden von vLLM 0.32.0).
4. Versionen. Betreiben Sie vLLM 0.31.0 oder neuer, wie unsere Übersicht zu den Sicherheitshinweisen für vLLM erklärt, halten Sie das NVIDIA Container Toolkit auf 1.17.8 oder neuer und den Treiber auf einem Release, das NVIDIA in seinem Bulletin vom 30. September 2026 als behoben führt.
5. Software bei Lieferung. Auf Wunsch kommt der Server mit Betriebssystem, NVIDIA-Treiber, CUDA und Container-Runtime installiert. Ihr eigener Abnahmetest, wie in unserem Leitfaden zum Abnahmetest für GPU-Server, kann Teil der Ausschreibung sein.
6. Ausschreibung. Die meisten Gerichte beschaffen über eine öffentliche Ausschreibung. Unser Leitfaden zur technischen Spezifikation einer GPU-Server-Ausschreibung zeigt, wie Speicher, Partitionierung und Leistung als messbare Anforderungen formuliert werden.

Stromversorgung und Aufstellung

Nach unserer Schätzung nimmt der Server mit zwei Karten und zwei EPYC 9135 etwa 1,8 kW am Netz auf und passt an einen 16-A-Anschluss mit 230 V, der bei 80 Prozent Auslastung 2,94 kW trägt. Der Server mit vier Karten zieht mit Karten bei 600 W etwa 3,4 kW und braucht 32 A oder Drehstrom, mit Karten bei 450 W etwa 2,7 kW. Acht Karten ziehen nach unserer Schätzung etwa 6,3 kW; Dells Datenblatt nennt als Richtwert etwa 8 kW je Knoten mit acht Karten, und die Anschlüsse sollten nach dem Wert des Herstellers geplant werden. Diese Maschinen gehören in den Serverraum des IT-Zentrums oder in ein Rechenzentrum, wie unser Leitfaden zum Strom für GPU-Server an 16 A, 32 A und Drehstrom durchrechnet; die Schätzung wird durch eine Messung am gelieferten System bestätigt.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team dimensioniert die Konfiguration nach Ihrer Aufgabe und Ihrem Budget und antwortet innerhalb eines Werktages. Wir bauen die Server auf Bestellung mit zwei, vier oder acht Karten der RTX PRO 6000 Server Edition, vor der Lieferung montiert und getestet, geliefert in die gesamte EU mit einem EU-Vertrag und einer Rechnung, mit Herstellergarantie auf jede Komponente, abgewickelt über uns; Mengen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Unser Service Private AI/ML mit unserem Engineering-Partner Vixen.UNO richtet die Modelle, die Anonymisierungsstrecke, die Suche und das Abfrageprotokoll auf Ihren Servern ein. Unser Leitfaden zum Kauf eines GPU-Servers für LLMs listet alle Konfigurationen.

FAQ