KI-Server für Beratungen: Recherche, Angebote und Kundendokumente auf eigener Hardware

Was ein eigener KI-Server für eine Unternehmens­beratung leistet

Ein KI-Server für eine Unternehmens­beratung betreibt ein Sprachmodell und seinen Suchindex auf Hardware, die die Beratung kontrolliert; Beraterinnen und Berater durchsuchen damit frühere Projekte, entwerfen Angebote und analysieren Kundendokumente, ohne Kundendaten an einen öffentlichen KI-Dienst zu schicken. Für eine Beratung mit bis zu etwa 200 Beratern trägt ein Server mit zwei Karten der NVIDIA RTX PRO 6000 Blackwell Server Edition den Assistenten und die Suchmodelle; vier Karten tragen etwa 750 Berater und lassen eine Karte für das Umwandeln und Indexieren von Datenräumen frei. Die Werte in diesem Artikel sind unsere Schätzungen mit Beispielwerten und als solche gekennzeichnet; ein Pilot ersetzt sie durch Ihre eigenen.

Wir schreiben für geschäftsführende Partner, COOs und IT-Leitungen, die entscheiden müssen, ob sich ein solcher Server lohnt, und für das IT-Team, das ihn betreiben wird. Die erste Hälfte behandelt Aufgaben und Konfigurationen, danach folgen die Hinweise für die IT.

Die Arbeit in einfachen Worten

Beratung erzeugt und verarbeitet Dokumente. Vier Aufgaben machen den größten Teil dessen aus, was ein Sprachmodell in einer Beratung tut.

• Recherche im eigenen Wissen. Welche früheren Projekte eine ähnliche Frage behandelt haben, was das Team herausgefunden hat, welche Benchmarks und Interviewnotizen es gibt. Das Modell antwortet aus den Dokumenten, die es findet, und nennt sie, wie unser Artikel zu RAG auf Firmendaten erklärt.
• Angebote. Ein erster Entwurf aus der Anfrage des Kunden, früheren Angeboten, Teamprofilen und Referenzen, den ein Partner dann bearbeitet. Das Schreiben ist für das Modell der schnelle Teil; der Nutzen liegt darin, das richtige frühere Material zu finden.
• Analyse von Kundendokumenten. Geschäftsberichte, Verträge, Prozessbeschreibungen, Umfrageergebnisse oder der Inhalt eines Datenraums in einer Due Diligence: zusammengefasst, verglichen und in Tabellen gebracht.
• Interviews und Workshops. Aufnahmen werden transkribiert, zusammengefasst und übersetzt, in der Sprache, in der das Kundenteam arbeitet.

Die ersten beiden nutzen die eigenen Dokumente der Beratung, die letzten beiden die des Kunden. Dieser Unterschied prägt die Zugriffsregeln stärker als die Hardware.

Kundendaten, Verträge und wo das Modell läuft

Das ist eine allgemeine Information, keine Rechtsberatung; Ihre Rechtsabteilung prüft Ihre eigenen Verträge. Mandatsvereinbarungen und Vertraulichkeits­vereinbarungen legen fest, wer die Informationen eines Kunden erhalten darf, und die Bedingungen eines Datenraums fügen oft eigene hinzu. Ob ein öffentlicher KI-Dienst nach diesen Bedingungen als Empfänger gilt, ist eine Frage des einzelnen Vertrags. Ein Modell auf dem eigenen Server hält Dokumente, Prompts und Antworten auf Hardware unter den Zugriffsregeln der Beratung, ohne externen Dienst, solange die Beratung keinen einschaltet. Unser Artikel zu CLOUD Act und EU-Datenresidenz behandelt, was Standort, Betreiber und Vertrag ändern, wenn ein Anbieter beteiligt ist.

Die DSGVO gilt für personenbezogene Daten in Kundenakten, Interviewnotizen und Logs, wo immer das Modell läuft. Artikel 32 Absatz 1 nennt Maßnahmen wie die dauerhafte Vertraulichkeit der Systeme und die Fähigkeit, den Zugang zu den Daten nach einem Zwischenfall wiederherzustellen, und Artikel 28 gilt für jeden Anbieter, der die Daten im Auftrag der Beratung verarbeitet. Nach dem AI Act ist eine Beratung, die ein KI-System einsetzt, Betreiberin; Artikel 4, anwendbar seit dem 2. Februar 2025 und geändert durch die Verordnung (EU) 2026/1744, verlangt von ihr Maßnahmen, um die Entwicklung der KI-Kompetenz ihrer Mitarbeitenden zu unterstützen. Unsere Artikel zum EU AI Act für Unternehmen mit LLMs und zur DSFA für ein internes LLM behandeln beides.

Beratungen arbeiten oft für Wettbewerber im selben Markt, die Plattform braucht also Schranken zwischen Mandaten. Im Suchindex trägt jeder Abschnitt das Mandat und die Zugriffsliste seines Quelldokuments, und die Suche filtert, bevor sie sortiert. Den Zugriff setzt dieser Filter durch, denn eine Anweisung im Prompt kann ihn nicht steuern. Unser Leitfaden zu KI für Kanzleien und Steuerberater beschreibt dasselbe Design je Akte, und es lässt sich auf das Mandat übertragen.

Drei Konfigurationen und was jede trägt

Die Optionen folgen den Referenz­konfigurationen auf unserer Seite zu KI-Servern und NVIDIAs Leitfaden für zertifizierte Systeme: zwei Prozessoren, mindestens sechs Kerne je GPU und Arbeitsspeicher in doppelter Größe des GPU-Speichers. Das Sprachmodell in den Beispielen ist gpt-oss-120b unter Apache 2.0, ein Mixture-of-Experts-Modell, dessen Checkpoint mit 60,8 GiB auf eine Karte mit 96 GB passt.

Berater nutzen einen Assistenten mehr als der durchschnittliche Mitarbeiter, deshalb verdoppeln wir den Beispielwert unseres Leitfadens nach Unternehmens­größe: 8 laufende Anfragen in der Spitzenstunde je 100 Berater statt 4 je 100 Mitarbeitende. Ersetzen Sie ihn nach einem Piloten durch das Log Ihres Gateways.

Referenz­konfigurationen auf unserer Seite zu KI-Servern; Chats und Analysen nach unserer Regel für Nutzer je Karte mit gpt-oss-120b und 16-Bit-Cache; Berater mit 8 laufenden Anfragen je 100 (Beispielwert); die 235B-Zeile mit Qwen3-235B-A22B in FP8 und FP8-Cache wie in unserem Leitfaden zu Agenten mit langem Kontext; Strom nach unserer Schätzung mit Karten bei 600 W, Prozessoren und 15 Prozent für den Rest des Servers.

Zwei Karten. Der Einstiegsserver hat zwei RTX PRO 6000 Server Edition, zwei AMD-EPYC-Prozessoren, 384 GB DDR5-ECC und zwei NVMe-Laufwerke. Unsere Regel für Nutzer je Karte nimmt 90 Prozent der 95,6 GiB, die der Treiber meldet, abzüglich 3 GiB je Karte und der Gewichte: 83,0 GiB nutzbar, 22,2 GiB Cache neben gpt-oss-120b. Laut config.json hat das Modell 8 Key-Value-Heads der Dimension 64 in 18 Schichten mit voller Attention; nach unserer Rechnung belegt eine Konversation mit 32K damit 1,125 GiB 16-Bit-Cache, es passen also 19, oder 4 Dokumente mit 128K. Das deckt die Beispielspitze von etwa 235 Beratern ab. MIG teilt die zweite Karte in vier isolierte Instanzen mit 24 GB für Embedding-Modell und Reranker, ein OCR-Modell und Spracherkennung; OpenAI nennt für Whisper large etwa 10 GB GPU-Speicher.

Vier Karten. Der Inferenzknoten mit 768 GB und vier NVMe-Laufwerken betreibt den Assistenten als eine Kopie, per Tensor-Parallelismus auf zwei Karten verteilt. Das Paar speichert die Gewichte nur einmal und behält 2 × 83,0 − 60,8 = 105,3 GiB für den Cache: 93 Konversationen mit 32K oder eine Mischung wie 60 Chats und 8 Dokumentanalysen mit 128K, zusammen 103,5 GiB. Das reicht für etwa 750 Berater mit Platz für lange Dokumente in der Spitze. Die dritte Karte wandelt gescannte Datenräume mit einem OCR-Modell um, auf der vierten laufen Suche und Sprache in MIG-Instanzen.

Acht Karten oder zwei Server mit je vier. Wo Partner sich täglich auf den Assistenten verlassen, sind zwei Server mit je vier Karten sinnvoll, die jeweils die ganze Spitze tragen: Der Assistent bleibt in Betrieb, während einer gewartet wird, wie unser Leitfaden zur Hochverfügbarkeit mit zwei GPU-Knoten beschreibt. Acht Karten in einem Server ergänzen ein größeres Modell für tiefe Analysen: Qwen3-235B-A22B in FP8 mit Tensor-Parallelismus über vier Karten hält nach unserer Regel 9 Analysen mit 131.072 Token bei FP8-Cache, wie unser Leitfaden zum Server für KI-Agenten mit langem Kontext durchrechnet.

Die RTX PRO 6000 Max-Q ist die Workstation-Karte, eine Radiallüfter-Karte mit 300 W; ins Rack gehört sie nur in ein Gehäuse, für das der Hersteller sie listet, und für den Dauerbetrieb empfehlen wir die Server Edition. Wir bauen alle drei Konfigurationen auf Bestellung; nennen Sie uns die Zahl der Berater, die den Server nutzen würden, und die Dokumentmengen, die Sie bearbeiten, und unser Team antwortet mit einer Konfiguration.

Datenräume und lange Dokumente

Eine Due Diligence oder eine Strategieprüfung beginnt mit einem Stapel Dokumente, oft gescannt. Die Arbeit läuft in drei Stufen, jede mit eigener Last.

OCR nach der Methode unseres Leitfadens zu Dokumenten-KI: Datalabs 1,44 Seiten pro Sekunde für das 5B-Modell chandra-ocr-2 auf einer H100 80GB, nach Speicherbandbreite auf die RTX PRO 6000 Server Edition umgerechnet, etwa 0,69 Seiten pro Sekunde je Karte. Embedding: NVIDIA nennt für sein 1B-Embedding-Modell als NIM 144,3 Texte mit 512 Token pro Sekunde auf einer L40S. Ausgabe: Messwert von StorageReview für gpt-oss-120b auf vier Karten der Server Edition. Unsere Rechnung, keine Messung.

Die Seitenmenge belastet vor allem die OCR-Stufe. Nach der Methode unseres Leitfadens zu Vision-Language-Modellen für Dokumenten-KI schafft eine RTX PRO 6000 Server Edition mit einem 5B-OCR-Modell etwa 0,69 Seiten pro Sekunde; 30.000 Seiten dauern damit auf einer Karte etwa 12 Stunden und auf vier Karten mit je einer Kopie etwa 3 Stunden. Die Lizenzen der OCR-Modelle unterscheiden sich: GLM-OCR steht unter MIT, DeepSeek-OCR-2 unter Apache 2.0, chandra-ocr-2 unter einer modifizierten OpenRAIL-M-Lizenz mit Umsatzschwelle; prüfen Sie die Lizenz, bevor ein Modell in die Kundenarbeit geht.

Das Embedding dauert im Vergleich zur OCR nur kurz. Bei zwei Abschnitten mit 512 Token je Seite ergeben 30.000 Seiten 60.000 Abschnitte, nach NVIDIAs Wert für die L40S etwa 7 Minuten; einen veröffentlichten Wert für eine MIG-Instanz der RTX PRO 6000 haben wir nicht gefunden, messen Sie ihn also auf der Zielkarte. Der Index eines Datenraums ist klein und gehört zum Mandat: Löschen Sie ihn mit den übrigen Kopien des Mandats, wenn die Bedingungen des Datenraums das verlangen.

Für Zusammenfassungen und Vergleichstabellen hat StorageReview gpt-oss-120b in NVFP4 auf vier Karten der RTX PRO 6000 Server Edition bei Batch 32 mit 47,54 Token pro Sekunde je Nutzer gemessen, zusammen etwa 1.520 Ausgabe-Token pro Sekunde. Viertausend Dokumente mit je 300 Token Zusammenfassung sind 1,2 Millionen Ausgabe-Token, nach unserer Rechnung etwa 13 Minuten Generierung. Die Prompts sind der größere Teil: Ein Dokument mit 20 Seiten bringt je Anfrage mehrere Tausend Eingabe-Token, und einen veröffentlichten Prefill-Wert für diese Karten haben wir nicht gefunden; testen Sie also mit Ihren eigenen Dokumenten. Ein einzelnes langes Dokument, etwa ein Geschäftsbericht in einer Anfrage, belegt bei 128K 4,5 GiB Cache, und Prefix Caching nutzt ihn wieder, wenn mehrere Berater Fragen zu demselben Bericht stellen. Unser Leitfaden zur LLM-Batch-Inferenz on-premise erklärt, wie Sie solche Läufe für die Nacht in eine Warteschlange stellen.

Recherche und Angebote aus dem eigenen Wissen

Der Recherche-Assistent ist ein RAG-System über die Wissensbasis der Beratung: Projektberichte, Abschlusspräsentationen, Methoden, Benchmarks und Experteninterviews. Zwei Entscheidungen bestimmen seine Qualität. Die erste ist, was hineinkommt: Die Datenverantwortlichen entscheiden, welche Sammlungen in den Index gehen, welche Fassungen aktuell sind und welches Kundenmaterial nie wiederverwendet werden darf. Die zweite sind die Sprachen des Modells. Die Karte von Mistral Small 3.1 nennt 25 Sprachen, darunter Deutsch, Polnisch und Rumänisch, die Ankündigung von Qwen3 listet 119, und EuroLLM deckt alle 24 Amtssprachen der EU unter Apache 2.0 ab. Unser Vergleich offener LLMs für europäische Sprachen enthält die Details.

Für Angebote entwirft das Modell aus der Anfrage des Kunden, früheren Angeboten der Beratung für ähnliche Arbeit, Teamprofilen und freigegebenen Referenzen. Die Suche muss dieselben Schranken einhalten wie die Recherche: Eine Referenz aus dem Projekt eines Kunden erscheint nur dort, wo die Beratung sie verwenden darf. Der Partner bearbeitet den Entwurf und gibt ihn frei. Die Übersetzung von Angeboten und Berichten folgt der Dimensionierung unseres Leitfadens zur maschinellen Übersetzung on-premise, der etwa eine Million Wörter pro Tag auf einer Karte mit 48 GB und einem Übersetzungs-LLM mit 9B bis 12B ansetzt.

Unser Engineering-Partner Vixen.UNO baut diese Plattform in unserem Private-AI/ML-Service, mit RAG, das die Zugriffsrechte jedes Nutzers beachtet und die Quelle nennt; beschreiben Sie Ihre Wissensbasis und wie Mandatszugriffe heute vergeben werden, und wir schlagen einen Piloten und den Server dafür vor.

Hinweise für das IT-Team

1. Engine und API. vLLM stellt für das Sprachmodell eine OpenAI-kompatible API bereit und hat Pooling-Endpunkte für Embeddings. Setzen Sie ein LLM-Gateway mit Schlüsseln, Budgets und Abfrage-Log davor, damit jede Anfrage Nutzer und Mandat mitführt.
2. Zugriff. Single Sign-on über Ihren Verzeichnisdienst; die Zugriffsliste jedes Quelldokuments geht mit jedem Abschnitt in den Index, und Änderungen im Dokumentensystem gleichen den Index neu ab.
3. Netzwerk. --api-key schützt in vLLM nur Pfade unter /v1, /v2, /inference und /cohere; Routen wie /invocations und /metrics antworten auch ohne Schlüssel (Sicherheitsleitfaden von vLLM 0.32.0). Halten Sie die Engine deshalb in einem internen Netz hinter dem Gateway. Betreiben Sie vLLM 0.31.0 oder neuer, das NVIDIA Container Toolkit ab 1.17.8 und den Treiber auf einem Stand, den NVIDIA in seinem Bulletin vom 30. September 2026 als behoben nennt.
4. Logs und Aufbewahrung. Das Abfrage-Log enthält Kundendaten. Legen Sie seine Aufbewahrung vor dem Start fest; Artikel 30 Absatz 1 Buchstabe f DSGVO verlangt im Verzeichnis der Verarbeitungstätigkeiten, wenn möglich, die Fristen für die Löschung. Löschen Sie Datenraum-Indizes und Testkopien mit dem Mandat.
5. Software bei Lieferung. Der Server kommt auf Wunsch mit Betriebssystem, NVIDIA-Treiber, CUDA und Container-Runtime. Unser Leitfaden zur Software für RTX PRO Blackwell nennt die Engine-Versionen für diese Karten.
6. Messwerte im Piloten. Laufende Anfragen in der Spitze, Prompt-Längen, Zeit bis zum ersten Token und der Anteil langer Dokumente, wie unser Leitfaden zu den Messgrößen eines KI-Pilotprojekts beschreibt.

Strom und Raum

Nach unserer Schätzung zieht der Server mit zwei Karten und zwei EPYC 9135 etwa 1,8 kW aus der Steckdose und passt an einen Anschluss mit 230 V und 16 A, der bei 80 Prozent 2,94 kW trägt. Der Server mit vier Karten zieht mit Karten bei 600 W etwa 3,4 kW und braucht 32 A oder Drehstrom, mit auf 450 W begrenzten Karten etwa 2,7 kW. Acht Karten ziehen nach unserer Schätzung etwa 6,3 kW; Dells Datenblatt nennt etwa 8 kW je Knoten mit acht Karten als Richtwert, und die Zuleitungen sollten nach dem Wert des Herstellers geplant werden. Alle gehören in einen Serverraum oder ein Rechenzentrum, wie unser Leitfaden zum Stromanschluss von GPU-Servern mit 16 A, 32 A und Drehstrom erklärt. Eine Beratung ohne Serverraum kann dieselbe Plattform über unseren Private-AI/ML-Service auf dedizierter Hardware in einem Tier-3-Rechenzentrum in Litauen betreiben; die Kundendaten bleiben dann in der EU.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team dimensioniert die Konfiguration nach Ihrer Last und Ihrem Budget und antwortet innerhalb eines Werktages. Wir bauen die Server auf Bestellung mit zwei, vier oder acht Karten der RTX PRO 6000 Server Edition, vor der Lieferung montiert und getestet, geliefert in die gesamte EU mit einem EU-Vertrag und einer Rechnung, mit Herstellergarantie auf jede Komponente, abgewickelt über uns; Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Modelle, RAG mit Zugriff je Mandat, die Plattform und der Pilot sind unser Service Private AI/ML mit Engineering durch unseren Partner Vixen.UNO, und unsere Seite zum Kauf eines GPU-Servers für LLMs listet alle Konfigurationen.

FAQ