KI-Server im Mittelstand: Nutzen für 200 bis 2.000 Beschäftigte und der Einstieg

Was ein eigener KI-Server im Mittelstand leistet

Ein eigener KI-Server gibt einem Unternehmen mit 200 bis 2.000 Beschäftigten einen privaten Assistenten, Antworten aus den eigenen Dokumenten und automatisierte Dokumentenarbeit, alles auf Hardware im eigenen Netz oder in einem EU-Rechenzentrum seiner Wahl. Für die meisten Unternehmen dieser Größe ist ein Server mit zwei NVIDIA RTX PRO 6000 Blackwell Server Edition der Einstieg und trägt den Assistenten für bis zu etwa 500 Beschäftigte; vier Karten tragen ihn für 2.000.

Gegenüber einem öffentlichen Chatbot-Dienst bleiben Prompts, Dokumente und Logs dort, wo Sie es festlegen, und die Kosten folgen der gekauften Hardware, während eine Cloud-API je Anfrage abrechnet.

Dieser Artikel richtet sich an Geschäftsführung und IT-Leitung, die entscheiden müssen, ob ein solcher Server sinnvoll ist und was dazugehört. Die genaue Auslegung nach Mitarbeiterzahl mit der ganzen Rechnung steht in unserem Leitfaden zum privaten ChatGPT-Server nach Firmengröße; hier geht es darum, was der Server leistet, welche von drei Konfigurationen passt und wie Sie anfangen.

Aufgaben, die er in einem Unternehmen mit 200 bis 2.000 Beschäftigten übernimmt

Derselbe Server kann mehrere Aufgaben nebeneinander erledigen, jede mit eigenem Modell oder auf demselben Modell.

• Ein Firmenassistent. Entwürfe, Umformulierungen, Zusammenfassungen und Fragen in jeder Abteilung, über ein Web-Frontend, das wie ein öffentlicher Chatbot funktioniert, mit Zugriff über Ihren Verzeichnisdienst. Unser Leitfaden zur privaten ChatGPT-Alternative nennt die Bausteine.
• Antworten aus Ihren Dokumenten. Richtlinien, Verträge, Handbücher und Projektakten werden in normaler Sprache durchsuchbar, mit Quellenangabe und unter Beachtung der Zugriffsrechte jedes Nutzers, wie unser Artikel zu RAG auf Firmendaten erklärt.
• Dokumentenverarbeitung. Rechnungen, Lieferscheine oder Verträge werden über Nacht in Stapeln gelesen und eingeordnet, wie in unserem Leitfaden zur LLM-Batch-Inferenz on-premise.
• Transkription und Protokolle. Besprechungen und Anrufe werden transkribiert und zusammengefasst; OpenAI nennt für Whisper large etwa 10 GB GPU-Speicher, einen Bruchteil einer Karte, wie unser Leitfaden zu Whisper-GPUs zeigt.
• Übersetzung und Hilfe beim Programmieren. Interne Dokumente werden übersetzt, und Entwickler bekommen Code-Vorschläge von einem Modell, das keinen Quellcode nach außen schickt, wie in unseren Leitfäden zur maschinellen Übersetzung on-premise und zum privaten Coding-Assistenten.

Die meisten Unternehmen beginnen mit einer dieser Aufgaben, meist mit dem Assistenten oder den Antworten aus Dokumenten, und nehmen die anderen hinzu, sobald die erste läuft.

Drei Konfigurationen und was jede bedient

Die drei Server unten folgen den Referenz­konfigurationen auf unserer Seite zu KI-Servern und NVIDIAs Regeln für zertifizierte Systeme: zwei Prozessoren, mindestens sechs Kerne je GPU und Arbeitsspeicher mit dem Doppelten des GPU-Speichers. Die Beschäftigtenzahlen nutzen die Beispielwerte unseres Leitfadens nach Firmengröße, etwa 4 gleichzeitig laufende Anfragen in der Spitzenstunde je 100 Beschäftigte, und gpt-oss-120b, ein offenes Modell unter Apache 2.0, das auf eine Karte mit 96 GB passt.

Referenz­konfigurationen auf unserer Seite zu KI-Servern; Beschäftigte nach den Beispielwerten unseres Leitfadens nach Firmengröße (etwa 4 laufende Anfragen je 100 Beschäftigte); Nutzer nach unserer Regel für Nutzer je Karte; Strom nach unserer Schätzung mit Karten bei 600 W, zwei AMD-EPYC-Prozessoren (9135, 9355 oder 9555 je nach Kartenzahl) und 15 Prozent für den Rest des Servers.

Zwei Karten, 384 GB Arbeitsspeicher. Nach unserer Regel für Nutzer je Karte hält eine RTX PRO 6000 Server Edition gpt-oss-120b und etwa 19 gleichzeitige Konversationen mit 32K Token, was die Beispielspitze von etwa 475 Beschäftigten abdeckt. Die zweite Karte wird per MIG in bis zu vier isolierte Instanzen mit 24 GB geteilt, für das Embedding-Modell und den Reranker, die RAG braucht, für die Spracherkennung und für ein kleines Modell, das Chat-Titel schreibt. Dieser Server ist auch die richtige Maschine für den Pilotbetrieb, weil er dieselbe Karte nutzt wie die größeren Aufbauten.

Vier Karten, 768 GB. Zwei Karten betreiben den Assistenten als eine über beide verteilte Kopie, die etwa 93 Konversationen mit 32K hält, mehr als die Beispielspitze von 80 bei 2.000 Beschäftigten. Die dritte Karte betreibt ein zweites Modell, etwa Qwen3.8-27B in FP8 mit etwa 25 Konversationen mit 32K bei 16-Bit-Cache oder etwa 47 bei FP8-Cache, auf der vierten laufen die Such- und Sprachmodelle. Das ist unser Inferenzknoten für den Produktivbetrieb in mehreren Abteilungen.

Acht Karten. Acht RTX PRO 6000 Server Edition halten Modelle, die nicht auf vier Karten passen, etwa Llama 4 Maverick mit etwa 417 GB in FP8, oder viele Modelle nebeneinander. Will das Unternehmen eigene Modelle feinabstimmen, ist unser Trainingsknoten mit acht H200 NVL mit NVLink-Brücken dafür gebaut, wie unser Leitfaden zum Fine-Tuning-Server erklärt. Ist der Assistent Teil der täglichen Arbeit geworden, sind zwei Server mit je vier Karten, von denen jeder die ganze Spitze trägt, oft besser als ein Server mit acht Karten, weil einer ausfallen oder aktualisiert werden kann, während der andere läuft.

Die RTX PRO 6000 gibt es auch als Max-Q, eine 300-W-Workstation-Karte; für einen Server im Rack, der im Dauerbetrieb läuft, empfehlen wir die Server Edition. Wir liefern alle drei Konfigurationen und legen sie nach Ihren Beschäftigtenzahlen und Aufgaben aus; nennen Sie uns, wie viele Beschäftigte den Server für welche Aufgaben nutzen würden, und unser Team antwortet innerhalb eines Werktages mit einer Konfiguration.

Was Sie außer dem Server brauchen

Die Hardware ist der kleinere Teil des Projekts. Drei Dinge entscheiden, ob der Server genutzt wird.

Personal

Unsere Zusammenfassung der Rollen aus unseren Leitfäden zur Einführung eines privaten KI-Assistenten und zum Betrieb einer LLM-Plattform.

Für den Betrieb eines Assistenten auf offenen Modellen braucht das Team keine ML-Ingenieure; die Arbeit besteht aus Linux-Administration, einer Serving-Engine und einem Web-Frontend. Unser Leitfaden zum Betrieb einer privaten LLM-Plattform nennt die täglichen Aufgaben, und unser Artikel zur verwalteten privaten KI-Plattform zeigt, was sich abgeben lässt.

Software

Der Server kommt auf Wunsch mit Betriebssystem, NVIDIA-Treiber, CUDA und Container-Runtime. Darauf laufen eine Serving-Engine wie vLLM, die keine Lizenz braucht, oder NVIDIA NIM, das NVIDIA AI Enterprise je GPU braucht; ein LLM-Gateway für Schlüssel, Budgets und ein Abfrageprotokoll; ein Frontend wie Open WebUI, das unser Leitfaden zum Skalieren von Open WebUI für 500 bis 2.000 Nutzer auslegt; und für RAG ein Embedding-Modell, ein Reranker und eine Vektordatenbank. Single Sign-on über Ihren Verzeichnisdienst entscheidet, wer welche Dokumente sieht.

Daten

Ein Assistent, der aus Dokumenten antwortet, ist nur so gut wie die Dokumente und ihre Berechtigungen. Vor einem Pilotbetrieb legen die Datenverantwortlichen fest, welche Bestände hineinkommen, wer sie sehen darf, welche Fassung gilt und wer sie aktuell hält. Unser Artikel zur Auswahl eines offenen LLM für Unternehmen behandelt die Modellseite, mit Lizenzen und Sprachen.

Eigener Server, EU-Rechenzentrum oder Cloud

Ein eigener Server passt zu gleichmäßiger täglicher Nutzung und zu Daten, die das Unternehmen nicht verlassen sollen. Eine Cloud-API kostet je Anfrage und braucht keine Hardware, was zu geringem oder unsicherem Volumen passt; unser Leitfaden privates LLM oder Cloud-API zeigt, wie Sie den Break-even mit Ihren eigenen Token-Mengen finden. Dazwischen betreibt unser Service Private AI/ML die Modelle auch auf dedizierter Hardware in einem Tier-3-Rechenzentrum in Litauen, sodass die Daten ohne eigenen Serverraum in der EU bleiben, und ein hybrider Aufbau schickt einzelne Aufgaben nur auf Ihre ausdrückliche Entscheidung an öffentliche APIs, sichtbar im Abfrageprotokoll. Unser Vergleich zum GPU-Hosting in Europa für private LLMs stellt die Optionen gegenüber.

Regeln, die ab dem ersten Tag gelten

Das sind allgemeine Informationen, keine Rechtsberatung; die nationale Praxis kann abweichen. Nach der DSGVO verarbeitet der Assistent personenbezogene Daten in Prompts, Dokumenten und Logs; er braucht also eine Rechtsgrundlage, Regeln für die Aufbewahrung und oft eine Datenschutz-Folgenabschätzung, wie unser Leitfaden zur DSFA beschreibt. Nach Artikel 4 des EU AI Act, anwendbar seit dem 2. Februar 2025 und geändert durch die Verordnung (EU) 2026/1744, ergreift jedes Unternehmen, das KI-Systeme nutzt, Maßnahmen, um die Entwicklung der KI-Kompetenz seiner Beschäftigten zu unterstützen. Seit dem 2. August 2026 gelten die Transparenzpflichten aus Artikel 50, soweit die Nutzung darunterfällt, etwa wenn Menschen mit einem KI-System interagieren. Unsere Artikel zum EU AI Act für Unternehmen mit LLMs und zur KI-Kompetenz-Schulung nach Artikel 4 erklären beides. Eine schriftliche KI-Richtlinie hilft, denn Beschäftigte, die schon öffentliche Chatbots nutzen, müssen wissen, was auf den neuen Server wechselt.

Der Start mit einem Pilotbetrieb

Ein Pilotbetrieb beantwortet zwei Fragen zugleich: ob der Assistent bei einer echten Aufgabe hilft und wie groß der Produktivserver sein muss. Diese Schritte halten ihn messbar.

1. Wählen Sie einen Prozess mit einem zählbaren Ergebnis, etwa beantwortete Supportfragen, geprüfte Verträge oder geschriebene Protokolle.
2. Wählen Sie zwei oder drei Modelle, deren Lizenzen die Nutzung im Unternehmen erlauben und deren Sprachen zu Ihren Beschäftigten passen.
3. Bauen Sie einen Testsatz aus echten Fragen mit richtigen Antworten, und lassen Sie die Antworten von den Nutzern bewerten, die das Fachgebiet kennen.
4. Betreiben Sie den Piloten auf dem Einstiegsserver mit zwei RTX PRO 6000 Server Edition. Die Latenz überträgt sich aus einem Piloten nur bei gleichem GPU-Typ, gleicher Engine und gleichen Einstellungen, wie unser Leitfaden dazu erklärt, was ein Private-AI-Pilot messen sollte.
5. Protokollieren Sie jede Anfrage am Gateway: Eingänge in der Spitzenstunde, Länge von Prompt und Antwort, Zeit bis zum ersten Token.
6. Entscheiden Sie mit diesen Werten: Karten oder einen zweiten Server ergänzen, das Modell wechseln oder aufhören.

Der Einstiegsserver bleibt nach dem Piloten nützlich, als erster Produktivserver, als Testsystem für neue Modelle oder als zweiter Server für die Ausfallsicherheit. Unser Leitfaden zur KI-Einführung für 1.000 Beschäftigte in Wellen beschreibt die Wellen nach dem Piloten. Unser Service Private AI/ML beginnt mit einem kostenlosen ersten Gespräch und einem Piloten in einem Prozess mit klaren Kennzahlen; beschreiben Sie den Prozess, mit dem Sie beginnen würden, und wir schlagen einen Piloten und den Server dafür vor.

Raum, Strom und Betrieb

Nach unserer Schätzung zieht der Server mit zwei Karten und zwei EPYC 9135 etwa 1,8 kW an der Steckdose und passt an einen Anschluss mit 230 V und 16 A, der bei 80 Prozent 2,94 kW trägt; der Server mit vier Karten zieht mit Karten bei 600 W etwa 3,4 kW und braucht 32 A oder Drehstrom, mit auf 450 W begrenzten Karten etwa 2,7 kW. Acht Karten ziehen nach unserer Schätzung etwa 6,3 kW; Dells Datenblatt nennt als Richtwert etwa 8 kW je Knoten mit acht Karten, und die Zuleitungen sollten nach dem Wert des Herstellers geplant werden. Wegen Lärm und Wärme gehören alle in einen Serverraum oder ein Rechenzentrum, wie unser Leitfaden zum GPU-Server im Büro erklärt. Läuft die Plattform, schult unser Service Private AI/ML Ihr Team für den Betrieb, und Support nach vereinbartem SLA ist möglich.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget aus und antwortet innerhalb eines Werktages. Wir bauen die Server auf Bestellung mit zwei, vier oder acht Karten der RTX PRO 6000 Server Edition oder der H200 NVL, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer Rechnung in die gesamte EU geliefert, mit Herstellergarantie auf jede Komponente, abgewickelt über uns; Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Modelle, RAG, Plattform und Pilot sind unser Service Private AI/ML, umgesetzt von unserem Engineering-Partner Vixen.UNO, und unsere Seite zum Kauf eines GPU-Servers für LLMs listet jede Konfiguration.

FAQ