Lokale KI für KMU mit 10 bis 100 Mitarbeitern: was der KI-Server leistet und braucht

Lohnt sich KI im eigenen Haus für ein kleines Unternehmen

Ein eigener KI-Server lohnt sich für ein Unternehmen mit 10 bis 100 Mitarbeitern, wenn es Texte und Dokumente hat, die nicht an einen öffentlichen KI-Dienst gehen sollen, und wenn Beschäftigte in der ganzen Firma den Assistenten täglich nutzen würden. Die kleinste sinnvolle Ausstattung ist eine Maschine mit zwei NVIDIA RTX PRO 6000 Blackwell; sie reicht für einen Firmenassistenten, Antworten aus Ihren eigenen Dokumenten, Übersetzung und Besprechungs­protokolle für die ganze Firma, mit Reserve.

Diese Maschine ist entweder eine Workstation mit zwei Max-Q-Karten für einen Nebenraum im Büro oder ein Rack-Server mit zwei NVIDIA RTX PRO 6000 Blackwell Server Edition für einen Serverraum. Dieser Leitfaden richtet sich an Inhaber und Geschäftsführer kleiner Unternehmen, oft ohne eigenes IT-Personal. Drei Begriffe kommen immer wieder vor. Eine GPU oder Grafikkarte ist der Teil der Maschine, der für die KI rechnet; ihr Speicher entscheidet, welche Modelle passen. Ein Modell ist die Software, die die Antworten schreibt; gpt-oss-120b von OpenAI zum Beispiel steht unter der Lizenz Apache 2.0 und kann auf eigener Hardware laufen. Eine Anfrage ist eine Frage oder Aufgabe an das Modell, eine Konversation die Folge von Anfragen in einem Chat. Die Rechnung hinter den Zahlen für größere Firmen steht in unserem Leitfaden zum privaten ChatGPT-Server nach Firmengröße, und für Firmen mit 200 bis 2.000 Beschäftigten gibt es einen eigenen Leitfaden für den Mittelstand.

Wie viele Mitarbeiter ihn gleichzeitig nutzen

Die Zahl der Beschäftigten bestimmt nicht die Größe des Servers. Entscheidend ist, wie viele Anfragen im selben Moment beantwortet werden. Unser Leitfaden nach Firmengröße rechnet mit Beispielwerten, weil wir kein veröffentlichtes Verhältnis zwischen Beschäftigten und gleichzeitigen Nutzern gefunden haben: 40 Prozent der Beschäftigten nutzen den Assistenten in der Spitzenstunde, jeder schickt in dieser Stunde 6 Anfragen, eine Antwort dauert 30 Sekunden, und die stärksten Minuten bringen das Doppelte des Stundenmittels.

Beispielwerte unseres Leitfadens nach Firmengröße (40 Prozent Nutzer in der Spitzenstunde, 6 Anfragen je Stunde, 30 Sekunden je Anfrage, Spitzenfaktor 2); gleichzeitig = Anfragen je Stunde × 30 s ÷ 3.600 s × 2, unsere Rechnung.

Eine RTX PRO 6000 hat 96 GB Speicher, von denen der Treiber 95,6 GiB meldet. Unsere Regel für Nutzer je Karte nimmt davon 90 Prozent, abzüglich 3 GiB je Karte und abzüglich des Modells selbst. gpt-oss-120b belegt etwa 60,8 GiB, es bleiben 22,2 GiB für den Speicher, den jede offene Konversation auf der Karte hält. Darf jede Konversation auf 32K Token anwachsen (ein Token ist ein Wort oder ein Wortteil), braucht sie mit dem 16-Bit-Cache, den unser Leitfaden nach Firmengröße verwendet, 1,125 GiB; eine Karte hält also etwa 19 gleichzeitig. Selbst bei 100 Beschäftigten nutzt die Spitze davon 4.

In dieser Firmengröße entscheiden deshalb die Aufgaben über die Hardware: welche Modelle Sie wollen, ob Besprechungen zu Protokollen werden sollen, wie viele Dokumente der Assistent durchsucht und ob er weiterarbeiten soll, wenn ein Teil ausfällt. Ein Pilotbetrieb mit Ihren eigenen Beschäftigten ersetzt die Beispielwerte durch echte Zahlen; unser Leitfaden dazu erklärt, was ein Private-AI-Pilot messen sollte.

Warum zwei Karten der sinnvolle Einstieg sind

Jede Konfiguration, die wir einem Unternehmen vorschlagen, beginnt bei zwei RTX PRO 6000. Eine Karte würde das Chat-Modell für 100 Personen tragen, ließe aber keinen Platz für den Rest.

• Die Hilfsmodelle brauchen einen Platz. Antworten aus den eigenen Dokumenten nutzen zwei kleine Zusatzmodelle: eines, das Texte in eine durchsuchbare Form bringt (ein Embedding-Modell), und eines, das die gefundenen Stellen ordnet (ein Reranker). Die Spracherkennung braucht ein weiteres; OpenAI nennt für Whisper large etwa 10 GB GPU-Speicher. Die MIG-Funktion von NVIDIA teilt eine RTX PRO 6000 in bis zu vier isolierte Teile mit je 24 GB, sodass die zweite Karte all diese Modelle nebeneinander aufnimmt.
• Eine Reserve, wenn eine Karte ausfällt. gpt-oss-120b passt auf eine Karte. Fällt eine Karte aus, kann das Chat-Modell nach unserer Schätzung auf der anderen weiterlaufen, bis der Ersatz da ist, während die Hilfsmodelle pausieren. Wer umschaltet, wird mit dem vereinbart, der die Maschine betreut.
• Platz für ein größeres oder ein zweites Modell. Zwei Karten können eine Kopie eines Modells über beide verteilt halten, was mehr Speicher für Konversationen lässt: nach unserer Regel etwa 93 mit 32K für gpt-oss-120b. Sie können auch ein zweites Modell neben dem ersten betreiben, etwa eines, das in einer Sprache Ihrer Beschäftigten stärker ist, wie unser Leitfaden zu offenen LLMs für europäische Sprachen zeigt.

Viele Firmen beginnen mit einem Modell auf einem einzelnen Büro-PC. Das ist ein guter Weg, die Idee auszuprobieren, und unser Artikel über den Schritt von Ollama auf dem PC zum KI-Server für die Firma beschreibt den Übergang zu einer Maschine für alle.

Was ein Server in einer kleinen Firma leistet und was nicht

In einer Firma mit 10 bis 100 Personen bedient eine Maschine jede Abteilung, jede mit ihrer Aufgabe auf demselben Modell oder auf einem eigenen.

• Büro und Vertrieb. Angebote und Briefe entwerfen, umformulieren, lange E-Mail-Verläufe zusammenfassen, Antworten in einer anderen Sprache.
• Antworten aus Ihren Dokumenten. Handbücher, Arbeitsanweisungen, Verträge, Spezifikationen und Konditionen werden in normaler Sprache durchsuchbar, mit Nennung des Quelldokuments und unter Beachtung der Zugriffsrechte jedes Nutzers. Unser Artikel zu RAG auf Firmendaten erklärt, wie das funktioniert und wo es scheitert.
• Besprechungs­protokolle. Aufgezeichnete Besprechungen werden transkribiert und zusammengefasst; unser Leitfaden zum Besprechungsprotokoll mit lokaler KI beschreibt die Schritte.
• Übersetzung. Interne Dokumente und Kundentexte werden übersetzt, ohne das Firmennetz zu verlassen, wie in unserem Leitfaden zur maschinellen Übersetzung on-premise.
• Qualität, Service und Produktion. Berichte, Reklamationen und Servicenotizen nach Ihren eigenen Vorlagen und früheren Fällen entworfen.

Viele dieser Büroaufgaben bräuchten nur ein kleines Modell. Eine E-Mail zusammenzufassen verlangt kein Modell mit 117 Milliarden Parametern. Der Sinn eines Firmenservers ist, dass dieselbe Maschine die kleinen Aufgaben jeder Abteilung neben den größeren trägt, etwa der Suche in allen Handbüchern zugleich. Die Firma kauft und betreut so eine Maschine statt eines Werkzeugs je Abteilung.

Manches leistet er nicht. Ein Kunden-Chatbot auf Ihrer Website ist ein anderes Produkt, und den bauen wir nicht. Das Modell lernt nicht aus dem, was die Beschäftigten eingeben: Es bleibt, wie es installiert wurde, und Antworten aus Dokumenten entstehen durch Suche im Moment der Frage, wie unser Vergleich von Fine-Tuning und RAG erklärt. Antworten können falsch sein und trotzdem überzeugend klingen, daher prüft weiterhin ein Mensch alles, was an Kunden oder in einen Vertrag geht.

Drei Hardware-Ausstattungen für ein Kleinunternehmen

Dies ist der Hardware-Abschnitt, für Sie und für den, der Ihre IT betreut. Alle Varianten nutzen dieselbe Kartenfamilie, sodass sich ein Pilot auf einer Variante auf die anderen übertragen lässt.

Leistungsaufnahme nach unserer Schätzung: Karten (300 W Max-Q, 600 W Server Edition) plus Prozessoren plus 15 Prozent für den Rest, wie in unseren Leitfäden zur Workstation mit zwei Max-Q, zum GPU-Server im Büro und zum KI-Server für den Mittelstand; ein 16-A-Kreis mit 230 V trägt bei 80 Prozent 2,94 kW.

Workstation mit zwei RTX PRO 6000 Max-Q. Die Max-Q ist NVIDIAs Workstation-Ausführung der Karte: 300 W, mit einem Radiallüfter, der die Wärme aus dem Gehäuse bläst, und laut NVIDIA bis zu vier je Workstation. Wir bauen sie auf einer Plattform mit AMD Threadripper PRO oder Intel Xeon W, mit 384 GB Arbeitsspeicher, dem Doppelten des GPU-Speichers, wie es NVIDIAs Regeln für zertifizierte Systeme von Servern verlangen, und zwei NVMe-Laufwerken. Sie läuft an einer normalen 230-V-Steckdose. Fragen Sie nach einer Plattform mit Fernverwaltung (einem BMC, einem kleinen eigenen Rechner auf der Hauptplatine, über den ein Support-Dienstleister die Maschine aus der Ferne prüfen und neu starten kann), denn nicht jede Workstation-Platine hat einen. Sind Gehäuse und Netzteil von Anfang an für vier Karten ausgelegt, ist die Erweiterung um zwei weitere später einfach, wie unsere Seite zum Kauf einer Workstation mit zwei Max-Q beschreibt.

Rack-Server mit zwei RTX PRO 6000 Server Edition. Das ist die Einstiegskonfiguration auf unserer Seite zu KI-Servern: zwei Karten der Server Edition, zwei AMD-EPYC-Prozessoren, 384 GB DDR5-ECC-Speicher und zwei NVMe-Laufwerke, mit BMC für die Fernverwaltung und redundanten Netzteilen. Die Server Edition hat keinen eigenen Lüfter und wird von den Lüftern des Servers gekühlt, was die Maschine laut macht. Für eine Maschine im Dauerbetrieb im Rack empfehlen wir diese Ausführung statt der Max-Q. Unsere Seite zum Kauf eines Servers mit zwei Karten der Server Edition führt die Teile auf.

Vier Karten. Vier Karten sind für Modelle, die nicht in 192 GB passen, oder für mehrere größere Modelle zugleich; bei 10 bis 100 Beschäftigten verlangt die Zahl der Nutzer allein sie nicht. Eine Workstation mit vier Max-Q bleibt an einem eigenen 16-A-Kreis; ein Server mit vier Karten der Server Edition braucht 32 A oder Drehstrom.

Wir liefern die Workstation und den Server mit je zwei Karten, auf Bestellung gebaut und vor der Lieferung montiert und getestet; nennen Sie uns, wie viele Personen ihn für welche Aufgaben nutzen würden, und unser Team antwortet innerhalb eines Werktages mit einer Konfiguration.

Wo die Maschine steht

Praktisch die gesamte Leistung, die eine Maschine aufnimmt, wird im Raum zu Wärme. Eine Workstation mit 1,1 kW heizt den Raum also wie ein Heizgerät mit 1,1 kW, solange sie arbeitet. Der Raum braucht eine Kühlung, die läuft, wann immer die Maschine läuft, auch nachts, am Wochenende und im Winter; unser Leitfaden zum GPU-Server im Büro zeigt, wie man sie auslegt. ASHRAE empfiehlt 18 bis 27 °C am Lufteinlass der Maschine.

Die Lautstärke entscheidet zwischen Büro und eigenem Raum. Stand Oktober 2026 haben wir keine Geräuschangabe eines Herstellers für einen Tower mit RTX PRO 6000 unter Last gefunden; eine Workstation gehört daher in einen Nebenraum mit Tür, nicht neben Schreibtische. Rack-Server sind lauter: Derselbe Leitfaden nennt eine vom Hersteller angegebene Schallleistung von 8,5 B für einen 2U-Server mit vier 400-W-GPUs unter Last, das Niveau einer Maschine für den Serverraum.

Strom und Netzwerk sind einfacher. Eine Maschine mit zwei Karten passt an einen 16-A-Kreis mit 230 V, wenn nicht Drucker oder Wasserkocher an derselben Sicherung hängen; fragen Sie den Elektriker, welche Steckdosen das tun. Außerdem braucht sie eine Kabelverbindung zum Büronetz. Die vollständige Liste der Prüfungen im Gebäude und wer sie mit Elektriker und IT-Dienstleister erledigt, steht in unserem Artikel zum KI-Server ohne IT-Abteilung; unsere Checkliste zur Vorbereitung eines Serverraums behandelt Rack-Tiefe, Steckdosen und Zugang. Gibt es gar keinen geeigneten Raum, kann die Maschine stattdessen in einem Rechenzentrum laufen (siehe unten).

Wer sich darum kümmert

Eine kleine Firma kann ihren eigenen KI-Server ohne IT-Abteilung betreiben. Sie braucht aber eine Person, die dafür verantwortlich ist: jemand, der entscheidet, welche Dokumente hineinkommen, wer den Assistenten nutzen darf und was mit Rückmeldungen geschieht. Installation, Updates und Reparaturen können bei einem Lieferanten liegen. Unser Artikel zum KI-Server ohne IT-Abteilung teilt die Aufgaben zwischen dieser Person, einem vorhandenen IT-Dienstleister und einem Support-Dienstleister auf und erklärt, was bei einem Defekt geschieht.

Auf Wunsch kommt die Maschine mit Betriebssystem, NVIDIA-Treiber, CUDA und Container-Runtime. Modelle, Dokumentensuche, Weboberfläche und Benutzerkonten sind unser Service Private AI/ML mit dem Engineering unseres Partners Vixen.UNO; danach übernehmen Ihre eigenen Leute, oder unser Support arbeitet nach vereinbartem SLA. Die Schritte vom ersten Gespräch bis zur Nutzung durch die Beschäftigten stehen in unserem Leitfaden Eigene KI einführen: Ablauf bis zur ersten Nutzung.

KI ohne Cloud, im EU-Rechenzentrum oder im Abonnement

Eine eigene Maschine passt zu einer Firma, die den Assistenten täglich nutzt und deren Dokumente im eigenen Netz bleiben sollen. Ein Abonnement je Nutzer bei einem Cloud-KI-Dienst braucht keine Hardware und passt zu Firmen, die nichts selbst betreiben wollen; unser Vergleich ChatGPT Enterprise oder eigene KI stellt die Unterschiede dar. Dazwischen betreibt unser Service Private AI/ML die Modelle auch auf dedizierter Hardware in einem Tier-3-Rechenzentrum in Litauen, sodass die Daten ohne eigenen Serverraum in der EU bleiben. Ein hybrider Aufbau schickt einzelne Aufgaben nur dort an einen öffentlichen KI-Dienst, wo Sie es ausdrücklich freigeben, und das Abfrageprotokoll zeigt, was hinausging.

Für die laufenden Kosten nennt unser Artikel zum Stromverbrauch eines KI-Servers pro Jahr die Kilowattstunden. Was eigener Betrieb nach der DSGVO ändert und was Ihre Pflicht bleibt, steht in unserem Leitfaden Lokale KI und DSGVO; Ihr Datenschutz­beauftragter oder Ihre Rechtsberatung bestätigt die Bewertung für Ihre Firma.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget aus und antwortet innerhalb eines Werktages. Wir bauen Workstations mit zwei oder vier RTX PRO 6000 Max-Q und Rack-Server mit zwei oder vier RTX PRO 6000 Server Edition auf Bestellung, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer Rechnung in die gesamte EU geliefert, mit Herstellergarantie auf jede Komponente, abgewickelt über uns; Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Die Auslegung ist kostenlos. Modelle, Dokumentensuche und Plattform sind unser Service Private AI/ML.

FAQ