KI-Server ohne IT-Abteilung: wer was macht, was der Raum braucht, was bei Ausfall passiert

Einen KI-Server ohne IT-Abteilung betreiben

Ein Unternehmen ohne IT-Abteilung kann einen eigenen KI-Server betreiben, wenn drei Rollen besetzt sind: eine Person in der Firma, die für den Assistenten verantwortlich ist und keine IT-Ausbildung braucht, der externe IT-Dienstleister, der schon Netzwerk und PCs betreut, und ein Support-Dienstleister, der Server, Software und Modelle nach vereinbartem SLA aktuell hält. Das Gebäude braucht einen geeigneten Platz mit Strom, Kühlung und Netzwerkanschluss. Fällt ein Teil aus, untersucht der Support-Dienstleister den Fehler aus der Ferne, und der Garantiefall läuft über den Lieferanten.

Die Sorge ist verbreitet. Nach der Erhebung von Eurostat für 2025 nannten unter den Unternehmen in der EU, die den Einsatz von KI erwogen hatten, 70,89 Prozent fehlendes einschlägiges Fachwissen als Grund, KI nicht zu nutzen, den häufigsten Grund der Erhebung, vor unklaren rechtlichen Folgen mit 52,52 Prozent und Bedenken beim Datenschutz mit 48,83 Prozent. Dieser Artikel richtet sich an Inhaber und Geschäftsführer solcher Firmen. Er erklärt in einfachen Worten, was jede Rolle im Alltag tut, was geschieht, wenn etwas kaputtgeht, und was Sie bereithalten sollten. Zur Größe der Maschine lesen Sie unseren Leitfaden Eigene KI für Firmen mit 10 bis 100 Mitarbeitern; für größere Firmen mit IT-Team stehen die Betriebsmodelle mit vollständiger Verantwortungsmatrix in unserem Leitfaden zur verwalteten privaten KI.

Was das Gebäude braucht

Der KI-Server einer kleinen Firma ist eine einzelne Maschine. Er braucht trotzdem einen passenden Platz, und die Prüfungen sind einfach genug, um sie mit Ihrem Elektriker und Ihrem IT-Dienstleister zu erledigen.

Unsere Leitfäden zum GPU-Server im Büro und zur Vorbereitung eines Serverraums, mit den dort zitierten Equipment Thermal Guidelines 2021 von ASHRAE; Leistung nach unserer Schätzung.

Nach unserer Schätzung nimmt eine Workstation mit zwei NVIDIA RTX PRO 6000 Blackwell Max-Q etwa 1,1 kW an der Steckdose auf, ein Rack-Server mit zwei NVIDIA RTX PRO 6000 Blackwell Server Edition etwa 1,8 kW. Beide passen an einen 16-A-Kreis, wenn kein großer Verbraucher an derselben Sicherung hängt. Die Wärme, die sie abgeben, entspricht dieser Leistung, sodass ein Raum, der für eine Person angenehm ist, mit laufender Maschine zu warm werden kann. Unsere Leitfäden zum GPU-Server im Büro und zur Vorbereitung eines Serverraums gehen jeden Punkt durch. Gibt es keinen geeigneten Raum, können die Modelle über unseren Service Private AI/ML auf dedizierter Hardware in einem Tier-3-Rechenzentrum in Litauen laufen, und die Frage nach dem Gebäude entfällt.

Drei Rollen und ihre Aufgaben

Die Tabelle teilt die wiederkehrenden Aufgaben auf die drei Rollen auf. Sie ist ein Beispiel zum Anpassen: Manche IT-Dienstleister übernehmen die Support-Rolle selbst, und manche Firmen behalten mehr im Haus.

Unsere Beispielaufteilung für eine Firma ohne IT-Personal; die Betriebsaufgaben folgen unseren Leitfäden zur verwalteten privaten KI und zum Betrieb einer privaten LLM-Plattform.

Die Ansprechperson ist oft die Büroleitung, die Qualitäts­leitung oder die Person, die das Projekt angestoßen hat. Sie entscheidet, welche Dokumente der Assistent für wen nutzen darf, beantragt Konten für neue Beschäftigte und schließt sie bei Austritten, sammelt die Fragen, die der Assistent schlecht beantwortet hat, und gibt sie weiter. Linux muss sie nicht kennen.

Der IT-Dienstleister, der schon Netzwerk, Firewall, PCs und Benutzerkonten betreut, macht damit weiter. Für den KI-Server ergänzt er eine Netzwerkadresse, eine eigene Verbindung für die Fernverwaltung, die Konten in Ihrem Verzeichnisdienst, falls Sie einen haben, und den Server in seinem Sicherungsplan.

Der Support-Dienstleister betreut alles auf der Maschine selbst: Betriebssystem, NVIDIA-Treiber, die Serving-Engine, die die Modelle betreibt, die Modelle, die Weboberfläche und die Dokumentensuche. Mit unserem Service Private AI/ML ist das unser Team: Wir bauen und betreuen die Plattform, schulen Ihre Leute für die Arbeit damit, und danach haben Sie die Wahl, eigenes Personal oder unser Support nach vereinbartem SLA. Schreiben Sie uns, wer Ihre IT heute betreut, und wir schlagen eine Aufteilung der Aufgaben vor, die dazu passt.

Eine normale Woche der Ansprechperson

In den meisten Wochen verbringt die Ansprechperson wenig Zeit mit dem Server. Eine neue Kollegin braucht ein Konto; eine Abteilung möchte ihre Arbeitsanweisungen in die Dokumentensuche aufnehmen, und die Ansprechperson prüft, ob die Dateien die aktuellen Fassungen sind, und stimmt ab, wer sie sehen darf; jemand meldet, dass der Assistent eine alte Preisliste zitiert hat, und die Ansprechperson nimmt die alte Datei aus dem Bestand und sagt dem Support-Dienstleister Bescheid. Einmal im Monat oder wenn der Support-Dienstleister fragt, stimmt sie ein Wartungsfenster für Updates ab.

Was die Ansprechperson nicht tun sollte: Einstellungen an der Maschine ändern, Software darauf installieren oder sie an einen anderen Platz stellen. Diese Aufgaben gehören zum Support-Dienstleister, damit die Maschine in dem Zustand bleibt, der dokumentiert ist.

KI-Server-Wartung: Updates und Fernwartung

Ein KI-Server braucht regelmäßigere Updates als ein Dateiserver, weil sich mehrere seiner Teile oft ändern. NVIDIA veröffentlicht nach seiner Seite zum Treiber-Lebenszyklus, wie in unserem Leitfaden zur verwalteten privaten KI zitiert, zwei Produktions-Treiberzweige im Jahr, jeder mit Fehlerbehebungen und Sicherheitsupdates für bis zu ein Jahr, daneben Zweige mit Langzeitunterstützung wie R580, unterstützt bis Juni 2028. vLLM, eine verbreitete Serving-Engine, nennt in ihrem Release-Dokument das Ziel einer regulären Version alle zwei Wochen und veröffentlichte zwischen Ende August und Anfang Oktober 2026 mehr als 20 Sicherheitshinweise, wie derselbe Leitfaden festhält.

Nichts davon muss am Tag des Erscheinens eingespielt werden. Der Support-Dienstleister liest die Hinweise, entscheidet mit Ihnen, was nötig ist, testet es und spielt es im vereinbarten Fenster ein. Ein Modellwechsel ist Ihre Entscheidung, weil er die Antworten verändert, die die Beschäftigten bekommen; der Support-Dienstleister lässt zuerst Ihren Satz an Testfragen auf dem neuen Modell laufen, wie unser Leitfaden zur Evaluierung vor einem Modellwechsel beschreibt.

Der Support-Dienstleister erreicht die Maschine auf zwei Wegen. Der erste ist die normale Netzwerkverbindung zum Betriebssystem, über eine Verbindung, die Sie kontrollieren. Der zweite ist der BMC (Baseboard Management Controller), ein kleiner eigener Rechner im Server mit eigenem Netzwerkanschluss. Er zeigt Temperaturen, Lüfterdrehzahlen, Netzteile und Fehlermeldungen und kann die Maschine neu starten, auch wenn das Betriebssystem stehen geblieben ist. Unser Leitfaden zum Out-of-Band-Monitoring von GPUs erklärt, was er ausliest. Rack-Server haben einen; bei einer Workstation fragen Sie nach einer Plattform, die ihn bietet. Der Verwaltungsanschluss gehört in ein eigenes internes Netz und nie ins Internet, wie unser Leitfaden zur Absicherung eines GPU-Servers erklärt.

Wenn etwas ausfällt

Die meisten Fehler zeigen sich als Assistent, der langsam ist, Fehler meldet oder nicht antwortet. Die Ansprechperson meldet, was wann passiert ist; der Support-Dienstleister sieht sich die Maschine aus der Ferne an und entscheidet, was zu tun ist.

Unsere Zusammenfassung typischer Fehlerfälle; das Modell auf der verbleibenden Karte nach unserer Regel für Nutzer je Karte; redundante Netzteile wie für unsere GPU-Server-Gehäuse angegeben.

Eine GPU. Auf einer Maschine mit zwei RTX PRO 6000 passt das Chat-Modell gpt-oss-120b auf eine Karte. Nach unserer Schätzung kann der Support-Dienstleister es daher auf die verbleibende Karte verlegen, bis der Ersatz da ist, während die Modelle für Dokumentensuche und Sprache pausieren. Die defekte Karte wird über Steckplatz und Seriennummer bestimmt, wie unser Leitfaden zum Identifizieren einer defekten GPU für IT-Fachleute zeigt.

Netzteil und Laufwerke. Unsere GPU-Server-Gehäuse haben redundante Netzteile, sodass ein Rack-Server am zweiten weiterläuft, während das defekte ersetzt wird. Eine Workstation hat oft nur ein Netzteil und steht dann still, bis es getauscht ist; fragen Sie bei der Bestellung, ob ein zweites möglich ist. Ob der Server nach einem Laufwerksausfall weiterläuft, hängt von einer Entscheidung vor der Lieferung ab: Sind die beiden NVMe-Laufwerke gespiegelt eingerichtet, kann eines ohne Datenverlust ausfallen. Fragen Sie im Angebot danach.

Wärme. GPUs senken ihre Geschwindigkeit, wenn sie zu heiß werden; der NVIDIA-Treiber meldet dieses Drosseln, und der BMC zeigt die Temperaturen. Im Büro können Staub am Lufteinlass, ein zugestelltes Gitter oder ein Raumkühler, der nachts abschaltet, die Ursache sein. Weil der BMC die Temperaturen zeigt, sieht der Support-Dienstleister den Verlauf, bevor die Beschäftigten etwas merken.

Wir liefern die Maschine mit Herstellergarantie auf jede Komponente, abgewickelt über uns, und prüfen Raum, Strom und Luftführung, bevor wir ein Angebot machen; nennen Sie uns Ihren Raum und Ihren Stromkreis, und wir antworten innerhalb eines Werktages mit einer Konfiguration.

Der Weg im Garantiefall und was bereitliegen sollte

Ist ein Teil defekt, müssen Sie nicht herausfinden, welcher Hersteller zuständig ist. Die Herstellergarantie auf jede Komponente wird über uns abgewickelt, bei Ankunft defekte Teile werden ersetzt, und für die Montage stehen wir selbst ein. Der Support-Dienstleister führt die Diagnosen durch, die der Hersteller verlangt, und eröffnet den Fall bei uns.

Bewahren Sie in einer Mappe auf, auf Papier und auf einem gemeinsamen Laufwerk, das nicht vom KI-Server abhängt: Lieferschein und Rechnung, die Seriennummern der Maschine, jeder GPU und jedes Laufwerks, die Kontaktadressen für Störungen, die Zugangsdaten der Fernverwaltung an einem sicheren Ort und eine kurze Aufzeichnung jedes Fehlers mit Datum, Uhrzeit und Beobachtung.

Die Laufwerke brauchen eine Entscheidung vor dem ersten Defekt. Auf ihnen liegen der Dokumentenindex, das Abfrageprotokoll und möglicherweise Kopien Ihrer Dokumente. Fragen Sie im Angebot, was mit einem defekten Laufwerk geschieht: ob es an den Hersteller zurückgehen muss oder bei Ihnen bleiben darf und, wenn es zurückgeht, wie es vorher gelöscht wird. Unser Leitfaden zum Lebenszyklus eines GPU-Servers behandelt das Löschen nach NIST SP 800-88 Rev. 2 und das Zertifikat je Laufwerk; was Ihre Firma verlangt, entscheidet Ihr Datenschutz­beauftragter.

Datensicherung: was eine braucht

Nicht alles auf einem KI-Server braucht dieselbe Sicherung. Die Konfiguration der Plattform, also Einstellungen, Zuordnung der Zugriffe und Bereitstellungsdateien, ist der Teil, der schwer neu aufzubauen ist; sie gehört in ein Repository oder eine Freigabe, die Ihrer Firma gehört. Das Abfrageprotokoll wird so lange aufbewahrt, wie Ihre Regeln es vorsehen, und mit gesichert. Die Dokumente selbst bleiben meist an ihrem ursprünglichen Ort, auf dem Dateiserver oder im Dokumentensystem, und der Suchindex lässt sich daraus neu aufbauen. Modelldateien lassen sich beim Herausgeber erneut herunterladen, aber bewahren Sie eine Kopie genau der genutzten Version auf, damit eine Wiederherstellung dieselben Antworten liefert. Ihr IT-Dienstleister nimmt diese Teile in die Sicherung auf, die er schon betreibt; unser Artikel zur 3-2-1-1-0-Backup-Regel erklärt, wie viele Kopien wo liegen sollten.

Zugriff von außen und Datenschutz

Ein Dienstleister mit Administratorrechten auf dem KI-Server kann lesen, was die Beschäftigten eingeben, die Antworten, die Dokumente im Index und das Abfrageprotokoll, die oft personenbezogene Daten enthalten. Nach Artikel 28 Absatz 3 DSGVO erfolgt die Verarbeitung durch einen Auftragsverarbeiter auf der Grundlage eines Vertrags oder eines anderen Rechtsinstruments nach Unionsrecht oder dem Recht der Mitgliedstaaten, der Gegenstand, Dauer, Art und Zweck der Verarbeitung, die Art der personenbezogenen Daten sowie die Pflichten und Rechte des Verantwortlichen festlegt. Ob Ihr IT-Dienstleister oder Ihr Support-Dienstleister für Ihre Daten als Auftragsverarbeiter handelt, beurteilt Ihr Datenschutz­beauftragter oder Ihre Rechtsberatung. Das sind allgemeine Informationen, keine Rechtsberatung.

Drei praktische Regeln helfen in jedem Fall: Geben Sie jedem externen Dienstleister persönliche Konten statt geteilter, protokollieren Sie jede Sitzung auf der Maschine, und entziehen Sie den Zugang am letzten Tag eines Vertrags. Arbeitet unser Engineering-Partner Vixen.UNO an Ihrer Plattform, arbeiten seine Fachleute in Ihrer Umgebung unter Ihren Zugriffskontrollen und nehmen keine Kopien von Produktivdaten heraus, mit einem NDA vor technischen Details und einem Auftrags­verarbeitungs­vertrag auf Wunsch. Unser Leitfaden Lokale KI und DSGVO behandelt, was eigener Betrieb ändert und was Ihre Pflicht bleibt.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration nach Ihrer Arbeitslast und Ihrem Budget aus und antwortet innerhalb eines Werktages. Wir bauen KI-Workstations und -Server auf Bestellung, für eine kleine Firma meist mit zwei RTX PRO 6000 Max-Q in einer Workstation oder zwei RTX PRO 6000 Server Edition in einem Rack-Server, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer Rechnung in die gesamte EU geliefert, mit Herstellergarantie auf jede Komponente, abgewickelt über uns; Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Auf Wunsch installieren wir Betriebssystem, Treiber, CUDA und Container-Runtime und nehmen die Maschine vor Ort in Betrieb. Modelle, Dokumente, Schulung und Support nach vereinbartem SLA sind unser Service Private AI/ML, mit einer Projektleitung von Eurokommerz als Ansprechperson. Die Schritte vom ersten Gespräch bis zur täglichen Nutzung stehen in unserem Leitfaden Eigene KI einführen: Ablauf bis zur ersten Nutzung.

FAQ