Fertige KI-Box oder konfigurierter KI-Server: was ein Unternehmen wählen sollte

KI-Box oder konfigurierter Server: was die Wahl entscheidet

Eine fertige KI-Box ist ein Server oder eine Workstation, die als Produkt verkauft wird, mit Grafikkarte, Modell und Chat-Oberfläche bereits installiert; ein konfigurierter KI-Server wird gebaut, nachdem jemand Ihre Aufgaben, Ihre Dokumente und die Zahl der Personen in der Spitzenstunde ermittelt hat. Beide betreiben dieselben offenen Modelle auf denselben NVIDIA-Karten; der Unterschied liegt darin, wer Karte, Speicher und Software festlegt und was Sie nach dem Kauf noch ändern können. Eine Box passt zu einem Team mit einer Aufgabe und einer stabilen Zahl von Nutzern; ein konfigurierter Server passt, wenn mehrere Abteilungen, wachsende Dokumentbestände, eine bestimmte Sprache oder virtuelle Maschinen absehbar sind.

Dieser Beitrag richtet sich an Inhaber und Geschäftsführer von Unternehmen ohne große IT-Abteilung, die Angebote für „KI in der Box“ gesehen haben und sie mit einem auf Bestellung gebauten Server vergleichen wollen. Produkte nennen wir nicht. Verglichen werden die beiden Kaufwege, und die Fragen am Ende passen für jeden Anbieter, auch für uns.

Vorab einige Begriffe. Die Grafikkarte, kurz GPU, leistet die Arbeit des KI-Modells. Ihr Speicher, gezählt in GB, hält das Modell und die laufenden Gespräche; mehr Speicher heißt ein größeres Modell oder mehr Personen gleichzeitig. Das Modell ist die trainierte KI selbst, etwa gpt-oss-120b oder Llama 3.3 70B, und seine Lizenz regelt, was Sie damit tun dürfen. Die Chat-Oberfläche ist die Webseite, in die Ihre Beschäftigten schreiben.

Was eine vorinstallierte KI-Appliance festlegt und was eine Konfiguration offen lässt

Unser Vergleich der beiden Kaufwege; was eine bestimmte Box enthält, steht in den Unterlagen ihres Anbieters.

Ein fertiges Produkt hat echte Vorteile. Jemand hat Teile ausgewählt, die zusammenpassen, der Lieferumfang steht von vornherein fest, und die Box kann kurz nach der Lieferung laufen. Für ein Team mit einer klaren Aufgabe und einer stabilen Zahl von Nutzern kann das genügen.

Die Grenzen zeigen sich später: Eine zweite Abteilung möchte einen eigenen Assistenten, die Dokumente werden mehr, oder ein besseres Modell braucht mehr Speicher, als die Box hat. Ob das bei Ihnen eintritt, hängt davon ab, wie weit Sie vorausplanen.

Die Karte im Gerät: Variante und Speicher

NVIDIA verkauft die Karte RTX PRO 6000 Blackwell in drei Varianten mit denselben 96 GB Speicher. Sie unterscheiden sich in der Kühlung und im Einsatzort. NVIDIAs Seite zur RTX PRO 6000 Max-Q, gelesen am 25. Oktober 2026, nennt 300 W und einen eigenen Lüfter und sagt, sie „enables up to four GPUs in a single system“: Sie ist die Karte für Workstations unter oder neben dem Schreibtisch. Die Server Edition hat keinen eigenen Lüfter und wird von den Lüftern des Servers im Rack gekühlt. Viele Serverhersteller führen die Max-Q für ihre GPU-Server nicht, weil der Luftstrom dieser Gehäuse für passive Karten ausgelegt ist, und für den Dauerbetrieb im Rack empfehlen wir die Server Edition.

Die Variante entscheidet auch, was die Karte später kann. NVIDIAs Liste der von der vGPU-Software unterstützten GPUs, zuletzt aktualisiert am 2. Oktober 2026, nennt die RTX PRO 6000 Blackwell Server Edition ab Release 19.0 und weder die Max-Q noch die Workstation Edition. Mit vGPU teilen sich mehrere virtuelle Maschinen eine Karte; das zählt, wenn Ihre IT den KI-Server einmal neben anderen virtuellen Maschinen betreiben will. Alle drei Varianten lassen sich mit NVIDIAs MIG-Funktion in bis zu vier getrennte Teile aufteilen, sodass eine Karte ein kleines Suchmodell neben dem Hauptmodell betreibt, wie unser Leitfaden zu den MIG-Profilen der RTX PRO 6000 zeigt.

Der Speicher entscheidet über Modell und Personenzahl. Unsere Regel für Nutzer je Karte nimmt 90 Prozent der 95,6 GiB, die der Treiber auf einer 96-GB-Karte meldet, zieht 3 GiB als Arbeitsreserve und dann die Gewichte des Modells ab; der Rest hält die Gespräche. Mit gpt-oss-120b, dessen Dateien 60,8 GiB belegen, bleibt Platz für etwa 19 Gespräche mit 32.000 Token Kontext auf einer Karte, wie unser Leitfaden zu Nutzern je RTX PRO 6000 herleitet. Eine Box mit kleinerer Karte betreibt ein kleineres Modell oder weniger Personen, und kein Update ändert das. Unser Vergleich von Workstation Edition, Max-Q und Server Edition listet die Unterschiede im Einzelnen.

Modelllizenzen und die Chat-Oberfläche

Eine Box kommt meist mit Modell und Oberfläche, und beide bringen Lizenzbedingungen mit, die Ihr Unternehmen binden, gleich wer sie installiert hat. Drei Beispiele, gelesen am 25. Oktober 2026:

• Llama 3.3 70B, veröffentlicht am 6. Dezember 2024, steht unter der Llama 3.3 Community License. Sie erlaubt die kommerzielle Nutzung, verlangt ab 700 Millionen monatlich aktiven Nutzern eine eigene Lizenz von Meta und fordert, bei Weitergabe des Modells oder eines Produkts, das es enthält, „Built with Llama“ auf einer zugehörigen Website oder Oberfläche deutlich sichtbar anzuzeigen.
• gpt-oss-120b mit 117 Milliarden Parametern, von denen 5,1 Milliarden je Token aktiv sind, steht unter Apache 2.0, einer freizügigen Lizenz ohne diese Anzeigepflicht.
• Open WebUI, eine selbst gehostete Chat-Oberfläche, hat eine eigene Open WebUI License. Ihre Klausel 4 untersagt, das Branding „Open WebUI“ zu verändern, zu entfernen, zu verdecken oder zu ersetzen, es sei denn, die Anwendung hat höchstens 50 Endnutzer in einem gleitenden Zeitraum von 30 Tagen, der Rechteinhaber hat schriftlich zugestimmt, oder Sie haben eine Enterprise-Lizenz.

Eine Box, deren Oberfläche einen anderen Namen trägt und die mehr als 50 Personen nutzen, sollte also mit einem Dokument kommen, das dieses Recht belegt. Lassen Sie sich die Lizenz jedes Modells und jeder Softwarekomponente geben und fragen Sie, wer Lizenznehmer ist: Ihr Unternehmen oder der Anbieter. Auch die Sprachen gehören hierher. Die Modellkarte von Llama 3.3 nennt acht: Englisch, Deutsch, Französisch, Italienisch, Portugiesisch, Hindi, Spanisch und Thai. Eine Box mit diesem Modell passt schlecht zu Beschäftigten, die Polnisch oder Tschechisch schreiben; unser Vergleich offener LLMs für europäische Sprachen zeigt die Alternativen.

Updates, Support und der Weg mit Ihren Daten hinaus

Ein KI-Server braucht Pflege wie jeder andere Server. NVIDIA-Treiber, Betriebssystem, Serving-Software und Modell erhalten Updates und Sicherheitskorrekturen. NVIDIA unterstützt einen Treiberzweig für einen festen Zeitraum, wie unser Leitfaden zu NVIDIA-Treiberzweigen und CUDA-Versionen auflistet; eine Box auf einem alten Zweig erhält deshalb irgendwann keine Korrekturen mehr. Fragen Sie, wer Updates einspielt, wie sie auf die Box gelangen, ob dafür eine Internetverbindung oder ein Abonnement nötig ist und was geschieht, wenn der Anbieter das Produkt nicht mehr unterstützt.

Die zweite Frage betrifft den Ausstieg. Ein konfigurierter Server aus offenen Komponenten bietet anderer Software eine Standardschnittstelle: vLLM, eine der Serving-Engines, die unser Service Private AI/ML einsetzt, „provides an HTTP server that is compatible with many interfaces“, darunter die von OpenAI definierten Schnittstellen Completions und Chat Completions, so seine Dokumentation vom 14. Oktober 2026. Weil die Schnittstelle standardisiert ist, können Sie Oberfläche oder Modell wechseln, ohne die Hardware zu tauschen. Bei einer Box fragen Sie schriftlich, wie Sie Gespräche, hochgeladene Dokumente und den Suchindex exportieren, in welchem Format und ob Sie ein Modell Ihrer Wahl darauf betreiben dürfen. Unser Beitrag zu Telemetrie in selbst gehosteten KI-Werkzeugen zeigt, was solche Software ab Werk nach außen senden kann.

Die dritte Frage ist die Garantie. Fragen Sie, wessen Garantie welches Teil abdeckt, wer eine ausgefallene Karte ersetzt und ob das Öffnen der Box, um Speicher oder eine Karte nachzurüsten, die Garantie berührt. Wir bauen Server auf Bestellung und bemessen jede Konfiguration nach den Aufgaben und Nutzern, die Sie beschreiben; schicken Sie uns Ihre Aufgaben und die Zahl der Beschäftigten, und unser Team antwortet mit einer Konfiguration, die Sie neben jedes Box-Angebot legen können.

Servergrößen, Nutzer und was das Gebäude braucht

Diese Tabelle dient dazu, jedes Angebot an einer bekannten Referenz zu messen. Die Nutzerzahlen folgen den Beispielwerten unseres Leitfadens nach Firmengröße: 40 Prozent der Beschäftigten in der Spitzenstunde aktiv, sechs Anfragen je Person und Stunde, 30 Sekunden je Anfrage und eine Spitze vom Doppelten des Stundenmittels; das ergibt etwa vier laufende Anfragen je 100 Beschäftigte. Ein Pilot ersetzt diese Beispielwerte durch Ihre eigenen.

Unsere Schätzungen. Gespräche mit 32K Kontext und 16-Bit-Cache nach unserer Regel für Nutzer je Karte; Beschäftigte nach den Beispielwerten oben; Leistungsaufnahme der Server aus Karten, Prozessoren und 15 Prozent für den Rest, wie in unseren Leitfäden zu zwei, vier und acht Karten; Workstation nach unserem Leitfaden zum GPU-Server im Büro.

Zwei Karten sind der Einstieg, den wir anbieten, und erst die zweite Karte erlaubt einem kleinen Unternehmen, Assistent und Dokumentensuche nebeneinander zu betreiben. Vier Karten bei 600 W überschreiten die 2,94 kW, die wir je Anschluss mit 230 V und 16 A planen; sie brauchen 32 A oder Drehstrom oder eine Begrenzung auf 450 W je Karte. Die Leistungswerte sind Schätzungen, die eine Messung am gelieferten System bestätigt. Ein Rack-Server ist laut. Unser Leitfaden zum GPU-Server im Büro erklärt, wann eine Workstation für einen Raum mit Arbeitsplätzen die bessere Wahl ist, und unser Vergleich von Rack-Server, Tower und Workstation behandelt die Bauformen.

Fragen an jeden Anbieter einer KI-Box oder eines Servers

Diese Fragen gelten für eine Box, für einen konfigurierten Server und für unsere eigenen Angebote. Lassen Sie sich die Antworten schriftlich geben.

1. Welche Karte ist eingebaut, in welcher Variante, und wie viel Speicher hat jede Karte?
2. Wie viele Karten nimmt das Gehäuse auf, und tragen die Netzteile sie?
3. Welches Modell ist installiert, in welcher Präzision und mit welcher Kontextlänge?
4. Wie viele Personen können es gleichzeitig nutzen, und wie wurde diese Zahl gemessen: mit welchem Werkzeug, welcher Promptlänge und welcher Antwortzeit?
5. Welche Lizenz gilt für jedes Modell und für die Chat-Oberfläche, und wer ist Lizenznehmer?
6. Können wir selbst ein anderes Modell installieren, und über welche Schnittstelle verbinden sich andere Programme?
7. Wer spielt Treiber-, System- und Modell-Updates ein, wie und wie lange?
8. Braucht das Produkt eine Internetverbindung für Lizenzen, Updates oder Telemetrie?
9. Wie exportieren wir Gespräche, Dokumente und den Suchindex, und in welchem Format?
10. Welche Leistung nimmt es unter Volllast auf, und welchen Stromanschluss und Raum braucht es?
11. Wessen Garantie deckt jede Komponente, und wer ersetzt ein ausgefallenes Teil?
12. Was geschieht mit Support und Updates, wenn das Produkt eingestellt wird?

Ein Anbieter, der Frage 4 mit einer Zahl und einer Methode beantwortet, ist leichter zu vergleichen als einer, der nur eine Zahl nennt. Unser Leitfaden, was ein Private-AI-Pilot messen sollte, listet die Werte, die zwei Angebote vergleichbar machen.

Wann eine Box passt und wann ein konfigurierter Server

Eine Box passt, wenn ein Team eine Aufgabe hat, die Zahl der Nutzer klein und stabil ist, das vorinstallierte Modell Ihre Sprachen und Dokumente bewältigt und seine Lizenzen für Ihre Nutzung klar sind. Dann wiegt der schnelle Start die feste Konfiguration auf.

Ein konfigurierter Server passt, wenn mehrere Abteilungen das System nutzen werden, wenn Dokumente und Nutzerzahl wachsen, wenn ein bestimmtes Modell oder eine Sprache zählt, wenn Ihre IT virtuelle Maschinen will oder wenn das System im Serverraum oder Rechenzentrum im Dauerbetrieb laufen soll. Er passt auch, wenn Sie Oberfläche oder Modell später wechseln wollen, ohne neue Hardware zu kaufen. Für den ersten Schritt zeigt unser Leitfaden für Firmen mit 10 bis 100 Mitarbeitern, wo Sie anfangen, und KI-Server ohne IT-Abteilung erklärt, wer sich darum kümmert. Wo Sie bestellen und was Sie schicken, steht in KI-Server in Europa kaufen und KI-Server kaufen: was Sie festlegen, und unsere Lastenheft-Vorlage in Alltagssprache hilft Ihnen, die Fakten zu sammeln, bevor Sie mit einem Anbieter sprechen.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team dimensioniert die Konfiguration nach Ihrer Last und Ihrem Budget und antwortet innerhalb eines Werktages. Wir bauen KI-Server auf Bestellung mit zwei, vier oder acht Karten der RTX PRO 6000 Server Edition, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer Rechnung und mit Herstellergarantie auf jede Komponente, abgewickelt über uns; Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Betriebssystem, NVIDIA-Treiber, CUDA und eine Container-Laufzeit installieren wir auf Wunsch. Modelle, Dokumentensuche und Chat-Oberfläche darauf sind unser Service Private AI/ML mit unserem Engineering-Partner Vixen.UNO; wir vergleichen unsere Konfiguration mit einem Box-Angebot, das Ihnen vorliegt, anhand der zwölf Fragen oben.

FAQ