KI-Server dimensionieren: die zehn Angaben für eine Sizing-Anfrage zu privater KI

Was eine Sizing-Anfrage für private KI enthalten sollte

Eine Sizing-Anfrage für private KI braucht zehn Angaben, und keine davon ist die Typenbezeichnung einer GPU. Wir fragen nach der Aufgabe in einem Satz, nach der Zahl der Personen und danach, wie viele von ihnen im selben Moment arbeiten, nach den Dokumenten, nach einem Modellwunsch, falls Sie einen haben, nach der Länge eines typischen Gesprächs, nach der Antwortzeit, die Sie erwarten, nach dem Raum, nach den Servern und der Virtualisierung, die Sie schon betreiben, nach Ihren Sicherheitsvorgaben und nach dem Termin, auf den Sie hinarbeiten. Daraus leiten wir den GPU-Speicher, die Zahl der Karten und den Server um die Karten ab und antworten innerhalb eines Werktages. Wo eine Zahl noch offen ist, genügt eine Schätzung.

Wer die Rechnung sehen will, findet sie in Wie viele Nutzer eine RTX PRO 6000 bedient und im Rechenbeispiel für ein 70B-Modell. Die Liste in Hardware-Begriffen, von Prozessorkernen bis zu PDU-Ausgängen, steht in Was Sie beim Kauf eines KI-Servers festlegen.

KI-Server dimensionieren in zehn Angaben für die Anfrage

unsere eigene Liste; die Abschnitte unten erläutern die mittlere Spalte, und die typischen Antworten stammen aus der Beispielanfrage weiter unten.

Aus diesen zehn Antworten dimensionieren wir KI-Server und Workstations kostenlos; schicken Sie sie über das Formular unten oder an request@eurokommerz.at, Schätzungen eingeschlossen, und wir antworten mit einem Konfigurationsvorschlag.

Personen und Gleichzeitigkeit, die Zahl hinter der GPU-Auslegung

Eine GPU bedient die Anfragen, für die in diesem Moment Token erzeugt werden. Hundert Mitarbeiter mit einem geöffneten Assistenten im Browser erzeugen weit weniger gleichzeitige Generierungen, und ein veröffentlichtes Verhältnis zwischen Mitarbeiterzahl und Anfragen in Bearbeitung haben wir nicht gefunden. Deshalb sollte die Anfrage zwei Zahlen enthalten: die Personen, die Zugang bekommen, und Ihre Schätzung, wie viele gleichzeitig mit dem System arbeiten.

Haben Sie keine Schätzung, gehen wir von den Beispielwerten unseres Sizing-Leitfadens nach Unternehmens­größe aus: 40 Prozent der Mitarbeiter in der Spitzenstunde aktiv, je 6 Anfragen pro Stunde, 30 Sekunden je Anfrage und ein Spitzenfaktor von 2. Das ergibt rund 4 Anfragen in Bearbeitung je 100 Mitarbeiter, also rund 20 bei 500 Mitarbeitern und rund 80 bei 2.000. Das sind Beispielwerte und keine Messung. Ein Pilot ersetzt sie durch den Spitzenwert aus seinen eigenen Gateway-Logs; welche Werte er sammeln sollte, steht in Was ein privater KI-Pilot messen sollte.

Wie Modell, Dokumente und Gesprächslänge den KI-Server bestimmen

Zwei Dinge belegen den GPU-Speicher: die Gewichte jedes Modells, die mit Modell und Präzision feststehen, und der KV-Cache, der mit jedem offenen Gespräch und mit dessen Länge wächst. Unsere Sizing-Regel gibt beiden zusammen 0,9 × den Speicher, den der Treiber meldet, abzüglich 3 GiB je Karte. Nach unserer Schätzung sind das 25,7 GiB auf einer 32-GB-Karte, 40,0 GiB auf einer 48-GB-Karte und 83,0 GiB auf einer 96-GB-Karte. Die Werte für 32 und 48 GB sind anteilig aus den 95,6 GiB abgeleitet, die der Treiber auf der 96-GB-Karte anzeigt; diese Skalierung ist eine Annahme, und es entscheidet der Treiber auf der gelieferten Karte.

unsere Schätzungen nach der Regel oben, wie in unseren Sizing-Leitfäden veröffentlicht: gleichzeitige Gespräche mit 8.192 Token in voller Länge und FP8-KV-Cache, der je Gespräch 0,625 GiB (Qwen3-14B), 1,0 GiB (Qwen3-32B) und 1,25 GiB (Llama 3.3 70B) belegt. Speicherrechnung, keine Geschwindigkeitsmessung.

Dieselbe 48-GB-Karte hält 39 Gespräche mit einem 14B-Modell und 8 mit einem 32B-Modell, und ein 70B-Modell in FP8 passt erst bei 96 GB auf eine einzelne Karte; deshalb kommt die Modellfrage früh. Haben Sie keinen Wunsch, schreiben Sie das. Unser Konfigurationsvorschlag nennt dann die Modellgröße, für die er gerechnet ist; die Auswahl des Modells selbst gehört zum technischen Assessment unseres Angebots Private AI/ML. Aktuelle Modelle und ihren Speicherbedarf nennt LLM-Hardware-Anforderungen nach Modell, ihre Bedingungen der Vergleich Offene LLM-Lizenzen für den Unternehmenseinsatz.

Ein Assistent, der aus Dokumenten antwortet, betreibt neben dem Chat-Modell ein Embedding-Modell, einen Reranker und einen Vektorindex. Die Menge bestimmt den NVMe-Speicher für Index und Dokumente. Prompts mit abgerufenen Seiten sind länger als reine Chat-Fragen, was zur fünften Angabe führt: Der KV-Cache eines Gesprächs wächst proportional zu den Token, die es hält, ein volles Gespräch mit 32.768 Token belegt also das Vierfache eines Gesprächs mit 8.192. Die Formel steht in Wie viel VRAM ein LLM braucht.

Antwortzeit in den Worten Ihrer Nutzer

Der Speicher entscheidet, wie viele Gespräche Platz finden; Speicherbandbreite und Last entscheiden, wie schnell jede Antwort erscheint. Für die erste Antwort brauchen wir keine Zahl in Token pro Sekunde: Schreiben Sie uns, ob die Nutzer die Antwort lesen, während sie entsteht, oder ob Ergebnisse später abgeholt werden dürfen. Als Bezugswert für den Live-Chat: Stilles Lesen mit 238 Wörtern pro Minute entspricht rund 5,3 Token pro Sekunde, ein Wert, den unser Leitfaden zu Nutzern je Karte aus einer Metaanalyse von 2019 im Journal of Memory and Language übernimmt.

Für die RTX PRO 5000 mit 48 GB ist keine gemessene Token-Rate veröffentlicht; die Geschwindigkeit einer vorgeschlagenen Konfiguration bestätigt daher ein Lasttest oder der Pilot.

Raum, vorhandene Server und Sicherheitsvorgaben

Vor dem Angebot prüfen wir Rack, Strom und Luftstrom; die Anfrage sollte deshalb das Rack oder das Büro nennen, in dem das System stehen wird, dazu den Stromkreis und die Kühlung. Ein 230-V-Stromkreis mit 16 A trägt 3,68 kW, und wir planen ihn mit 80 Prozent, also 2,94 kW. Nach unserer Schätzung nimmt eine Workstation mit zwei RTX PRO 5000 48 GB rund 1,1 kW an der Steckdose auf, ein 2U-Server mit vier RTX PRO 4500 Server Edition rund 1,4 kW und ein Server mit acht dieser Karten rund 2,2 kW. Die Schätzung addiert die Leistungsaufnahme der Karten und die Nennleistung der Prozessoren (einer mit 350 W in der Workstation, zwei mit 280 W in den Servern) und schlägt 15 Prozent auf; eine Messung am gelieferten System bestätigt sie. Was im Raum zu notieren ist, steht in unserer Standortprüfung für GPU-Server.

Vorhandene Server und Virtualisierung ändern Karte und Lizenz. Sollen sich virtuelle Maschinen eine Karte über NVIDIA vGPU teilen, muss die Karte auf NVIDIAs vGPU-Liste stehen. Von den hier genannten Karten sind das die RTX PRO 4500 Server Edition, ab vGPU-Release 20.0, und die RTX PRO 6000 Server Edition, ab 19.0; die RTX PRO 5000 mit 48 GB steht nicht auf der Liste. Compute-Profile für virtuelle Maschinen werden je GPU mit NVIDIA AI Enterprise lizenziert, was unser Artikel zu NVIDIA AI Enterprise auf vSphere behandelt. Ein vLLM-Stack auf Bare Metal läuft ohne NVIDIA-AI-Enterprise-Lizenz. Wir bauen auch auf einem Gehäuse oder mit Teilen, die Sie schon besitzen, nach einer Kompatibilitätsprüfung von Plattform, Strom und Kühlung.

Zur Sicherheit: Unser Angebot kennt drei Deployment-Optionen. Die Modelle laufen auf Ihren Servern, dann verlassen die Daten Ihr Netz nie; auf dedizierter Hardware in einem Tier-III-Rechenzentrum in Litauen; oder hybrid, wobei öffentliche APIs nur nach Ihrer ausdrücklichen Entscheidung zugeschaltet werden und im Query-Log sichtbar bleiben. Für die Anfrage genügen drei Aussagen: ob etwas das Netz verlassen darf, wie der Zugriff auf Dokumente heute geregelt ist und ob Anfragen und Antworten protokolliert werden müssen. Enthalten die Dokumente personen­bezogene Daten, schreiben Sie es dazu, denn dann entscheidet Ihre Seite, ob eine Datenschutz-Folgenabschätzung nötig ist. Technische Details können warten, bis ein NDA unterschrieben ist.

Der Termin, auf den Sie hinarbeiten

Nennen Sie den Termin, der für Sie zählt, und ob der erste Schritt ein Pilot oder die Produktion ist. Eine allgemeine Projektdauer nennen wir nicht; Stückzahlen und Lieferzeit bestätigen wir schriftlich mit dem Angebot. Erwarten Sie Wachstum, schreiben Sie es dazu: Den Weg nach Kartenzahl beschreibt Vom KI-Piloten zur Produktion, die Reihenfolge der Arbeiten Die Schritte eines eigenen KI-Server-Projekts.

Eine Beispielanfrage, ausgeschrieben

Die folgende Anfrage ist erfunden und enthält alles, was wir brauchen.

Betreff: Sizing-Anfrage für einen internen Assistenten auf unseren Dokumenten

1. Wir sind ein Maschinenbauunternehmen und möchten einen Assistenten, der Fragen der Mitarbeiter aus unseren Handbüchern, Serviceberichten und Verträgen beantwortet.
2. Wir haben 180 Mitarbeiter. Rund 120 sollen Zugang bekommen, und wir schätzen, dass in der Spitzenstunde 6 bis 8 im selben Moment damit arbeiten. Messungen haben wir nicht.
3. Die Dokumente sind rund 40.000 PDF- und Office-Dateien, etwa 60 GB, auf Deutsch und Englisch.
4. Einen Modellwunsch haben wir nicht. Es soll ein offenes Modell sein, dessen Lizenz den Einsatz im Unternehmen erlaubt.
5. Eine typische Frage ist kurz, und die Antwort soll sich auf zwei bis drei Seiten eines Dokuments stützen.
6. Antworten sollen nach wenigen Sekunden beginnen und in Lesegeschwindigkeit erscheinen.
7. Das System kommt in unseren Serverraum: ein 19-Zoll-Rack mit freien Höheneinheiten, 230-V-Stromkreise mit 16 A abgesichert, Luftkühlung.
8. Unsere übrigen Systeme laufen auf einem vSphere-Cluster. Der KI-Server darf daneben auf Bare Metal laufen.
9. Nichts darf an öffentliche Dienste gehen. Der Zugriff folgt unseren Abteilungen, einige Dokumente enthalten personen­bezogene Daten, und wir brauchen ein Protokoll der Anfragen.
10. Wir wollen mit einer Abteilung als Pilot beginnen. Über den unternehmensweiten Schritt entscheidet die Geschäftsführung im März 2027.

So lesen wir sie. Die Lesart ist eine Illustration und kein Angebot, und jede Zahl darin ist unsere Schätzung. Die Beispielwerte ergeben für 180 Mitarbeiter rund 7 Anfragen in Bearbeitung; die Rechnung nimmt deshalb den oberen Wert aus der Spanne des Verfassers, 8. Die Aufgabe braucht ein Chat-Modell mit Embedding-Modell, Reranker und Index. Kurze Fragen mit zwei bis drei Seiten passen in einen deklarierten Kontext von 8.192 Token.

Für den Piloten hat eine Workstation mit zwei RTX PRO 5000 Blackwell 48 GB nach unserer Regel 80,0 GiB. Ein 14B-Modell in FP8 läuft als eine Kopie je Karte mit Platz für 78 Gespräche dieser Länge im FP8-KV-Cache, und ein 32B-Modell in FP8, auf beide Karten aufgeteilt, hält 48. Diese Zahlen gelten für das Chat-Modell allein; Embedding-Modell und Reranker belegen eigenen Speicher. Die Konfiguration beschreibt unsere Seite zur Workstation mit RTX PRO 5000 48 GB, die Karte der Vergleich 48 GB oder 72 GB. Für das Rack hat ein 2U-Server mit vier RTX PRO 4500 Blackwell Server Edition 102,8 GiB. Vier Kopien des 14B-Modells halten 64 Gespräche; das 32B-Modell passt nur, wenn es auf zwei Karten aufgeteilt wird, und zwei solche Paare halten 38. Einzelheiten stehen in den technischen Daten der Server Edition und auf der Seite zum Server mit vier dieser Karten. Beide Konfigurationen bleiben unter 1,5 kW an der Steckdose und passen an einen 16-A-Stromkreis.

Ein aufgeteiltes Modell tauscht Daten zwischen den Karten über PCIe aus: NVIDIAs Datenblatt der RTX PRO 5000 führt kein NVLink auf, und die Server Edition hat keinen NVLink-Anschluss. Eine konsistente veröffentlichte Messung eines aufgeteilten Modells auf vier RTX PRO 4500 haben wir nicht gefunden, die Geschwindigkeit misst also der Pilot.

Was wir zurückschicken

Die erste Antwort ist ein Konfigurationsvorschlag: die Karten und ihre Zahl, Prozessoren, Arbeitsspeicher, Storage und die Leistung, die das System braucht, mit der Rechnung, die dorthin geführt hat. Dieses Sizing ist kostenlos. Konfiguration und Angebot erhalten Sie innerhalb eines Werktages; das Angebot nennt Preis, Lieferzeit und Garantiebedingungen schriftlich, mit Rechnung aus Österreich. Jeder Server wird vor der Lieferung montiert und getestet und kommt mit Herstellergarantie; Betriebssystem, Treiber, CUDA und eine Container-Runtime installieren wir auf Wunsch.

Geht es um mehr als einen Server, ist auch das erste Gespräch zu Private AI/ML kostenlos: Wir gehen Prozess und Daten durch, und Sie erhalten zwei bis drei mögliche Lösungsszenarien. Das technische Assessment danach ist kostenpflichtig, mit Architektur, Modell- und GPU-Auswahl und einem Pilotplan mit Metriken, und sein Preis steht vor Beginn fest. Eine TCO-Rechnung gegen Cloud-GPUs kommt vor dem Kauf.

Sie können die Hardware allein bestellen, die Einrichtung der Modelle und des Assistenten allein oder beides zusammen: das System mit allem fertig installiert und eingerichtet; schreiben Sie uns, wir schlagen Ihnen die beste Lösung für Ihre Aufgaben und Ihr Budget vor. Tritt eine förmliche Ausschreibung an die Stelle der E-Mail, stehen die Fragen zum ganzen Projekt in Private-KI-Ausschreibung: Fragen an Anbieter.

FAQ