Privates LLM oder Cloud-API: Wie Sie ausrechnen, was für Sie günstiger ist

Fixkosten gegenüber variablen Kosten

Ein selbst gehostetes oder privates LLM auf einem eigenen GPU-Server ist überwiegend ein Fixkostenposten, der anfällt, gleich ob die Hardware arbeitet oder stillsteht, während eine Cloud-API variable Kosten verursacht, die mit den gesendeten Token skalieren.

Gelegentliche und unregelmäßige Nutzung ist ein Fall für variable Kosten und spricht für eine API; gleichmäßiger, hoher und planbarer Durchsatz ist ein Fall für Fixkosten und spricht für eigene Hardware. Die Fälle, die eine Entscheidung brauchen, liegen dazwischen, und dort muss ordentlich gerechnet werden.

Kosten, die in Preisvergleichen fehlen

Vergleiche stellen meist den Preis eines Servers dem Preis einer Million Token gegenüber und gehen nicht weiter. Die folgenden vier Posten sind der Grund, warum reale Installationen mehr kosten, als ein solcher Vergleich zeigt.

1. Ungenutzte Kapazität. Bei einem Server, der nur während der Bürozeiten genutzt wird, ist der größte Teil der Woche Leerlauf. Ein GPU-Server muss bezahlt werden, ob er gerade Anfragen beantwortet oder nicht, und interne Lasten sind fast nie gleichmäßig verteilt: Sie folgen der Arbeitszeit in einer Zeitzone, mit einem Einbruch zur Mittagszeit. Ein Server, der werktags acht Stunden am Tag genutzt wird, ist rund 24 Prozent der Woche beschäftigt, 40 von 168 Stunden. Die effektiven Kosten je Token sind die Hardwarekosten geteilt durch die Token, die Sie hindurchschicken, und nicht durch die Token, die er unter Volllast bedienen könnte.

2. Strom und Kühlung. Ein GPU-Server unter Last zieht Kilowatt, und selbst im Leerlauf noch Hunderte Watt. In weiten Teilen Europas sind diese Stromkosten nicht gering, und die Kühlung wird unabhängig von der Auslastung für die Spitze dimensioniert. Braucht das Rack für die Last eine Einhausung oder mehr Luftstrom, kommt ein Gebäudeprojekt hinzu; die Rechnung zu Strom und Kühlung steht in einem eigenen Artikel.

3. Engineering-Zeit. Jemand muss den Serving-Stack für das Modell am Laufen halten, Treiber- und Framework-Updates einspielen, sich um einen Inferenzserver kümmern, der nachts nicht mehr antwortet, und Benchmarks wiederholen, wenn ein besseres Modell erscheint. Business Cases setzen diese Kosten oft mit null an, sie fallen aber laufend an, solange die Plattform betrieben wird.

4. Modellwechsel. Bei einer API ist das jeweils aktuelle Modell im Preis enthalten, und der Anbieter stellt ältere Versionen nach seinem eigenen Zeitplan ein. Mit eigener Hardware entscheiden Sie, wann Sie das Modell wechseln, und jeder Wechsel bedeutet, alles Nachgelagerte erneut zu prüfen. Diese Kontrolle ist in einem regulierten Prozess wertvoll, in dem sich ein festes Modell unter Ihren Evaluierungen nicht verändert; wenn Sie bei aktuellen Modellen bleiben wollen, werden die erneuten Prüfungen zu laufenden Kosten.

Den Break-even mit Ihren eigenen Zahlen berechnen

Die Rechnung braucht vier Eingangsgrößen. Alle vier lassen sich messen, und es lohnt sich, sie vor jedem Hardwaregespräch zu messen.

Token je Interaktion. Nehmen Sie fünfzig echte Anfragen aus dem Anwendungsfall, den Sie umsetzen wollen. Messen Sie Eingabe und Ausgabe getrennt: Sie werden bei jeder API unterschiedlich verrechnet und belasten die GPU unterschiedlich. Eine RAG-Anfrage mit sechs Dokumentenausschnitten im Prompt hat eine ganz andere Form als eine Chatnachricht.

Interaktionen pro Tag und ihre Verteilung. Für die Dimensionierung zählt die Verteilung der Anfragen über den Tag mehr als ihre Summe. Zweihundert Anfragen über den Tag verteilt und zweihundert in den zehn Minuten nach dem Morgenbericht ergeben dieselbe Summe, brauchen aber sehr unterschiedliche Hardware.

Gleichzeitigkeit in der Spitze. Das ist die Zahl der Anfragen, die sich überlappen, und sie bestimmt den benötigten GPU-Speicher, denn jede gleichzeitige Unterhaltung belegt einen eigenen KV-Cache; die Formeln stehen im Artikel Wie viel VRAM ein LLM braucht.

Latenztoleranz. Die Frage ist, ob ein Nutzer auf die Antwort wartet. Ein interaktiver Assistent und ein nächtlicher Stapellauf über ein Dokumentenarchiv werden sehr unterschiedlich dimensioniert, und beim Stapellauf hat eigene Hardware den deutlichsten Vorteil: Er kann nachts laufen und die Leerlaufstunden füllen, die sonst Ihre Kosten je Token erhöhen. Vergleichen Sie ihn allerdings mit dem Batch- oder Asynchron-Tarif des Anbieters und nicht mit dem interaktiven Tarif: Stand Oktober 2026 veröffentlichen OpenAI, Anthropic, Google und Mistral auf ihren Preisseiten jeweils einen niedrigeren Tarif für die Batch-Verarbeitung.

Mit diesen vier Größen lassen sich beide Seiten berechnen. Die API-Seite ergibt sich aus der Zahl der Token mal dem veröffentlichten Tarif. Die Seite der eigenen Hardware ergibt sich aus den Gesamtkosten des Servers über seine Lebensdauer plus Strom plus einem realistischen Anteil für Engineering-Zeit, geteilt durch die Token, die Sie hindurchschicken werden. Wir nennen hier keine Preise, weil sich API-Tarife und Hardwarepreise beide ändern. Setzen Sie Ihr aktuelles Hardwareangebot und Ihre aktuellen API-Ausgaben in dieselbe Tabelle. Für die Seite der eigenen Hardware brauchen Sie außerdem die Token pro Sekunde, die der Server mit Ihrem Modell liefert: Die veröffentlichten Ergebnisse in unserem Artikel zu den Benchmarks der RTX PRO 6000 zeigen die Größenordnung, und ein Lasttest mit Ihrem eigenen Modell und Ihren Prompt-Längen liefert den Wert, durch den Sie teilen.

Wenn Sie die Rechnung für eigene Hardware lieber uns überlassen, übernimmt das unsere Leistung Private AI/ML mit einer TCO-Rechnung gegen Cloud-GPUs, bevor etwas gekauft wird. Nennen Sie uns Ihre aktuellen API-Ausgaben und das Modell, das Sie nutzen.

Wenn die Datenresidenz vor den Kosten entscheidet

Bei vielen europäischen Organisationen findet der Kostenvergleich gar nicht statt, weil eine Randbedingung die Sache früher klärt:

Personen­bezogene Daten, die die EU oder den EWR verlassen, brauchen einen Übermittlungs­mechanismus nach Kapitel V der DSGVO. Ob eine bestimmte API das erfüllt, hängt davon ab, wo sie läuft und unter welchem Vertrag. Manche Anbieter bieten Verarbeitung in EU-Regionen oder Zero-Data-Retention-Bedingungen an, teils nur auf Anfrage oder für freigegebene Kunden. Stand Oktober 2026 deckt das EU-US Data Privacy Framework zertifizierte Anbieter weiterhin ab, während ein Rechtsmittel dagegen beim Gerichtshof der EU anhängig ist; lesen Sie also die tatsächlichen Bedingungen des Anbieters, statt etwas anzunehmen. Manche Branchen haben darüber hinaus eigene aufsichtsrechtliche Erwartungen. Verträge mit Ihren eigenen Kunden können solche Übermittlungen verbieten; prüfen Sie sie daher, bevor Sie sich für eine API entscheiden.

Auch ohne gesetzliche Vorgabe kann eine interne Richtlinie eine API ausschließen: Preismodelle, unveröffentlichte Entwürfe, Vertriebspipelines und Quellcode dürfen das Netz des Unternehmens oft nicht verlassen.

Trifft eines davon zu, dimensionieren Sie die kleinste Konfiguration, die die Last trägt. Nach unserer Regel für Nutzer je Karte, wie sie unser Leitfaden zur Dimensionierung nach Unternehmens­größe anwendet, hält eine RTX PRO 6000 mit 96 GB rund 19 Gespräche mit gpt-oss-120b bei 32K Kontext und 16-Bit-Cache; die Zahl der Karten folgt also daraus, wie viele Gespräche im selben Moment laufen.

Wenn die Datenresidenz die Frage entscheidet, setzt unsere Leistung Private AI/ML die Modelle so auf, dass nichts an öffentliche APIs geht, solange Sie das nicht für eine konkrete Aufgabe freigeben. Beschreiben Sie den Workload und seine Nutzer im Formular unten, und wir legen die Konfiguration dafür aus.

Welche Lasten privat laufen und welche über eine API

Eine übliche Aufteilung folgt den Datenklassen:

Wir empfehlen, den Prototyp auf einer API zu bauen, um herauszufinden, ob der Anwendungsfall trägt, dabei die vier Größen von oben zu messen und Hardware nur für die Lasten zu kaufen, bei denen sich ein gleichmäßiges Volumen oder eine Anforderung an die Datenresidenz zeigt. Wird Hardware gekauft, bevor der Anwendungsfall belegt ist, arbeitet sie am Ende womöglich nur ein bis zwei Stunden am Tag, unter 10 Prozent der Zeit.

Was wir tun

Wir liefern die Hardware für den eigenen Betrieb: NVIDIA DGX Spark, die GPUs RTX PRO Blackwell und H200 NVL sowie KI-Server, die wir auf Bestellung bauen, etwa den Inferenzknoten mit vier RTX PRO 6000 Server Edition. Unser Engineering-Partner Vixen.UNO baut und betreut die Plattform darauf, unter einem europäischen Vertrag mit Eurokommerz. Wenn das Modell on-premise unter Ihrer Kontrolle laufen muss, beschreibt Private AI/ML den Ablauf; reicht EU-Hosting, können die Modelle im Rahmen derselben Leistung auf dedizierter Hardware in einem Tier-III-Rechenzentrum in Litauen laufen. Zeigen Ihre Zahlen auf eine API, sagen wir Ihnen das, statt einen Server anzubieten, der den größten Teil des Tages stillstünde.

FAQ