Privates LLM oder Cloud-API: Wie Sie ausrechnen, was für Sie günstiger ist

Zwei Optionen, die sich weniger unterscheiden, als es scheint

Die Wahl wird meist als privat gegen Cloud dargestellt. Kostenseitig ist sie einfacher: Sie wählen zwischen variablen Kosten, die exakt mit der Nutzung skalieren, und fixen Kosten, denen die Nutzung gleichgültig ist.

Damit ist die Antwort für die beiden Extreme sofort klar. Gelegentliche, stoßweise, unvorhersehbare Nutzung ist die Definition eines variablen Kostenproblems – eine API. Gleichmäßiger, hoher, planbarer Durchsatz ist die Definition eines Fixkostenproblems – eigene Hardware. Alles Interessante liegt dazwischen, und dort muss ordentlich gerechnet werden.

Die vier Kostenpositionen, die niemand rechnet

Vergleiche stellen meist den Preis eines Servers dem Preis einer Million Token gegenüber und hören dort auf. Die folgenden vier Posten sind der Grund, warum echte Installationen mehr kosten als die Tabelle sagte.

1. Ungenutzte Kapazität. Mit Abstand der größte. Ein GPU-Server ist bezahlt, ob ihn jemand fragt oder nicht, und interne Lasten sind fast nie gleichmäßig verteilt: Sie entstehen während der Arbeitszeit, in einer Zeitzone, mit einem Mittagsloch. Ein Gerät, das werktags acht Stunden genutzt wird, steht rund 24 % der Woche zur Verfügung. Die effektiven Kosten je Token sind die Hardwarekosten geteilt durch die Token, die Sie wirklich hindurchschicken – nicht durch die, die das Gerät theoretisch bedienen könnte.

2. Strom und Kühlung. Ein GPU-Server unter Last zieht Kilowatt, und selbst im Leerlauf noch Hunderte Watt; das ist eine echte Position auf einer echten Stromrechnung, und in weiten Teilen Europas keine kleine – während die Kühlung unabhängig von der Auslastung für die Spitze dimensioniert wird. Braucht das Rack für die Last eine Einhausung oder mehr Luft, kommt ein Gebäudeprojekt obendrauf – die Rechnung zu Strom und Kühlung steht separat.

3. Engineering-Zeit. Jemand hält den Serving-Stack am Laufen, spielt Treiber- und Framework-Updates ein, kümmert sich um die Nacht, in der der Inferenzdienst nicht mehr antwortet, und misst neu, wenn ein besseres Modell erscheint. Diese Position ist im Business Case immer null und in der Realität nie.

4. Modellwechsel. Eine API liefert das jeweils aktuelle Modell als Teil des Preises. Eigene Hardware heißt, Sie entscheiden, wann Sie wechseln – und ein Wechsel bedeutet, alles Nachgelagerte erneut zu prüfen. Das ist ein Vorteil, wenn Sie Stabilität brauchen: Ein Modell, das sich unter Ihren Tests nicht verändert, ist in einem regulierten Prozess viel wert. Und ein Kostenpunkt, wenn Sie aktuell bleiben wollen.

Die Rechnung, mit Ihren Zahlen

Vier Eingangsgrößen. Alle vier sind in zwei Wochen messbar, und die Übung lohnt sich vor jedem Hardwaregespräch.

Token je Interaktion. Nehmen Sie fünfzig echte Anfragen aus dem Anwendungsfall, den Sie wirklich vorhaben. Messen Sie Eingabe und Ausgabe getrennt – sie werden bei jeder API unterschiedlich verrechnet und belasten die GPU unterschiedlich. Eine Frage mit sechs Dokumentenausschnitten im Prompt hat eine ganz andere Form als eine Chatnachricht.

Interaktionen pro Tag und ihre Verteilung. Nicht die Summe – die Form. Zweihundert Anfragen über den Tag verteilt und zweihundert in den zehn Minuten nach dem Morgenbericht sind dieselbe Summe und völlig unterschiedliche Hardware.

Gleichzeitigkeit in der Spitze. Wie viele davon überlappen. Das bestimmt den benötigten GPU-Speicher, denn jede gleichzeitige Unterhaltung hält ihren eigenen KV-Cache – die Formeln stehen in wie viel VRAM ein LLM braucht.

Latenztoleranz. Ob jemand zusieht. Ein interaktiver Assistent und ein nächtlicher Stapellauf über ein Dokumentenarchiv haben bei der Dimensionierung nichts gemeinsam – und der Stapellauf ist der Fall, in dem eigene Hardware am besten aussieht, weil er nachts läuft und genau die Leerlaufstunden füllt, die sonst die Kosten je Token ruinieren. Vergleichen Sie ihn allerdings mit dem Batch- oder Asynchron-Tarif des Anbieters, der typischerweise etwa die Hälfte des interaktiven Preises beträgt – nicht mit dem interaktiven Tarif.

Mit diesen vier Größen lassen sich beide Seiten ehrlich rechnen: die API-Seite als Token mal veröffentlichter Satz, die eigene Seite als Gesamtkosten des Geräts über seine Lebensdauer plus Strom plus realistischer Engineering-Anteil, geteilt durch die Token, die Sie tatsächlich hindurchschicken. Wir nennen hier bewusst keine Preise – API-Sätze und Hardwarepreise bewegen sich beide, und eine Zahl im Artikel altert schlecht. Setzen Sie Ihr aktuelles Angebot und Ihre aktuelle API-Rechnung in dieselbe Tabelle.

Wenn die Datenlage zuerst entscheidet

Bei vielen europäischen Organisationen findet der Kostenvergleich gar nicht statt, weil eine Randbedingung die Sache früher klärt:

Personenbezogene Daten, die die EU oder den EWR verlassen, brauchen einen Übermittlungs­mechanismus nach Kapitel V der DSGVO, und ob eine bestimmte API das erfüllt, hängt davon ab, wo sie läuft und unter welchem Vertrag: Die großen Anbieter bieten inzwischen Verarbeitung in EU-Regionen und Zero-Data-Retention-Bedingungen an, und das EU-US Data Privacy Framework deckt zertifizierte Anbieter ab – lesen Sie also die tatsächlichen Bedingungen, statt etwas anzunehmen. Manche Branchen haben darüber hinaus eigene aufsichtsrechtliche Erwartungen. Und manche Verträge mit Ihren eigenen Kunden verbieten es schlicht – eine Klausel, die oft längst unterschrieben in einem Vertrag steht, den niemand mehr liest.

Es gibt zudem Daten, bei denen die Frage nicht rechtlich, sondern kaufmännisch ist: Preismodelle, unveröffentlichte Entwürfe, Vertriebspipelines, Quellcode. Viele Unternehmen wollen schlicht nicht, dass das ihr Netz verlässt – eine legitime Haltung, die keine weitere Begründung braucht.

Trifft eines davon zu, lautet die nützliche Frage nicht mehr „was ist günstiger“, sondern „was ist das Kleinste, das die Aufgabe erledigt“. Diese Frage ist viel leichter zu beantworten, und die Antwort fällt oft kleiner aus als erwartet – eine einzelne professionelle Karte trägt sehr viel interne Arbeit.

Worauf die meisten Umgebungen hinauslaufen

In der Praxis ist das Ergebnis meist keine der reinen Varianten, sondern eine Aufteilung nach Datenklasse:

Die Reihenfolge, die funktioniert: auf einer API prototypisieren, um herauszufinden, ob der Anwendungsfall trägt, dabei die vier Größen von oben messen – und Hardware nur für die Lasten kaufen, die sich als gleichmäßig oder als datenrechtlich gebunden erwiesen haben. Erst kaufen und dann den Anwendungsfall suchen ist der Weg zu GPUs mit 6 % Auslastung.

Was wir tun

Eurokommerz liefert die Hardware – NVIDIA-DGX-Systeme, RTX PRO Blackwell und H200 NVL, massgeschneiderte KI-Server – und unser Engineering-Partner Vixen.UNO plant und betreibt die Plattform darauf, unter einem europäischen Vertrag mit uns. Wenn das Modell in Ihrem eigenen Netz stehen soll, beschreibt KI/ML-Integration den Ablauf; reicht EU-Hosting, deckt EU-Cloud Tier-3-Kapazität in der EU ab.

Wir sagen Ihnen auch, wenn die ehrliche Antwort eine API ist. Ein Angebot über einen Server, den Sie zu 6 % nutzen, ist kein Geschäft, das wir machen wollen.

FAQ