KI-Server für E-Commerce: Produkttexte in vielen Sprachen, Suche, Shop-Chatbot, Bilder

Was ein KI-Server für einen Onlineshop leistet

Ein KI-Server für E-Commerce mit Karten vom Typ NVIDIA RTX PRO 6000 Blackwell Server Edition betreibt die Sprach-, Such- und Bildmodelle eines Onlineshops auf Hardware, die das Unternehmen selbst kontrolliert. Er schreibt und übersetzt Produkttexte, wandelt den Katalog in Vektoren für Suche und Empfehlungen um, beantwortet Kundenfragen in einem Shop-Chatbot und bearbeitet Produktbilder. Für einen mittelgroßen Shop tragen zwei Karten den Chatbot und die Suchmodelle, vier Karten schaffen zusätzlich über Nacht Produkttexte für Zehntausende Artikel in mehreren Sprachen.

Wir schreiben für Unternehmen mit eigenem Katalog von einigen Tausend bis einigen Hunderttausend Artikeln, die in mehreren europäischen Ländern verkauft und in jeder dieser Sprachen beschrieben werden. Jeder Wert unten ist entweder eine veröffentlichte Messung mit Quelle oder unsere Schätzung und als solche gekennzeichnet.

Vier Aufgaben mit vier verschiedenen Lasten

Die vier Aufgaben teilen sich einen Server, belasten ihn aber unterschiedlich, und dieser Unterschied bestimmt die Konfiguration stärker als die Zahl der Artikel.

Unsere Zusammenfassung; Modelle wie in den Abschnitten unten beschrieben.

Produkttexte können bis zur Nacht warten; hier zählt der Durchsatz, nicht die Latenz. Die Suche muss innerhalb eines Seitenaufrufs antworten, also braucht jede Anfrage ein schnelles Embedding und, wenn Sie ein Reranking nutzen, einen schnellen Reranker. Der Chatbot hält für jedes Gespräch, das auf eine Antwort wartet, ein Arbeitsgedächtnis auf der GPU. Die Bildbearbeitung braucht für jedes Bild mehrere Sekunden GPU-Zeit. Ein Shop kann mit einer Aufgabe beginnen und die anderen auf demselben Server ergänzen, wenn die Karten dafür eingeplant sind. Unsere Leitfäden für Kreativagenturen und Medienunternehmen wenden denselben Ansatz auf deren Arbeit an.

Produkttexte in vielen europäischen Sprachen

Die meisten Shops schreiben Produkttexte aus strukturierten Daten: Attribute, Maße, Materialien, die Beschreibung des Lieferanten. Ein Sprachmodell macht daraus einen lesbaren Text im Ton des Shops, in jeder Sprache, in der der Shop verkauft. Die Sprachliste auf der Modellkarte ist der erste Filter. Die Karte von Mistral Small 3.1 nennt 25 Sprachen, darunter Deutsch, Polnisch und Rumänisch, und die Ankündigung von Qwen3 listet 119. Die Karte von Llama 3.3 nennt acht Sprachen, darunter Deutsch, aber weder Polnisch noch Rumänisch, und gpt-oss hat auf seiner Karte keine Sprachliste. EuroLLM deckt alle 24 Amtssprachen der EU ab, unter Apache 2.0. Unser Vergleich offener LLMs für europäische Sprachen enthält die Details und die Lizenz jedes Modells.

Es gibt zwei Wege zu vielen Sprachen. Das Modell kann jede Sprache direkt aus den Attributen schreiben, oder es schreibt einen Haupttext, den ein Übersetzungsmodell in die anderen Sprachen überträgt. Der zweite Weg hält die Fakten in allen Sprachen gleich und lässt eine Redaktion einen Text freigeben statt acht. Unser Leitfaden zur maschinellen Übersetzung on-premise bemisst Übersetzungsmodelle nach Wörtern pro Tag: Nach seiner Schätzung schafft eine Karte mit 48 GB und einem Übersetzungs-LLM mit 9 bis 12 Milliarden Parametern etwa eine Million Wörter am Tag. Er weist auch darauf hin, dass die Karten von NLLB-200 das Modell als Forschungsmodell bezeichnen, das nicht für den Produktionseinsatz freigegeben ist.

Der Durchsatzwert, der dieser Aufgabe am nächsten kommt, stammt aus dem Test von StorageReview mit vier RTX PRO 6000 Server Edition in einem HPE ProLiant Compute DL380a Gen12 mit vLLM. Bei Batch 32 lieferte gpt-oss-120b in NVFP4 mit TP=4 jedem der 32 Nutzer 47,54 Token pro Sekunde, nach unserer Rechnung zusammen etwa 1.520 Ausgabe-Token pro Sekunde. StorageReview nennt außerdem 4.016 Token pro Sekunde insgesamt bei Batch 64, ohne anzugeben, ob diese Summe die Prompt-Token enthält; wir planen daher mit dem niedrigeren Wert. Ein dichtes Modell ist hier deutlich langsamer: Llama 2 70B erreichte im selben Test bei Batch 32 je Nutzer 8,00 Token pro Sekunde.

Wir planen wie unser Übersetzungsleitfaden mit 2 Ausgabe-Token je Wort; ein Text mit 120 Wörtern hat dann etwa 240 Token. Bei 1.520 Token pro Sekunde sind das etwa 6,3 Texte pro Sekunde oder 22.800 pro Stunde. Ein Rechenbeispiel: 20.000 neue oder geänderte Artikel in sechs Sprachen ergeben 120.000 Texte und 28,8 Millionen Ausgabe-Token, die nach unserer Schätzung auf vier Karten etwa 5,3 Stunden brauchen, also in eine Nacht passen. Der Prompt mit den Attributen kommt hinzu, und die Prompt-Längen des Tests sind nicht Ihre; testen Sie daher mit einigen Hundert eigenen Artikeln, bevor Sie den Server festlegen. Unser Leitfaden zur Batch-Inferenz mit LLMs on-premise erklärt, wie Sie einen solchen Lauf in eine Warteschlange stellen. Wir bauen Server für solche nächtlichen Aufgaben; schicken Sie uns Artikelzahl, Sprachen und die gewünschte Textlänge, und unser Team antwortet mit einer Konfiguration.

Suche und Empfehlungen mit Embeddings

Die klassische Shopsuche vergleicht Wörter. Die Embedding-Suche wandelt jeden Produkttext und jede Anfrage in einen Vektor um und findet die nächstgelegenen Vektoren; eine Suche nach „wasserdichte Jacke zum Radfahren“ findet so auch ein Produkt, das als „Regenschutz für Pendler auf dem Rad“ beschrieben ist. Dieselben Vektoren tragen die Empfehlungen: Die nächsten Nachbarn eines Produkts sind seine „ähnlichen Artikel“. Sie lassen sich über Nacht berechnen und in die Shop-Datenbank schreiben, sodass keine GPU im Pfad eines Seitenaufrufs liegt.

Die Modelle sind klein. Qwen3-Embedding gibt es in 0.6B, 4B und 8B unter Apache 2.0, mit mehr als 100 Sprachen und Eingaben bis 32K Token; bge-m3 von BAAI unter MIT hat 568 Millionen Parameter und 8.192 Token Eingabe. Qwen3-Embedding-0.6B belegt in BF16 etwa 1,2 GB. Qwen3-VL-Embedding, im Januar 2026 in 2B und 8B veröffentlicht, bettet auch Bilder ein und eignet sich damit für Empfehlungen nach optischer Ähnlichkeit der Produktfotos. Unser Leitfaden zu Embedding- und Reranker-Servern für RAG listet sie mit ihren Lizenzen.

Leistungsseiten von NVIDIA für die NeMo-Retriever-Embedding-NIM (Version 1.14.0, aktualisiert am 30. September 2026) und die Reranking-NIM (aktualisiert am 17. August 2026), FP8, wie in unserem Embedding-Leitfaden zitiert; Reranking mit drei parallelen Anfragen. Shop-Beispiele nach unserer Rechnung.

Wird jedes Produkt in sechs Sprachen eingebettet, werden aus 200.000 Artikeln 1,2 Millionen Texte, die nach derselben Rechnung auf einer L40S etwa 2,3 Stunden brauchen; das schafft ein nächtlicher Lauf. Eine Million Vektoren mit 1.024 Dimensionen in float32 belegen vor jedem Index 4,10 GB, wie unser Vergleich von Vektordatenbanken zeigt; selbst ein großer mehrsprachiger Katalog passt in den Speicher eines gewöhnlichen Datenbankservers.

Der Reranker ist der Teil, der mit dem Verkehr wächst. Er bewertet jeden gefundenen Artikel gegen die Anfrage, seine Last ist also Anfragen pro Sekunde mal Kandidaten je Anfrage. Ein Suchfeld, das in der Spitze Dutzende Anfragen pro Sekunde erhält, braucht mehrere Karten, um jede Anfrage neu zu sortieren; wer nur die Suche des Chatbots oder nur die erste Ergebnisseite neu sortiert, bleibt bei einer Karte oder einer MIG-Instanz. Messen Sie die Spitze an Anfragen pro Sekunde in den Logs des Shops, bevor Sie entscheiden.

Der Shop-Chatbot

Ein Shop-Chatbot beantwortet Fragen zu Produkten, Lieferung und Rücksendung aus Katalog und Hilfeseiten und schlägt über die API des Shops eine Bestellung nach. Unser Leitfaden zum Server für einen Kundenservice-Chatbot bemisst ihn im Detail, seine Werte gelten auch hier. Nach unserer Regel für Nutzer je Karte hält gpt-oss-120b, ein Mixture-of-Experts-Modell unter Apache 2.0, dessen Checkpoint von 65,3 GB auf eine Karte mit 96 GB passt, auf einer Karte der Server Edition bei einem konfigurierten Kontext von 16.384 Token 39 laufende Chats und auf zwei Karten als Tensor-Parallel-Paar 187. Mit den Beispielwerten dieses Leitfadens, einer Kundennachricht pro Minute und 20 Sekunden je Antwort, ist ein Drittel der offenen Chats in Bearbeitung; ein Paar bedient also etwa 560 offene Chats.

Die Regel nimmt 90 Prozent der 95,6 GiB, die der Treiber auf einer Karte mit 96 GB meldet, zieht 3 GiB je Karte und die Gewichte ab und teilt den Rest durch den Cache je Chat. Für das Paar: 2 × 83,04 = 166,1 GiB, abzüglich 60,8 GiB Gewichte bleiben 105,3 GiB, und 105,3 ÷ 0,5625 GiB je Chat ergibt 187. Unser Artikel wie viele Nutzer pro RTX PRO 6000 erklärt die Regel.

Zwei Punkte sind für einen Shop typisch. Bestand, Preise und Bestellstatus ändern sich minütlich; der Bot liest sie daher beim Antworten über Tool-Aufrufe an die Shop-API statt aus einem Index. Und ein Bot im Shop ist ein öffentlicher Dienst: Soll er weiter antworten, während ein Server aktualisiert wird oder eine Karte ausfällt, planen Sie zwei Server, von denen jeder die Spitze trägt, wie unser Leitfaden zur Hochverfügbarkeit von LLMs mit zwei GPU-Knoten beschreibt.

Bearbeitung von Produktbildern und ihre Lizenzen

Bildmodelle tauschen Hintergründe, setzen ein Produkt in eine Szene oder erzeugen Farbvarianten. Für einen Shop kommt die Lizenz auf der Modellkarte vor der GPU, denn Produktbilder werden kommerziell genutzt.

Modellkarten von black-forest-labs und Qwen auf Hugging Face, gelesen am 24. Oktober 2026; Speicher von Kontext laut NVIDIA, wie in unserem FLUX-Leitfaden zitiert; Gewichte von Qwen-Image-Edit nach unserer Rechnung mit 2 Byte je Parameter, ohne Text-Encoder.

Die Karte von FLUX.2 [klein] 4B nennt „multi-reference editing capabilities“ und „Open weights available for commercial use“. Die Karte von Qwen-Image-Edit beschreibt semantische Änderungen und Änderungen des Erscheinungsbilds sowie „bilingual (Chinese and English) text editing“; Text im Bild auf Deutsch oder Polnisch liegt also außerhalb dessen, was die Karte zusagt. Die Karte von FLUX.1 Kontext [dev] stellt das Modell unter die FLUX.1 [dev] Non-Commercial License und sagt zugleich, erzeugte Bilder dürften kommerziell genutzt werden; ob Ihre Nutzung darunter fällt, entscheidet Ihre Rechtsabteilung. Unser Leitfaden zu den GPU-Anforderungen von FLUX behandelt die kommerziellen Lizenzen, die Black Forest Labs verkauft.

Zur Geschwindigkeit nennt NVIDIA für eine RTX PRO 6000 Server Edition 0,20 FLUX-Bilder pro Sekunde in FP4 bei Batch 1, etwa 720 pro Stunde, ohne Variante, Auflösung oder Schrittzahl anzugeben. Ein Schritt von FLUX.1 Kontext [dev] dauert nach NVIDIAs Werten auf der RTX PRO 6000 in FP4 254 ms; 28 Schritte brauchen im Transformer also etwa 7,1 Sekunden. Eine saisonale Überarbeitung von 10.000 Produktbildern dauert nach unserer Rechnung mit NVIDIAs Wert auf einer Karte etwa 14 Stunden, auf vier Karten etwa 3,5 Stunden. FLUX.2 [klein] 4B passt mit etwa 13 GB in eine MIG-Instanz mit 24 GB; eine in vier Instanzen geteilte Karte betreibt so vier Bearbeitungswarteschlangen gleichzeitig.

Konfigurationen nach Kartenzahl

Alle Varianten nutzen Karten der NVIDIA RTX PRO 6000 Blackwell Server Edition und folgen den Referenz­konfigurationen auf unserer Seite zu KI-Servern und NVIDIAs Leitfaden für zertifizierte Systeme: zwei Prozessoren, mindestens sechs Kerne je GPU und Arbeitsspeicher in doppelter Größe des GPU-Speichers.

Referenz­konfigurationen auf unserer Seite zu KI-Servern; Chats nach unserer Regel für Nutzer je Karte bei 16K mit den Beispielwerten unseres Chatbot-Leitfadens; Leistung nach unserer Schätzung (Karten bei 600 W, Prozessoren, plus 15 Prozent für den Rest des Servers).

Zwei Karten. Der Einstiegsserver mit zwei RTX PRO 6000 Server Edition, zwei AMD-EPYC-Prozessoren, 384 GB DDR5-ECC und zwei NVMe-Laufwerken passt zu einem Shop, der mit Suche und Chatbot für ein kleines Serviceteam beginnt. MIG teilt die zweite Karte in vier isolierte Instanzen mit 24 GB: das Embedding-Modell, den Reranker und zwei Warteschlangen für die Bildbearbeitung. Produkttexte laufen nachts auf der Chatbot-Karte, langsamer als im Test von StorageReview mit vier Karten. Unsere Seite zum Server mit zwei Karten hat die Details.

Vier Karten. Den Inferenzknoten mit 768 GB und vier NVMe-Laufwerken würden wir für einen Shop, der alle vier Aufgaben betreibt, zuerst durchrechnen. Das Chatbot-Paar bedient etwa 560 offene Chats; nachts, wenn in den Märkten des Shops wenig gechattet wird, können alle vier Karten den Lauf für die Produkttexte mit TP=4 übernehmen, in dem Layout, das StorageReview gemessen hat. Unsere Seite zum Server mit vier Karten beschreibt die Aufteilungen.

Zwei Server mit vier Karten oder acht Karten. Ein Shop, der über Zeitzonen hinweg verkauft, hat keine ruhige Nacht, und ein Chatbot im Shop sollte einen Ausfall überstehen. Zwei Server mit je vier Karten leisten beides: Jeder trägt die Chat-Spitze allein, und solange beide laufen, arbeitet einer die Text- und Bildaufträge ab. Acht Karten in einem Server bieten dieselbe Kapazität in einem Gehäuse, bei etwa 6,3 kW und ohne Ausfallsicherheit.

Die RTX PRO 6000 Max-Q ist die Workstation-Karte, eine 300-W-Karte mit Radiallüfter; in einem Rack gehört sie nur in ein Gehäuse, dessen Hersteller sie listet, und für den Dauerbetrieb empfehlen wir die Server Edition.

Hinweise für die IT

1. Anbindung. vLLM stellt für die Sprachmodelle eine OpenAI-kompatible API bereit und hat Pooling-Endpunkte für Embeddings und Scoring; das Shop-Backend spricht also eine Schnittstelle an. Setzen Sie ein LLM-Gateway mit Schlüsseln und Anfrageprotokoll davor.
2. Netzwerk. --api-key von vLLM schützt nur Pfade unter /v1, /v2, /inference und /cohere, und die Sicherheitsseite von vLLM listet /pooling, /score und /rerank unter den Routen, die der API-Schlüssel nicht schützt. Halten Sie die Engines in einem internen Netz hinter dem Gateway. Halten Sie das NVIDIA Container Toolkit auf 1.17.8 oder neuer und den Treiber auf einer Version, die NVIDIA in seinem Bulletin vom 30. September 2026 als behoben nennt.
3. Engines. Text Embeddings Inference 1.9 läuft auf RTX PRO Blackwell nur aus einem Image, das als experimentell gekennzeichnet ist; die Karten der Embedding- und Reranker-Modelle von Qwen3 verlangen vLLM ab 0.8.5, und in einem Firmennetz sollte es 0.31.0 oder neuer sein, weil ältere Versionen veröffentlichte Sicherheitslücken haben. NVIDIAs NIM-Container brauchen in Produktion NVIDIA AI Enterprise.
4. Software bei Lieferung. Der Server kommt auf Wunsch mit Betriebssystem, NVIDIA-Treiber, CUDA und Container-Runtime; Modelle und Pipelines werden darauf eingerichtet.
5. Daten und Recht. Chat-Protokolle enthalten Kundendaten; legen Sie Aufbewahrung und Zugriffsrechte fest und prüfen Sie, ob eine Datenschutz-Folgenabschätzung nötig ist. Seit dem 2. August 2026 verlangt Artikel 50 des AI Act, Menschen darauf hinzuweisen, dass sie mit einem KI-System interagieren, sofern das nicht offensichtlich ist, und Anbieter generativer Systeme kennzeichnen erzeugte Bilder maschinenlesbar, mit einer Ausnahme für unterstützende Standardbearbeitung. Ein Shop, der seine eigene Bildpipeline zusammenstellt, kann ihr Anbieter sein. Unser Artikel zum EU AI Act bietet allgemeine Informationen; die nationale Praxis kann abweichen, und die Entscheidung liegt bei Ihrer Rechtsabteilung.

Strom und Raum

Nach unserer Schätzung zieht der Server mit zwei Karten und zwei EPYC 9135 etwa 1,8 kW an der Steckdose und passt an eine Zuleitung mit 230 V und 16 A, die bei 80 Prozent 2,94 kW trägt. Der Server mit vier Karten zieht mit den Karten bei 600 W etwa 3,4 kW, bei der 450-W-Begrenzung etwa 2,7 kW, und braucht 32 A oder Drehstrom. Acht Karten ziehen nach unserer Schätzung etwa 6,3 kW; Dells Datenblatt nennt als Richtwert etwa 8 kW je Knoten mit acht Karten, und die Zuleitungen sollten nach dem Wert des Herstellers geplant werden. Unser Leitfaden zur Stromversorgung von GPU-Servern mit 16 A, 32 A und Drehstrom rechnet jeden Fall durch.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration nach Ihrer Last und Ihrem Budget aus und antwortet innerhalb eines Werktages. Wir bauen die Server auf Bestellung mit zwei, vier oder acht RTX PRO 6000 Server Edition, vor der Lieferung montiert und getestet, geliefert in die gesamte EU mit einem EU-Vertrag und einer Rechnung, mit Herstellergarantie auf jede Komponente, abgewickelt über uns; Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Unser Service Private AI/ML mit Engineering durch unseren Partner Vixen.UNO richtet die Sprach-, Embedding- und Bildmodelle und die RAG-Pipeline dahinter ein. Wir liefern den Server und richten Modell und Suche hinter dem Bot ein; einen einfachen Website-Chatbot bieten wir nicht an. Das Chat-Widget im Shop und seine Anbindung an die Shop-Plattform bleiben daher bei Ihrem Team oder dem Anbieter Ihrer Shop-Plattform. Beschreiben Sie Ihren Katalog, Ihre Sprachen und Ihren Verkehr, und wir schlagen den passenden Server vor.

FAQ