KI-Server für Logistikunternehmen: Frachtdokumente, mehrsprachiger Chat und Tourenplanung

Was ein KI-Server für ein Logistikunternehmen leistet

Ein KI-Server für ein Logistikunternehmen betreibt die Sprach-, Dokumenten- und Optimierungsmodelle eines Frachtführers oder Spediteurs auf Hardware, die das Unternehmen selbst kontrolliert. Er liest Lieferscheine, Frachtbriefe und Rechnungen in das Transport­management­system (TMS) ein, beantwortet Kunden und Fahrer in ihren eigenen Sprachen, sortiert den E-Mail-Verkehr der Disposition und entwirft Antworten darauf, und er berechnet Touren. Für eine mittelgroße Spedition trägt ein Server mit zwei Karten der NVIDIA RTX PRO 6000 Blackwell Server Edition den Assistenten und die Dokumentenstrecke; vier Karten ergänzen eine ganze Karte für die Dokumentmenge und ein Tensor-Parallel-Paar für mehrere Hundert offene Chats.

Wir schreiben für die Geschäftsführung oder die Leitung des operativen Geschäfts, die beurteilen muss, was ein solcher Server leistet, und für das IT-Team, das ihn an das TMS anbindet. Zuerst kommen die Konfigurationen, danach die technischen Hinweise. Die Werte sind veröffentlichte Messungen mit Quelle oder unsere Schätzungen und als solche gekennzeichnet.

Drei Aufgaben mit drei verschiedenen Lasten

Unsere Zusammenfassung; Seitenraten nach unserer Schätzung mit der Methode unseres Leitfadens zu Dokumenten-KI; Chats nach unserer Regel für Nutzer je Karte; cuOpt wie im README auf GitHub beschrieben, gelesen am 24. Oktober 2026.

Die drei konkurrieren kaum um dieselbe Ressource. Die Dokumentenstrecke ist eine Warteschlange, die über die Schicht läuft und nachts aufholt. Der Chat ist eine Spitzenlast zu Bürozeiten, bemessen am Speicher, den jede wartende Konversation auf der GPU belegt. Die Tourenoptimierung läuft in Schüben: ein Plan für den nächsten Tag, dann Neuplanungen, wenn sich Aufträge ändern. Ein Unternehmen kann mit einer Aufgabe beginnen und die anderen auf demselben Server ergänzen, wenn die Karten dafür eingeplant sind.

Frachtdokumente ins TMS

Lieferscheine, CMR-Frachtbriefe, Abliefernachweise, Rechnungen von Subunternehmern und Zollpapiere kommen als Scans, Fotos und PDFs. Ein verbreitetes Design arbeitet in zwei Stufen, wie unser Leitfaden zu Vision-Language-Modellen für Dokumenten-KI erklärt. Ein OCR-Modell wandelt jede Seite in Text mit ihren Tabellen um, und ein Textmodell überträgt dann die Felder in ein festes Schema; mit den Structured Outputs von vLLM folgt die Antwort dem JSON-Schema, sodass das TMS einen prüfbaren Datensatz erhält. Seiten, die die OCR-Stufe nicht sicher lesen kann, etwa Stempel, Handschrift auf einem Abliefernachweis oder ein beschädigtes Foto, gehen an ein allgemeines Vision-Language-Modell, das das Bild direkt liest.

Die Menge entfällt vor allem auf die OCR-Stufe. Datalab meldet 1,44 Seiten pro Sekunde für sein 5B-Modell chandra-ocr-2 auf einer H100 80GB mit vLLM; nach Speicherbandbreite auf die RTX PRO 6000 Server Edition umgerechnet sind das nach der Methode unseres Leitfadens zu Dokumenten-KI etwa 0,69 Seiten pro Sekunde je Karte, 19.900 Seiten in einer Schicht von 8 Stunden.

Etwa 0,69 Seiten pro Sekunde je RTX PRO 6000 Server Edition mit einem 5B-OCR-Modell, unsere Schätzung, umgerechnet aus Datalabs Wert für chandra-ocr-2 auf einer H100 80GB (Modellkarte, ohne Datum) nach der Methode unseres Leitfadens zu Dokumenten-KI; Sendungen und Seiten je Sendung sind Beispielwerte. Eine MIG-Instanz erhält nur einen Teil der Speicherbandbreite einer Karte und ist daher langsamer; einen veröffentlichten Wert gibt es nicht.

Die Lizenz kommt vor dem Tempo. GLM-OCR steht unter MIT und DeepSeek-OCR-2 unter Apache 2.0, chandra-ocr-2 dagegen unter einer modifizierten OpenRAIL-M-Lizenz mit Umsatzschwelle. Das Textmodell, das die Felder überträgt, liest je Dokument einige Tausend Token statt des Seitenbilds. Testen Sie jede Dokumentart: Ein Modell, das getippte Rechnungen gut liest, kann an einer handschriftlichen Notiz auf einem Frachtbrief scheitern. Unser Leitfaden zur LLM-Batch-Inferenz on-premise behandelt die Warteschlange hinter einer solchen Strecke.

Chat und E-Mail mit Kunden, Fahrern und Partnern

Drei Arten von Gesprächen erreichen ein Logistikunternehmen: Kunden, die wissen wollen, wo ihre Ware ist, Fahrer und Subunternehmer, die Verspätungen melden oder Anweisungen brauchen, und der E-Mail-Verkehr von Disposition und Kundenservice. Statusfragen beantwortet das Modell über Tool-Aufrufe ins TMS; die Daten kommen also zum Zeitpunkt der Antwort aus dem System und nicht aus einem Index. Die vLLM-Dokumentation macht dafür --enable-auto-tool-choice zur Pflicht und kombiniert es mit einem Parser je Modellfamilie, openai für gpt-oss.

Die Sprachen entscheiden über das Modell. Die Karte von Mistral Small 3.1 nennt 25 Sprachen, darunter Deutsch, Polnisch und Rumänisch, und die Ankündigung von Qwen3 listet 119 Sprachen und Dialekte (die Model Card von Qwen3-14B nennt 100+), während die Karte von Llama 3.3 acht Sprachen nennt, darunter Deutsch, aber weder Polnisch noch Rumänisch, und gpt-oss auf seiner Karte keine Sprachliste hat. EuroLLM deckt alle 24 Amtssprachen der EU unter Apache 2.0 ab. Ein Testdatensatz mit echten Nachrichten von Fahrern und Kunden in jeder Sprache, mit der Sie arbeiten, entscheidet über die engere Wahl, wie unser Vergleich offener LLMs für europäische Sprachen nahelegt.

Der Speicher je Konversation bestimmt die Kapazität. Nach unserer Regel für Nutzer je Karte, die 90 Prozent der 95,6 GiB nimmt, die der Treiber meldet, abzüglich 3 GiB je Karte und der Gewichte, lässt gpt-oss-120b auf einer Karte 22,2 GiB für den Cache. Bei einem konfigurierten Kontext von 16.384 Token belegt ein Chat 0,5625 GiB 16-Bit-Cache; eine Karte hält damit 39 laufende Chats und ein Tensor-Parallel-Paar 187. Unser Leitfaden zum Server für einen Kundenservice-Chatbot rechnet das mit Beispielwerten von einer Kundennachricht pro Minute und 20 Sekunden je Antwort in offene Chats um: Ein Drittel der offenen Chats ist gerade in Bearbeitung, also etwa 117 offene Chats je Karte und 560 je Paar.

Die Sortierung der E-Mails ist eine Batch-Last in derselben Engine: jede Nachricht einordnen, Auftrags- oder Sendungsnummer herauslesen und eine Antwort entwerfen, die ein Mensch freigibt. Anrufe von Fahrern lassen sich mit Whisper transkribieren, für das OpenAI etwa 10 GB GPU-Speicher nennt, einen Bruchteil einer Karte; unser Leitfaden zum Voice-Agent-Server on-premise behandelt gesprochene Gespräche.

Wir bauen Server mit zwei, vier oder acht Karten der RTX PRO 6000 Server Edition für diese Mischung; schicken Sie uns Ihre Seiten pro Tag, Ihre Chat-Spitze und die Sprachen, mit denen Sie arbeiten, und unser Team antwortet mit einer Konfiguration.

Tourenoptimierung auf der GPU

Tourenplanung ist ein Optimierungsproblem, und dafür gibt es eigene Solver. NVIDIAs cuOpt, auf GitHub unter Apache 2.0 veröffentlicht, löst Tourenplanung (Vehicle Routing), das Problem des Handlungsreisenden und Abhol- und Zustellprobleme sowie lineare und quadratische Programme; sein Solver für gemischt-ganzzahlige Probleme ist als Beta gekennzeichnet. Das README verlangt eine GPU mit Compute Capability 7.0 oder höher, CUDA 12.0 oder 13.0 und neuer und einen Treiber ab 525.60.13, unter Linux auf x86_64 oder aarch64. Es installiert sich mit pip, conda oder als Container-Image und hat einen Servermodus für Tourenplanung, lineare und gemischt-ganzzahlige Probleme, den ein TMS aufrufen kann.

Die Karten der RTX PRO Blackwell haben Compute Capability 12.0 und liegen damit innerhalb dieser Regel, auch wenn das README sie nicht nennt; Treiber und CUDA-Version auf dem Server müssen diese Karten zusätzlich unterstützen, wie unser Leitfaden zur Software für RTX PRO Blackwell erklärt. Einen veröffentlichten cuOpt-Benchmark auf diesen Karten haben wir nicht gefunden, und der GPU-Speicher, den ein Tourenproblem braucht, hängt von der Zahl der Stopps, Fahrzeuge und Bedingungen ab. Testen Sie mit einem echten Tag an Aufträgen, Ihrem Fuhrpark und Ihren Zeitfenstern, und vergleichen Sie Plan und Laufzeit mit Ihrem heutigen Planungswerkzeug, bevor Sie eine Karte dafür einplanen. Auf einem Server mit vier Karten können sich die Planungsläufe die Karte für Suche und Sprache teilen; ein Planungsteam, das für einen großen Fuhrpark alle paar Minuten neu plant, kann eine eigene Karte rechtfertigen.

Sprachmodelle ersetzen den Solver nicht. Sie können die Freitextnotiz eines Disponenten in einen strukturierten Auftrag verwandeln und einen Plan in Worten erklären, aber die Touren kommen aus dem Optimierer.

Konfigurationen nach Kartenzahl

Die Optionen folgen den Referenz­konfigurationen auf unserer Seite zu KI-Servern und NVIDIAs Leitfaden für zertifizierte Systeme: zwei Prozessoren, mindestens sechs Kerne je GPU und Arbeitsspeicher in doppelter Größe des GPU-Speichers.

Referenz­konfigurationen auf unserer Seite zu KI-Servern; Chats nach unserer Regel für Nutzer je Karte bei 16K mit gpt-oss-120b; Seiten nach unserer Schätzung von 0,69 pro Sekunde je Karte; Strom nach unserer Schätzung (Karten bei 600 W, Prozessoren und 15 Prozent für den Rest des Servers).

Zwei Karten. Der Einstiegsserver hat zwei RTX PRO 6000 Server Edition, zwei AMD-EPYC-Prozessoren, 384 GB DDR5-ECC und zwei NVMe-Laufwerke. Eine Karte betreibt gpt-oss-120b für Chat, E-Mail-Entwürfe und einen internen Assistenten der Disposition; die andere wird per MIG in vier isolierte Instanzen mit 24 GB geteilt, für das OCR-Modell, Embedding-Modell und Reranker, Spracherkennung und eine Testinstanz für die Tourenplanung. Er passt zu einem Unternehmen, das mit einer Aufgabe und einigen Tausend Seiten am Tag beginnt.

Vier Karten. Der Inferenzknoten mit 768 GB und vier NVMe-Laufwerken gibt jeder Aufgabe eigene Ressourcen: ein Tensor-Parallel-Paar für etwa 560 offene Chats, eine ganze Karte für etwa 20.000 Seiten pro Schicht und eine Karte für Suche, Sprache und Planungsläufe. Diese Konfiguration würden wir für eine Spedition, die alle drei Aufgaben will, zuerst dimensionieren.

Zwei Server mit je vier Karten oder acht Karten. Wenn Kunden und Fahrer auf den Chat angewiesen sind, planen Sie zwei Server, die jeweils die Chat-Spitze tragen, damit einer ausfallen oder aktualisiert werden kann, während der andere antwortet, wie unser Leitfaden zur Hochverfügbarkeit mit zwei GPU-Knoten beschreibt. Acht Karten in einem Server bringen dieselbe Kapazität in einem Gehäuse, mit etwa 6,3 kW und ohne Ausfallsicherheit.

Die RTX PRO 6000 Max-Q ist die Workstation-Karte, eine Radiallüfter-Karte mit 300 W; ins Rack gehört sie nur in ein Gehäuse, für das der Hersteller sie listet, und für den Dauerbetrieb empfehlen wir die Server Edition. Die Modelle richten wir auf diesen Servern über unseren Private-AI/ML-Service ein; beschreiben Sie, mit welcher der drei Aufgaben Sie beginnen würden, und wir schlagen einen Piloten und den Server dafür vor.

Hinweise für das IT-Team

1. Anbindung. vLLM stellt eine OpenAI-kompatible API bereit und hat Pooling-Endpunkte für Embeddings; TMS, E-Mail-System und Chat-Plattform rufen also eine Schnittstelle auf. Setzen Sie ein LLM-Gateway mit Schlüsseln und Abfrage-Log davor. cuOpt hat eine eigene Server-API.
2. Tool-Aufrufe. Statusabfragen und Auftragssuchen sind Tool-Aufrufe ins TMS. Das Backend identifiziert Kunden oder Fahrer und gibt nur deren Daten an das Tool weiter; das Modell sieht nie Zugangsdaten, wie unser Leitfaden zu Prompt Injection und LLM-Sicherheit erklärt.
3. Netzwerk. --api-key schützt in vLLM nur Pfade unter /v1, /v2, /inference und /cohere; Routen wie /invocations und /metrics antworten auch ohne Schlüssel (Sicherheitsleitfaden von vLLM 0.32.0). Halten Sie die Engines deshalb in einem internen Netz hinter dem Gateway. Betreiben Sie vLLM 0.31.0 oder neuer, das NVIDIA Container Toolkit ab 1.17.8 und den Treiber auf einem Stand, den NVIDIA in seinem Bulletin vom 30. September 2026 als behoben nennt.
4. Software bei Lieferung. Der Server kommt auf Wunsch mit Betriebssystem, NVIDIA-Treiber, CUDA und Container-Runtime; cuOpt veröffentlicht Pakete für CUDA 12 und 13. Der oben verlinkte Leitfaden zur Software nennt die Engine-Versionen für diese Karten.
5. Daten und Recht. Fahrernachrichten, Gesprächsaufnahmen und Fotos von Zustellungen enthalten personenbezogene Daten, Telematik-Positionen können es auch; legen Sie daher Aufbewahrung und Zugriff fest und prüfen Sie, ob eine Datenschutz-Folgenabschätzung nötig ist. Seit dem 2. August 2026 verlangt Artikel 50 des AI Act, Menschen darauf hinzuweisen, dass sie mit einem KI-System interagieren, sofern das nicht offensichtlich ist. Unser Artikel zum EU AI Act gibt allgemeine Informationen; die nationale Praxis kann abweichen, und Ihre Rechtsabteilung entscheidet.
6. Chat-Oberfläche. Unser Private-AI/ML-Service richtet Modell, Suche und Tool-Anbindungen ein; das Chat-Widget in Ihrem Kundenportal oder Ihrer Fahrer-App und seine Anbindung an Ihre Plattform bleiben bei Ihrem Team oder Ihrem Plattformanbieter.

Strom und Raum

Nach unserer Schätzung zieht der Server mit zwei Karten und zwei EPYC 9135 etwa 1,8 kW aus der Steckdose und passt an einen Anschluss mit 230 V und 16 A, der bei 80 Prozent 2,94 kW trägt. Der Server mit vier Karten zieht mit Karten bei 600 W etwa 3,4 kW und braucht 32 A oder Drehstrom, mit auf 450 W begrenzten Karten etwa 2,7 kW. Acht Karten ziehen nach unserer Schätzung etwa 6,3 kW; Dells Datenblatt nennt etwa 8 kW je Knoten mit acht Karten als Richtwert, und die Zuleitungen sollten nach dem Wert des Herstellers geplant werden. Ein Büro im Depot ist kein Platz für diese Maschinen: Sie brauchen einen Serverraum oder ein Rechenzentrum, wie unser Leitfaden zum Stromanschluss von GPU-Servern mit 16 A, 32 A und Drehstrom durchrechnet. Ohne eigenen Serverraum betreibt unser Private-AI/ML-Service die Plattform auf dedizierter Hardware in einem Tier-3-Rechenzentrum in Litauen, innerhalb der EU.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team dimensioniert die Konfiguration nach Ihrer Last und Ihrem Budget und antwortet innerhalb eines Werktages. Wir bauen die Server auf Bestellung mit zwei, vier oder acht Karten der RTX PRO 6000 Server Edition, vor der Lieferung montiert und getestet, geliefert in die gesamte EU mit einem EU-Vertrag und einer Rechnung, mit Herstellergarantie auf jede Komponente, abgewickelt über uns; Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Unser Service Private AI/ML, umgesetzt von unserem Engineering-Partner Vixen.UNO, richtet Sprach- und Dokumentenmodelle, die Suche und die Anbindung an Ihre Systeme ein. Unsere Seite zum Kauf eines GPU-Servers für LLMs listet alle Konfigurationen.

FAQ