VMware Private AI Foundation with NVIDIA: was sie ist, was sie braucht und wann sie sich eignet

Was sie ist, Stand September 2026

Broadcom beschreibt VMware Private AI Foundation with NVIDIA als „eine Lösung aus mehreren Komponenten“, die „auf dem Management der virtuellen Infrastruktur und dem Cloud-Management von VCF aufbaut, um generative KI-Workloads auf Systemen mit NVIDIA-GPU-Geräten auszuführen“. Im März 2024 erreichte sie als Add-on zu VMware Cloud Foundation die Initial Availability, und ihre Versionsnummern folgen denen von VCF: Version 9.0 erschien am 17. Juni 2025, Version 9.1 am 12. Mai 2026 und Version 9.1.1 am 3. September 2026. Dieser Leitfaden folgt der Dokumentation zu Version 9.1, die Broadcom zuletzt am 21. September 2026 aktualisiert hat. Nicht behandelt wird VMware AI Factory, die Broadcom am 31. August 2026 als „die softwaredefinierte Grundlage von VMware Private AI Cloud“ angekündigt hat.

Die Dokumentation nennt zwei Wege: Deep Learning VMs, die Administratoren für Data Scientists bereitstellen, und Kubernetes-Cluster aus dem vSphere Kubernetes Service (VKS) für produktive Workloads. Private AI Services fügt eine dritte Ebene hinzu, in der Modelle, Retrieval und Agenten als gemeinsamer Dienst laufen.

Welche Teile von Broadcom kommen und welche von NVIDIA

Jede Seite bringt ihre eigene Lizenz und ihren eigenen Supportweg mit. Broadcoms Dokumentation zu Version 9.1 nennt diese Komponenten.

Broadcom TechDocs, „VMware Private AI Foundation with NVIDIA 9.1“ und VCF 9.1, Seiten aktualisiert vom 15. Juli bis 23. September 2026. Eine Passthrough-GPU nutzt NVIDIAs Rechenzentrumstreiber statt der vGPU-Treiber.

Drei Lizenzpositionen

Broadcoms Anforderungen für Version 9.1 nennen drei Lizenzen; ein Cluster, der vGPU nutzt, braucht alle drei.

VCF-Abonnement. VCF wird pro physischem Kern lizenziert, mit mindestens 16 Kernen je Prozessor, wie unser Leitfaden zur VMware-Verlängerung darlegt. Die Anforderungen nennen ein VCF-Abonnement; wir haben keine Erwähnung von vSphere Foundation oder den eigenständigen vSphere-Editionen gefunden.

Lizenz für Private AI Foundation. Broadcoms Lizenzübersicht zu VCF 9.1 nennt sie „VMware Private AI Foundation with NVIDIA (cores)“. Broadcoms Anforderungen weisen sie der GPU-fähigen Workload-Domain zu; wird sie zusätzlich dem vCenter der Management-Domain als Add-on zugewiesen, aktiviert das die Oberfläche für die geführte Bereitstellung im vSphere Client und den Quickstart-Assistenten in VCF Automation, und „die Lizenzkapazität wird nur den GPU-fähigen Workload-Domains zugeteilt und nicht der Management-Domain“. Was die VCF-Lizenz allein abdeckt, beschreibt Broadcom so: „Sie können KI-Workloads mit und ohne aktivierten Supervisor bereitstellen und die GPU-Metriken in vCenter und VCF Operations unter der VCF-Lizenz nutzen“; die Tabelle zeigt, was die Lizenz für Private AI Foundation hinzufügt. Womöglich ist sie schon im Konto: Seit dem 3. November 2025 „erhalten Sie auf Grundlage Ihres VCF-Abonnements möglicherweise auch eine Lizenz“ dafür, und die FAQ zu VCF 9.1 vom 3. September 2026 führt VCF Private AI Services als Komponente von VCF. Prüfen Sie den Anspruch vor der Bestellung.

NVIDIA AI Enterprise. Broadcom verlangt diese Lizenz „für den Betrieb von KI-Workloads auf vGPU“, für „die VIB-Datei des Hosttreibers auf ESX-Hosts und die Treiber des Gastbetriebssystems“, und NVIDIA lizenziert vGPU for Compute „nur über NVIDIA AI Enterprise“, pro physischer GPU. Unser Lizenzleitfaden behandelt den Lizenzserver, die enthaltenen Abonnements und NVIDIAs Supportbedingung, ein NVIDIA-Certified System. Broadcoms Release Notes zu Version 9.1 führen die DirectPath-Aktivierung für GPUs als Neuerung auf: VMs und Kubernetes-Nodes erhalten „exklusiven Zugriff auf GPU-Ressourcen, ohne dass eine Lizenz für NVIDIA AI Enterprise (NVAIE) nötig ist“. Das deckt die GPU und ihren Treiber ab; NVIDIA verlangt weiterhin eine Lizenz für jede GPU in einem Server, auf dem AI-Enterprise-Software läuft, etwa NIM-Microservices in der Produktion.

Broadcom TechDocs: Anforderungen, Lizenzzuweisung und Release Notes zu Private AI Foundation 9.1, Lizenzseiten zu VCF 9.1, September 2026; Dokumentation zu NVIDIA AI Enterprise, 2. September 2026.

Die beiden Broadcom-Positionen mit dem abzugleichen, was in der Umgebung laufen wird, ist der Lizenzteil unserer VMware-Optimierung, bei der unser Engineering-Partner Vixen.UNO die Umgebung und ihre Lizenzen auditiert und Editionen und Abonnements auf die realen Workloads abstimmt, innerhalb der aktuellen Broadcom-Lizenzlogik; die Zahl der Lizenzen für NVIDIA AI Enterprise kommt gemeinsam mit der Hardware ins Angebot, wie unsere Seite zu NVIDIA AI Enterprise erklärt.

Welche GPUs und Server die Dokumente nennen

Broadcom legt die Zahl der Hosts fest: „mindestens 3 GPU-fähige ESX-Hosts, die in den ersten Cluster einer Workload-Domain aufgenommen werden“. Seine Anforderungen für Version 9.1 nennen keine GPU-Modelle; sie verlangen, „im Broadcom Compatibility Guide for GPUs and Accelerators for AI/ML Compute zu prüfen, ob die GPUs auf Ihren ESX-Hosts unterstützt werden“. Der Compatibility Guide ist ein Online-Suchwerkzeug. vGPU-Hosts brauchen im BIOS aktiviertes SR-IOV und NVIDIAs vGPU-Hosttreiber. Für Advanced NIC Passthrough nennen die Anforderungen die NVIDIA ConnectX-6 Dx, nur für Enhanced DirectPath I/O, die ConnectX-7 und die BlueField-3 im NIC-Modus. Die Release Notes zu Version 9.1 ergänzen außerdem NVIDIA-HGX-Plattformen mit Blackwell-GPUs und NVSwitch; auf HGX B200 und B300 mit vSphere unterstützt NVIDIA AI Enterprise nur VMs mit ganzen GPUs und VMs mit mehreren vGPUs, keine fraktionalen vGPUs.

NVIDIAs vGPU-Dokumentation für vSphere, Releases 20.0 bis 20.2, nennt Hosttreiberpakete für VCF 9.1, VCF 9.0 und vSphere 8.0, und ihre GPU-Liste enthält die L4, die L40S und die RTX PRO 6000 Blackwell Server Edition. NVIDIA AI Enterprise 8.2, dessen Support-Matrix VMware ESXi „8.0 und neuer, 9.0 und neuer“ abdeckt, führt außerdem die H200 NVL, mit Compute-vGPU-Profilen.

NVIDIAs vGPU-Dokumentation für VMware vSphere, 22. September 2026; Support-Matrix und vGPU-Typen von NVIDIA AI Enterprise 8.2, 2. September 2026; Zahl der MIG-Instanzen aus NVIDIAs MIG-Benutzerhandbuch. Das Abonnement der H200 NVL wird mit der Seriennummer der GPU aktiviert.

Wir planen solche Cluster mit den Karten, die NVIDIA für vGPU auf vSphere listet, etwa der RTX PRO 6000 Server Edition, der L40S und der L4, oder mit der H200 NVL, die NVIDIA AI Enterprise 8.2 mit Compute-vGPU-Profilen listet. Die H200 NVL verändert außerdem die Lizenzposition: Jede Karte enthält ein fünfjähriges Abonnement für NVIDIA AI Enterprise, das mit ihrer Seriennummer aktiviert wird, und die fünf Jahre beginnen 90 Tage nach der Auslieferung der Karte an den Serverhersteller, nicht mit der Aktivierung, so NVIDIAs Lizenzleitfaden; die anderen drei Karten brauchen für vGPU eine Lizenz pro GPU.

Was ein Administrator aufbaut

In der Management-Domain laufen vCenter, NSX Manager, VCF Operations, VCF Automation und Data Services Manager. Die GPUs kommen in eine Workload-Domain, in der „die Option vSphere Supervisor obligatorisch ist“, mit einem NSX-Edge- oder Virtual-Network-Appliance-Cluster für das Nord-Süd-Routing des Supervisors. Die GPUs jedes Hosts werden für vGPU auf Shared Direct gestellt, mit Time-Sliced- oder MIG-gestützten Profilen, oder für Passthrough auf Fixed oder Dynamic DirectPath, und anschließend wird der Host im Wartungsmodus neu gestartet. Eine Passthrough-VM erhält die ganze Karte, was laut Broadcom „zu besserer Leistung führt“, Deep Learning VMs mit Passthrough-GPUs lassen sich aber nicht mit vSphere vMotion zwischen Hosts verschieben. Was jeder Modus erlaubt und blockiert, von DRS über HA bis zu Snapshots, steht in unserem Leitfaden zu Passthrough oder vGPU.

Nutzer erreichen die GPUs über VM-Klassen, in denen „Sie als VI-Administrator die Anforderungen an Rechenleistung, Netzwerk und GPU entsprechend der GPU-Konfiguration auf den ESX-Hosts festlegen“. Jede Klasse enthält ein vGPU- oder Passthrough-Profil, und reservierte Klassen werden „einer Organisation in VCF Automation“ zugewiesen, sodass die GPU-Kapazität zu einem Katalog wird, den das VI-Team kontrolliert. Der Private AI Foundation Quickstart legt dann die Katalogelemente an, darunter „AI Workstation“, das eine Deep Learning VM bereitstellt, und „AI Kubernetes Cluster“, ein VKS-Cluster mit dem NVIDIA GPU Operator. Broadcom weist darauf hin, dass der GPU Operator v25.3.1 dieses Katalogelements „sein End-of-Life erreicht hat“; der KB-Artikel 439984 beschreibt die Umstellung des Blueprints auf v26.3.1.

Private AI Services wird „als Supervisor Service installiert“, pro Namespace in VCF Automation aktiviert und braucht eine Harbor-Registry für die Modellgalerie; Version 3.0 braucht Data Services Manager, für die pgvector-Datenbank, wenn Wissensdatenbanken und Agenten genutzt werden. Model Runtime stellt Modelle hinter einer OpenAI-kompatiblen API mit Open-Source-Engines bereit: vLLM für Modelle auf der GPU, Infinity für Embeddings, llama.cpp auf der CPU. Version 3.0 vom 3. September 2026, für VCF 9.1.x, nennt vLLM 0.20.0, llama.cpp b9309 und Infinity 0.0.76 als ihre Inferenz-Engines und unterstützt PostgreSQL 16.8 mit pgvector 0.8.0.

RAG und die Vektordatenbank

Broadcoms Release Notes zu Version 9.1.x führen die Katalogelemente von VCF Automation für NVIDIA RAG als entfernt auf, weil „NVIDIA die Blueprints, auf denen diese Katalogelemente beruhen, nicht mehr unterstützt“. Das Retrieval ist jetzt in Private AI Services angesiedelt: Eine Wissensdatenbank „besteht aus Metadaten, Textabschnitten und Vektor-Embeddings, die für jedes verarbeitete Dokument im Rahmen einer Datenquelle erzeugt werden“, eingebettet über einen Endpunkt von Model Runtime und in pgvector indiziert. Dokumente werden als PDF-, DOCX-, PPTX-, TXT-, HTML-, Markdown- oder CSV-Dateien hochgeladen oder aus verknüpften Quellen gelesen, etwa aus Google-Drive-Ordnern, Confluence-Bereichen und S3-kompatiblen Speichern, jeweils mit einem Satz Zugangsdaten.

In der Dokumentation zu Version 9.1 haben wir nichts zur Übernahme der Dokumentberechtigungen jedes Nutzers in die Antworten gefunden. Wo verschiedene Personen verschiedene Dokumente sehen dürfen, muss diese Trennung konzipiert werden, bevor die erste Wissensdatenbank befüllt wird; RAG-Assistenten, die die Zugriffsrechte jedes Nutzers beachten, sind Teil unserer Arbeit in der KI/ML-Integration.

Wann sie sich eignet und wann ein schlankerer Stack genügt

Sie eignet sich, wenn die Umgebung bereits auf VCF 9.1 läuft oder ihr Modernisierungsplan dorthin führt und die Lizenz für Private AI Foundation im Abonnement enthalten ist; wenn mehrere Teams GPU-VMs und Kubernetes-Cluster als Self-Service brauchen, betrieben wie das übrige vSphere; wenn Modelle als gemeinsamer Dienst mit Endpunkten, Wissensdatenbanken und Agenten laufen sollen, auch an einem Standort ohne Verbindung nach außen, da Version 9.1 die Installation von Private AI Services in Air-Gapped-Umgebungen unterstützt; und wenn das Budget mindestens drei GPU-Hosts im ersten Cluster abdeckt, dazu NVIDIA AI Enterprise pro GPU überall dort, wo vGPU oder AI-Enterprise-Software zum Einsatz kommt.

Ein schlankerer Stack genügt, wenn ein oder zwei GPU-Server ein Team und einige wenige Modelle bedienen. Eine VM mit einer vGPU oder einer Passthrough-GPU auf dem vorhandenen vSphere-Cluster, auf der eine Open-Source-Engine wie vLLM läuft, deckt diesen Fall ab, und unser Leitfaden zur VMware-Verlängerung zeigt, welche vSphere-Editionen vGPU enthalten. Teams, für die Kubernetes an erster Stelle steht, können ihre eigene Plattform auf Bare-Metal-GPU-Nodes betreiben, wie unser Leitfaden zur Kubernetes-Plattform beschreibt. Eine Umgebung auf vSphere Foundation oder einer eigenständigen Edition beginnt mit dem oben beschriebenen VM-Weg, weil die Anforderungen ein VCF-Abonnement nennen.

Keiner der beiden Wege ist ein Urteil über die Plattform; die entscheidenden Fragen sind die Größenordnung, wie viele Teams sich die GPUs teilen und wer das Ergebnis betreiben wird.

Was wir liefern

Eurokommerz liefert auf Bestellung gebaute GPU-Server mit Karten vom Typ RTX PRO 6000 Server Edition, H200 NVL, L40S oder L4, von Ingenieuren pro Workload ausgelegt, mit Herstellergarantie sowie EU-Vertrag und Rechnungsstellung aus Österreich; prüfen Sie den gewählten Server und die GPUs in Broadcoms Compatibility Guide, bevor sie in eine Workload-Domain kommen. NVIDIA-AI-Enterprise- und vGPU-Lizenzen kommen auf dieselbe Rechnung wie die KI-Server, und jede H200 NVL enthält NVIDIAs fünfjähriges AI-Enterprise-Abonnement. Für die VMware-Seite liefert unser Engineering-Partner Vixen.UNO die VMware-Optimierung: ein Audit der Umgebung und ihrer Lizenzen, auf die realen Workloads abgestimmte Editionen und Abonnements sowie die Modernisierung von vSphere, vSAN, NSX und VCF in vereinbarten Wartungsfenstern, mit einem Rollback-Plan für jede Etappe. Für die KI-Ebene liefert dasselbe Team die KI/ML-Integration: private LLMs mit vLLM, Ollama oder NVIDIA AI Enterprise, RAG-Assistenten, die die Zugriffsrechte jedes Nutzers beachten, und die Protokollierung von Anfragen und Antworten. Der Vertrag läuft mit Eurokommerz, das Engineering liefert das Team von Vixen.UNO.

FAQ