Windows Server oder Linux für den GPU-Server: was worauf läuft und was Sie wählen sollten

Welches Betriebssystem für den GPU-Server

Für einen GPU-Server, der Sprachmodelle betreibt, ist Linux das richtige Betriebssystem: vLLM nennt in seiner Installationsanleitung „OS: Linux“, NVIDIA NIM empfiehlt Ubuntu 22.04 LTS oder neuer, und NVIDIA AI Enterprise sowie das NVIDIA Container Toolkit listen für den Host nur Linux. Windows Server ist die richtige Wahl, wenn der Server Windows-CUDA-Anwendungen oder Simulationsprogramme betreibt oder als Hyper-V-Host Karten der NVIDIA RTX PRO Blackwell Server Edition, L40S oder L4 mit virtuellen Desktops teilt. Viele IT-Abteilungen mit Windows-Schwerpunkt landen bei beidem: einem Linux-Inferenzserver neben ihren Hyper-V-Hosts.

Wir schreiben für eine IT-Abteilung, die heute Windows Server und Active Directory betreibt und ihren ersten GPU-Server plant. Alle Angaben stammen aus der Dokumentation von NVIDIA und der Softwarehersteller, gelesen am 25. Oktober 2026; Versionen ändern sich, prüfen Sie sie also vor der Bestellung erneut.

Die Entscheidung in einer Tabelle

vLLM-Installationsanleitung für GPUs (latest), Voraussetzungen von NVIDIA NIM for LLMs 2.0.13, unterstützte Plattformen des NVIDIA Container Toolkit (18.9.2026), Support-Matrix NVIDIA AI Enterprise 8.2 (2.9.2026), CUDA-13.4-Installationsanleitungen für Windows und Linux (12.10.2026), Windows-Dokumentation von Ollama und unser Engine-Vergleich für Ollama unter Linux, NVIDIA-vGPU-Dokumentation R595 (29.9.2026); MIG-Voraussetzungen wie in unseren MIG-Artikeln; alle gelesen am 25. Oktober 2026.

Was Linux braucht

vLLM. Die Engine, für die die meisten unserer LLM-Artikel dimensionieren, nennt als Voraussetzungen „OS: Linux“, Python 3.11 bis 3.14 und eine GPU mit Compute Capability 7.5 oder höher. Ihre Anleitung sagt, dass vLLM Windows nicht nativ unterstützt und dass sich vLLM unter Windows über das Windows Subsystem for Linux (WSL) mit einer kompatiblen Linux-Distribution betreiben lässt; außerdem erwähnt sie von der Community gepflegte Forks. Ein Fork ist nicht die Version, die vLLMs Sicherheitshinweise und Release Notes beschreiben; für einen Server, auf den sich ein ganzes Unternehmen stützt, würden wir nicht damit planen. Der Engine-Vergleich in unserem Leitfaden zu vLLM, SGLang, TensorRT-LLM und Ollama setzt aus demselben Grund Linux voraus.

NVIDIA NIM. NIM for Large Language Models 2.0.13 empfiehlt „Ubuntu 22.04 LTS or later“; andere Linux-Distributionen können funktionieren, sind aber nicht validiert. NIM braucht einen Treiber ab 580, Docker ab 24.0 und das NVIDIA Container Toolkit ab 1.14.0, und die Seite mit den Voraussetzungen erwähnt Windows nicht. Im Produktivbetrieb deckt eine Lizenz für NVIDIA AI Enterprise NIM ab, und die Support-Matrix von AI Enterprise 8.2 listet für Bare Metal Ubuntu 20.04, 22.04 und 24.04, Red Hat Enterprise Linux und SUSE Linux Enterprise Server. Windows erscheint in dieser Matrix nur als Gastbetriebssystem in virtuellen Maschinen unter vSphere und unter Red Hat Enterprise Linux mit KVM.

GPU-Container. Das NVIDIA Container Toolkit, mit dem Docker oder Podman Containern eine GPU geben, ist laut NVIDIA auf einer Liste von Linux-Distributionen getestet: Ubuntu 22.04, 24.04 und 26.04, RHEL 8, 9 und 10, Rocky Linux 9.7, SUSE Linux Enterprise Server 15, Debian 11 und Amazon Linux. Windows steht nicht darauf. Die meisten Modellserver, Suchsysteme und der GPU Operator für Kubernetes kommen als Container, daher entscheidet diese Liste mehr als jede einzelne Engine. Unser Leitfaden zur GPU-Zuweisung an Docker-Container ohne Kubernetes zeigt, wie die Container ihre Karten erhalten.

MIG. Eine RTX PRO 6000 gleich welcher Edition in bis zu vier isolierte Instanzen mit 24 GB zu teilen, braucht laut NVIDIAs MIG-Voraussetzungen Linux und einen Treiber ab 575.51.03, wie unser Leitfaden zu den MIG-Profilen darlegt. Unter Windows Server läuft die RTX PRO 6000 Server Edition ohne MIG.

Welches Linux es sein soll, ist eine eigene Frage mit eigenen Support-Listen; unser Leitfaden Linux für GPU-Server: Ubuntu, RHEL oder Rocky beantwortet sie: Ubuntu 24.04 LTS, RHEL 9 und RHEL 10 stehen heute auf jeder NVIDIA-Liste.

Was unter Windows Server gut läuft

CUDA-Anwendungen. Die CUDA-13.4-Installationsanleitung für Windows, aktualisiert am 12. Oktober 2026, nennt Windows Server 2022 und Windows Server 2025 unter den unterstützten Betriebssystemen. Ein CUDA-Programm oder ein Simulations-Solver, dessen Hersteller einen Windows-Build liefert, läuft auf einem GPU-Host mit Windows Server; welche Karten und Treiberversionen er unterstützt, legt die GPU-Liste des Solver-Herstellers fest.

Das Treibermodell. Unter Windows läuft eine NVIDIA-GPU in einem Treibermodell, das festlegt, ob sie als Anzeigegerät oder als reines Rechengerät arbeitet. Laut CUDA-Anleitung dient das WDDM-Treibermodell für Anzeigegeräte, und TCC ist auf den meisten aktuellen NVIDIA-Tesla-GPUs standardmäßig aktiv. Laut NVIDIAs vGPU-Dokumentation wird die RTX PRO 6000 Server Edition im Display-off-Modus ausgeliefert, und welchen Modus eine bestimmte Karte mit einem bestimmten Treiber zulässt, behandelt unser Leitfaden zu WDDM, TCC und MCDM. Prüfen Sie das, bevor Sie eine Aufgabe planen, die einen bestimmten Modus braucht, etwa WSL 2 (unten) oder einen Solver, der TCC verlangt.

Ollama. Laut Windows-Dokumentation läuft Ollama als native Windows-Anwendung, setzt „Windows 10 22H2 or newer, Home or Pro“ und einen NVIDIA-Treiber ab 551.61 voraus und bietet ein eigenständiges Zip-Archiv nur mit dem Kommandozeilenwerkzeug und den NVIDIA-GPU-Bibliotheken, das ollama serve mit einem Werkzeug wie NSSM als Systemdienst betreiben kann. Windows Server wird nicht erwähnt. Damit ist Ollama ein gutes Werkzeug für die Workstation eines Entwicklers und eine schwache Basis für einen geteilten Server, wie unser Artikel zum Schritt von Ollama auf dem PC zum KI-Server für die Firma erklärt.

Ein Hyper-V-Host für VDI. Für virtuelle Desktops und CAD-Arbeitsplätze ist Windows Server 2025 ein unterstützter Host für NVIDIA vGPU. NVIDIAs R595-Dokumentation unterstützt vGPU per GPU-Partitionierung nur unter Windows Server 2025 und listet dafür die RTX PRO 6000 und RTX PRO 4500 Blackwell Server Edition, die L40S und die L4; Windows Server 2022 erhält nur DDA mit ganzen Karten. Unser Leitfaden zu NVIDIA vGPU unter Hyper-V mit Windows Server 2025 behandelt Einrichtung, Lizenzen und Live-Migration.

Wir bauen den Server auf Bestellung und installieren das Betriebssystem Ihrer Wahl, auf Wunsch mit NVIDIA-Treiber, CUDA und Container-Runtime; nennen Sie uns die Anwendungen und Modelle, die der Server betreiben soll, und unser Team antwortet mit der Konfiguration und dem Betriebssystem, das sie unterstützt.

WSL 2 und Docker Desktop sind Wege für die Workstation

Zwei Wege bringen Linux-Werkzeuge auf einen Windows-Rechner, und beide zielen auf Workstations.

CUDA unter WSL 2. NVIDIAs Leitfaden zu CUDA on WSL (CUDA 13.4, aktualisiert am 12. Oktober 2026) nennt Windows 11 und Windows 10; Windows Server wird nicht erwähnt. Er unterstützt GPUs im WDDM-Modus und hält fest, dass Quadro-GPUs im TCC-Modus und Tesla-GPUs noch nicht unterstützt werden. Innerhalb von WSL darf kein NVIDIA-Linux-Treiber installiert werden, denn der Windows-Treiber stellt die GPU bereit. Der Leitfaden nennt auch Grenzen, die auf einem Server zählen: NVML, die Bibliothek hinter nvidia-smi, unterstützt noch nicht alle Abfragen, und ECC, Compute Mode oder Persistence Mode lassen sich nicht setzen; Pinned Memory ist begrenzt, sodass manche Deep-Learning-Aufgaben scheitern können. Auf einer Workstation mit RTX PRO 5000 oder RTX PRO 6000 Workstation Edition ist WSL 2 ein praktischer Weg zu Linux-Werkzeugen, wie unser Leitfaden zu CUDA unter WSL2 auf RTX-PRO-Workstations zeigt.

Docker Model Runner mit vLLM. Docker hat am 11. Dezember 2025 angekündigt, dass sein Model Runner vLLM unter Docker Desktop für Windows mit WSL2 und NVIDIA-GPUs unterstützt, ab Docker Desktop 4.54 und für GPUs ab Compute Capability 8.0. Docker Desktop ist das Desktop-Produkt, und der Beitrag erwähnt Windows Server nicht. vLLM läuft dabei in der Linux-Umgebung von WSL 2 und übernimmt deren Grenzen.

Keiner der beiden Wege macht Windows Server zu einem unterstützten Host für vLLM oder NIM. Für einen Server, auf den sich ein ganzes Unternehmen stützt, sind die unterstützten Kombinationen in der Tabelle oben die sicherere Basis.

Ein LLM auf Windows Server betreiben: Linux-VM auf einem Hyper-V-Host

Eine Windows-IT-Abteilung kann Linux für die Modelle auch in einer VM auf einem Hyper-V-Host betreiben. NVIDIA unterstützt unter Windows Server 2025 zwei Wege, dieser VM eine GPU zu geben, beide mit Grenzen.

• Ganze Karte per DDA. Für Gäste mit Ubuntu 24.04 und 22.04 und mit RHEL 9.x hält NVIDIAs Windows-Server-Matrix fest, dass GPU-Passthrough nicht unterstützt wird. Auf einem 2025-Host bleiben als Linux-Gäste für DDA Ubuntu 20.04, RHEL 8.10 und SUSE Linux Enterprise Server.
• Eine vGPU über die volle Karte per GPU-Partitionierung. Der Typ DC-96Q gibt einer VM mit Ubuntu 24.04 oder RHEL 9 die ganze RTX PRO 6000 Server Edition mit einer RTX-vWS-Lizenz. vGPU-Typen der C-Serie für Compute sind unter Windows Server nicht verfügbar, MIG-basierte vGPUs werden dort für die RTX PRO Server Editions nicht unterstützt, und Unified Memory, das für DC-96Q in Linux-Gästen standardmäßig aktiv ist, schaltet die Live-Migration ab.

Eine VM kann unter Windows Server 2025 bis zu 16 vGPUs halten, aber NVIDIAs Seiten sagen nichts über Peer-to-Peer-Verkehr zwischen ihnen; ein Modell würden wir daher nicht per Tensor-Parallelität über mehrere vGPUs verteilen. Für ein Modell auf einer Karte funktioniert der VM-Weg; für ein Modell über zwei oder vier Karten ist ein Linux-Host die einfachere und besser dokumentierte Wahl.

Ein Linux-GPU-Server in einer Windows-IT-Abteilung

Ein Linux-Inferenzserver ändert für die Windows-Clients weniger, als es scheinen mag. vLLM stellt eine OpenAI-kompatible API über HTTP bereit, wie das Beispiel mit vllm serve auf der Modellkarte von Gemma 4 festhält; Windows-Desktops, Skripte und Fachanwendungen rufen sie also wie jeden Webdienst auf. Auf den Clients läuft nichts Linux-Spezifisches.

Die Arbeit liegt auf der Serverseite, und sie ist überschaubar:

1. Zugriff. Setzen Sie ein LLM-Gateway mit Schlüsseln und Abfrage-Log vor die Engine und lassen Sie das Gateway die Mitarbeitenden gegen Ihren Verzeichnisdienst anmelden. --api-key schützt in vLLM nur Pfade unter /v1, /v2, /inference und /cohere (Sicherheitsleitfaden von vLLM 0.32.0), daher bleibt die Engine selbst in einem internen Netz.
2. Patchen. Kernel- und NVIDIA-Treiber-Updates gehören zusammen; fixieren Sie den Treiberzweig und aktualisieren Sie beides in einem Wartungsfenster, wie unser Artikel zu NVIDIA-Treiberzweigen und CUDA-Versionen beschreibt.
3. Überwachung. GPU-Temperatur, Leistung, Speicherfehler und XID-Ereignisse lassen sich in die vorhandene Überwachung einspeisen; unser Leitfaden zur GPU-Überwachung mit Zabbix und Checkmk listet die Messwerte.
4. Einrichtung. Die Schritte von der Firmware bis zum ersten Modell stehen in unserem Leitfaden zur Einrichtung eines neuen GPU-Servers.

Drei Konfigurationen

Referenzkonfiguration auf unserer Seite zu KI-Servern (zwei RTX PRO 6000 Server Edition, zwei AMD EPYC, 384 GB DDR5-ECC, zwei NVMe); Desktop-Zahlen aus unseren Leitfäden zu vGPU-Profilen (16 je RTX PRO 4500 Server Edition bei 2 GB, vier DC-24Q je RTX PRO 6000 Server Edition); Leistung nach unserer Schätzung mit Karten bei 600 W, zwei EPYC 9135 und 15 Prozent für den Rest. Für den Host mit vier Karten der RTX PRO 4500 Server Edition geben wir keine Schätzung, weil Prozessor und Arbeitsspeicher von der Desktop-Zahl abhängen.

Der Linux-Inferenzserver. Die Einstiegskonfiguration auf unserer Seite zu KI-Servern mit zwei Karten der RTX PRO 6000 Server Edition, zwei AMD-EPYC-Prozessoren, 384 GB DDR5-ECC und zwei NVMe-Laufwerken betreibt gpt-oss-120b auf einer Karte mit etwa 19 Gesprächen zu 32K Token nach unserer Regel für Nutzer je Karte, und die zweite Karte für Suchmodelle, Spracherkennung oder ein zweites Modell, bei Bedarf per MIG geteilt. Nach unserer Schätzung nimmt er etwa 1,8 kW am Netz auf und passt an einen 16-A-Anschluss mit 230 V, der bei 80 Prozent Auslastung 2,94 kW trägt.

Der Hyper-V-Host. Für Desktops liefern Karten der RTX PRO 4500 Server Edition je 16 Büro-Desktops mit vPC-Profilen zu 2 GB; für CAD liefern Karten der RTX PRO 6000 Server Edition je vier Plätze zu 24 GB. Windows Server 2025 erlaubt je Karte nur eine vGPU-Serie und -Größe, ein Host für beides legt sie also auf getrennte Karten. Hyper-V-Hosts mit GPUs fügen sich in einen bestehenden Windows-Cluster ein, mit den Regeln zur Live-Migration aus unserem Hyper-V-Leitfaden.

Unsere Seite zum Kauf eines Servers mit zwei Karten der Server Edition listet die Bauteile des Linux-Servers. Wenn Sie beides wollen, beschreiben Sie die KI-Aufgabe und die Zahl der Desktops, und wir dimensionieren den Inferenzserver und die Hyper-V-Hosts in einem Angebot.

Empfehlung je Einsatz

• LLM-Inferenz, Suche, interner Assistent: Linux auf dem Host (Ubuntu 24.04 LTS, RHEL 9 oder RHEL 10), vLLM oder NIM in Containern. Windows-Clients nutzen die API.
• Windows-CUDA-Anwendungen und Simulations-Solver: Windows Server 2022 oder 2025, wenn der Solver-Hersteller ihn für Ihre Karte unterstützt; prüfen Sie zuerst den Treibermodus.
• Virtuelle Desktops und CAD-Plätze mit geteilten GPUs: ein Hyper-V-Host mit Windows Server 2025 und Karten der RTX PRO 4500 oder RTX PRO 6000 Server Edition, L40S oder L4, oder ein Linux-KVM-Host wie Proxmox VE.
• Compute-VMs mit vGPUs der C-Serie oder MIG-basierten vGPUs: ein Linux-KVM-Hypervisor oder vSphere; keiner der beiden Typen ist unter Hyper-V verfügbar.
• Eine Entwickler-Workstation: Windows 11 mit WSL 2 ist in Ordnung; ein geteilter Server sollte nicht davon abhängen.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team dimensioniert die Konfiguration nach Ihrer Last und Ihrem Budget und antwortet innerhalb eines Werktages. Wir bauen GPU-Server auf Bestellung mit Karten der RTX PRO 6000 Server Edition, RTX PRO 4500 Server Edition, L40S, L4 oder H200 NVL, vor der Lieferung montiert und getestet, auf Wunsch mit installiertem Betriebssystem, Treibern, CUDA und Container-Runtime, geliefert in die gesamte EU mit einem EU-Vertrag und einer Rechnung, mit Herstellergarantie auf jede Komponente, abgewickelt über uns; Stückzahlen und Lieferzeit werden mit dem Angebot schriftlich bestätigt. Lizenzen für vGPU und NVIDIA AI Enterprise stehen auf demselben Angebot, wie unsere Lizenzseite erklärt.

FAQ