NVIDIA RTX PRO 6000 Blackwell Multi-GPU-P2P unter Linux: Topologie, IOMMU, ACS, NCCL-Tests

Was P2P auf RTX PRO 6000 bringt

Peer-to-Peer (P2P) lässt eine GPU direkt über PCIe aus dem Speicher einer anderen GPU lesen und hineinschreiben, ohne Kopie über den Hauptspeicher. Keine der drei Editionen der NVIDIA RTX PRO 6000 Blackwell, weder die Server Edition noch die Max-Q Workstation Edition noch die Workstation Edition, hat NVLink; P2P über PCIe 5.0 ist deshalb der schnellste Weg zwischen zwei Karten. Prüfen Sie es mit nvidia-smi topo -m, NVIDIAs Beispiel simpleP2P und nccl-tests, und wenn es fehlschlägt oder hängt, sehen Sie sich zuerst den IOMMU-Modus und ACS an.

Tensor-Parallelismus nutzt diesen Weg in jeder Schicht. Der Custom-All-Reduce von vLLM schreibt direkt in den Speicher der anderen Karten und braucht funktionierendes P2P, und NCCL nutzt P2P als einen seiner Transportwege. Im veröffentlichten Test mit zwei Karten der Workstation Edition unten senkte P2P die Latenz von 12,68 auf 0,53 µs, während die Bandbreite in eine Richtung nur von 42,18 auf 45,85 GB/s stieg.

Level1Techs-Forum, „RTX Pro 6000 - Everthing That's Gone Wrong“ (17. Juli 2025), p2pBandwidthLatencyTest auf zwei RTX PRO 6000 Workstation Edition; Level1Techs-Forum, „Dual RTX PRO 6000 Blackwell Max-Q: how to make P2P NCCL work?“ (Dezember 2025 bis Januar 2026), Treiber 580.95.05, NCCL 2.28.9, Nachrichten mit 64 MiB. Einzelne Systeme, Werte wie veröffentlicht, gelesen am 24. Oktober 2026.

Die Bandbreite in eine Richtung steigt mit P2P um weniger als 10 Prozent, und beide Werte bleiben unter den 64 GB/s, die PCIe 5.0 x16 je Richtung überträgt, der Hälfte der 128 GB/s, die NVIDIAs H200-Seite für PCIe Gen5 insgesamt angibt. Die Latenz sinkt etwa um den Faktor 24. Die Token-Erzeugung schickt viele kleine All-Reduces, einen nach jeder geteilten Schicht; ein Tensor-Parallel-Paar spürt deshalb vor allem die Latenz. Unser Vergleich der Layouts für RTX PRO 6000 ohne NVLink erklärt, wann sich eine Aufteilung lohnt und wann Replikate ganz ohne P2P auskommen.

nvidia-smi topo -m lesen

nvidia-smi topo -m gibt eine Matrix mit dem Pfad zwischen jedem GPU-Paar sowie der CPU- und NUMA-Affinität jeder Karte aus. Die mit ausgegebene Legende definiert die Pfadtypen.

Legende, die nvidia-smi topo -m ausgibt; Erwartungen sind unsere Zusammenfassung, mit den veröffentlichten Beispielen im Text darunter.

Veröffentlichte Systeme zeigen die häufigen Fälle. Zwei Max-Q auf einem Threadripper-PRO-Workstation-Board zeigten im Level1Techs-Thread oben NODE, weil jede Karte an einem eigenen Root Port desselben Prozessors sitzt. In einem Bericht aus dem vLLM-Forum vom April 2026 saßen acht RTX PRO 6000 Blackwell Server Edition zu je vier an den beiden NUMA-Knoten eines Zwei-Sockel-Servers; jedes Paar über die Sockel hinweg zeigte deshalb SYS. Server mit PCIe-Switches zeigen PIX oder PXB für Karten am selben Switch.

Die Matrix zeigt die Verdrahtung, nicht, ob P2P funktioniert. NVIDIAs NCCL-Leitfaden zur Fehlersuche ergänzt nvidia-smi topo -p2p p, das eine P2P-Statusmatrix für PCIe ausgibt, auf einem gesunden System mit „OK“ für jedes funktionierende Paar. Derselbe Leitfaden warnt, dass „OK“ allein IOMMU- oder ACS-Probleme nicht ausschließt; die Tests weiter unten müssen also trotzdem laufen. Legen Sie jeden Tensor-Parallel-Verbund auf Paare mit PIX, PXB oder NODE und vermeiden Sie SYS für ein TP=2-Paar.

BIOS-Einstellungen: IOMMU, ACS, Above 4G und Resizable BAR

Vier Firmware-Einstellungen entscheiden, ob P2P auf einem Multi-GPU-Host funktioniert. Ihre Namen unterscheiden sich je nach Board-Hersteller; suchen Sie nach der Funktion, nicht nach der Bezeichnung.

• IOMMU (AMD IOMMU, Intel VT-d). Im Translated-Modus bildet die IOMMU Geräteadressen um. Laut NCCL-Leitfaden unterstützen CUDA und der NVIDIA-Treiber-Stack unter Linux auf Bare Metal keine PCIe-Peer-to-Peer-Übertragungen mit aktivierter IOMMU; er rät, den Translated-Modus für GPU-P2P zu meiden, und warnt vor stiller Beschädigung des Gerätespeichers.
• ACS (Access Control Services). Mit eingeschaltetem ACS schicken PCIe-Bridges und -Switches Peer-Verkehr hinauf zum Root Complex des Prozessors. Der NCCL-Leitfaden nennt als mögliche Folge „a significant performance reduction or even a hang“ und hält fest: „If PCI switches have ACS enabled, it needs to be disabled“. Auf manchen Systemen schaltet auch das Deaktivieren von IO-Virtualisierung oder VT-d im BIOS ACS ab.
• Above 4G Decoding und Resizable BAR. Das README eines Community-P2P-Patches für NVIDIAs Open-Kernel-Module nennt beides als Firmware-Voraussetzung, weil jede GPU eine BAR1-Apertur braucht, die groß genug für ihren nutzbaren Grafikspeicher ist. Prüfen Sie beides auf Workstation- und Server-Boards gleichermaßen.

Die Level1Techs-Threads zeigen, wie das in der Praxis aussieht. Auf der Workstation mit zwei Max-Q behob ein Nutzer den NCCL-Hänger, indem er die IOMMU im BIOS abschaltete, bei bereits abgeschaltetem ACS, ein anderer mit amd_iommu=on iommu=pt in der Kernel-Kommandozeile und ACS aus. Ein Aufbau-Log für vier Max-Q vom Juli 2026 behob einen TP=2-Stillstand, indem ACS und IOMMU im BIOS abgeschaltet wurden.

Wir bauen Multi-GPU-Systeme mit RTX PRO 6000 Server Edition, Max-Q oder Workstation Edition und testen sie vor der Lieferung; schicken Sie uns die Kartenzahl und ob auf dem Host virtuelle Maschinen laufen sollen, und unser Team antwortet mit einem Steckplatzplan und den abzustimmenden Firmware-Einstellungen.

Kernel-Parameter und was sie an Sicherheit kosten

Lesen Sie zuerst den aktuellen Zustand. Der NCCL-Leitfaden prüft den IOMMU-Modus mit cat /proc/cmdline und mit dmesg, gefiltert nach iommu, dmar und default domain. Zeilen wie „iommu: Default domain type: Translated“ oder „DMAR: IOMMU enabled“ sind die Warnzeichen, die er nennt.

In den Berichten und Dokumenten tauchen drei Kernel-Einstellungen auf.

Linux-Kernel-Dokumentation, admin-guide kernel-parameters (intel_iommu „on“/„off“: „Enable/Disable intel iommu driver“; amd_iommu „off“: „do not initialize any AMD IOMMU found in the system“); vLLM-Issue 30682 und Level1Techs-Threads für iommu=pt. Gelesen am 24. Oktober 2026.

Die Kernel-Dokumentation nennt für amd_iommu keinen Wert on; das amd_iommu=on aus der Forumslösung hat keine dokumentierte Wirkung, den Modus ändert iommu=pt. ACS lässt sich auch unter Linux abschalten. Der NCCL-Leitfaden findet Bridges mit ACS über sudo lspci -vvv | grep ACSCtl, wobei „SrcValid+“ auf eingeschaltetes ACS hindeutet, und schaltet es je Bridge mit setpci -s 03:00.0 ECAP_ACS+0x6.w=0000 ab, die Bus-ID ersetzt durch die der jeweiligen Bridge. Bei Broadcom-PLX-Switches muss das laut Leitfaden nach jedem Neustart wiederholt werden; es gehört also in ein Boot-Skript.

Jede dieser Einstellungen entfernt einen Schutz. Die IOMMU begrenzt, welchen Speicher ein Gerät per DMA erreichen darf, und ACS leitet Peer-Verkehr zur Prüfung über den Root Complex. Das Patch-README sagt es deutlich: „IOMMU passthrough (iommu=pt) removes DMA isolation. Do not use it with untrusted devices.“ Der NCCL-Leitfaden ergänzt, dass virtuelle Maschinen ACS brauchen und das Abschalten von ACS dort keine Option ist; ein Host, der Geräte an virtuelle Maschinen durchreicht, kann diese Einstellungen für diese Geräte also nicht nutzen. Unser Leitfaden zur RTX PRO 6000 Max-Q in virtuellen Maschinen behandelt diese Seite. Stimmen Sie die Einstellungen mit den Verantwortlichen für die Sicherheit des Hosts ab, halten Sie sie in der Aufbaudokumentation fest und trennen Sie einen dedizierten Inferenz-Host von Hosts mit nicht vertrauenswürdigen Arbeitslasten.

Testen mit simpleP2P, p2pBandwidthLatencyTest und nccl-tests

Führen Sie die Tests vom kleinsten zum größten aus. Jeder Schritt isoliert eine Ebene.

1. Topologie. nvidia-smi topo -m und nvidia-smi topo -p2p p, gespeichert für die Aufbaudokumentation.
2. simpleP2P. NVIDIAs cuda-samples enthalten es, und der NCCL-Leitfaden empfiehlt es, weil es die übertragenen Daten prüft; ein erfolgreicher Lauf endet mit „Test passed“. Bauen Sie die Beispiele mit CMake, wie das README der cuda-samples beschreibt; die aktuelle Version unterstützt das CUDA Toolkit 13.4, und -DCMAKE_CUDA_ARCHITECTURES=120 beschränkt den Build auf Compute Capability 12.0, die der RTX PRO 6000.
3. p2pBandwidthLatencyTest. Der Test aus den cuda-samples, von dem die Level1Techs-Werte oben stammen, gibt Matrizen für Bandbreite und Latenz mit ab- und eingeschaltetem P2P aus. Für Bandbreitenmessungen verweist der NCCL-Leitfaden auf NVIDIAs Werkzeug nvbandwidth.
4. nccl-tests. Bauen Sie mit make und den Pfaden CUDA_HOME und NCCL_HOME, wie das README der nccl-tests zeigt, und starten Sie all_reduce_perf mit -b 8 -e 128M -f 2 -g 8 für acht GPUs auf einem Knoten: Größen von 8 Byte bis 128 MB, in jedem Schritt verdoppelt. Für ein Tensor-Parallel-Paar setzen Sie -g 2 und wählen das Paar mit CUDA_VISIBLE_DEVICES. Die Option -c prüft die Ergebnisse in jeder Iteration.
5. Ohne P2P. Wiederholen Sie Schritt 4 mit NCCL_P2P_DISABLE=1. Der NCCL-Leitfaden schlägt vor, Läufe mit NCCL_P2P_DISABLE und NCCL_P2P_LEVEL zu vergleichen, um festzustellen, ob ein Problem im P2P-Transport liegt.

Hängt ein Lauf mit gesetztem NCCL_DEBUG=INFO direkt nach der NCCL-Meldung „Connected all rings“ und läuft er mit abgeschaltetem P2P durch, liegt der Verdacht bei IOMMU oder ACS. Die Umgebungsvariablen-Dokumentation von NCCL beschreibt NCCL_DEBUG=INFO als Ausgabe von Debug-Informationen. Heben Sie die Ausgaben auf: Dieselben Tests nach einem BIOS-, Kernel- oder Treiber-Update zeigen, ob sich etwas geändert hat. Unser Leitfaden zu Burn-in und Abnahmetest bettet sie in eine vollständige Abnahme mit DCGM ein.

vLLM-Flags, wenn P2P nicht funktioniert

vLLM prüft P2P selbst, bevor es seinen Custom-All-Reduce nutzt. Schlägt die Prüfung fehl, schreibt der Quellcode „Custom allreduce is disabled because your platform lacks GPU P2P capability or P2P test failed“ ins Log, und der All-Reduce läuft über NCCL. Bei mehr als zwei reinen PCIe-GPUs nutzt vLLM standardmäßig ohnehin NCCL; der Custom-Kernel spielt also vor allem für TP=2-Paare eine Rolle. Mit vLLM 0.30.0 (Release Notes vom 22. September 2026) kam ein optionaler FlashInfer-PCIe-IPC-All-Reduce für Server ohne NVLink hinzu (Pull-Request 53576); unser Vergleich der Layouts ohne NVLink beschreibt seine Grenzen und das Wenige, das über seinen Gewinn veröffentlicht ist.

vLLM Engine Arguments („Disable the custom all-reduce kernel and fall back to NCCL“), vLLM-Quellcode custom_all_reduce und Parallelisierungsleitfaden (aktualisiert am 15. Oktober 2026); vLLM-Issue 30682 für die Workarounds. Gelesen am 24. Oktober 2026.

vLLM-Issue 30682, im Dezember 2025 für zwei Max-Q mit TP=2 eröffnet, sammelt diese Workarounds: --disable-custom-all-reduce allein oder mit NCCL_P2P_DISABLE=1 half manchen Nutzern und anderen nicht, der Ersteller schloss das Issue, nachdem er iommu=pt gesetzt hatte, und mehr Shared Memory für den Container half einem Nutzer. Im April 2026 hing eine TP=2-Instanz auf acht Karten der Server Edition beim Start der Worker, bis --disable-custom-all-reduce gesetzt war. Der Parallelisierungsleitfaden von vLLM rät für GPUs ohne NVLink, Pipeline- statt Tensor-Parallelismus zu nutzen, für höheren Durchsatz und weniger Kommunikationsaufwand.

Schalten Sie P2P in NCCL zuletzt ab. Auf dem System mit zwei Max-Q lief der All-Reduce damit, mit etwa 31 GB/s Busbandbreite, aber die Einstellung verdeckt auch den Fehler: Das nächste Treiber- oder BIOS-Update kann P2P reparieren, ohne dass es jemand bemerkt. Dokumentieren Sie die Einstellung und testen Sie nach jedem Update auch ohne sie.

Workstation-Boards, Zwei-Sockel-Server und PCIe-Switches

Das Board bestimmt, wie viele Paare einen kurzen Weg bekommen. Auf der Threadripper-PRO-Workstation im Level1Techs-Thread hängt jede Karte an einem Root Port desselben Prozessors, was NODE zwischen den Karten ergibt. Auf einem Zwei-Sockel-Server ohne Switches sitzt die Hälfte der Karten an jedem Sockel, und ein Verbund über beide zeigt SYS. Bei Servern mit PCIe-Switches hängt laut Dells technischem Leitfaden zum XE7745 vom September 2026 jeder GPU-Steckplatz an einem von vier Broadcom-Atlas-II-Switches, und Supermicros Datenblatt zum SYS-422GA-NRT nennt ein Dual-Root-Design mit PCIe-5.0-Switches für bis zu acht Karten mit 600 W; die Switches bringen ACS als weitere Einstellung auf die Prüfliste.

NVIDIAs Leitfaden für zertifizierte Systeme, aktualisiert am 30. September 2026, empfiehlt PCIe-Gen5-Switches und nennt einen Switch bei kostengünstigen Inferenzservern optional. Für Tensor-Parallel-Verbünde aus zwei oder vier Karten hält ein Switch je Verbund oder ein Verbund je Sockel den Weg kurz. Planen Sie in einem Rack-Server für den Dauerbetrieb RTX PRO 6000 Server Edition; die Max-Q gehört in eine Workstation oder in einen Server, dessen Hersteller sie freigibt.

Wir liefern die RTX PRO 6000 in allen drei Editionen und bauen das System um Ihr geplantes Layout herum, vor der Lieferung montiert und getestet; beschreiben Sie die Modelle und die geplante Aufteilung, und wir antworten mit Kartenzahl und Steckplatzplan.

FAQ