RTX PRO 6000 Power Limit: die 600-W-Karte mit 300 bis 450 W betreiben, mit nvidia-smi unter Linux

RTX PRO 6000 Power Limit mit nvidia-smi setzen

Unter Linux wird das Power Limit der RTX PRO 6000 mit nvidia-smi gesetzt, dem Werkzeug, das mit dem NVIDIA-Treiber kommt; damit lässt sich die Leistungsaufnahme der GPU begrenzen. nvidia-smi -q -d POWER zeigt Min, Max und Default Power Limit jeder Karte, und nvidia-smi -i 0 -pl 450, als root ausgeführt, senkt die erste GPU auf 450 W. NVIDIAs Dokumentation sagt, der Wert „muss zwischen Min und Max Power Limit liegen, wie von nvidia-smi gemeldet“, und die Option trägt den Hinweis „Requires root.“ Ein so gesetztes Limit übersteht weder einen Neustart noch ein Neuladen des Treibers; ein Server braucht deshalb eine Unit, die es bei jedem Boot erneut setzt, und eine Flotte kann die Aufgabe an DCGM übergeben.

Von den Optionen in diesem Artikel tragen -pl, -pm (Persistence Mode) und -lgc (Locked Clocks) in NVIDIAs Dokumentation den Hinweis „Requires root“; die Abfrageoptionen -q, -d und -L nicht. -i wählt eine GPU über Index, Board-Seriennummer, UUID oder PCI-Bus-ID. NVIDIA empfiehlt der Konsistenz wegen die UUID oder die Bus-ID, weil sich die Reihenfolge der Aufzählung zwischen Neustarts ändern kann.

Beim GPU Power Capping dürfte ein niedrigeres Limit die Token-Generierung für einen oder wenige Nutzer weniger kosten als Prompt-Verarbeitung und Training, denn die Generierung wartet vor allem auf den Speicher, die beiden anderen auf Rechenleistung.

Leistungsgrenzen, die NVIDIA für jede Karte dokumentiert

NVIDIA veröffentlicht für jede Karte das Maximum und einen konfigurierbaren Bereich nur für die passiven Serverkarten in der Tabelle. Der Product Brief SP-12355-001_v02 zur RTX PRO 6000 Server Edition vom 27. Juni 2025 nennt „600 W maximum (default)“ und „300 W minimum“, wenn das 16-polige Stromkabel für 600 W beschaltet ist, und ein Maximum von 450 W mit demselben Minimum von 300 W, wenn es für 450 W beschaltet ist. NVIDIAs Familienseite zur RTX PRO 6000 gibt die Leistungsaufnahme der Server Edition mit 400 bis 600 W an. Die Tabelle folgt dem Brief, dem ausführlicheren Dokument, und die gelieferte Karte meldet den Bereich, den sie akzeptiert, als Min und Max Power Limit.

NVIDIAs Familienseite zur RTX PRO 6000 und Seite zur RTX PRO 4000 SFF, gelesen am 16. Oktober 2026; NVIDIA-Product-Briefs SP-12355-001_v02 (27. Juni 2025) und PB-12128-001_v01 (11. April 2025); DGX Spark User Guide, zuletzt aktualisiert am 10. September 2026.

Das Kabel setzt eine eigene Obergrenze. Die Server Edition liest die Sense-Pins ihres 12V-2×6-Steckers aus und meldet an einem für 450 W beschalteten Kabel ein Max Power Limit von 450 W, sodass nvidia-smi -pl 600 nichts ändert; unser Vergleich von Workstation, Max-Q und Server Edition behandelt diesen Fall und das Kabel in der Bestellung. Für die Workstation Edition und die Max-Q nennt NVIDIA auf den Seiten, die wir gelesen haben, nur die Nennleistung; der niedrigste Wert, den die gelieferte Karte akzeptiert, ist also das Min Power Limit, das nvidia-smi für sie meldet.

Was ein niedrigeres Power Limit bei LLM-Inferenz und Training bewirkt

NVIDIAs technischer Blog zur Optimierung der LLM-Inferenz, veröffentlicht am 17. November 2023, beschreibt die zwei Phasen einer Anfrage. Prefill, die Verarbeitung des Prompts, ist „eine stark parallelisierte Matrix-Matrix-Operation“, die „die GPU-Auslastung praktisch sättigt“. Im Decode, der Erzeugung jedes neuen Tokens, „dominiert“ die Zeit, die das Laden von Gewichten und Cache aus dem Speicher braucht, „die Latenz“. An seinem Limit meldet nvidia-smi SW Power Cap: Der Leistungsalgorithmus „senkt die Takte unter die angeforderten Takte, weil die GPU zu viel Leistung aufnimmt“, und niedrigere Takte bremsen rechengebundene Arbeit am stärksten.

Phasen aus NVIDIAs technischem Blog „Mastering LLM Techniques: Inference Optimization“ (17. November 2023); SW Power Cap aus der nvidia-smi-Dokumentation, gelesen am 16. Oktober 2026. Nur die Richtung, ohne Prozentwerte.

Eine Messung einer RTX PRO 6000 bei niedrigeren Power Limits von NVIDIA oder von einer Testpublikation, die Datum und Bedingungen nennt, haben wir nicht gefunden; die Tabelle zeigt deshalb die Richtung, keinen Wert für die Planung. Ein RAG-Assistent mit langen abgerufenen Passagen verbringt einen größeren Teil jeder Anfrage im Prefill als ein Chat, seine Nutzer bemerken ein Limit also an der Zeit bis zum ersten Token. NVIDIAs Blog ergänzt, dass größere Batches mehr der verfügbaren Rechenleistung nutzen, was einen ausgelasteten Server in Richtung des rechengebundenen Falls verschiebt. Messen Sie Durchsatz und Energie pro Token beim Standardwert und bei ein oder zwei niedrigeren Limits, wie unser Leitfaden zum GPU-Energieverbrauch pro Token beschreibt.

Warum begrenzen: Stromkreise, Rack-Einspeisung und acht Karten pro Server

Acht Karten der Server Edition ziehen bei 600 W bis zu 4.800 W, bei 450 W 3.600 W und bei 300 W 2.400 W, noch ohne Prozessoren, Arbeitsspeicher und Lüfter. Zwei solche Server in einem Rack brauchen beim Standardlimit allein für die Karten 9,6 kW und bei 450 W 7,2 kW. Manche Servermodelle nehmen mehr Karten nur auf, wenn diese begrenzt sind: Lenovos Product Guide zum SR650a V4, aktualisiert am 5. Oktober 2026, führt zwei Karten der Server Edition mit 600 W oder vier in Steckplätzen, die auf 450 W begrenzt sind. Einspeisung und Luftstrom je Rack behandelt unser Leitfaden zu Strom und Kühlung für ein GPU-Rack.

Im Büro oder in einem kleinen Serverraum entscheidet der Stromkreis. Ein 16-A-Stromkreis bei 230 V trägt 3.680 W, und wir planen mit 80 Prozent eines Abgangs. Ein Tower mit zwei Karten der Workstation Edition hat bei 600 W 1.200 W Kartenleistung und bei 450 W 900 W, was dem Raum auch 300 W Wärme erspart, wie unser Artikel zum GPU-Server im Büro oder kleinen Serverraum durchrechnet.

Eine Einspeisung, die für begrenzte Karten ausgelegt ist, setzt voraus, dass das Limit nach jedem Boot greift. NVIDIAs Briefs zur Server Edition und zur H200 NVL sagen, ein Power Cap über nvidia-smi „muss nach jedem neuen Laden des Treibers neu gesetzt werden“, während ein Out-of-Band über SMBPBI gesetztes Cap „über Treiberladevorgänge und Systemstarts hinweg in Kraft bleibt“. Der Brief der Server Edition ergänzt, SMBPBI „setzt für den vollen Funktionsumfang voraus, dass der NVIDIA-Treiber geladen ist“. Wo der BMC des Serverherstellers keine solche Einstellung bietet, dimensionieren Sie die Absicherung für die unbegrenzte Nennleistung.

Wir bauen KI-Server mit bis zu acht Karten der RTX PRO 6000 Server Edition oder H200 NVL und prüfen Rack, Strom und Luftstrom vor dem Angebot. Schicken Sie uns die Einspeisung je Rack-Position und die geplante Kartenzahl über das Formular unten.

Das Power Limit beim Boot dauerhaft setzen

NVIDIAs Dokumentation zur Treiber-Persistenz zählt das Limit für das Software-Power-Capping zu den Einstellungen, die nur gelten, solange der Treiber die GPU initialisiert hält, und schreibt: „Die GPU wird in der Regel deinitialisiert, nachdem der letzte Client beendet wurde.“ Ohne Persistenz kann ein Limit also schon zwischen zwei Jobs zurückfallen, nicht erst bei einem Neustart. NVIDIA verweist auf den Persistence-Daemon nvidia-persistenced und schreibt, der alte Persistence Mode werde irgendwann „als veraltet markiert und entfernt“; die Beispiel-Init-Skripte, eines davon für systemd, liegen der Treiberdokumentation bei und werden vom Installer nicht ausgeführt.

Das folgende Verfahren ist unser Beispiel für einen Linux-Server; die nvidia-smi-Befehle darin entsprechen NVIDIAs Dokumentation, und jeder Schritt läuft als root.

1. Lesen Sie Min, Max und Default Power Limit jeder Karte mit nvidia-smi -q -d POWER aus und notieren Sie die UUID jeder GPU mit nvidia-smi -L, da sich die Reihenfolge der Indizes zwischen Neustarts ändern kann.
2. Stellen Sie sicher, dass nvidia-persistenced beim Boot startet, aus dem Treiberpaket Ihrer Distribution oder mit NVIDIAs systemd-Beispielskript, und prüfen Sie, dass nvidia-smi -q den Persistence Mode als Enabled meldet.
3. Setzen Sie das Limit von Hand auf einer Karte, zum Beispiel mit nvidia-smi -i 0 -pl 450, und prüfen Sie es unter Last mit nvidia-smi -q -d POWER.
4. Legen Sie /etc/systemd/system/gpu-power-limit.service an, mit einer After=-Zeile unter [Unit], die die Unit nennt, welche nvidia-persistenced startet, und unter [Service] Type=oneshot, RemainAfterExit=yes und einer ExecStart=-Zeile je Karte, etwa /usr/bin/nvidia-smi -i <UUID> -pl 450.
5. Ergänzen Sie WantedBy=multi-user.target unter [Install], führen Sie systemctl daemon-reload aus und danach systemctl enable --now gpu-power-limit.
6. Starten Sie neu und lesen Sie die Limits erneut aus; führen Sie nach einem Treiber-Update oder einem Neuladen des Treibers ohne Neustart systemctl restart gpu-power-limit aus und prüfen Sie noch einmal.

Für ein Undervolting der RTX PRO 6000 nennt die nvidia-smi-Dokumentation keine Option, mit der sich die GPU-Spannung setzen lässt; ihre dokumentierten Stellgrößen sind das Power Limit und feste Takte mit -lgc, versehen mit dem Hinweis „Supported on Volta+. Requires root.“ Bleiben Sie auf einem Server beim Power Limit, das der Treiber durchsetzt und meldet.

DCGM-Leistungsgrenzen für eine Flotte von GPU-Servern

Für eine Flotte eignet sich NVIDIAs Data Center GPU Manager. Seine Funktionsübersicht, aktualisiert am 17. Juni 2026, führt Power Limit unter den Einstellungen, die er verwaltet, um „die maximal zulässige Leistungsaufnahme festzulegen“, und schreibt: „To define a target configuration for a group, use the dcgmi config subcommand.“ Die GPUs dafür fasst dcgmi group -c GPU_Group zusammen. DCGM „setzt diese Konfiguration dann durch, zum Beispiel über Treiberneustarts und GPU-Resets hinweg oder beim Start eines Jobs“, und deckt damit die Neuladevorgänge ab, die eine Boot-Unit verpasst.

Seine Policy-Funktion kann bei „Excursions above specified board power threshold“ benachrichtigen. DCGMs Funktionstabelle, die noch NVIDIAs alte Markennamen verwendet, markiert das Konfigurationsmanagement für alle vier Produktlinien, Policy-Benachrichtigungen aber nur für Tesla, die Rechenzentrumslinie. Exportieren Sie für das Monitoring das durchgesetzte Limit, DCGM_FI_DEV_BOARD_POWER_LIMIT_ENFORCED_WATTS, neben der Board-Leistung, und alarmieren Sie, wenn es niedriger als geplant ist und niemand ein Limit gesetzt hat. Weitere Felder und die Clock Event Reasons behandelt unser Leitfaden zum Monitoring von GPU-Servern mit DCGM.

Kompakte Bauformen und Small Form Factor

Wo das Gehäuse das Leistungsbudget vorgibt, passt eine dafür ausgelegte Karte besser als eine begrenzte 600-W-Karte. Die RTX PRO 6000 Max-Q hat dieselbe GPU und 96 GB bei 300 W, mit Radialgebläse, und NVIDIA nennt bis zu vier pro Workstation. Eine auf 300 W begrenzte Workstation Edition behält ihren Durchzugskühler und ihre Größe. Ein Tower mit vier Max-Q-Karten zieht nach unserer Schätzung etwa 1,8 bis 2 kW an der Steckdose, innerhalb eines 16-A-Stromkreises.

Für Server mit kurzer Einbautiefe und Außenstandorte führt NVIDIA die RTX PRO 4000 SFF mit 70 W als Low-Profile-Karte in Dual-Slot-Bauweise mit 24 GB GDDR7 und die RTX PRO 2000 mit 70 W und 16 GB. Bei dieser Leistung ist das Budget durch die Bauart festgelegt, und die Liste qualifizierter Karten des Gehäuseherstellers entscheidet, welche passt.

Wir liefern die RTX PRO 6000 Max-Q, die RTX PRO 4000 SFF und die RTX PRO 2000 als Karten und in Workstations und Servern mit kurzer Einbautiefe, die auf Bestellung gebaut werden. Beschreiben Sie das Gehäuse, sein Netzteil und den Workload im Formular unten.

Power Limit bei DGX Spark

NVIDIAs DGX Spark User Guide, zuletzt aktualisiert am 10. September 2026, führt ein „240W external power supply (included)“ und eine TDP des GB10 von 140 W, mit 100 W für die übrigen Komponenten wie das ConnectX-7-Netzwerk, die SSD und USB-C. Die Seite mit bekannten Problemen warnt, dass ein anderer Adapter „die Leistung verringern, den Start verhindern oder unerwartete Abschaltungen verursachen kann“. Einen Abschnitt des User Guide, der das Setzen eines Power Limits auf DGX Spark beschreibt, haben wir nicht gefunden; der mitgelieferte Adapter begrenzt die Aufnahme, vier Spark-Systeme brauchen also 960 W Adapterleistung.

Was wir liefern

Wir liefern die RTX PRO 6000 Workstation Edition, Max-Q und Server Edition, die H200 NVL, die RTX PRO 4000 SFF und die RTX PRO 2000 als Karten oder in auf Bestellung gebauten KI-Servern sowie DGX Spark, mit Herstellergarantie unter einem EU-Vertrag und auf einer Rechnung. Jeder Server wird montiert und im Burn-in getestet, und wir prüfen Rack, Strom und Luftstrom vor dem Angebot. Betriebssystem, Treiber, CUDA und eine Container-Laufzeit installieren wir auf Wunsch, und der Treiber enthält nvidia-smi, um die Leistungsaufnahme auszulesen und Limits zu setzen. Die maximale Leistungsaufnahme jeder Karte, die wir liefern, steht auf unserer Seite zu professionellen NVIDIA-GPUs.

FAQ