Sprecherdiarisierung on-premise: Modelle, GPU-Zeit und Planung neben der Spracherkennung

Was die Diarisierung (Sprechertrennung) einem Transkript hinzufügt

Sprecherdiarisierung on-premise bedeutet: Ein kleines Modell auf Ihrem eigenen Server markiert, wer wann gesprochen hat, und die Spracherkennung daneben schreibt auf, was gesagt wurde. Zwei offene Modelle decken im Oktober 2026 den Großteil des Unternehmenseinsatzes ab: NVIDIAs Nemotron 3 Diarization mit etwa 100M Parametern, bis zu acht Sprechern und einer Lizenz für kommerzielle Nutzung sowie pyannote community-1 unter CC BY 4.0. Die Diarisierung selbst braucht wenig GPU-Zeit; welche Karte Sie kaufen, entscheiden die Spracherkennung und das Sprachmodell, das das Protokoll schreibt.

Ein Transkript ohne Sprecherlabels taugt kaum für Protokolle, Gesprächsauswertungen oder Gerichtsakten. Die Diarisierung liefert anonyme Labels, Sprecher 1, Sprecher 2 und so weiter, mit Start- und Endzeit, und das Transkript wird entlang dieser Labels geschnitten. Die Sprecher zu benennen ist ein eigener Schritt. Unser Leitfaden zu Whisper und Parakeet auf einem Speech-to-Text-Server behandelt Erkennungsmodelle und ihren Speicherbedarf; dieser Artikel behandelt die Diarisierungsstufe, ihre Genauigkeit, ihre Kosten in GPU-Zeit und die Grenzen, die Sie vor der Dimensionierung eines Servers testen.

In der Praxis gibt es zwei Situationen. Aufgezeichnete Besprechungen, Interviews und Anrufe werden nachträglich im Batch verarbeitet, und es zählt der Durchsatz je Stunde Audio. Live-Besprechungen, Anrufe im Contact Center und Untertitel brauchen Labels innerhalb von etwa einer Sekunde, und es zählt die Zahl gleichzeitiger Streams. Ein Contact Center, das Agent und Kunde auf getrennten Kanälen aufzeichnet, braucht gar keine Diarisierung, wie unser Leitfaden zu Callcenter-KI on-premise erklärt.

Offene Diarisierungsmodelle im Oktober 2026

Hugging-Face-Karten nvidia/Nemotron-3-Diarization (Veröffentlichung 23. September 2026; Metadaten 99,2M Parameter; model.safetensors 397 MB, ein q8_0-GGUF mit 107 MB) und pyannote/speaker-diarization-community-1, gelesen am 24. Oktober 2026.

Nemotron 3 Diarization ist ein Transformer-Encoder mit 31 Schichten, der 16-kHz-Mono-Audio liest und alle 10 ms für jeden von acht Sprecherkanälen eine Aktivitätswahrscheinlichkeit ausgibt, sortiert danach, wann ein Sprecher zuerst auftritt. Im Streaming hält das Modell einen Sprecher-Cache in Reihenfolge des Auftretens und eine FIFO-Warteschlange, sodass ein Sprecher, der nach einer Pause wieder spricht, sein Label behält. Die Karte nennt NeMo Framework 3.0 unter Linux und führt Ampere-, Ada-Lovelace-, Blackwell- und Hopper-GPUs auf, RTX PRO eingeschlossen. NVIDIA schreibt, das Modell sei „ready for commercial or non-commercial use“.

pyannote community-1 ist eine Pipeline für pyannote.audio 4.x. Laut Karte laufen Pipelines standardmäßig auf der CPU und wechseln mit pipeline.to(torch.device("cuda")) auf eine GPU. Sie können die genaue Sprecherzahl angeben oder ein Minimum und Maximum. Die Pipeline liefert zusätzlich eine exklusive Diarisierung mit einem Sprecher je Zeitpunkt, die sich laut Karte leichter mit den Zeitstempeln der Transkription abgleichen lässt. Die Dateien werden erst geladen, wenn Sie die Bedingungen auf Hugging Face akzeptiert haben; eine lokale Kopie lädt danach ohne Internetverbindung. Das stärkere Modell precision-2 ist kommerziell und läuft laut Codekommentar der Karte „on pyannoteAI servers“, ist also keine On-Premise-Option.

Auch NVIDIAs ASR-NIM kann Sprecherlabels im Erkennungscontainer ergänzen. Seine Performance-Seite führt Profile mit dem Namen „Silero VAD + Sortformer“; Sortformer ist auch die NeMo-Modellklasse, SortformerEncLabelModel, mit der Nemotron 3 Diarization geladen wird.

Genauigkeit: Diarisierungsfehlerrate bei Besprechungen und Anrufen

Die Diarisierungsfehlerrate (DER) summiert verpasste Sprache, Fehlalarme und Sprache, die dem falschen Sprecher zugeordnet wurde, als Anteil der Sprechzeit. Niedriger ist besser. Beide Karten veröffentlichen DER-Werte auf öffentlichen Besprechungs- und Gesprächsdatensätzen, überlappende Sprache eingeschlossen.

Modellkarten von Nemotron 3 Diarization (Offline-Profil 30,4 s, Ultra-Low-Latency-Profil 0,32 s) und pyannote community-1 (vollautomatisch, ohne Collar, Überlappung nicht ausgelassen), gelesen am 24. Oktober 2026. Nemotron nutzt bei CALLHOME einen Collar von 0,25 s und für AMI und NOTSOFAR1 Referenzlabels aus Forced Alignment, die seine Karte als „not directly comparable“ mit anderen Labels bezeichnet.

Die Tabelle zeigt die Größenordnung des Abstands, aber die beiden Anbieter haben mit unterschiedlichen Referenzen gewertet; nehmen Sie sie als Grund, beide Modelle mit Ihrem eigenen Audio zu testen, nicht als Rangliste. Baseten, das das Modell als Dienst betreibt, schrieb am 23. September 2026, Nemotron 3 Diarization liege bei Ultra-Low-Latency unter den verglichenen Datensätzen nur auf AMI hinter pyannote community-1. NVIDIAs Karte zeigt den Preis niedriger Latenz in den eigenen Werten: Auf den Einkanalaufnahmen von NOTSOFAR1 steigt die DER zwischen Offline- und 0,32-s-Profil von 11,00 auf 14,53, und der Anteil der Aufnahmen mit richtiger Sprecherzahl fällt von 78,12 auf 55,00 Prozent.

GPU-Zeit: was die Diarisierung neben der Erkennung kostet

NVIDIA veröffentlicht die Geschwindigkeit von Nemotron 3 Diarization als RTFx, den inversen Echtzeitfaktor: Sekunden Audio je Sekunde Rechenzeit, gemessen in BF16 auf einer RTX PRO 5000 Blackwell mit PyTorch über NeMo.

Modellkarte von Nemotron 3 Diarization, RTFx auf einer NVIDIA RTX PRO 5000 Blackwell, BF16, eager und mit torch.compile(), gelesen am 24. Oktober 2026.

Im Offline-Profil bei Batch 32 verarbeitet der Diarisierer 1.000 Stunden Audio, also 3,6 Millionen Sekunden, nach unserer Rechnung in etwa 238 Sekunden GPU-Zeit, ohne Kompilierung in 295 Sekunden. Selbst Datei für Datei, bei einem RTFx von 1.340, dauern die 1.000 Stunden etwa 45 Minuten. Die Erkennung kostet mehr: Auf der A100 des Open-ASR-Leaderboard-Papers, das unser Whisper-Leitfaden zitiert, erreichte Parakeet TDT 0.6B v3 ein RTFx von 3.333 und Whisper large-v3 145,5; dieselben 1.000 Stunden brauchen damit etwa 18 Minuten beziehungsweise 6,9 Stunden.

Die Verschaltung verändert das Ergebnis stärker als das Modell. NVIDIAs Performance-Seite des ASR-NIM, aktualisiert am 7. Oktober 2026, misst Parakeet 0.6B CTC auf Englisch offline mit 32 parallelen Anfragen. Mit eingeschalteter Diarisierung fällt die L40S von einem RTFx von 3.638 auf 101,5 und die H100 von 3.707,4 auf 170; die 1.000 Stunden dauern dann auf der L40S etwa 9,9 Stunden. Das vietnamesische Profil mit Silero VAD und Sortformer verliert viel weniger, auf der L40S von 336,4 auf 260,5. Welchen Diarisierer das englische Profil nutzt, sagt die Seite nicht. Bevor Sie einen Server nach einer Pipeline dimensionieren, messen Sie die Pipeline, die Sie betreiben werden, mit eingeschalteter Diarisierung.

Live-Besprechungen und Anrufe: Streaming-Profile

Für Live-Audio hat Nemotron 3 Diarization drei Streaming-Profile mit Pufferlatenzen von 1,04, 0,64 und 0,32 s; laut Karte unterstützt der Checkpoint Puffer bis hinunter zu 80 ms, empfohlen werden aber mindestens 0,32 s. Baseten beschreibt Sprecherlabels, die sich bis zu alle 320 ms aktualisieren. Bei 0,32 s und Batch 32 verarbeitet das kompilierte Modell auf der RTX PRO 5000 292 Sekunden Audio je Sekunde. Da jeder Live-Stream eine Sekunde Audio je Sekunde liefert, ergibt das nach unserer Lesart eine Obergrenze von etwa 290 Streams in diesem Profil, bevor die Erkennung die Karte mitbenutzt.

Baseten berichtete am 23. September 2026, eine RTX PRO 6000, Edition nicht angegeben, habe in der Low-Latency-Einstellung „over 500 concurrent hour-long diarization streams“ getragen und 190 mit zusätzlicher Transkription, mit NVIDIAs englischem Parakeet-Modell mit 600M Parametern und Last aus k6 innerhalb des Clusters. Die Diarisierung allein ist selten die Grenze; der Erkenner daneben ist es.

NVIDIAs Integrationsleitfaden auf der Modellseite kombiniert den Diarisierer mit zwei Streaming-Erkennern: Multitalker Parakeet Streaming 0.6B für Englisch und Nemotron 3.5 ASR Streaming 0.6B, das 32 Locales ohne Nachtraining unterstützt. Die ASR-Stufe führt einen eigenen Transkriptionsstrom je erkanntem Sprecher, Speicher und Rechenlast wachsen also mit der Zahl der Sprechenden. Jede Live-Verbindung braucht einen eigenen Sprecher-Cache, Decoder-Zustand und Puffer, während die Gewichte geteilt werden, und der Leitfaden warnt, dass die Abschnittsgrößen beider Modelle aufeinander abgestimmt bleiben müssen.

Wir liefern die RTX PRO 4500 Server Edition, die RTX PRO 5000 und die RTX PRO 6000 Server Edition für Sprachserver; schicken Sie uns Ihre Audiostunden pro Tag, die Zahl der Live-Streams und die Sprachen, und unser Team antwortet mit einer Karten- und Serverkonfiguration.

Dimensionierung je 100 und 1.000 Aufnahmestunden pro Tag

Für Aufnahmen addieren Sie die GPU-Zeit jeder Stufe und vergleichen die Summe mit der Zeit, in der der Server verfügbar ist, etwa einer Nacht von acht Stunden. Die Werte unten stammen von drei verschiedenen GPUs; sie zeigen die Verhältnisse, nicht die Zeit auf Ihrer Karte.

Unsere Rechnung: Stunden × 3.600 ÷ RTFx. Raten aus der Karte von Nemotron 3 Diarization (Offline-Profil, Batch 32 kompiliert und Batch 1 eager), dem Open-ASR-Leaderboard-Paper laut unserem Whisper-Leitfaden und NVIDIAs ASR-NIM-Performance-Seite vom 7. Oktober 2026.

Mit Parakeet und dem Nemotron-Diarisierer als getrennten Stufen bleiben 1.000 Stunden pro Tag rechnerisch deutlich unter einer Stunde GPU-Zeit; das Sprachmodell, das Zusammenfassungen schreibt, wird dann zur größten Last. Mit Whisper large-v3 oder einer Pipeline, die sich wie das diarisierte NIM-Profil verhält, füllt dieselbe Menge eine Karte fast die ganze Nacht.

Drei Layouts decken die meisten Anfragen ab. Für einen vorhandenen Server trägt eine RTX PRO 4500 Server Edition, 32 GB, 165 W, passiv und einslotig, Diarisierung und Erkennung; nach unserer Regel für Nutzer je Karte hält sie 25,7 GiB für Gewichte und Cache, und mit MIG teilt sie sich in zwei isolierte Hälften zu 16 GB, eine je Stufe. NVIDIA veröffentlicht für diese Karte keinen Diarisierungswert, und ihre Speicherbandbreite liegt bei 800 GB/s gegenüber 1.344 GB/s bei der von NVIDIA gemessenen RTX PRO 5000; planen Sie daher mit Reserve und bestätigen Sie die Werte in einem Test. Für Transkripte mit Protokoll kommt eine zweite Karte für das LLM dazu: gpt-oss-20b mit 13,8 GB passt auf eine RTX PRO 4500 Server Edition. Für ein Contact Center oder einen Sender mit Hunderten Live-Streams und einem Modell der 120B-Klasse für Zusammenfassungen verteilt der Einstiegsserver auf unserer Seite zu KI-Servern, zwei RTX PRO 6000 Server Edition mit je 96 GB, Sprache und Sprachmodell auf je eine Karte; unser Leitfaden zum KI-Server für Medien nutzt dieses Layout.

Acht Sprecher, Überlappung und Sprache: was Sie testen

Nemotron 3 Diarization unterscheidet höchstens acht Sprecher. Eine Vorstandssitzung, ein Anruf oder ein Interview passen; eine Gemeinderatssitzung oder ein Podium mit einem Dutzend Stimmen nicht, und dort ist pyannote community-1, bei dem Sie ein Minimum und Maximum setzen, das Modell für den Test. NVIDIAs Integrationsleitfaden ergänzt, die eingestellte Höchstzahl sei „an upper bound, not a promise that every configured speaker will appear“.

Überlappende Sprache ist in den Werten beider Karten enthalten, aber auch der Erkenner muss damit umgehen. Der Leitfaden hält fest, dass herkömmliche Erkennung auf diarisierten Abschnitten bei Überlappung schwächer ist, weil „an extracted time range still contains every voice that overlaps it“; für diesen Fall gibt es den Multitalker-Erkenner.

Sprachen brauchen eine eigene Prüfung. Nemotron 3 Diarization wurde mit etwa 10.000 Stunden echter Gespräche und etwa 82.611 Stunden simulierter Mischungen trainiert; die Karte nennt Englisch, Mandarin, Hindi, Kannada, Telugu und Bengali und keine vollständige Liste, pyannotes Karte nennt keine. Testen Sie deutsche, französische oder polnische Aufnahmen aus Ihren eigenen Räumen und mit Ihren Mikrofonen, bevor Sie sich auf eine veröffentlichte DER stützen.

Ein brauchbares Pilotprojekt nimmt 10 bis 20 Stunden Ihrer Aufnahmen, von Hand mit Sprecherwechseln annotiert, und misst für jedes Modell und Profil die DER, den Anteil der Aufnahmen mit richtiger Sprecherzahl und die GPU-Zeit je Audiostunde. Unser Leitfaden zu den Messgrößen eines Private-AI-Piloten beschreibt den Aufbau. Unser Engineering-Partner Vixen.UNO richtet Sprachpipelines im Rahmen unseres Private-AI/ML-Service ein; beschreiben Sie Ihre Aufnahmen und das gewünschte Ergebnis, und wir dimensionieren Pilotprojekt und Server nach seinen Ergebnissen.

Stimmdaten, Sprechernamen und die DSGVO

Aufnahmen, in denen Personen identifizierbar sind, sind personenbezogene Daten. Diarisierungslabels sind anonym und identifizieren laut NVIDIAs Leitfaden keine „real-world names“; um Sprecher 2 einer namentlich bekannten Kollegin zuzuordnen, braucht es eine Registrierung mit gespeicherten Stimmproben. Die DSGVO definiert biometrische Daten in Artikel 4 Nummer 14 als „mit speziellen technischen Verfahren gewonnene personenbezogene Daten zu den physischen, physiologischen oder verhaltenstypischen Merkmalen einer natürlichen Person, die die eindeutige Identifizierung dieser natürlichen Person ermöglichen oder bestätigen“, und Artikel 9 Absatz 1 untersagt die Verarbeitung von „biometrischen Daten zur eindeutigen Identifizierung einer natürlichen Person“, sofern keine der Ausnahmen in Absatz 2 greift. Ob ein Schritt zur Sprecherbenennung unter Artikel 9 fällt, klärt Ihr Datenschutz­beauftragter; unser Leitfaden zur DSFA für ein internes LLM beschreibt die Prüfung. Das ist eine allgemeine Information mit Stand Oktober 2026, keine Rechtsberatung.

Technisch halten Sie die gehosteten Optionen aus der Pipeline heraus. Die Karte von pyannote bietet precision-2 und optional das Hosting von community-1 in der Cloud von pyannoteAI an; die On-Premise-Einrichtung lädt die Pipeline aus einer lokalen Kopie. Beschränken Sie die API des Servers und härten Sie ihn wie in unserem Leitfaden zur Absicherung eines GPU-Servers.

Was wir liefern

Sie können dieses System bei uns kaufen: Unser Team legt die Konfiguration auf Ihre Arbeitslast und Ihr Budget aus und antwortet innerhalb eines Werktages. Wir liefern die RTX PRO 4500 Server Edition, die RTX PRO 5000 und die RTX PRO 6000 Server Edition als GPUs für Server, die Sie bereits betreiben, oder in KI-Servern auf Bestellung, vor der Lieferung montiert und getestet, über einen EU-Vertrag und eine Rechnung mit Herstellergarantie auf jede Komponente. Betriebssystem, Treiber, CUDA und eine Container-Runtime installieren wir auf Wunsch; die Sprachpipeline und das LLM für Protokolle sind Teil unseres Service Private AI/ML.

FAQ