KI-Diktiergerät ohne Cloud: eine Plaud-Alternative auf der eigenen Workstation

Eine Plaud-Alternative, bei der Kundengespräche im Unternehmen bleiben

Ein KI-Diktiergerät ohne Cloud leistet, was Plaud und ähnliche Geräte leisten: Es nimmt ein Gespräch auf, transkribiert es und schreibt eine Zusammenfassung, nur laufen Transkription und Zusammenfassung auf einer Workstation in Ihrem eigenen Büro. Die Aufnahme stammt von einem normalen Diktiergerät oder einem Handy, gelangt über einen überwachten Ordner oder eine Web-App auf die Workstation, und eine offene App wie Scriberr schreibt das Transkript mit Sprecher­kenn­zeichnung und entwirft die Notiz mit einem lokalen Sprachmodell. Eine Workstation mit einer NVIDIA RTX PRO 4000 Blackwell bedient ein Team, und kein Gespräch verlässt zur Verarbeitung das Unternehmen.

Dieser Leitfaden richtet sich an Anwältinnen und Anwälte, Beraterinnen und Berater, Wirtschaftsprüfer, Führungskräfte und den Außendienst, etwa Servicetechniker und Gutachter, die Kundentermine, Ortsbesichtigungen und Telefonnotizen aufnehmen und sie nicht in die Cloud eines Anbieters geben dürfen. Besprechungen im Konferenzraum, mit informierten Teilnehmenden und abgestimmtem Protokoll, behandelt unser Leitfaden zum Besprechungsprotokoll mit lokaler KI; unser Vergleich zur Otter-Alternative im Eigenbetrieb betrachtet Transkriptions-Apps für Teams, unsere Gong-Alternative die Auswertung von Vertriebsgesprächen. Hier geht es um das Aufnahmegerät in der Tasche.

Einige Begriffe vorab. Ein Transkript ist der geschriebene Text einer Aufnahme. Die Sprecher­kenn­zeichnung, technisch Diarisierung, markiert jede Passage als Sprecher 1, Sprecher 2 und so weiter. Ein Sprach­erkennungs­modell macht aus Audio Text; Whisper von OpenAI und Parakeet von NVIDIA sind die verbreiteten offenen Modelle. Ein Sprachmodell schreibt aus dem Transkript die Zusammenfassung. Ein überwachter Ordner ist ein Ordner auf der Workstation, den eine App auf neue Dateien prüft und selbstständig verarbeitet.

Was Plaud selbst über die Verarbeitung schreibt

Plaud beschreibt sein Produkt auf der EU-Startseite, gelesen am 30. Oktober 2026, als „AI note taker for every conversation“, der Aufnahmen transkribiert und zusammenfasst, mit Geräten wie Plaud Note, Plaud Note Pro und dem tragbaren NotePin. Die Verarbeitung beschreiben drei Seiten, keine davon datiert:

• Trust Center. „All data is transferred to the cloud for processing.“ Plaud nennt Rechenzentren in vier Regionen, darunter „EU AWS (Frankfurt)“, und „users in Europe will have EU-hosted, enterprise-grade subprocessors“. Audio und Transkripte „are not stored in the cloud unless the Cloud Sync feature is enabled by the user“. Die Seite nennt „GDPR, ISO 27001, ISO 27701, SOC2 Type 2, HIPAA and EN 18031“ und schreibt „All LLMs used in Plaud have zero training and zero data retention policies, enforced contractually via DPAs.“
• Hilfecenter zur KI-Verarbeitung. Plaud nutzt drei namentlich genannte KI-Anbieter „for transcription and summarization“, „routes AI processing requests to regional endpoints based on your account's location“, und bei Zero Retention gilt: „audio, transcripts, and prompts are not stored, cached, or logged by the provider after the response is returned“. „The cloud is only contacted on-demand when you explicitly request AI processing“, also für ein Transkript oder eine Zusammenfassung.
• Hilfecenter zur Sicherheit. Speicherort für „EU / EEA“ ist „AWS Frankfurt (Germany)“; mit ausgeschaltetem Cloud Sync gilt „Recordings stay on-device; cloud used only on-demand for AI processing“.

Nach diesen Seiten hält Plaud EU-Daten in Frankfurt und bindet seine KI-Anbieter an Zero Retention, während jedes Transkript und jede Zusammenfassung Audio oder Text in die Cloud von Plaud und zu einem dieser Anbieter schickt. Viele Unternehmen akzeptieren das mit einem Auftrags­verarbeitungs­vertrag. Eine Kanzlei, eine Wirtschaftsprüfung oder eine Beratung, deren Mandanten oder Berufsregeln externe Auftragsverarbeiter für solche Gespräche ausschließen, braucht die Verarbeitung auf eigener Hardware.

Die lokale Kette: aufnehmen, hochladen, transkribieren, zusammenfassen

README und Nutzungsanleitung von Scriberr; Bibliotheksseite von Ollama; alle gelesen am 30. Oktober 2026. Die Kette beschreiben wir.

Scriberr beschreibt sich als „Self-hosted AI audio transcription“. Die App nutzt die Modelle Parakeet und Canary von NVIDIA und „the older more popular Whisper models“, erkennt Sprecher automatisch, und Nutzer können „generate summaries, ask questions, or have a full conversation with your transcripts right inside the app“. Laut Nutzungsanleitung wählt man „the model for summarization and the template prompt from available templates“, und „Either the OpenAI or Ollama credentials must be configured as environment variables for summarization and chat to work“.

Dieser letzte Satz entscheidet, was lokal bleibt. Ist nur Ollama auf der Workstation eingerichtet, bleiben Audio, Transkript, Sprecher­kenn­zeichnung und Zusammenfassung auf diesem Rechner. In Ollama, einem offenen Modellserver unter MIT-Lizenz, ist gpt-oss-20b ein Download von 14 GB; Tags mit der Endung „-cloud“ zeigen keine Downloadgröße, und eine lokale Einrichtung nutzt nur Modelle, die auf dem Rechner liegen. Version 1.2.0 von Scriberr brachte „OpenAI transcription support“; in einer lokalen Einrichtung bleibt diese Option ungenutzt, und unser Artikel zur Telemetrie in selbst gehosteten KI-Werkzeugen zeigt, wie Sie prüfen, dass keine Komponente Daten nach außen sendet.

Aufnahmen ohne Handarbeit auf die Workstation bringen

Ein Plaud-Gerät gibt seine Aufnahmen an die Plaud-App auf dem Handy weiter. Die lokale Kette braucht einen eigenen Weg zur Workstation; es gibt drei, und sie können nebeneinander laufen.

Diktiergerät und überwachter Ordner. Das README von Scriberr nennt einen „Folder Watcher that automatically processes new files in a folder“. Die Dateien eines Diktiergeräts, das der PC als USB-Laufwerk erkennt, landen in einem freigegebenen Ordner im Firmennetz, und die Workstation holt jede Datei ab. Version 1.2.0 ergänzt ein Kommandozeilenwerkzeug mit „file watcher and upload logic“ und einem Hintergrunddienst, sodass auch ein Ordner auf dem Laptop die Workstation beliefern kann; die Release Notes nennen nur diese Titel, testen Sie die Funktion also vorher.

Handy mit der Web-App. Scriberr hat einen eingebauten Rekorder („Use the built-in audio recorder to capture thoughts on the fly“) und „supports PWA (Progressive Web App) installation“, lässt sich also aus dem Browser wie eine App installieren. Auf einem Handy, das die Workstation im Büro oder über das Firmen-VPN erreicht, geht die Aufnahme direkt in Scriberr. Dafür muss die Workstation per HTTPS erreichbar sein: Browser erlauben den Mikrofonzugriff „only in secure contexts (HTTPS)“, wie die Dokumentation von MDN festhält. Ohne Verbindung nehmen Mitarbeitende mit der Rekorder-App des Handys auf und laden später hoch.

Vorhandene Plaud-Geräte. Das Hilfecenter von Plaud schreibt „WAV export is available on Plaud App“, und bei ausgeschaltetem Cloud Sync bleiben die Aufnahmen laut Sicherheitsseite auf dem Gerät, die Cloud wird nur bei Bedarf für die KI-Verarbeitung genutzt. Nach unserem Verständnis lässt sich eine exportierte WAV-Datei daher auf Ihrer Workstation transkribieren, ohne die Transkription von Plaud zu nutzen. Die Seiten beschreiben den Exportweg nicht im Einzelnen; klären Sie ihn mit Plaud und Ihrem Datenschutz­beauftragten, bevor Sie sich darauf verlassen.

Sie können die Workstation allein bestellen, die Einrichtung von Scriberr, Sprach­erkennungs­modellen und Zusammenfassungsmodell allein oder beides zusammen: die Workstation mit allem fertig installiert und eingerichtet; schreiben Sie uns, wir schlagen Ihnen die beste Lösung für Ihre Aufgaben und Ihr Budget vor.

Gesprächsnotizen für Kundentermin, Ortstermin und Telefonat

In Scriberr wählt der Nutzer für jede Zusammenfassung eine Vorlage; ein Unternehmen braucht Vorlagen für seine eigenen Gesprächsarten, zum Beispiel:

• Kundentermin: Teilnehmende, Anliegen des Kunden, Vereinbartes, offene Punkte mit Verantwortlichem und Termin;
• Ortstermin: Ort, Befund, genannte Messwerte und Fotoverweise, nächste Schritte;
• Telefonnotiz für das CRM: Kontakt, Anliegen, zugesagte Aktion, Wiedervorlage.

Die Anweisung verlangt vom Modell, nur Gesagtes zu verwenden und Unklares zu markieren. Die Sprecher­kenn­zeichnung lautet Sprecher 1 und Sprecher 2; eine Person ergänzt die Namen, bevor die Notiz an einen Kunden oder ins CRM geht.

Die Länge ist kein Problem. Bei beispielhaft 8.000 gesprochenen Wörtern je Stunde und 1,76 Tokens je deutschem Wort, dem Wert, den unser Leitfaden zu Tokens je Wort in europäischen Sprachen zitiert, ergibt eine Stunde Gespräch etwa 14.100 Tokens, die Einheiten, in denen Modelle Text zählen. Eine Sitzung mit 32.768 Tokens für gpt-oss-20b, ein offenes Modell unter Apache-2.0-Lizenz, fasst dieses Transkript mit Vorlage und Zusammenfassung. Parakeet TDT 0.6B v3 verarbeitet laut Modellkarte mit lokaler Attention bis zu 3 Stunden Audio in einem Durchgang, in 25 europäischen Sprachen, darunter Deutsch. Das README von Scriberr nennt Parakeet und Canary ohne Version und ohne Sprachliste; planen Sie für deutsche Aufnahmen daher mit Whisper und prüfen Sie, welche Parakeet-Version die installierte App lädt. Prüfen Sie auch die Lizenz des Canary-Modells: NVIDIAs erstes canary-1b steht unter CC BY-NC 4.0, das die kommerzielle Nutzung ausschließt, canary-1b-flash unter CC BY 4.0. Das README von Scriberr nennt außerdem eine verwaltete WhisperX-Umgebung für seine Modelle, und die voreingestellten Ausrichtungsmodelle von WhisperX für Deutsch, Französisch, Spanisch und Italienisch stehen unter CC BY-NC 4.0, einer nichtkommerziellen Lizenz; bei einer Einrichtung im Unternehmen prüfen wir daher, welches Ausrichtungsmodell die App lädt, und setzen eines ein, dessen Lizenz kommerzielle Nutzung erlaubt.

Die Aufnahmebedingungen zählen mehr als die Modellgröße. Die Modellkarte von Parakeet nennt 1,93 Prozent Wortfehler bei vorgelesener Sprache (LibriSpeech test-clean) gegen 11,31 Prozent bei Besprechungs­aufnahmen (AMI). Ein Diktiergerät nah an den Sprechenden oder ein Ansteckmikrofon am Handy bringt mehr als ein größeres Modell. Kunden- und Produktnamen lassen sich mit einer kurzen Wortliste als Prompt steuern, wie sie der Leitfaden von OpenAI zu seinem Spracherkennungsdienst für „names, acronyms, formatting, or recording-specific vocabulary“ empfiehlt.

Einwilligung und DSGVO bei der Aufnahme von Kundengesprächen

Die Aufnahme eines Gesprächs enthält personenbezogene Daten aller, die sprechen; vor der Aufnahme müssen die Teilnehmenden informiert sein, und eine Rechtsgrundlage muss bestehen. Sagen Sie in der Praxis zu Beginn, dass Sie aufnehmen möchten, nehmen Sie nur auf, wenn alle einverstanden sind, und zeichnen Sie ein Gespräch nie heimlich auf. Unser Leitfaden zum Besprechungsprotokoll behandelt die Information der Teilnehmenden und das Löschen. Ob ein Gespräch überhaupt aufgenommen werden darf, regelt zudem das nationale Recht; Ihre Rechtsberatung bestätigt, was gilt.

Bei einem Cloud-Diktiergerät verarbeitet der Anbieter die Aufnahmen in Ihrem Auftrag als Auftragsverarbeiter nach Artikel 28 DSGVO, und Vertrag und Unterauftrags­verarbeiter gehören in Ihre Prüfung, wie unser Leitfaden zu DSGVO, Cloud-Hosting und Unterauftrags­verarbeitern erklärt. Mit der lokalen Kette übernimmt kein externer Anbieter Transkription oder Zusammenfassung. Ihre eigenen Pflichten bleiben: Artikel 32 Abs. 1 nennt „die Pseudonymisierung und Verschlüsselung personenbezogener Daten“ unter den Sicherheitsmaßnahmen, für diese Kette also verschlüsselte Handys und Diktiergeräte, Löschen auf dem Gerät nach dem Hochladen, eine verschlüsselte Workstation und feste Löschfristen. Für Anwälte, Steuerberater und Wirtschaftsprüfer gelten außerdem Verschwiegenheitsregeln der Mitgliedstaaten und Kammern, die Ihr Datenschutz­beauftragter und Ihre Kammer bestätigen; unser Leitfaden für Kanzleien und Steuerberater behandelt ihre übrige Dokumentenarbeit.

Welche Workstation für wie viele Personen

Transkription braucht wenig GPU-Zeit. Auf einer NVIDIA A100 im Paper zum Open ASR Leaderboard (arXiv 2510.06961v3) transkribierte Whisper large-v3 145,5 Sekunden Audio je Sekunde Rechenzeit, Parakeet TDT 0.6B v3 etwa 3.333. In einem Beispiel mit 20 Personen, die je zwei Stunden am Tag aufnehmen, bräuchten die 40 Stunden Audio auf dieser Karte nach unserer Rechnung etwa 17 Minuten mit Whisper large-v3 und weniger als eine Minute mit Parakeet. Für RTX-PRO-Karten und für die Sprecher­kenn­zeichnung ist kein solcher Wert veröffentlicht; ein Test mit Ihren Aufnahmen bestätigt die Größe.

Nutzbarer Speicher nach unserer Regel für Nutzer je Karte (90 Prozent des vom Treiber gemeldeten Speichers, abzüglich 3 GiB): 18,5 GiB auf der RTX PRO 4000, 25,7 GiB auf der RTX PRO 4500, 83,0 GiB auf einer 96-GB-Karte; Whisper turbo etwa 6 GB (5,6 GiB) und large etwa 10 GB (9,3 GiB) laut Repository von OpenAI; gpt-oss-20b 12,8 GiB mit 0,75 GiB je 32K-Sitzung, gpt-oss-120b 60,8 GiB mit 1,125 GiB je 32K-Sitzung (16-Bit-Cache). Unsere Schätzungen.

Einstieg. Die NVIDIA RTX PRO 4000 Blackwell hat 24 GB, zieht 145 W und belegt einen Steckplatz. Nach unserer Regel bleiben 18,5 GiB; Whisper turbo und gpt-oss-20b belegen zusammen 18,4, ohne Platz, beide gleichzeitig zu betreiben. Die Karte eignet sich für Transkription und Sprecher­kenn­zeichnung, mit der Zusammenfassung als zweitem Schritt, sobald das Sprach­erkennungs­modell seinen Speicher freigegeben hat; wie die App das handhabt, zeigt der Test bei der Installation. Parakeet mit 0,6 Milliarden Parametern, in 16 Bit nach unserer Rechnung etwa 1,1 GiB, passt womöglich neben gpt-oss-20b, sofern die Parakeet-Version der App Ihre Sprachen abdeckt; die Modellkarte nennt keinen GPU-Speicher. Unsere Seite zum Kauf einer RTX PRO 4000 Workstation nennt die Konfiguration.

Beide Modelle geladen. Die RTX PRO 4500 Blackwell mit 32 GB und 200 W lässt nach unserer Regel 25,7 GiB; nach Whisper turbo und gpt-oss-20b bleiben 7,3 GiB, Platz für 9 Zusammen­fassungen mit 32.768 Tokens im selben Moment. Beide Workstations laufen an einer normalen Bürosteckdose.

Größeres Modell und Server. Eine RTX PRO 6000 Blackwell mit 96 GB, als Workstation Edition oder Max-Q, trägt gpt-oss-120b neben Whisper large-v3; mit der Workstation Edition zieht der Rechner nach unserer Schätzung etwa 1,1 kW aus der Steckdose. Für einen Dienst im ganzen Unternehmen eignet sich der Einstiegsserver auf unserer Seite zu KI-Servern mit zwei RTX PRO 6000 Server Edition, nach unserer Schätzung etwa 1,8 kW; er betreibt die Sprach­erkennungs­modelle neben dem Firmen­assistenten.

Senden Sie uns die Zahl der Personen, die aufnehmen, die Stunden je Woche und die Sprachen, wir schlagen Ihnen eine Konfiguration vor.

Scriberr und Ollama im Betrieb

1. Version und Status. Das README von Scriberr enthält einen undatierten Hinweis, „Development is paused for now, but definitely not abandoned“, neben einer Zeile, die einen Neustart ankündigt; die Installationsbeispiele nutzen v1.2.0. Fixieren Sie diese Version und halten Sie Image und Modelldateien auf eigenem Speicher. Kommt die Entwicklung nicht wieder in Gang, lässt sich die Kette aus einem Sprachserver mit OpenAI-kompatiblem Endpunkt und einem Workflow-Werkzeug wie n8n mit lokalem LLM neu aufbauen.
2. Blackwell-Image. Das README von Scriberr schreibt für Karten der RTX-50-Serie „You must use the Blackwell-specific image“; die RTX-PRO-Blackwell-Karten sind Blackwell-GPUs mit Compute Capability 12.0, wir planen also mit diesem Image, wie unser Vergleich zur Otter-Alternative erklärt.
3. HTTPS, VPN und Anmeldung. Stellen Sie Scriberr per HTTPS bereit, damit Handys aufnehmen können, und machen Sie es von außen nur über das Firmen-VPN erreichbar. Das README beschreibt keine Benutzerkonten oder Rollen; schalten Sie deshalb einen Reverse Proxy mit der Firmenanmeldung davor.
4. Ports. Ollama bindet standardmäßig an 127.0.0.1:11434, das Container-Image setzt aber OLLAMA_HOST=0.0.0.0; sperren Sie den Port per Firewall, sodass nur Scriberr ihn erreicht.
5. Sprecher­kenn­zeichnung. Scriberr lädt beim ersten Start die PyAnnote-Modelle; für die zugangsbeschränkte Pipeline pyannote community-1 akzeptieren Sie einmal die Bedingungen und nutzen ein Zugangstoken, danach läuft sie ohne Internet, wie unser Leitfaden zur Sprecherdiarisierung on-premise erklärt.
6. Übergabe. Version 1.2.0 integriert „webhook notifications into transcription pipeline“; damit lässt sich ein Workflow starten, der die Notiz im CRM oder Mailsystem ablegt.

FAQ