PDF-Parsing für RAG auf GPUs: Docling und MinerU, Seiten pro Sekunde, Lizenzen, GPU-Bedarf

Was PDF-Parsing für RAG leistet und wo die GPU ins Spiel kommt

PDF-Parsing für RAG macht aus jeder Seite strukturierten Text, bevor er in Abschnitte zerlegt und eingebettet wird: Überschriften, Lesereihenfolge, Tabellen als Tabellen, Formeln und eingescannte Seiten per OCR. Docling und MinerU sind zwei Open-Source-Werkzeuge für diesen Schritt. Beide laufen auf der CPU, und beide werden auf einer GPU schneller: Docling nennt in seiner Dokumentation 3,1 Seiten pro Sekunde auf einer NVIDIA L40S für die Standard-Pipeline ohne OCR und 2,4 Seiten pro Sekunde mit dem Vision-Language-Modell GraniteDocling.

Dieser Schritt liegt vor allen Schritten, die unser Artikel zu RAG auf Firmendaten beschreibt. Verliert eine Tabelle hier ihre Spalten, holt kein Retriever und kein Reranker die Zahl später zurück. Felder aus Rechnungen oder Verträgen mit einem großen Vision-Language-Modell auszulesen, ist eine andere Aufgabe; sie behandelt Vision-Language-Modell GPU: Dokumenten-KI und OCR. Die Suche in Seitenbildern ohne Textextraktion ist Thema von ColPali und visueller Dokumentsuche. Die nicht technische Sicht auf die Vorbereitung der Dateien steht in Firmendokumente für einen KI-Assistenten vorbereiten.

Docling: zwei Pipelines und die GPU

Docling, auf PyPI in Version 2.142.1 (erschienen am 23. Oktober 2026, MIT, Python 3.10 oder neuer), liest PDF und viele andere Formate mit „advanced PDF understanding incl. page layout, reading order, table structure, code, formulas, image classification“, mit OCR für Scans und mit „local execution capabilities for sensitive data and air-gapped environments“, so das README. Ein PDF kann Docling auf zwei Wegen lesen.

Die Standard-Pipeline führt eine Kette spezialisierter Modelle aus: Layouterkennung, Tabellenstruktur und bei Bedarf OCR. Doclings GPU-Seite (gelesen am 25. Oktober 2026) sagt genau, welche Teile die GPU nutzen. Größere Seiten-Batches laufen als „GPU batch inference“, vor allem in der Layouterkennung. OCR auf der GPU hängt von der Engine ab: „RapidOCR supports GPU acceleration through both its Torch and ONNX Runtime backends“. Die Tabellenstruktur wird nicht auf der GPU gebündelt; der Beispielcode vermerkt „currently not using GPU batching“. Die Seite schaltet CUDA mit AcceleratorDevice.CUDA ein und erhöht ocr_batch_size, layout_batch_size und page_batch_size vom Standardwert 4 auf 64.

Die VLM-Pipeline schickt jedes Seitenbild an ein Vision-Language-Modell, standardmäßig GraniteDocling, das die Seite in Doclings eigenem Markup zurückgibt. Docling führt das Modell in diesem Aufbau nicht selbst aus. Es ruft einen lokalen Server mit OpenAI-kompatiblen Chat-Completions auf. Die GPU-Seite zeigt vllm serve für ibm-granite/granite-docling-258M mit --max-num-seqs 512, --max-num-batched-tokens 8192, Chunked Prefill und --gpu-memory-utilization 0.9, vermerkt, dass dieser vLLM-Endpunkt „available only on Linux“ ist, und setzt Doclings concurrency auf 64, mit page_batch_size mindestens ebenso groß. Doclings RTX-Leitfaden ergänzt, dass Windows-Nutzer vLLM unter WSL2 in Betracht ziehen sollten.

Hugging-Face-Modellkarte und Files-Seite von ibm-granite/granite-docling-258M (veröffentlicht am 17. September 2025), gelesen am 25. Oktober 2026. Das Repository enthält keine eigene LICENSE-Datei.

Die Modellkarte warnt vLLM-Nutzer: „support for tied weights as used in granite-docling is limited and breaks“, und empfiehlt, mit vLLM revision="untied" zu laden. Doclings GPU-Seite verwendet die Standard-Revision. Prüfen Sie die Ausgabe einiger Testseiten vor einem großen Lauf und legen Sie die geprüfte Revision fest.

MinerU 4: Stufen, Engines und GPU-Anforderungen

MinerU, auf PyPI in Version 4.0.12 (erschienen am 11. Oktober 2026, Python 3.10 bis 3.14), ist der Parser von OpenDataLab. Sein README beschreibt vier Parsing-Stufen, flash, basic, standard und advanced, und Engines von ONNX und PyTorch bis llama.cpp, vLLM, LMDeploy und mlx. Die Standardinstallation führt den Vision-Language-Teil mit llama.cpp im Vulkan-Modus aus; auf einem NVIDIA-Server ist vLLM oder LMDeploy die Wahl.

MinerU-README auf GitHub, gelesen am 25. Oktober 2026. Das Extra full braucht mindestens 16 GB Arbeitsspeicher, eine NVIDIA-GPU ab Volta mit mindestens 8 GB freiem VRAM und etwa 5 GB mehr Plattenplatz.

MinerUs aktuelles Vision-Language-Modell auf Hugging Face ist MinerU2.5-Pro-2605-1.2B, angekündigt am 21. Mai 2026: ein Modell mit 1,2 Milliarden Parametern auf der Qwen2-VL-Architektur, eine Safetensors-Datei mit 2,31 GB, Apache 2.0 laut Metadaten der Seite. Die Karte schreibt „we strongly recommend using vllm for inference“ und nennt „a concurrent inference speed of 2.12 fps on one A100“ mit der asynchronen vLLM-Engine; das ist der einzige Durchsatzwert, den MinerU veröffentlicht, gemessen auf einer Karte, die wir nicht liefern, und die Karte nennt die Seitenmenge dahinter nicht. Das README sagt nicht, welches Modell jede Stufe herunterlädt; prüfen Sie das Modellverzeichnis nach dem ersten Lauf.

Unsere Einschätzung nach dem Lesen beider: Der Speicherbedarf ist gering. MinerU verlangt 8 GB VRAM, und Doclings RTX-Leitfaden gibt Batch-Größen für eine Desktop-Karte mit 12 GB an. Der Parser passt also auf jede unserer Karten, und über die Wahl entscheiden der Durchsatz und die übrigen Aufgaben der Karte.

Veröffentlichte Geschwindigkeit in Seiten pro Sekunde

Doclings GPU-Seite ist die einzige Quelle, die Hardware, Software und Daten zu ihren Werten nennt. Testdaten waren ein PDF mit 192 Seiten und 95 Tabellen sowie ViDoRe V3 HR mit 14 Dokumenten und 1.110 Seiten. Alle Maschinen liefen mit CUDA 13.0; die L40S-Maschine war eine Cloud-Instanz mit 8 vCPUs, 64 GB RAM und Treiber 580.95.05.

Docling-Dokumentation „GPU support“ und Modellkarte von MinerU2.5-Pro-2605-1.2B, beide gelesen am 25. Oktober 2026. Die Desktop-Zeilen stammen von Doclings zwei Testmaschinen mit GeForce-Karten und 16 vCPUs, nur CPU mit 16 PyTorch-Threads; für die L40S nennt Docling keinen Wert mit OCR.

Drei Lesarten dieser Tabelle. Auf denselben Desktop-Hosts lief die Standard-Pipeline mit GPU 5,3- und 3,5-mal schneller als nur auf der CPU (7,9 gegen 1,5 und 4,2 gegen 1,2 Seiten pro Sekunde). Die L40S-Instanz mit halb so vielen vCPUs erreichte 3,1; Doclings Werte trennen den Anteil der GPU nicht von dem des Prozessors, planen Sie daher auch die Prozessorseite eines Parsing-Servers mit. OCR ist der teure Teil: Auf den Desktop-Maschinen liefen Seiten mit OCR mit deutlich weniger als der halben Geschwindigkeit der Seiten ohne, allerdings auf einem anderen Dokumentensatz. Und Doclings RTX-Leitfaden nennt „up to 6x speedup compared to CPU-only processing“, ohne Hardware oder Methode zu nennen; planen Sie mit den gemessenen Werten. Für die RTX PRO 4500 Server Edition oder die RTX PRO 6000 Server Edition gibt es keinen veröffentlichten Wert von Docling oder MinerU; lassen Sie daher eine Stichprobe Ihrer eigenen Dokumente auf der gelieferten Karte laufen, bevor Sie ein großes Archiv planen.

Wir liefern L40S, RTX PRO 4500 Server Edition und RTX PRO 6000 Server Edition, einzeln oder in Servern nach Maß; schicken Sie uns Seitenzahl, Anteil der Scans und Ihr Zeitfenster, und unser Team antwortet mit einer Konfiguration für Aufbereitung und Chat.

Lizenzen: Docling, GraniteDocling, MinerU

Docling-README und PyPI-Seite; MinerU LICENSE.md und PyPI-Seite; Hugging-Face-Seiten beider Modelle; alles gelesen am 25. Oktober 2026.

Doclings README hält fest: „The Docling codebase is under MIT license“; für einzelne Modelle sollen Nutzer die „model licenses found in the original packages“ heranziehen. MinerUs LICENSE.md sagt, MinerU „is licensed under Apache License 2.0 and is subject to the additional terms below“. Diese Bedingungen sind kurz. Kommerzielle Nutzung braucht keine eigene Lizenz, außer wenn „you and your Affiliates, on a consolidated basis“ mehr als 100 Millionen monatlich aktive Nutzer oder einen gesamten Monatsumsatz von 20 Millionen USD überschreiten; dann ist vor der weiteren Nutzung eine eigene kommerzielle Lizenz nötig, ohne sie endet die Lizenz automatisch. Und wer „online services to third parties based on MinerU“ anbietet, muss in der Oberfläche oder in öffentlicher Dokumentation deutlich angeben, dass MinerU verwendet wird.

Für ein Unternehmen, das MinerU nur für die eigene interne Suche einsetzt, entsteht die Hinweispflicht aus diesem Text nicht; die Umsatzschwelle zählt das ganze Unternehmen mit seinen verbundenen Unternehmen, was bei größeren Konzernstrukturen ins Gewicht fällt. Ein Kundenportal, das hochgeladene Dokumente mit MinerU verarbeitet, ist ein Online-Dienst für Dritte. Wie diese Bedingungen für Sie gelten, bestätigt Ihre Rechtsberatung.

Eine Karte für die Aufbereitung nachts und den Chat tagsüber

Die Aufbereitung ist ein Batch-Job, und das Chat-Modell hat nachts nichts zu tun. vLLMs Engine-Argumente definieren --gpu-memory-utilization als Anteil des GPU-Speichers für den Model Executor, Standard 0,92, und ergänzen: „This is a per-instance limit, and only applies to the current vLLM instance.“ Doclings Beispiel mit 0,9 passt für eine Karte, die sonst nichts tut; auf einer geteilten Karte lässt es keinen Platz für eine zweite Instanz.

Auf einer L40S, die kein MIG hat, funktionieren zwei Muster. Lassen Sie den Parser in einem Nachtfenster laufen und vor den Arbeitszeiten des Chat-Modells anhalten, wie es unser Artikel zur LLM-Batch-Inferenz on-premise mit Kueue beschreibt. Oder lassen Sie beide dauerhaft mit festen Anteilen laufen: Die Gewichte von granite-docling umfassen 515 MB, eine Parser-Instanz mit zum Beispiel 0,25 reserviert nach unserer Rechnung 12 GB der 48 GB und lässt den Rest dem Chat-Modell; prüfen Sie den tatsächlichen Verbrauch mit nvidia-smi, während ein Batch läuft.

Eine RTX PRO 6000 Blackwell Server Edition kann beides in Hardware trennen. Mit MIG teilt sie sich in bis zu vier Instanzen mit 24 GB, und eine Instanz 1g.24gb gibt einem Parser das Dreifache der 8 GB, die MinerU verlangt; die Layouts stehen in unserem Artikel zu RTX PRO 6000 MIG-Profilen. Die RTX PRO 4500 Server Edition teilt sich in zwei Instanzen mit 16 GB, eine für das Parsing und eine für ein Embedding-Modell. Wie viele Modelle ein Server nebeneinander hält, behandelt Mehrere LLMs auf einem GPU-Server.

Wie lange ein Archiv dauert, nach unserer Schätzung

Die Werte unten teilen Seitenzahlen durch Doclings veröffentlichte Raten auf der L40S. Sie gelten für digitale PDFs wie Doclings Testsatz; Scans mit OCR und dichte Tabellen dauern länger.

unsere Rechnung aus Doclings veröffentlichten L40S-Werten (3,1 × 3.600 = 11.160 Seiten pro Stunde; 2,4 × 3.600 = 8.640), eine Karte, ein Parser-Prozess; keine Messung.

Für ein Archiv mit 300.000 Seiten braucht eine L40S mit der Standard-Pipeline etwa 27 Stunden, gut drei Nächte. Doclings Seite nennt eine einzelne Karte; für eine schnellere Erstbefüllung lassen Sie auf einem Server mit mehreren Karten einen Parser-Prozess pro Karte laufen und messen die gemeinsame Rate. Nach der Erstbefüllung ist der tägliche Zuwachs meist klein: 5.000 neue Seiten dauern bei 3,1 Seiten pro Sekunde etwa 27 Minuten.

Was nach dem Parsing kommt

Die aufbereiteten Seiten gehen in Chunking, Embedding und den Vektorindex. Der Embedding-Schritt hat einen eigenen GPU-Bedarf, behandelt in Embedding und Reranker: GPU-Anforderungen für RAG, die Wahl der Datenbank in unserem Vektordatenbank-Vergleich. Bewahren Sie die Ausgabe des Parsers auf, nicht nur die Vektoren: Neues Chunking aus gespeichertem Markdown oder JSON braucht keinen GPU-Durchlauf, ein Archiv neu zu parsen dauert Nächte.

Was wir liefern

Wir liefern L40S, RTX PRO 4500 Server Edition und RTX PRO 6000 Server Edition als Karten und KI-Server nach Maß, vor der Lieferung montiert und getestet, auf Wunsch mit Betriebssystem, NVIDIA-Treiber, CUDA und Container-Laufzeit, mit einem EU-Vertrag und einer Rechnung. Mengen und Lieferzeit werden schriftlich mit dem Angebot bestätigt. Die Einrichtung von Aufbereitung, Modellen und Retrieval darauf ist unser Service Private AI/ML.

FAQ