Embedding-Modelle und Reranker für RAG feintunen: Trainingsdaten, Loss-Funktionen und GPU

Wann sich Fine-Tuning für domänenspezifische Embeddings lohnt

Ein Embedding-Modell für RAG feintunen heißt, es mit Paaren aus Fragen und Textpassagen aus Ihren eigenen Dokumenten zu trainieren, damit es Ihre Fachbegriffe, Produktnamen und Abkürzungen richtig einordnet. Der GPU-Bedarf ist klein: Verbreitete mehrsprachige Modelle wie Qwen3-Embedding-0.6B und bge-m3 haben 0,6B Parameter oder weniger und trainieren auf einer Karte mit 24 bis 48 GB, etwa einer NVIDIA L40S oder einer MIG-Instanz einer RTX PRO 6000 Server Edition. Die Kosten liegen an anderer Stelle: beim Aufbau der Trainingspaare, beim Testen des Ergebnisses und beim erneuten Einbetten des Korpus.

Beginnen Sie mit einer Messung. Unser Leitfaden zu RAG auf Firmendaten erklärt, warum falsche Antworten meist bei der Suche beginnen und wie Sie aus echten Fragen einen Evaluierungssatz aufbauen. Zeigt dieser Satz, dass bei Fragen mit internen Begriffen, Teilenummern oder Fachsprache die richtige Passage in den obersten Treffern fehlt, ist der Retriever der Teil, den Sie trainieren sollten. Wird die Passage gefunden, aber zu weit unten eingeordnet, reicht unter Umständen ein feingetunter Reranker, und Sie sparen sich die Neuindizierung. Liegt das Problem im Verhalten des Sprachmodells, ist unser Vergleich von Fine-Tuning und RAG der bessere Ausgangspunkt.

Diese Seite behandelt das Training. Welche GPU die Modelle im Betrieb bedient und wie schnell, steht in unserem Leitfaden zu Embedding- und Reranker-Servern für RAG.

Trainingspaare aus den eigenen Dokumenten

Embedding-Modelle lernen aus Beispielen dafür, was zusammengehört. Das Minimum ist ein Paar: ein Anker, meist eine Frage, und ein Positiv, die Passage, die sie beantwortet. Ein Tripel ergänzt ein Negativ, eine Passage, die ähnlich aussieht, aber nicht antwortet. Die Dokumentation von sentence-transformers, Version 6.2.0 vom 21. Oktober 2026, entnimmt die Eingaben den Spalten des Datensatzes in ihrer Reihenfolge: „The names of these columns are irrelevant, only the order matters“, und eine Label-Spalte muss „label“, „labels“, „score“ oder „scores“ heißen. Zusätzliche Spalten wie eine ID werden als Eingaben behandelt; entfernen Sie sie also.

Die meisten Unternehmen haben solche Paare nicht, wohl aber die Passagen. Der Leitfaden von sentence-transformers zur Domänenanpassung beschreibt Generative Pseudo Labeling (GPL), das Trainingsdaten aus einem unbeschrifteten Korpus in vier Schritten erzeugt: Ein T5-Modell „generates a possible query for the given text“; eine Dense-Suche holt negative Passagen aus dem Korpus; ein Cross-Encoder bewertet alle Paare aus Frage und Passage und erkennt so gefundene Passagen, die die Frage in Wahrheit doch beantworten; und das Embedding-Modell trainiert mit MarginMSELoss auf diesen Bewertungen. Der Leitfaden berichtet, dass GPL die semantische Suche um „up to 10 points“ verbessern kann. Auf einem RAG-Server kann das Sprachmodell, das bereits die Nutzer bedient, die Rolle des T5 übernehmen und die Fragen zu jedem Chunk schreiben; das ist unser Vorschlag, und die Evaluierung unten zeigt, ob er hilft.

Hard Negatives verlangen Sorgfalt. Das Reranker-Beispiel von Hugging Face ermittelt sie mit einem vorhandenen Embedding-Modell über mine_hard_negatives, mit num_negatives=5, range_max=100 und sampling_strategy="top": fünf der obersten 100 Treffer, die nicht die Antwort sind. Prüfen Sie bei Ihren Dokumenten eine Stichprobe der ermittelten Negative von Hand, denn eine Passage, die die Frage genauso gut beantwortet wie die beschriftete, würde dem Modell das Falsche beibringen; genau dafür gibt es den Cross-Encoder-Schritt in GPL.

Wir liefern einzelne Karten und Server für Training und Betrieb von Retrieval-Modellen, von der L40S bis zur RTX PRO 6000 Server Edition; schicken Sie uns Modell, Korpusgröße und Zahl der Trainingspaare, und unser Team antwortet mit einem Plan für Karte und Speicher.

Loss-Funktionen und warum die Batchgröße den Speicher bestimmt

Die Übersicht der Loss-Funktionen von sentence-transformers markiert zwei davon als empfohlene Voreinstellung für Paare (Anker, Positiv) und für Tripel (Anker, Positiv, Negativ): MultipleNegativesRankingLoss und CachedMultipleNegativesRankingLoss. Über die erste heißt es, sie sei „commonly used to train the top performing embedding models“. Die Loss-Funktion behandelt die anderen Positive im selben Batch als Negative für jeden Anker; ein größerer Batch gibt jeder Frage also mehr falsche Antworten, die das Modell unterscheiden muss. Die Dokumentation ergänzt, dass „MultipleNegativesRankingLoss benefits from no duplicate samples in a batch“, was der Batch-Sampler BatchSamplers.NO_DUPLICATES sicherstellt.

Deshalb bestimmt beim Fine-Tuning eines Embedding-Modells die Batchgröße den Speicher stärker als die Modellgröße. Die Aktivierungen wachsen mit der Zahl der Texte im Batch mal ihrer Länge. Die Cached-Variante entkoppelt beides. Sie folgt dem Paper zum Gradient Caching von 2021, das „decouples backpropagation between contrastive loss and the encoder“ und die Gradienten für jeweils einen Teil des Batches berechnet, bei nahezu konstantem Speicher. Die Dokumentation merkt an, dass die Cached-Variante „is often used to increase the batch size, resulting in superior performance“.

MatryoshkaLoss umschließt eine dieser Loss-Funktionen und trainiert Embeddings, „whose size can be truncated without notable losses in performance“. Qwen3-Embedding unterstützt beim 0.6B-Modell bereits Ausgabedimensionen von 32 bis 1.024; wenn Ihr Index gekürzte Vektoren nutzt, trainieren und evaluieren Sie in dieser Größe.

Behalten Sie das Anfrageformat bei, das das Modell erwartet. Die Modellkarte von Qwen3-Embedding schreibt Anfragen als Instruct: {task_description}\nQuery:{query} und Dokumente ohne Anweisung. Nach unserer Überlegung sollten die Trainingsdaten dasselbe Format verwenden, damit Training und Betrieb dieselbe Eingabe sehen.

GPU-Speicher je Embedding-Modell

Für vollständiges Fine-Tuning verwenden wir dieselbe Regel wie unser Leitfaden zum Fine-Tuning-Speicher: 16 Byte je Parameter für Gewichte, Gradienten und Adam-Zustände in Mixed Precision. Die Dokumentation von sentence-transformers sagt: „Loading in fp32 is preferred for training if your memory can handle it“; in 32 Bit kommen Gewichte, Gradienten und Adam-Zustände auf dieselben 16 Byte. Aktivierungen kommen hinzu und hängen von Batchgröße und Sequenzlänge ab.

Safetensors-Größen aus den Dateilisten der Qwen-Modelle bei Hugging Face, gelesen am 24. Oktober 2026; 568M Parameter von bge-m3 laut unserer Embedding-Seite (NVIDIAs NIM-Support-Matrix). Volles Fine-Tuning = 16 Byte je Parameter nach unserer Rechnung, nur Modellzustände.

Auf die Karten bezogen: Die kleinen Modelle passen überall, die großen brauchen eine große Karte.

Angegebene Kapazität jeder Karte oder Instanz (NVIDIA-Datenblätter und MIG-Leitfaden, wie auf unseren Produkt- und MIG-Seiten) abzüglich der Modellzustände nach unserer Rechnung, volles Fine-Tuning; 8-Bit-Adam mit etwa 10 Byte je Parameter, 75,7 GB für das 8B-Modell. Aktivierungen kommen aus dem freien Rest.

Bei den 0.6B-Modellen entscheiden Batchgröße und Bequemlichkeit über die Karte. Eine 24-GB-MIG-Instanz auf der RTX PRO 6000 Server Edition, die Ihr Sprachmodell bedient, kann den Retriever über Nacht in ihrer eigenen Speicherpartition trainieren, wie unsere Seite zu den MIG-Profilen der RTX PRO 6000 beschreibt; L40S und RTX PRO 4500 Server Edition sind die Karten für einen eigenen Retrieval-Server. Die Modelle mit 4B und 8B sind große Sprachmodelle, die zu Encodern umgebaut wurden, und ihr vollständiges Fine-Tuning ist eine Aufgabe für eine ganze RTX PRO 6000 Server Edition oder H200 NVL. Mit 20 GB oder weniger Rest lässt das 8B-Modell wenig Platz für den Batch, von dem seine Loss-Funktion abhängt; planen Sie also die Cached-Variante oder ein kleineres Modell.

Stattdessen den Reranker feintunen

Ein Reranker oder Cross-Encoder liest die Anfrage und eine Passage zusammen und gibt eine Bewertung zurück. Er läuft nach der Suche auf den obersten Treffern; ein besserer Reranker verbessert die Antwort also, ohne den Index anzufassen. Das Reranker-Trainingsbeispiel von Hugging Face vom 26. März 2025 zeigt die Größenordnung. Es trainierte ModernBERT-base auf 99k Frage-Antwort-Paaren aus dem Datensatz GooAQ, ermittelte mit einem statischen Embedding-Modell fünf Hard Negatives je Frage, kam so auf 578k beschriftete Paare und trainierte mit BinaryCrossEntropyLoss bei einem pos_weight von 5 und einer Batchgröße von 16. Das Training dauerte laut Beitrag nur 30 Minuten auf einer RTX 3090, einer 24-GB-Karte einer älteren Consumer-Generation; das große Modell brauchte weniger als eine Stunde.

Hugging-Face-Blog „Training and Finetuning Reranker Models with Sentence Transformers v4“, 26. März 2025, Reranking der obersten 30 Treffer des statischen Embedding-Modells; gelesen am 24. Oktober 2026.

Diese Zahlen stammen aus einem öffentlichen Frage-Antwort-Datensatz, nicht aus Firmendokumenten. Sie zeigen die Größenordnung: Ein für die Aufgabe trainierter Reranker schlug die allgemeinen Reranker im Vergleich, nach einem Training auf einer 24-GB-Karte, so groß wie die kleinste Option in diesem Artikel. Der Autor schreibt außerdem, Reranker seien „particularly receptive“ für starke Hard Negatives; der Mining-Schritt oben gilt also auch hier.

Evaluieren, bevor Sie neu einbetten

Testen Sie das feingetunte Modell gegen das Modell im Betrieb auf demselben Evaluierungssatz, bevor Sie am Index etwas ändern. Der InformationRetrievalEvaluator von sentence-transformers nimmt drei Eingaben: die Anfragen, den Korpus und die relevanten Dokumente je Anfrage. Halten Sie die Evaluierungsfragen aus den Trainingsdaten heraus und nehmen Sie echte Nutzerfragen auf, nicht nur generierte, weil der Test abbilden soll, wie Nutzer fragen. Die Dokumentation warnt, dass „the evaluator only runs on the first device“, was nur beim Training auf mehreren Karten eine Rolle spielt.

Führen Sie dieselbe Evaluierung für jeden Kandidaten und für das aktuelle Modell durch und vergleichen Sie den Recall beim Cut-off, den Ihre RAG-Pipeline verwendet. Unser Leitfaden zur LLM-Evaluierung vor Modellwechseln beschreibt, wie Sie einen solchen Testsatz auch für das Sprachmodell pflegen.

Die Neuindizierung nach einem neuen Embedding-Modell

Ein feingetuntes Embedding-Modell erzeugt für jede Passage neue Vektoren. Vektoren des alten und des neuen Modells gehören nicht in einen Index; der ganze Korpus wird deshalb neu eingebettet. Auf unserer Embedding-Seite brauchen 3 Millionen Chunks mit 512 Tokens mit NVIDIAs 1B-Embedding-Modell in FP8 etwa 17 Stunden auf einer L4 und etwa 5,8 Stunden auf einer L40S, nach unserer Rechnung aus NVIDIAs veröffentlichtem Durchsatz, und ein 8B-Modell braucht ein Mehrfaches davon. Eine Million 1.024-dimensionaler float32-Vektoren belegt vor jedem Index 4,10 GB, wie unser Vergleich von Vektordatenbanken zeigt.

Planen Sie die Neuindizierung wie eine Migration: Bauen Sie den neuen Index neben dem alten auf, führen Sie den Evaluierungssatz gegen beide aus und schalten Sie um, wenn der neue besser ist. Ein feingetunter Reranker erspart Ihnen all das; auch deshalb lohnt es sich, ihn zuerst zu versuchen.

Welche Karte für das Retrieval-Training

Der Retriever ist klein, und der Server hat bereits eine RTX PRO 6000 Server Edition. Trainieren Sie Qwen3-Embedding-0.6B, bge-m3 oder einen Cross-Encoder in einer 24-GB-MIG-Instanz, wenn die Instanz frei ist, und lassen Sie die anderen Instanzen dem Sprachmodell.

Eine eigene Retrieval-Karte für Betrieb und Training. Eine L40S mit 48 GB oder eine RTX PRO 4500 Server Edition mit 32 GB trainiert die kleinen Modelle mit Platz für große Batches und bedient sie danach. Unsere Seite zum L40S-Server nennt die Konfigurationen.

Embedding-Modelle mit 4B oder 8B. Eine ganze RTX PRO 6000 Server Edition oder eine H200 NVL, für das Training und die anschließende Neuindizierung.

Die Datenseite, vom Generieren der Fragen bis zu Evaluierung und Neuindizierung, gehört zu unserem Service Private AI/ML, den unser Engineering-Partner Vixen.UNO umsetzt; wir liefern die Karten und die Server, vor der Lieferung montiert und getestet, mit einem EU-Vertrag und einer Rechnung. Beschreiben Sie Ihren Korpus und die Suchfehler, die Sie sehen, und wir antworten innerhalb eines Werktages.

FAQ