LLM-Distillation on-premise: Hardware für Teacher und Student, Trainer und Lizenzen

Was LLM-Distillation leistet: Teacher, Student und Ihre Aufgaben

Wissensdestillation trainiert ein kleines Modell, den Student, darauf, das nachzubilden, was ein großes Modell, der Teacher, bei Ihren eigenen Aufgaben tut. Das Ergebnis ist ein Modell mit 8B Parametern oder weniger, das Ihre Support-Tickets beantwortet, Ihre Rechnungsfelder extrahiert oder Ihre Dokumente klassifiziert, nahe an einem 70B- oder 120B-Modell, und auf einem Bruchteil der Hardware läuft. On-premise läuft die Arbeit in zwei Phasen auf Ihren eigenen GPU-Servern, sodass die Firmendaten in den Prompts in Ihrem Netz bleiben: Der Teacher erzeugt als Batch-Auftrag Antworten oder Wahrscheinlichkeiten, und der Student wird darauf trainiert.

Distillation verengt ein Modell auf die Aufgaben in seinen Trainingsdaten. Ein auf Support-Tickets trainierter Student wird kein allgemeiner Assistent und ist außerhalb dieser Aufgaben meist schwächer als der Teacher; das Verfahren lohnt sich daher für wenige, klar umrissene Aufgaben mit hohem Volumen. Unser Vergleich von Fine-Tuning und RAG zeigt, wann sich Training überhaupt lohnt; dieser Artikel behandelt die zwei Phasen der Distillation, die Hardware jeder Phase und die Lizenz des Teachers.

Zwei Wege der Distillation: Teacher-Ausgaben oder Teacher-Logits

Sequenzbasierte Distillation ist überwachtes Fine-Tuning auf Texten, die der Teacher geschrieben hat. Sie schicken Ihre Prompts an den Teacher, behalten die Antworten, die Ihre Prüfungen bestehen, und trainieren den Student mit einem gewöhnlichen SFT-Trainer auf den Prompt-Antwort-Paaren. Die Dokumentation von TRL beschreibt diesen Fall in den Optionen des experimentellen GKDTrainer: seq_kd führt sequenzbasierte Distillation aus, die als „supervised FT on teacher-generated output“ gesehen werden kann. Teacher und Student können aus verschiedenen Modellfamilien stammen, weil zwischen ihnen nur Text fließt.

Logit-Distillation trainiert den Student auf den Wahrscheinlichkeiten des Teachers für jedes nächste Token, die mehr Information tragen als eine einzelne gezogene Antwort. TRL setzt sie in mehreren Trainern um (Dokumentation gelesen am 24. Oktober 2026):

Dokumentation von Hugging Face TRL (main-Zweig; neuestes Release 1.16.0), gelesen am 24. Oktober 2026. Die experimentellen Trainer werden aus trl.experimental importiert, etwa aus trl.experimental.gkd. GKD und DistillationTrainer setzen On-Policy-Distillation nach arXiv 2306.13649 um; GOLD erweitert die Universal Logit Distillation.

Die Seite zum DistillationTrainer hält fest, dass der Teacher das Vokabular des Students teilen muss („must share the student's vocabulary“). Das Verfahren ist on-policy: Der Student erzeugt eigene Vervollständigungen und lernt, darüber die Verteilung des Teachers für das nächste Token nachzubilden, mit einem in Blöcken berechneten Jensen-Shannon-Verlust, sodass die dichte Verteilung des Teachers nie vollständig im Speicher steht. Der GOLDTrainer unterstützt Paare von Student und Teacher mit verschiedenen Tokenizern, indem er Textabschnitte angleicht und ihre Logits zusammenführt, etwa „LLaMA students with Qwen teachers“; er liegt im experimentellen Namensraum von TRL, wo sich APIs ohne Ankündigung ändern können. NVIDIAs Model Optimizer bietet Distillation und Pruning mit Distillation nach Art von Minitron für Hugging Face, Megatron-Bridge und Megatron-LM, für Teams, die auf NVIDIAs Software trainieren.

Für die meisten Aufgaben im Unternehmen ist die sequenzbasierte Distillation der Einstieg. Sie braucht keinen besonderen Trainer, sofern die Teacher-Lizenz es erlaubt, und ihre Trainingsdaten können Menschen lesen, filtern und korrigieren, bevor eine einzige GPU-Stunde in den Student fließt.

Phase 1: Der Teacher erzeugt Trainingsdaten

Die Generierung durch den Teacher ist Batch-Inferenz: eine feste Menge von Prompts, auf die einzelne Antwort wartet niemand, und dimensioniert wird in Tokens pro Sekunde. Unser Leitfaden zur Batch-Inferenz on-premise beschreibt die vLLM-Einstellungen und die Methode; der veröffentlichte Durchsatz eines vergleichbaren Modells gibt eine erste Schätzung.

MLPerf® Inference: Datacenter v6.1, Closed Division, Kategorie Available, gpt-oss-120b, Offline-Szenario, Eintrag 6.1-0050, HPE ProLiant Compute DL380a Gen12 mit acht RTX PRO 6000 Blackwell Server Edition, 15.256 Tokens pro Sekunde, abgerufen von mlcommons.org am 24. Oktober 2026. Ergebnis von der MLCommons Association verifiziert. Die Stunden sind unsere Rechnung, keine MLPerf-Metrik; die Reserve plant wie in unserem Batch-Leitfaden mit der Hälfte der veröffentlichten Rate; Anzahl und Länge der Antworten sind Beispielwerte. The MLPerf name and logo are registered and unregistered trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

Die Zeile mit 2.000 Tokens gilt für Reasoning-Teacher, die vor der Antwort eine lange Gedankenkette schreiben; behalten oder entfernen Sie sie, je nachdem, ob der Student das Schlussfolgern lernen soll. Erzeugen Sie mehr als nötig, denn das Filtern entfernt einen Teil: Antworten, die eine Schema-Prüfung nicht bestehen, dem Quelldokument widersprechen oder sich wiederholen. Ein dichter 70B-Teacher in FP8 hält nach unserer Nutzer-pro-Karte-Regel 12 Sitzungen zu 8.192 Tokens auf einer RTX PRO 6000 Server Edition; eine einzelne Karte kann also generieren, während der Rest des Servers Nutzer bedient, mit geringerer Rate.

Logits statt Text zu speichern ändert die Größenordnung. Eine vollständige Verteilung für das nächste Token über ein Vokabular von 128.256 Tokens in 16-Bit-Werten sind rund 256 KB pro Token, 120 Millionen Tokens bräuchten nach unserer Rechnung also rund 31 TB. Nur die 8 wahrscheinlichsten Tokens, der Standardwert, den der AsyncDistillationTrainer überträgt, ergeben bei angenommen 8 Bytes pro Eintrag rund 64 Bytes pro Token oder 7,7 GB. Deshalb fragen die Logit-Trainer von TRL den Teacher während des Trainings ab, statt eine gespeicherte Datei zu lesen.

Wir liefern Server mit zwei bis acht RTX PRO 6000 Server Edition oder H200 NVL für beide Phasen; schicken Sie uns Teacher, Aufgabe und Zahl der Beispiele, und unser Team antwortet mit einer Konfiguration.

Phase 2: Den Student trainieren

Sequenzbasierte Distillation trainiert den Student wie jedes Fine-Tuning, und unser Leitfaden zum GPU-Speicher für Fine-Tuning nennt die Werte für Llama 3.1 8B: 128 GB Modellzustände für ein Voll-Fine-Tuning mit Adam in gemischter Genauigkeit, rund 80 GB mit 8-Bit-Adam, was auf eine RTX PRO 6000 Server Edition mit 96 GB passt, 32,1 GB pro Karte mit FSDP über vier Karten und 16,7 GB für LoRA. Ein Student, der den Teacher bei seinen Aufgaben genau nachbilden soll, wird meist vollständig trainiert; LoRA passt zu kleinen Budgets und vielen getrennten Aufgaben. Welches Trainings-Framework einen solchen Lauf auf mehrere Karten verteilt, vergleicht unsere Seite zu Unsloth, Axolotl und TRL für Fine-Tuning auf mehreren GPUs.

Der Rechenaufwand ist überschaubar. Mit rund 6 FLOP je Parameter und Trainingstoken, der Näherung des Scaling-Laws-Papers (arXiv 2001.08361), ergeben 200 Millionen Tokens aus Prompts und Antworten in drei Epochen 6 × 8,03 × 10⁹ × 6 × 10⁸ ≈ 2,9 × 10¹⁹ FLOP für einen 8B-Student. Auf acht H200 NVL bei angenommen 40 Prozent der von NVIDIA genannten 835,5 dichten BF16-TFLOPS pro Karte sind das rund drei Stunden, nach unserer Schätzung.

Logit-Distillation fügt für jedes Trainingstoken den Vorwärtsdurchlauf des Teachers hinzu. Dasselbe Paper setzt den Vorwärtsdurchlauf mit rund einem Drittel des Trainingsaufwands an, 2 FLOP je Parameter und Token; ein 70B-Teacher fügt also rund 2 × 70,55 × 10⁹ ≈ 1,4 × 10¹¹ FLOP pro Token hinzu, das Dreifache der 4,8 × 10¹⁰ des Trainingsschritts eines 8B-Students. On-Policy-Trainer lassen den Student zudem während des Trainings eigene Vervollständigungen erzeugen. Nach unserer Schätzung braucht ein Logit-Distillation-Lauf mit einem 70B-Teacher daher rund das Vierfache des Rechenaufwands des sequenzbasierten Trainings auf denselben Tokens, vor der Generierung.

Der Speicher folgt der Aufteilung. Wird der Teacher im Trainingsprozess geladen, kommen bei einem 70B-Teacher in BF16 rund 141 GB Gewichte zu den Zuständen des Students; über acht H200 NVL verteilt sind das rund 17,6 GB Teacher-Gewichte pro Karte neben 16 GB Student-Zuständen. Beim AsyncDistillationTrainer läuft der Teacher als eigener vLLM-Server, der laut Dokumentation ein viel größeres Modell sein kann, als neben den Student passen würde („can be a much larger model than would otherwise fit alongside the student“); Teacher, Student-Generierung und Trainer laufen auf getrennten GPUs, der Trainer unterstützt nur FSDP2, und vLLM 0.22.0 oder neuer ist Voraussetzung. Auf einem Server mit acht RTX PRO 6000 Server Edition legt eine Aufteilung nach unserem Beispiel Llama 3.3 70B in FP8 auf zwei Karten, den vLLM-Server des Students auf eine und den Trainer auf fünf, mit einem Student, dessen Tokenizer-Dateien denen des Teachers entsprechen.

Die Lizenz des Teachers und der Student

Ob die Ausgaben des Teachers ein anderes Modell trainieren dürfen, beantwortet die Lizenz des Teachers. Lesen Sie die Lizenzdatei des genauen Checkpoints; die folgenden Bedingungen wurden am 24. Oktober 2026 gelesen.

LICENSE-Datei von Llama 3.3 auf Hugging Face, Klausel 1.b.i; Gemma Terms of Use, Abschnitt 1.1(e) und (f), 3.3; Modellkarte von gpt-oss-120b auf Hugging Face. Unsere Zusammenfassung; Ihre Rechtsabteilung liest die vollständigen Bedingungen.

Die Lizenz von Llama 3.3 bestimmt: Wer die Llama Materials oder deren Ausgaben („any outputs or results“) nutzt, um ein KI-Modell zu erstellen, zu trainieren oder feinzutunen, das weitergegeben oder bereitgestellt wird („which is distributed or made available“), muss dessen Namen mit „Llama“ beginnen lassen. Nach unserer Lesart wird ein intern genutzter Student weder weitergegeben noch bereitgestellt; einer, der Kunden angeboten oder veröffentlicht wird, schon. Die Gemma Terms of Use von Google zählen zu den Model Derivatives jedes Modell, das trainiert wird, um ähnlich wie Gemma zu arbeiten, „including distillation methods“ und die Erzeugung synthetischer Outputs von Gemma für dieses Training, sodass der Student die Nutzungsbeschränkungen der Bedingungen erbt; dieselben Bedingungen halten fest, dass Outputs selbst keine Model Derivatives sind und Google keine Rechte an ihnen beansprucht. Die Karte von gpt-oss-120b nennt eine „Permissive Apache 2.0 license“.

Der Student behält auch seine eigene Lizenz: Ein 8B-Student auf Llama-Basis bleibt unter der Llama-Lizenz seines Basismodells, ein Qwen- oder Mistral-Student unter Apache 2.0, wo seine Karte das nennt. Unser Vergleich der Lizenzen offener LLMs für Unternehmen behandelt die übrigen Lizenzen. Für den AI Act liegt der Trainingsaufwand eines typischen Distillation-Laufs weit unter dem Drittel-Kriterium der Kommissionsleitlinien für veränderte Modelle, wie unser Artikel zu AI Act, Fine-Tuning und GPAI-Anbietern durchrechnet.

Was der Student im Betrieb spart

Der eigentliche Gewinn der Distillation liegt in der Hardware für den Betrieb. Unsere veröffentlichte Dimensionierung beider Modelle nach unserer Nutzer-pro-Karte-Regel:

Unsere Schätzungen: Gespräche aus der Dimensionierung in unserem VRAM-Leitfaden (70B) und unserem Leitfaden zu kleinen Modellen (8B, 9,1 GB NVIDIA-FP8-Checkpoint, 128 KiB 16-Bit-Cache pro Token; auf der L4 ein Budget von 17,3 GiB mit und 18,6 GiB ohne ECC wie in diesem Leitfaden); 25,7 GiB pro RTX PRO 4500 Server Edition nach unserer Regel. Die Obergrenzen sind Bandbreite geteilt durch die pro Token gelesenen Gewichte (1.597 GB/s ÷ 70,6 GB, 300 GB/s ÷ 9,1 GB, 800 GB/s ÷ 9,1 GB), also Obergrenzen und keine Messungen.

Eine L4 mit 72 W hat mit dem Student eine höhere Obergrenze für einen einzelnen Nutzer als eine RTX PRO 6000 Server Edition mit dem Teacher, weil sie pro Token ein Achtel der Bytes liest. Acht L4 oder acht RTX PRO 4500 Server Edition in einem Server halten dann acht Kopien des Students oder eine Mischung von Students für verschiedene Aufgaben. Unser Leitfaden zu kleinen Sprachmodellen auf L4 und RTX PRO 2000 behandelt Filial- und Edge-Server für solche Modelle.

Den Student prüfen, bevor er den Teacher ersetzt

Halten Sie einen Testdatensatz aus echten Anfragen zurück, den der Student im Training nie gesehen hat, und bewerten Sie Teacher und Student darauf mit derselben Metrik: exakte Übereinstimmung für Extraktionsfelder, Genauigkeit für Klassen, bewertete Antworten für Text. Ergänzen Sie Fälle außerhalb der Trainingsverteilung, weil ein enger Student dort zuerst versagt, und leiten Sie solche Anfragen an den Teacher oder ein allgemeines Modell weiter. Wiederholen Sie den Vergleich, wenn sich Teacher, Prompts oder Aufgabe ändern, und bewahren Sie den erzeugten Trainingsdatensatz mit seinen Filtern auf, damit der Student neu trainiert werden kann.

Unser Service Private AI/ML richtet die Teacher-Generierung, das Training und den Betrieb des Students gemeinsam mit unserem Engineering-Partner Vixen.UNO auf Ihren eigenen Servern ein. Beschreiben Sie die Aufgabe und das Anfragevolumen, das auf ein kleineres Modell wechseln soll, und wir schlagen die Hardware für beide Phasen vor.

FAQ