Glossar

Ein auf großen Textmengen trainiertes Modell, das das nächste Token vorhersagt und damit schreibt, zusammenfasst, einordnet und Fragen beantwortet. Im Unternehmen ist selten die Frage, welches Modell – sondern welche Daten es sehen darf und wo es läuft.

Training baut das Modell, Inferenz nutzt es zum Antworten. Praktisch jede betriebliche Installation ist reine Inferenz – deshalb reicht deutlich weniger Hardware, als die Schlagzeilen über Trainingscluster vermuten lassen.

Der Speicher, den ein Modell für eine laufende Unterhaltung hält, damit es nicht bei jedem Token den ganzen Kontext neu liest. Er wächst mit der Kontextlänge und mit der Zahl gleichzeitiger Nutzer und belegt auf einem ausgelasteten Inferenzserver meist mehr GPU-Speicher als die Modellgewichte.

Eine NVIDIA-Funktion, die eine physische GPU in hardwareseitig getrennte Instanzen mit eigenem Speicher und eigener Rechenleistung teilt. Anders als beim Zeitscheibenverfahren stören sich die Teile nicht gegenseitig – deshalb ist es für getrennte Mandanten oder Produktivlasten brauchbar.

NVIDIAs direkte Verbindung zwischen GPUs, deutlich schneller als derselbe Weg über PCIe. Sie zählt, wenn ein Modell zu groß für eine Karte ist und auf mehrere verteilt werden muss; bei Inferenz auf einer Karte ändert sie nichts.

Modellgewichte in geringerer Zahlengenauigkeit ablegen, damit sie weniger Speicher brauchen und schneller laufen. Jede Stufe halbiert den Speicherbedarf ungefähr und kostet etwas Genauigkeit – wie viel, hängt vom Modell und der Aufgabe ab und wird gemessen, nicht angenommen.

Die eigenen Dokumente nach passenden Abschnitten durchsuchen und sie dem Modell als Kontext geben, damit es aus Ihrem Material antwortet statt aus dem Training. Ein aktualisiertes Dokument aktualisiert sofort die Antwort, ohne erneutes Training.

Die betriebliche Disziplin um ein Modell im Einsatz: Versionierung, Ausrollen, Überwachung auf Drift, Prüfung vor jeder Änderung und Rücknahme, wenn sie nicht trägt. Das ist der Unterschied zwischen einem Prototyp und etwas, worauf ein Betrieb sich verlässt.

NVIDIA-Software, mit der sich mehrere virtuelle Maschinen eine physische GPU abwechselnd teilen. Flexibler als MIG bei der Aufteilung, dafür weniger streng getrennt – und lizenzpflichtig je gleichzeitigem Nutzer.

Der Speicher auf der Grafikkarte selbst. Für lokale LLM-Arbeit ist er die bindende Grenze: Passen Gewichte und KV-Cache nicht hinein, läuft das Modell nicht – unabhängig davon, wie schnell die Karte ist.

Die Zeit, in der eine virtuelle Maschine rechenbereit war, aber keinen physischen Kern bekam. Diese Zahl erklärt eine VM, die sich langsam anfühlt, während ihre Auslastungskurve ruhig aussieht – meist hat sie mehr vCPUs, als der Host gleichzeitig einplanen kann.

Die VMware-Funktion, die laufende virtuelle Maschinen zwischen Hosts verschiebt, um die Last auszugleichen. Sie funktioniert gut bei vernünftig dimensionierten Maschinen und rettet keinen Cluster voller überdimensionierter.

Das automatische Neustarten virtueller Maschinen auf einem anderen Host, wenn ihrer ausfällt. Das schützt gegen Hardwareausfall innerhalb eines Standorts – es ist kein Wiederanlauf, denn es setzt voraus, dass der Standort noch da ist.

Die Schicht, die mehrere virtuelle Maschinen auf einem physischen Server betreibt und voneinander trennt. Alles andere in einer virtualisierten Umgebung – Lizenzen, Kapazität, Verfügbarkeit – folgt aus Entscheidungen auf dieser Schicht.

Abrechnung nach physischen Kernen im Host statt nach Sockeln oder virtuellen Maschinen, meist mit einer Mindestzahl Kerne je CPU. Damit wird der physische Aufbau zur Finanzfrage: Viele kleine Hosts kosten bei gleicher Last mehr als wenige dichte.

Eine Zeitpunktmarke, auf die eine virtuelle Maschine zurückgesetzt werden kann; danach werden alle Änderungen in eine wachsende Zusatzdatei geschrieben. Das ist ein Netz für eine Stunde und keine Sicherung – monatelang stehen gelassene Snapshots füllen regelmäßig Datenspeicher.

VMwares softwaredefinierter Speicher aus den Datenträgern in den Hosts statt aus einem separaten Speichersystem. Nach heutiger Lizenzierung ist je lizenziertem Kern eine bestimmte vSAN-Kapazität enthalten, gerechnet gegen die rohe physische Kapazität und nicht gegen den nutzbaren Platz.

Das Verschieben einer laufenden virtuellen Maschine auf einen anderen Host, ohne sie anzuhalten. Genau das macht Patches und Hardwarewartung während der Geschäftszeit möglich.

Wiederanlaufkapazität als Dienstleistung statt als eigener Aufbau: ein Ort, an dem die Last laufen kann, die Replikation dorthin und ein vereinbartes Wiederanlaufziel. Der Wert steckt ebenso sehr im geübten Ablauf wie in der Kapazität.

Eine Kopie, die bis zum Ablauf ihrer Aufbewahrungsfrist nicht verändert oder gelöscht werden kann – auch nicht von einem Administratorkonto. Moderne Erpressungssoftware sucht zuerst das Sicherungssystem; Unveränderlichkeit ist der Unterschied zwischen einer Sicherung haben und gehabt haben.

Ein zweiter Identitätsnachweis zusätzlich zum Passwort. Von allen Maßnahmen hat sie das beste Verhältnis von Aufwand zu entferntem Risiko – und sie fehlt am häufigsten genau bei Administrator- und Fernzugriffskonten.

Eine EU-Richtlinie zur Cybersicherheit, die Pflichten – Risikomanagement, Meldung von Vorfällen, Sicherheit in der Lieferkette – auf deutlich mehr Organisationen ausdehnt als die Regeln, die sie ablöst. Sie gilt für Einrichtungen in gelisteten Sektoren oberhalb einer Größenschwelle, und jeder Mitgliedstaat setzt sie in eigenem nationalem Recht um – maßgeblich ist daher der nationale Text.

Wie viele Daten Sie zu verlieren bereit sind, gemessen in Zeit: Ein RPO von einer Stunde heißt, dass bis zu einer Stunde Arbeit nach einem Vorfall neu erfasst werden muss. Bestimmt wird er davon, wie oft kopiert wird – nicht davon, wie schnell wiederhergestellt wird.

Wie lange ein Betrieb stillstehen darf, gemessen vom Beginn des Vorfalls bis die Leute wieder arbeiten. Dazu gehören Erkennung, die Entscheidung, der Wiederanlauf selbst und die Prüfung danach – deshalb sind Schätzungen, die nur die Wiederherstellung stoppen, immer zu optimistisch.

Die vertragliche Festlegung dessen, was zugesichert ist: Reaktionszeiten, Wiederanlaufziele, Verfügbarkeit – und was gilt, wenn sie verfehlt werden. Ein Wiederanlaufziel, das nie getestet wurde, ist eine Zahl und keine Zusage.

Ein Ansatz, der das interne Netz nicht mehr als vertrauenswürdig behandelt und stattdessen jede Anfrage über Identität und Gerät prüft. In der Praxis ist es eine Folge von Schritten – Identität, Segmentierung, minimale Rechte – und kein Produkt, das man installiert.

Die Anforderung, dass Daten in einem festgelegten Rechtsraum gespeichert und verarbeitet werden. Nach der DSGVO brauchen personenbezogene Daten, die die EU oder den EWR verlassen, einen zulässigen Übermittlungsmechanismus – deshalb entscheidet die Datenlage oft die Architektur, bevor über Kosten gesprochen wird.

Bereitstellung nach Cloud-Art – Selbstbedienung, elastisch, automatisiert – auf Infrastruktur, die einer Organisation allein gehört oder für sie gehostet wird. Das ist die übliche Antwort, wenn öffentliche Cloud aus rechtlichen oder vertraglichen Gründen ausscheidet, das Betriebsmodell aber gewünscht ist.

Ein Rechenzentrum, das als parallel wartbar zertifiziert ist: Jede Strom- und Kühlkomponente kann zur Wartung außer Betrieb genommen werden, ohne die Anlagen zu stoppen. Auf dieser Stufe werden die meisten Unternehmenslasten gehostet – über Tier II und unter dem vollständig fehlertoleranten Tier IV.

Die beiden VMware-Foundation-Bündel: Cloud Foundation ist der vollständige Private-Cloud-Stack, vSphere Foundation die Virtualisierungsplattform mit Betriebswerkzeugen. Beide werden pro Kern lizenziert und enthalten je lizenziertem Kern vSAN-Kapazität – jeweils eine andere Menge.