Vortraining und Feinschliff
Große KI-Modelle entstehen in zwei Etappen. Im Vortraining lernen sie aus riesigen, allgemeinen Datenmengen Sprache, Weltwissen und Muster. Das ist extrem aufwendig und wird nur von wenigen Anbietern gemacht. Beim Fine-Tuning wird dieses fertige Modell mit einem kleineren, gezielt ausgewählten Datensatz weitertrainiert – ähnlich wie eine ausgebildete Fachkraft, die im neuen Betrieb eingeschult wird.
Fine-Tuning steckt auch in jedem Chat-Assistenten: Ein frisch vortrainiertes Sprachmodell setzt Texte nur fort. Erst durch Nachtraining mit Beispielen für gute Antworten und mit menschlichem Feedback wird daraus ein Assistent, der Fragen beantwortet, Anweisungen befolgt und problematische Anfragen ablehnt. Fachleute sprechen von Instruction Tuning und von Reinforcement Learning from Human Feedback (RLHF).
Für dich als Anwender:in heißt das: Fast jedes KI-Werkzeug, das du nutzt, beruht bereits auf einem nachtrainierten Modell. Eigenes Fine-Tuning ist ein zusätzlicher Schritt, den Unternehmen nur für besondere Anforderungen gehen.
Wann Fine-Tuning sinnvoll ist
Für Unternehmen lohnt sich eigenes Fine-Tuning vor allem in diesen Fällen:
- Gleiches Format in großer Menge: Tausende Dokumente sollen exakt nach demselben Schema verarbeitet werden, und Prompts allein liefern das nicht zuverlässig.
- Eigener Stil oder Tonfall, der sich schwer in Worte fassen, aber gut an Beispielen zeigen lässt
- Spezielle Klassifizierungen, etwa interne Ticketkategorien mit feinen Unterschieden
- Kleineres Modell fit machen: Ein schlankes, günstiges Modell wird für genau eine Aufgabe so gut wie ein großes – schneller und billiger im Betrieb.
- Fachsprache, die im allgemeinen Training kaum vorkam
Voraussetzung ist immer ein sauberer Datensatz mit vielen guten Beispielen. Schlechte oder widersprüchliche Beispiele trainiert man genauso gründlich mit ein.
Fine-Tuning, RAG oder Prompt?
Die drei Ansätze lösen unterschiedliche Probleme und werden häufig verwechselt:
| Prompt Engineering | RAG | Fine-Tuning | |
|---|---|---|---|
| Verändert das Modell? | nein | nein | ja |
| Gut für | Aufgabe, Format, Ton | aktuelles und internes Wissen | Verhalten, Stil, Spezialaufgaben |
| Aufwand | gering | mittel | hoch |
| Neue Informationen nachtragen | sofort im Prompt | Dokument in den Index legen | erneut trainieren |
Ein verbreiteter Irrtum ist, ein Modell per Fine-Tuning „mit den eigenen Dokumenten zu füttern“, damit es Fragen dazu beantwortet. Dafür ist Retrieval-Augmented Generation in der Regel besser geeignet: Das Wissen bleibt aktuell, Quellen sind nachvollziehbar, und das Modell erfindet seltener Details. Fine-Tuning ändert eher, wie ein Modell antwortet, als was es weiß.
Varianten und Risiken
Beim vollständigen Fine-Tuning werden alle Gewichte angepasst – teuer und bei großen Modellen kaum machbar. Verbreiteter sind parametereffiziente Verfahren wie LoRA: Dabei bleibt das Modell unverändert, und es werden nur kleine Zusatzgewichte trainiert, die sich bei Bedarf ein- und ausschalten lassen.
Die Risiken liegen im Detail. Ein Modell kann durch Nachtraining Fähigkeiten verlieren, die es vorher hatte. Es kann Inhalte aus den Trainingsdaten wörtlich wiedergeben – heikel, wenn darin personenbezogene oder vertrauliche Daten stecken. Und wenn der Anbieter ein neues Basismodell herausbringt, beginnt die Arbeit von vorn. Wer Fine-Tuning plant, sollte deshalb vorher prüfen, ob ein guter Prompt mit ein paar Beispielen nicht schon reicht.
Ingenieurbüro Leitner möchte, dass Baubesprechungen im hauseigenen Protokollstil zusammengefasst werden: feste Gliederung nach Gewerken, Kürzel für Firmen, Fristen immer als Kalenderwoche.
Die erste Idee: ein Modell mit einigen hundert alten Protokollen nachtrainieren. Nach einem Test zeigt sich aber, dass ein Prompt mit der Gliederung und zwei Musterprotokollen als Beispiel fast dasselbe Ergebnis liefert – ohne Trainingskosten und sofort anpassbar, wenn sich der Stil ändert. Fine-Tuning wäre erst bei sehr großen Mengen oder einem eigenen, kleinen Modell interessant.
Dieser Eintrag dient der allgemeinen Information und ersetzt keine individuelle Beratung.