Fine-Tuning: Was sich durch weiteres Training ändert – und was es nicht garantiert

Was Fine-Tuning bedeutet

Fine-Tuning – auf Deutsch auch Feinabstimmung – ist das zusätzliche Training eines Modells, das bereits zuvor trainiert wurde. Damit soll sein Verhalten an eine bestimmte Aufgabe, einen Fachbereich oder ein Format angepasst werden. Im Kern wird ein bestehendes Modell durch eine weitere Trainingsphase verändert. Es geht also nicht lediglich darum, ihm für eine einzelne Anfrage eine Anweisung zu geben.

Das Anpassungsziel muss klar genug formuliert sein, um sowohl die Daten als auch die Evaluation zu bestimmen. Es kann beispielsweise darum gehen, Texten Kategorien zuzuordnen oder Antworten in einer festgelegten Struktur auszugeben. Die Aussage, das Modell solle „besser funktionieren“, ist zu ungenau, solange nicht feststeht, für welche Aufgabe, anhand welcher Beispiele und nach welchen Kriterien sich eine Verbesserung beurteilen lässt.

Der Begriff legt für sich genommen nicht fest, welche internen Teile des Modells verändert werden. Je nach Methode können beim Training sämtliche Modellparameter angepasst werden oder nur ein Teil davon beziehungsweise zusätzliche Parameter. Die verfügbaren Quellen stützen die allgemeine Definition als weiteres Training oder Anpassung eines vortrainierten Modells, erläutern die verschiedenen Varianten der Parameteraktualisierung jedoch nicht im Detail. Der konkrete Umfang muss daher in der Dokumentation der gewählten Methode und des Modells geprüft werden.

Der Ablauf: Ziel, Daten, Training und Evaluation

Ein Fine-Tuning-Prozess lässt sich als Abfolge von Entscheidungen verstehen. Zunächst werden ein Ausgangsmodell ausgewählt und das gewünschte Verhalten eingegrenzt. Anschließend werden Beispiele vorbereitet, die dieses Ziel abbilden, das Modell wird mit einer bestimmten Methode trainiert und das Ergebnis wird evaluiert. Bei der abschließenden Entscheidung geht es nicht darum, ob sich das Modell verändert hat, sondern darum, ob die beobachtete Veränderung für den vorgesehenen Einsatz nützlich ist.

Die Beispiele sollten in wichtigen Punkten der tatsächlichen Aufgabe entsprechen: den Eingaben, den erwarteten Ausgaben, den Kategorien oder dem Format. Soll ein Modell etwa Supportanfragen klassifizieren, sollten die Kategorien klar definiert sein und die Fälle die Vielfalt abbilden, die das System später erhalten wird. Eine wenig repräsentative Beispielsammlung kann zu Schlussfolgerungen führen, die sich bei anderen Eingaben nicht bestätigen.

Bei der Evaluation muss zwischen den Fällen unterschieden werden, die im Training verwendet wurden, und den Fällen, mit denen das Ergebnis überprüft wird. Wird der Erfolg anhand derselben Beispiele gemessen, mit denen das Modell trainiert wurde, ist das keine unabhängige Prüfung seines Verhaltens bei neuen Fällen. Die bereitgestellte Dokumentation nennt Evaluation als Bestandteil von Abläufen zur Modelloptimierung und zum Fine-Tuning, legt aber weder ein universelles Prüfverfahren noch Schwellenwerte fest, die für alle Aufgaben gelten.

Die abschließende Entscheidung hängt von Kriterien ab, die vor dem Test festgelegt werden sollten: Welche Fehler sind wichtig, welches Ergebnis ist akzeptabel und unter welchen Bedingungen soll das Modell eingesetzt werden? Eine Verbesserung bei einer ausgewählten Kennzahl ist für sich genommen keine allgemeine Verbesserung. Ebenso wenig lässt sich daraus ableiten, dass das System in nicht evaluierten Situationen sicher oder korrekt ist.

Beispiel: Supportanfragen klassifizieren

Stellen wir uns einen Dienst vor, der Nachrichten zu Abrechnung, Kontozugriff, technischen Problemen und Kündigungen erhält. Ein Team möchte, dass ein Modell jede Nachricht einer dienstspezifischen Kategorie zuordnet. In diesem Beispiel würde Fine-Tuning bedeuten, ein vortrainiertes Modell anhand von Nachrichten und den jeweils erwarteten Kategorien anzupassen, damit es auf diese Klassifikationsaufgabe ausgerichtet wird.

Vor dem Training müsste festgelegt werden, was die einzelnen Kategorien bedeuten und wie mit mehrdeutigen Anfragen oder Fällen umzugehen ist, die in keine Kategorie passen. Verwendet das Team ähnliche Bezeichnungen uneinheitlich, ändert es Kategorienamen ohne klare Regel oder nimmt widersprüchliche Nachrichten auf, vermitteln die Beispiele keine stabile Konvention. Fine-Tuning löst Uneinigkeit über die Kategorien nicht automatisch.

Die Evaluation könnte andere Nachrichten enthalten als die Trainingsbeispiele, etwa Anfragen mit mehreren Anliegen oder sehr knappe Beschreibungen. Das Team würde nicht nur den Gesamtanteil der Treffer prüfen, sondern auch untersuchen, welche Arten von Anfragen verwechselt werden und welche Folgen diese Fehler haben. Die passende Messgröße hängt vom Einsatz ab: Eine Klassifikation, die lediglich ein Postfach sortiert, kann andere Anforderungen haben als eine, die automatisch Aktionen auslöst.

Dieser Fall veranschaulicht eine mögliche Anpassung; er belegt kein bestimmtes Ergebnis. Er bedeutet nicht, dass das Modell alle Formulierungen der Kundschaft erkennt, dass die Kategorien für jede Organisation geeignet sind oder dass Fine-Tuning zwangsläufig die beste Lösung gegenüber anderen Möglichkeiten ist.

Beispiel: Industrielle Bildprüfung

In einer Fertigungslinie könnte ein Bildverarbeitungsmodell angepasst werden, um Bilder nach den vom Team definierten Fehlerarten zu klassifizieren. Die Trainingsbeispiele wären Bilder, denen diese Bezeichnungen zugeordnet wurden. Das Ziel wäre nicht, die Fabrik im Allgemeinen zu „verstehen“, sondern eine klar eingegrenzte Aufgabe unter den in den Daten abgebildeten Bildbedingungen zu erfüllen.

Bei der Vorbereitung muss geklärt werden, was als jeweiliger Fehler gilt und wie mit unscharfen Bildern, teilweise verdeckten Werkstücken oder Fällen umzugehen ist, in denen sich anhand eines Bildes keine Entscheidung treffen lässt. Außerdem sollte geprüft werden, ob die Beispiele die für den Prozess relevante Vielfalt abdecken. Eine Sammlung von Bildern, die unter sehr gleichförmigen Bedingungen aufgenommen wurden, bildet möglicherweise spätere Änderungen bei Beleuchtung, Kameras, Materialien oder Produktionsschritten nicht ab.

Die Überprüfung sollte Bilder verwenden, die nicht fürs Fine-Tuning eingesetzt wurden, und – sofern der Zweck es erfordert – auch Bedingungen berücksichtigen, die von denen der Trainingsbeispiele abweichen. Das Erfolgskriterium muss die konkreten Fehlerarten einbeziehen: Einen Fehler zu übersehen und ein einwandfreies Werkstück fälschlich als fehlerhaft einzustufen, kann unterschiedliche Folgen haben. Dieser Eintrag schlägt weder einen Schwellenwert vor noch behauptet er, dass eine bestimmte Methode für ein konkretes Werk geeignet ist.

Das Beispiel macht deutlich, dass Fine-Tuning nicht auf Sprachmodelle beschränkt ist. Die bereitgestellten Quellen enthalten eine allgemeine Einführung zur Anpassung von Modellen des maschinellen Lernens sowie einen Verweis auf den Bereich Bildverarbeitung. Die verfügbaren Auszüge belegen jedoch weder konkrete Implementierungsdetails noch Ergebnisse einer industriellen Prüfung.

Beispiel: Klinische Berichte in einem festgelegten Format

Ein Team könnte prüfen, ob sich ein Sprachmodell so anpassen lässt, dass es bereitgestellte Informationen ordnet und einen Entwurf mit vorgegebenen Feldern erstellt, etwa zu Anlass der Konsultation, Vorgeschichte und Behandlungsplan. Das Fine-Tuning-Ziel wäre, eine bestimmte Struktur oder Ausgabekonvention einzuhalten. Dieses Beispiel setzt nicht voraus, dass das System Diagnosen stellen, Behandlungen empfehlen oder klinisch gültige Dokumente erstellen kann.

Die Beispiele müssten das gewünschte Format und die Regeln dafür abbilden, was bei fehlenden Angaben, Mehrdeutigkeiten oder Widersprüchen geschehen soll. Andernfalls könnte das Modell Felder mit nicht bereitgestellten Informationen ergänzen oder eine Interpretation als sicher darstellen, obwohl sie überprüft werden müsste. Bei der Evaluation sollte jedes Feld geprüft werden; es reicht nicht aus, nur zu beurteilen, ob der Text flüssig klingt.

In einem klinischen Kontext belegt ein nützliches Format nicht die inhaltliche Korrektheit. Außerdem müsste untersucht werden, wer den Entwurf prüft, welche Informationen eingegeben werden dürfen und welche Folgen ein Fehler hätte. Diese Fragen betreffen die Bewertung des Systems und seinen Einsatzkontext; durch das Fine-Tuning eines Modells werden sie nicht beantwortet.

Dieser Fall ist illustrativ, keine Empfehlung für den klinischen Einsatz und keine Behauptung, Fine-Tuning garantiere geeignete Ergebnisse. Die in den Quellen enthaltenen Belege liefern allgemeine Definitionen, aber keine Nachweise zur Leistung eines bestimmten klinischen Systems.

Fine-Tuning und verwandte Konzepte

Fine-Tuning wird häufig mit anderen Möglichkeiten verwechselt, das Verhalten eines Modells zu steuern oder seine Nutzung zu erweitern. Eine hilfreiche Unterscheidung ist die Frage, wo die Veränderung ansetzt: Werden einer Anfrage Anweisungen mitgegeben? Werden externe Dokumente abgerufen, um eine Antwort zu erstellen? Wird das Modell mit zusätzlichen Daten trainiert? Oder wird ein Modell so umgewandelt, dass ein kleineres Modell entsteht? Diese Optionen sind keine austauschbaren Bezeichnungen für denselben Vorgang.

Beim In-Context Learning werden Anweisungen oder Beispiele als Teil der Eingabe einer Anfrage bereitgestellt. Das unterscheidet sich von der Definition des Fine-Tunings als zusätzlichem Training. Die verfügbaren Materialien führen diesen Vergleich nicht im Einzelnen aus. Daher sollte er als allgemeine begriffliche Unterscheidung verstanden werden; das Verhalten des jeweiligen Systems ist anhand seiner Dokumentation zu prüfen.

Bei einer Retrieval-Augmented-Generation-Architektur, kurz RAG, geht es vor allem darum, wie externe Dokumente während einer Anfrage eingebunden werden. Das ist grundsätzlich etwas anderes als eine Aktualisierung von Modellparametern durch Training. Die bereitgestellten Quellen enthalten jedoch keine überprüfbare Erklärung von RAG und erlauben keine Aussage darüber, unter welchen Bedingungen dieser Ansatz einem Fine-Tuning vorzuziehen wäre. Es sollte nicht angenommen werden, dass eine der beiden Möglichkeiten die andere immer ersetzt.

Auch beim fortgesetzten Pretraining wird zusätzlich trainiert. Es darf aber nicht automatisch mit einem auf eine konkrete Aufgabe ausgerichteten Fine-Tuning gleichgesetzt werden. Um den Unterschied präzise zu erläutern, wären Quellen erforderlich, die die Trainingsziele und -daten beider Phasen beschreiben. Die verfügbaren Auszüge reichen nicht aus, um diese Grenzen eindeutig festzulegen.

Distillation ist ein weiterer Begriff, der in Gesprächen über Modelle auftaucht, wird in den bereitgestellten Quellen aber ebenfalls nicht dokumentiert. Deshalb wird sie hier weder als Variante des Fine-Tunings dargestellt noch werden beiden Verfahren gleichwertige Schritte zugeschrieben. Hängt eine Projektentscheidung von diesem Vergleich ab, ist gezielte technische Dokumentation erforderlich.

LoRA und der Umfang der Parameteranpassung

LoRA wird häufig in Gesprächen über die Anpassung von Modellen erwähnt. Die für diesen Eintrag geprüften Quellen erklären die Technik jedoch nicht und dokumentieren auch nicht konkret, wie sie mit Fine-Tuning zusammenhängt. Aus Gründen der Genauigkeit wird ihre Funktionsweise hier nicht definiert; ebenso wenig werden Aussagen zu Kosten, Qualität oder Leistung getroffen. Als terminologische Vorsicht lässt sich festhalten: „LoRA“ sollte nicht ohne Prüfung der eingesetzten Methode automatisch als Synonym für „Fine-Tuning“ verwendet werden.

Auch die Frage, welche Parameter aktualisiert werden, erfordert Genauigkeit. Eine der bereitgestellten Definitionen besagt, dass Fine-Tuning mindestens einen Parameter eines vortrainierten Modells verändert; andere Quellen beschreiben den Vorgang allgemeiner als Anpassung oder zusätzliches Training. Keiner der verfügbaren Auszüge erlaubt die Aussage, dass bei allen Methoden sämtliche Parameter aktualisiert werden, oder eine verlässliche Beschreibung der Alternativen.

In einem technischen Datenblatt oder einem Projektvorschlag sollte deshalb die genaue Methode benannt und die entsprechende Dokumentation herangezogen werden: Was wird trainiert, was bleibt unverändert und welche Komponenten werden gegebenenfalls hinzugefügt? Ohne diese Informationen beschreibt „das Modell feinabstimmen“ zwar die allgemeine Absicht, reicht aber nicht aus, um die Trainingsarchitektur abzuleiten.

Was Fine-Tuning nicht garantiert und wie man entscheidet

Fine-Tuning garantiert weder die Übertragbarkeit auf andere als die evaluierten Eingaben noch Korrektheit in allen Fällen, Sicherheit oder bessere Leistung außerhalb der Testbedingungen. Ein positives Ergebnis bei einer klar eingegrenzten Aufgabe sagt nur etwas über das gemessene Kriterium und den verwendeten Evaluationsdatensatz aus. Es beweist nicht automatisch, dass sich das Modell bei anderen Nutzern, Daten, Formaten oder in anderen Kontexten gleich verhält.

Overfitting ist ein häufiges Anliegen, wenn ein mit begrenzten Beispielen trainiertes Modell bewertet wird. Die bereitgestellten Quellen enthalten jedoch keine technische Analyse, mit der sich das Risiko quantifizieren oder seine Erkennung für alle Fälle beschreiben ließe. Umsichtig ist es, Schlussfolgerungen nicht allein auf den Trainingsdaten aufzubauen und zu dokumentieren, welche Fälle für die Evaluation zurückgehalten wurden. Für die Wahl eines konkreten Prüfdesigns sind zusätzliche technische Quellen erforderlich.

Legen Sie vor einer Entscheidung fest, welches Verhalten benötigt wird, welche Kosten Fehler verursachen und wie das Ergebnis überprüft werden soll. Vergleichen Sie Fine-Tuning mit den für den jeweiligen Fall relevanten Alternativen, aber nehmen Sie nicht ohne Messung an, dass ein Ansatz besser ist. Decken die verfügbaren Belege die Methode, den Fachbereich oder die Einsatzbedingungen nicht ab, sollte dieser Informationsmangel Teil der Entscheidung sein.

Dieser Eintrag gehört zum KI-Glossar und dient als Ausgangspunkt zum Verständnis des Begriffs, nicht als Implementierungsanleitung. Lesen Sie auch den Eintrag zu Fine-Tuning und die Vergleiche im Glossar, um sich weiter zu informieren. Jede technische Entscheidung sollte außerdem auf der spezifischen Dokumentation zum jeweiligen Modell und zur eingesetzten Methode beruhen.

Verwandte Begriffe