Modell-Destillation in Amazon Bedrock: Effizienz für KI-Agenten
Bild erstellt vom Redaktionsteam von Inferama
01

Die Kosten der Inferenz in KI-Agenten

KI-Agenten verlassen sich häufig auf große Foundation-Modelle, um komplexe Probleme zu lösen, mit externen Werkzeugen zu interagieren und mehrere Systeme zu koordinieren. Diese Architektur gewährleistet eine hohe Lösungsstärke, führt aber zu hohen Inferenzkosten und erheblichen Latenzen in jedem Schritt des Prozesses.

Ein beträchtlicher Teil der Agentenoperationen besteht aus routinemäßigen Aufgaben wie der Abfrage von Kalendern oder der Suche nach Dokumenten, die keine maximale kognitive Leistung erfordern. Die Ausführung dieser Aufgaben mit Frontier-Modellen erzeugt Ressourcenverschwendung und langsamere Antworten, als es die tatsächliche Komplexität der Operation erfordert.

02

Was ist Modell-Destillation?

Die Modell-Destillation ist ein Personalisierungsprozess, der Wissen von einem fähigeren Modell, dem Lehrmodell (Teacher), auf ein kleineres und kostengünstigeres Modell, dem Schülermodell (Student), überträgt. Das Ziel ist es, dass das destillierte Modell eine vergleichbare Genauigkeit für einen spezifischen Anwendungsfall beibehält, aber eine überlegene Leistung in Bezug auf Geschwindigkeit und Kosten aufweist.

In Amazon Bedrock automatisiert dieser Prozess die Generierung von Antworten durch das Lehrmodell und verwendet diese Antworten, um das Schülermodell zu verfeinern. Im Gegensatz zum traditionellen Fine-Tuning, bei dem der Kunde manuell Anfrage-Antwort-Paare erstellen muss, ermöglicht die Destillation die Bereitstellung nur der Anfragen, da die Plattform die für das Training erforderlichen synthetischen Antworten generiert.

03

Workflow und unterstützte Modelle

Der Destillations-Workflow in Amazon Bedrock beginnt mit der Auswahl eines Lehr- und eines Schülermodells. Die Plattform unterstützt eine Vielzahl von Modellen verschiedener Anbieter, darunter Amazon Nova Premier als Lehrmodell und Nova Pro als Schülermodell, sowie Claude 3.5 Sonnet v2 und Llama 3.3 70B als Lehrmodelle und Llama 3.2 1B/3B als Schülermodelle.

Sobald die Modelle definiert sind, stellt der Benutzer einen Trainingsdatensatz im JSONL-Format bereit. Amazon Bedrock kann Techniken der Datensynthese verwenden, um diesen Datensatz zu erweitern, indem es ähnliche Anfragen oder hochwertige Antworten basierend auf bereitgestellten Beispielen generiert. Dieser Prozess ermöglicht die Erstellung eines destillierten Modells, das sich für den spezifischen Anwendungsfall ähnlich wie das fortschrittliche Modell verhält.

Modelle, die mit der Destillation in Amazon Bedrock kompatibel sind

Liste der unterstützten Lehr- und Schülermodelle im Allgemeinen Verfügbarkeitsstatus.

RolleUnterstützte Modelle
LehrmodellAmazon Nova Premier, Claude 3.5 Sonnet v2, Llama 3.3 70B
SchülermodellAmazon Nova Pro, Llama 3.2 1B, Llama 3.2 3B
04

Leistungsindikatoren und Anwendungsfälle

Laut der offiziellen Amazon-Dokumentation können destillierte Modelle bis zu 500 % schneller und 75 % günstiger sein als die Originalmodelle. Diese Effizienzsteigerung wird mit einem Genauigkeitsverlust von weniger als 2 % in spezifischen Anwendungsfällen wie Retrieval-Augmented Generation (RAG) erzielt.

Die Destillation ist besonders nützlich, um die Genauigkeit der Vorhersage von Funktionsaufrufen in Agenten zu verbessern. Kleinere destillierte Modelle können genau identifizieren, wann und wie spezifische Funktionen aufgerufen werden sollen, was zu erheblich schnelleren Antwortzeiten und geringeren Betriebskosten im Vergleich zur Verwendung von Frontier-Modellen für jede Interaktion führt.

Diese Leistungswerte gelten für bestimmte Anwendungsfälle und sind keine allgemeine Garantie für jedes destillierte Modell. Bei der Einordnung sind deshalb sowohl das konkrete Aufgabenprofil als auch die verwendeten Trainingsdaten wichtig. Der Vergleich betrifft Geschwindigkeit, Kosten und Genauigkeit gemeinsam: Ein schnelleres Modell erfüllt den angestrebten Zweck nur dann, wenn seine Antworten und Funktionsaufrufe für die jeweilige Aufgabe ausreichend zuverlässig bleiben. Die Auswahl eines kleineren Schülermodells ersetzt diese Abwägung nicht. Die beschriebenen Unterschiede bei der Datenerstellung und die Auswahl passender Anfragen gehören damit zur Beurteilung des konkreten Einsatzes.

05

Implementierung und technische Überlegungen

Die Implementierung der Destillation kann über die Amazon Bedrock-Konsole oder die API CreateModelCustomizationJob erfolgen. Benutzer müssen eine IAM-Rolle mit den erforderlichen Berechtigungen für den Zugriff auf Trainingsdaten und das Schreiben in den Ausgabepfad konfigurieren. Es ist möglich, Eingangs- und Ausgangsdaten mit KMS-Schlüsseln zu verschlüsseln, um sensible Informationen zu schützen.

Amazon Bedrock bietet die Option, Aufrufprotokolle aus CloudWatch Logs als Datenquelle zu verwenden. Wenn das spezifizierte Lehrmodell mit dem in den Protokollen verwendeten Modell übereinstimmt, kann die Plattform die vorhandenen Antworten direkt lesen, was die Regenerierung synthetischer Daten vermeidet und die Kosten weiter senkt. Benutzer können diese Protokolle anhand von Anfrage-Metadaten filtern, um nur die für ihren Anwendungsfall relevanten Anfragen auszuwählen.

Schritte zum Einreichen eines Destillationsjobs

Grundlegender Prozess zum Starten der Modell-Destillation in Amazon Bedrock.

  1. 01Lehrmodell und Schülermodell auswählen.
  2. 02Trainingsdaten im JSONL-Format vorbereiten oder den Zugriff auf Aufrufprotokolle konfigurieren.
  3. 03S3-Standorte für Daten-Eingabe und -Ausgabe konfigurieren.
  4. 04IAM-Rolle und Verschlüsselungsoptionen definieren.
  5. 05Destillationsjob einreichen und dessen Fortschritt überwachen.
06

Weiter entdecken

Verwendete Quellen

03

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.

Korrektur vorschlagen