Distillation de modèles dans Amazon Bedrock : efficacité pour les agents IA
Image générée par l’équipe éditoriale d’Inferama
01

Le coût de l'inférence dans les agents IA

Les agents d'intelligence artificielle s'appuient souvent sur de grands modèles de fondation pour raisonner sur des problèmes complexes, interagir avec des outils externes et coordonner plusieurs systèmes. Cette architecture garantit une forte capacité de résolution, mais implique des coûts d'inférence élevés et des latences significatives à chaque étape du processus.

Une part considérable des opérations d'un agent est consacrée à des tâches routinières, comme consulter des calendriers ou rechercher des documents, qui ne nécessitent pas la pleine capacité cognitive. Exécuter ces tâches avec des modèles de frontière génère un gaspillage de ressources et des réponses plus lentes que nécessaire pour la complexité réelle de l'opération.

02

Qu'est-ce que la distillation de modèles

La distillation de modèles est un processus de personnalisation qui transfère les connaissances d'un modèle plus capable, appelé modèle instructeur ou professeur, vers un modèle plus petit et économique, connu sous le nom de modèle apprenant ou étudiant. L'objectif est que le modèle distillé maintienne une précision comparable à l'original pour un cas d'usage spécifique, mais avec une meilleure performance en vitesse et en coût.

Dans Amazon Bedrock, ce processus automatise la génération de réponses du modèle instructeur et utilise ces réponses pour affiner le modèle apprenant. Contrairement à l'ajustement fin traditionnel, où le client doit créer manuellement des paires de requête-réponse, la distillation permet de fournir uniquement les requêtes, la plateforme générant les réponses synthétiques nécessaires à l'entraînement.

03

Flux de travail et modèles compatibles

Le flux de travail de distillation dans Amazon Bedrock commence par la sélection d'un modèle instructeur et d'un modèle apprenant. La plateforme prend en charge une variété de modèles de différents fournisseurs, y compris Amazon Nova Premier comme instructeur et Nova Pro comme apprenant, ainsi que Claude 3.5 Sonnet v2 et Llama 3.3 70B comme instructeurs, et Llama 3.2 1B/3B comme apprenants.

Une fois les modèles définis, l'utilisateur fournit un jeu de données d'entraînement au format JSONL. Amazon Bedrock peut utiliser des techniques de synthèse de données pour étendre cet ensemble, générant des requêtes similaires ou des réponses de haute qualité basées sur des exemples fournis. Ce processus permet de créer un modèle distillé qui se comporte de manière similaire au modèle avancé pour le cas d'usage spécifique.

Modèles compatibles avec la distillation dans Amazon Bedrock

Liste des modèles instructeur et apprenant pris en charge dans la disponibilité générale.

RôleModèles pris en charge
InstructeurAmazon Nova Premier, Claude 3.5 Sonnet v2, Llama 3.3 70B
ApprenantAmazon Nova Pro, Llama 3.2 1B, Llama 3.2 3B
04

Métriques de performance et cas d'usage

Selon la documentation officielle d'Amazon, les modèles distillés peuvent être jusqu'à 500 % plus rapides et 75 % moins chers que les modèles originaux. Cette amélioration d'efficacité est obtenue avec une perte de précision inférieure à 2 % dans des cas d'usage spécifiques comme la récupération augmentée par génération (RAG).

La distillation est particulièrement utile pour améliorer la précision de la prédiction des appels de fonctions dans les agents. Les modèles distillés plus petits peuvent identifier avec précision quand et comment invoquer des fonctions spécifiques, offrant des temps de réponse considérablement plus rapides et réduisant les coûts opérationnels par rapport à l'utilisation de modèles de frontière pour chaque interaction.

05

Implémentation et considérations techniques

L'implémentation de la distillation peut être réalisée via la console Amazon Bedrock ou via l'API CreateModelCustomizationJob. Les utilisateurs doivent configurer un rôle IAM avec les autorisations nécessaires pour accéder aux données d'entraînement et écrire dans le chemin de sortie. Il est possible de chiffrer les données d'entrée et de sortie en utilisant des clés KMS pour protéger les informations sensibles.

Amazon Bedrock offre l'option d'utiliser les journaux d'appel de CloudWatch Logs comme source de données. Si le modèle instructeur spécifié correspond au modèle utilisé dans les journaux, la plateforme peut lire directement les réponses existantes, évitant la régénération de données synthétiques et réduisant encore les coûts. Les utilisateurs peuvent filtrer ces journaux via des métadonnées de requête pour sélectionner uniquement les requêtes pertinentes pour leur cas d'usage.

Étapes pour soumettre un travail de distillation

Processus de base pour initier la distillation d'un modèle dans Amazon Bedrock.

  1. 01Sélectionner le modèle instructeur et le modèle apprenant.
  2. 02Préparer les données d'entraînement au format JSONL ou configurer l'accès aux journaux d'appel.
  3. 03Configurer l'emplacement S3 pour l'entrée et la sortie des données.
  4. 04Définir le rôle IAM et les options de chiffrement.
  5. 05Soumettre le travail de distillation et surveiller sa progression.
06

Poursuivre l’exploration

Sources consultées

03

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.

Proposer une correction