Distillazione dei modelli in Amazon Bedrock: efficienza per agenti di IA
Immagine generata dalla Redazione di Inferama
01

Il costo dell'inferenza negli agenti di IA

Gli agenti di intelligenza artificiale dipendono spesso da modelli fondazionali di grandi dimensioni per ragionare su problemi complessi, interagire con strumenti esterni e coordinare più sistemi. Questa architettura garantisce un'elevata capacità di risoluzione, ma comporta costi di inferenza elevati e latenze significative in ogni fase del processo.

Una parte considerevole delle operazioni di un agente è dedicata a compiti routinari, come la consultazione di calendari o la ricerca di documenti, che non richiedono la massima capacità cognitiva. Eseguire queste attività con modelli di frontiera genera spreco di risorse e risposte più lente del necessario per la complessità reale dell'operazione.

02

Cos'è la distillazione dei modelli

La distillazione dei modelli è un processo di personalizzazione che trasferisce la conoscenza da un modello più capace, denominato modello insegnante o professore, a un modello più piccolo ed economico, noto come modello studente. L'obiettivo è che il modello distillato mantenga una precisione paragonabile all'originale per un caso d'uso specifico, ma con un rendimento superiore in termini di velocità e costo.

In Amazon Bedrock, questo processo automatizza la generazione delle risposte del modello insegnante e utilizza tali risposte per affinare il modello studente. A differenza del fine-tuning tradizionale, in cui il cliente deve creare manualmente coppie di richiesta-risposta, la distillazione consente di fornire solo le richieste, poiché la piattaforma genera le risposte sintetiche necessarie per l'addestramento.

03

Flusso di lavoro e modelli supportati

Il flusso di lavoro di distillazione in Amazon Bedrock inizia con la selezione di un modello insegnante e di un modello studente. La piattaforma supporta una varietà di modelli di diversi fornitori, inclusi Amazon Nova Premier come insegnante e Nova Pro come studente, nonché Claude 3.5 Sonnet v2 e Llama 3.3 70B come insegnanti, e Llama 3.2 1B/3B come studenti.

Una volta definiti i modelli, l'utente fornisce un set di dati di addestramento in formato JSONL. Amazon Bedrock può utilizzare tecniche di sintesi dei dati per espandere questo set, generando richieste simili o risposte di alta qualità basate su esempi forniti. Questo processo consente di creare un modello distillato che si comporta in modo simile al modello avanzato per il caso d'uso specifico.

Modelli supportati per la distillazione in Amazon Bedrock

Elenco dei modelli insegnante e studente supportati nella disponibilità generale.

RuoloModelli supportati
InsegnanteAmazon Nova Premier, Claude 3.5 Sonnet v2, Llama 3.3 70B
StudenteAmazon Nova Pro, Llama 3.2 1B, Llama 3.2 3B
04

Metriche di prestazione e casi d'uso

Secondo la documentazione ufficiale di Amazon, i modelli distillati possono essere fino al 500% più rapidi e il 75% più economici rispetto ai modelli originali. Questo miglioramento dell'efficienza si ottiene con una perdita di precisione inferiore al 2% in casi d'uso specifici come il retrieval aumentato da generazione (RAG).

La distillazione è particolarmente utile per migliorare la precisione della previsione delle chiamate a funzioni negli agenti. I modelli più piccoli distillati possono identificare con precisione quando e come invocare funzioni specifiche, offrendo tempi di risposta notevolmente più rapidi e riducendo i costi operativi rispetto all'uso di modelli di frontiera per ogni interazione.

05

Implementazione e considerazioni tecniche

L'implementazione della distillazione può essere eseguita tramite la console di Amazon Bedrock o tramite l'API CreateModelCustomizationJob. Gli utenti devono configurare un ruolo IAM con i permessi necessari per accedere ai dati di addestramento e scrivere nel percorso di output. È possibile crittografare i dati di input e output utilizzando chiavi KMS per proteggere le informazioni sensibili.

Amazon Bedrock offre l'opzione di utilizzare i log di invocazione di CloudWatch Logs come fonte di dati. Se il modello insegnante specificato corrisponde al modello utilizzato nei log, la piattaforma può leggere direttamente le risposte esistenti, evitando la rigenerazione di dati sintetici e riducendo ulteriormente i costi. Gli utenti possono filtrare questi log tramite metadati di richiesta per selezionare solo le richieste rilevanti per il proprio caso d'uso.

Passaggi per inviare un lavoro di distillazione

Processo base per avviare la distillazione di un modello in Amazon Bedrock.

  1. 01Selezionare il modello insegnante e il modello studente.
  2. 02Preparare i dati di addestramento in formato JSONL o configurare l'accesso ai log di invocazione.
  3. 03Configurare la posizione S3 per l'input e l'output dei dati.
  4. 04Definire il ruolo IAM e le opzioni di crittografia.
  5. 05Inviare il lavoro di distillazione e monitorarne i progressi.
06

Continua a esplorare

Fonti consultate

03

Correzioni e trasparenza

Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.

Proponi una correzione