Destilação de modelos no Amazon Bedrock: eficiência para agentes de IA
Imagem gerada pela Equipa Editorial da Inferama
01

O custo da inferência em agentes de IA

Os agentes de inteligência artificial geralmente dependem de modelos fundacionais de grande porte para raciocinar sobre problemas complexos, interagir com ferramentas externas e coordenar múltiplos sistemas. Essa arquitetura garante uma alta capacidade de resolução, mas implica custos de inferência elevados e latências significativas em cada etapa do processo.

Uma parte considerável das operações de um agente é dedicada a tarefas rotineiras, como consultar calendários ou buscar documentos, que não exigem a máxima capacidade cognitiva. Executar essas tarefas com modelos de fronteira gera desperdício de recursos e respostas mais lentas do que o necessário para a complexidade real da operação.

02

O que é a destilação de modelos

A destilação de modelos é um processo de personalização que transfere o conhecimento de um modelo mais capaz, denominado modelo instrutor ou professor, para um modelo menor e econômico, conhecido como modelo aprendiz ou estudante. O objetivo é que o modelo destilado mantenha uma precisão comparável à do original para um caso de uso específico, mas com um desempenho superior em velocidade e custo.

No Amazon Bedrock, esse processo automatiza a geração de respostas do modelo instrutor e utiliza essas respostas para ajustar o modelo aprendiz. Diferentemente do ajuste fino tradicional, onde o cliente deve criar manualmente pares de solicitação-resposta, a destilação permite fornecer apenas as solicitações, pois a plataforma gera as respostas sintéticas necessárias para o treinamento.

03

Fluxo de trabalho e modelos compatíveis

O fluxo de trabalho de destilação no Amazon Bedrock começa com a seleção de um modelo instrutor e um modelo aprendiz. A plataforma suporta uma variedade de modelos de diferentes fornecedores, incluindo Amazon Nova Premier como instrutor e Nova Pro como aprendiz, além de Claude 3.5 Sonnet v2 e Llama 3.3 70B como instrutores, e Llama 3.2 1B/3B como aprendizes.

Uma vez definidos os modelos, o usuário fornece um conjunto de dados de treinamento em formato JSONL. O Amazon Bedrock pode utilizar técnicas de síntese de dados para ampliar esse conjunto, gerando solicitações semelhantes ou respostas de alta qualidade com base em exemplos fornecidos. Esse processo permite criar um modelo destilado que se comporta de maneira semelhante ao modelo avançado para o caso de uso específico.

Modelos compatíveis com destilação no Amazon Bedrock

Lista de modelos instrutor e aprendiz suportados na disponibilidade geral.

PapelModelos suportados
InstrutorAmazon Nova Premier, Claude 3.5 Sonnet v2, Llama 3.3 70B
AprendizAmazon Nova Pro, Llama 3.2 1B, Llama 3.2 3B
04

Métricas de desempenho e casos de uso

De acordo com a documentação oficial da Amazon, os modelos destilados podem ser até 500% mais rápidos e 75% mais baratos do que os modelos originais. Essa melhoria na eficiência é alcançada com uma perda de precisão inferior a 2% em casos de uso específicos, como a recuperação aumentada por geração (RAG).

A destilação é particularmente útil para melhorar a precisão da previsão de chamadas de funções em agentes. Os modelos menores destilados podem identificar com precisão quando e como invocar funções específicas, oferecendo tempos de resposta consideravelmente mais rápidos e reduzindo os custos operacionais em comparação com o uso de modelos de fronteira para cada interação.

05

Implementação e considerações técnicas

A implementação da destilação pode ser realizada por meio do console do Amazon Bedrock ou pela API CreateModelCustomizationJob. Os usuários devem configurar um papel de IAM com as permissões necessárias para acessar os dados de treinamento e gravar no caminho de saída. É possível criptografar os dados de entrada e saída utilizando chaves KMS para proteger informações sensíveis.

O Amazon Bedrock oferece a opção de utilizar registros de invocação do CloudWatch Logs como fonte de dados. Se o modelo instrutor especificado corresponder ao modelo utilizado nos registros, a plataforma pode ler diretamente as respostas existentes, evitando a regeneração de dados sintéticos e reduzindo ainda mais os custos. Os usuários podem filtrar esses registros por meio de metadados de solicitação para selecionar apenas as solicitações relevantes para seu caso de uso.

Etapas para enviar um trabalho de destilação

Processo básico para iniciar a destilação de um modelo no Amazon Bedrock.

  1. 01Selecionar o modelo instrutor e o modelo aprendiz.
  2. 02Preparar os dados de treinamento em formato JSONL ou configurar o acesso a registros de invocação.
  3. 03Configurar a localização no S3 para entrada e saída de dados.
  4. 04Definir o papel de IAM e as opções de criptografia.
  5. 05Enviar o trabalho de destilação e monitorar seu progresso.
06

Continue a explorar

Fontes consultadas

03

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.

Propor uma correção