El coste de la inferencia en agentes de IA
Los agentes de inteligencia artificial suelen depender de modelos fundacionales de gran tamaño para razonar sobre problemas complejos, interactuar con herramientas externas y coordinar múltiples sistemas. Esta arquitectura garantiza una alta capacidad de resolución, pero implica costes de inferencia elevados y latencias significativas en cada paso del proceso.
Una parte considerable de las operaciones de un agente se dedica a tareas rutinarias, como consultar calendarios o buscar documentos, que no requieren la máxima capacidad cognitiva. Ejecutar estas tareas con modelos de frontera genera desperdicio de recursos y respuestas más lentas de lo necesario para la complejidad real de la operación.
Qué es la destilación de modelos
La destilación de modelos es un proceso de personalización que transfiere el conocimiento de un modelo más capaz, denominado modelo instructor o profesor, a un modelo más pequeño y económico, conocido como modelo aprendiz o estudiante. El objetivo es que el modelo destilado mantenga una precisión comparable al original para un caso de uso específico, pero con un rendimiento superior en velocidad y coste.
En Amazon Bedrock, este proceso automatiza la generación de respuestas del modelo instructor y utiliza esas respuestas para afinar el modelo aprendiz. A diferencia del ajuste fino tradicional, donde el cliente debe crear manualmente pares de petición-respuesta, la destilación permite proporcionar solo las peticiones, ya que la plataforma genera las respuestas sintéticas necesarias para el entrenamiento.
Flujo de trabajo y modelos compatibles
El flujo de trabajo de destilación en Amazon Bedrock comienza con la selección de un modelo instructor y un modelo aprendiz. La plataforma admite una variedad de modelos de diferentes proveedores, incluyendo Amazon Nova Premier como instructor y Nova Pro como aprendiz, así como Claude 3.5 Sonnet v2 y Llama 3.3 70B como instructores, y Llama 3.2 1B/3B como aprendices.
Una vez definidos los modelos, el usuario proporciona un conjunto de datos de entrenamiento en formato JSONL. Amazon Bedrock puede utilizar técnicas de síntesis de datos para ampliar este conjunto, generando peticiones similares o respuestas de alta calidad basadas en ejemplos proporcionados. Este proceso permite crear un modelo destilado que se comporta de manera similar al modelo avanzado para el caso de uso específico.
Modelos compatibles con destilación en Amazon Bedrock
Lista de modelos instructor y aprendiz soportados en la disponibilidad general.
| Rol | Modelos soportados |
|---|---|
| Instructor | Amazon Nova Premier, Claude 3.5 Sonnet v2, Llama 3.3 70B |
| Aprendiz | Amazon Nova Pro, Llama 3.2 1B, Llama 3.2 3B |
Métricas de rendimiento y casos de uso
Según la documentación oficial de Amazon, los modelos destilados pueden ser hasta un 500 % más rápidos y un 75 % más baratos que los modelos originales. Esta mejora en eficiencia se logra con una pérdida de precisión inferior al 2 % en casos de uso específicos como la recuperación aumentada por generación (RAG).
La destilación es particularmente útil para mejorar la precisión de la predicción de llamadas a funciones en agentes. Los modelos más pequeños destilados pueden identificar con precisión cuándo y cómo invocar funciones específicas, ofreciendo tiempos de respuesta considerablemente más rápidos y reduciendo los costos operativos en comparación con el uso de modelos de frontera para cada interacción.
Implementación y consideraciones técnicas
La implementación de la destilación puede realizarse a través de la consola de Amazon Bedrock o mediante la API CreateModelCustomizationJob. Los usuarios deben configurar un rol de IAM con los permisos necesarios para acceder a los datos de entrenamiento y escritura en la ruta de salida. Es posible cifrar los datos de entrada y salida utilizando claves de KMS para proteger la información sensible.
Amazon Bedrock ofrece la opción de utilizar registros de invocación de CloudWatch Logs como fuente de datos. Si el modelo instructor especificado coincide con el modelo utilizado en los registros, la plataforma puede leer directamente las respuestas existentes, evitando la regeneración de datos sintéticos y reduciendo aún más los costos. Los usuarios pueden filtrar estos registros mediante metadatos de solicitud para seleccionar solo las peticiones relevantes para su caso de uso.
Pasos para enviar un trabajo de destilación
Proceso básico para iniciar la destilación de un modelo en Amazon Bedrock.
- 01Seleccionar el modelo instructor y el modelo aprendiz.
- 02Preparar los datos de entrenamiento en formato JSONL o configurar el acceso a registros de invocación.
- 03Configurar la ubicación de S3 para la entrada y salida de datos.
- 04Definir el rol de IAM y las opciones de cifrado.
- 05Enviar el trabajo de destilación y monitorear su progreso.
Continúa explorando
Fuentes consultadas
Correcciones y transparencia
Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.
Proponer una corrección