vLLM reduce la latencia en agentes multi-turno con transferencia bidireccional de caché KV

El desafío de la latencia en inferencia desacoplada

La inferencia de modelos de lenguaje grandes (LLM) se ha convertido en un cuello de botella crítico para las aplicaciones agénticas, donde la latencia acumulada entre turnos afecta directamente la experiencia de usuario. En arquitecturas desacopladas, las fases de prellenado (prefill) y decodificación (decode) se ejecutan en nodos separados para optimizar el uso de recursos, pero esta separación introduce una dependencia crítica: la transferencia de la caché de claves y valores (KV) entre estos nodos.

Tradicionalmente, la gestión de la caché KV se limitaba a la memoria local de cada instancia. Sin embargo, en cargas de trabajo multi-turno, el contexto de la conversación crece exponencialmente. Recalcular este contexto en cada turno genera una sobrecarga computacional innecesaria. La evolución de vLLM hacia un modelo de transferencia bidireccional busca resolver este problema permitiendo que los nodos de prefill y decode compartan y reutilicen el estado KV previamente calculado, minimizando el tiempo de inactividad y la recomputación.

Mecanismo de transferencia push-based y bidireccional

El núcleo de esta optimización reside en el uso de un conector push-based basado en NIXL (NVIDIA Inference Xfer Library). A diferencia de los modelos pull-based, donde el nodo decodificador solicita activamente los datos, el modelo push-based permite que el nodo de prefill envíe proactivamente la caché KV al nodo de decodificación en cuanto está disponible. Esto elimina la latencia de espera asociada a la solicitud y la negociación de la transferencia.

La naturaleza bidireccional de esta transferencia es crucial para los agentes multi-turno. No solo se transfiere la caché del prefill al decode para iniciar la generación, sino que también se permite la actualización y el retorno de estados intermedios. Esto significa que, al finalizar un turno, la caché KV resultante puede ser almacenada y reutilizada en el siguiente turno, evitando que el sistema trate cada interacción como una solicitud independiente desde cero.

Impacto en el Time To First Token (TTFT)

El Time To First Token (TTFT) es la métrica más sensible para la percepción de velocidad en interfaces conversacionales. Al mover la coordinación de la transferencia fuera de la ruta crítica mediante el conector NIXL, vLLM logra reducir drásticamente el tiempo que transcurre entre la recepción de la solicitud y la generación del primer token.

En cargas de trabajo agénticas, donde el contexto de entrada es extenso y se reutiliza parcialmente, la reducción del TTFT es proporcional a la cantidad de contexto reutilizado. La transferencia bidireccional permite que el sistema identifique qué partes de la caché ya existen en el nodo destino y solo transfiera o recalcule lo estrictamente necesario, optimizando el ancho de banda de red y la latencia de cómputo.

Resultados en instancias AWS EC2 P5en

Los benchmarks realizados en instancias Amazon EC2 P5en, equipadas con interconexión AWS EFA (Elastic Fabric Adapter), demuestran la eficacia de esta arquitectura. La red de alta velocidad de EFA es un requisito fundamental para que la transferencia de caché KV no se convierta en un nuevo cuello de botella, permitiendo que el movimiento de datos sea casi tan rápido como el acceso a la memoria local.

En pruebas con el modelo Qwen3-32B, se observó una reducción del TTFT de hasta 1.6 veces en comparación con la inferencia desacoplada estándar. Para el modelo GLM-5-FP8, la mejora fue aún más pronunciada, alcanzando una reducción de 3.3 veces en el TTFT. Estas cifras confirman que la reutilización de contexto es más beneficiosa en modelos con contextos largos y cargas de trabajo con alta reutilización de prefijos.

Implicaciones para arquitectos de IA

Para los equipos que despliegan agentes de IA en la nube, esta optimización tiene un doble impacto: reducción de costes y mejora de la experiencia de usuario. Al reutilizar la caché KV, se reduce el número de operaciones de cómputo (FLOPs) necesarias por turno, lo que se traduce en un menor consumo de GPU por solicitud. Esto permite atender más usuarios simultáneos con la misma infraestructura o reducir el tamaño de la flota de GPUs para una carga de trabajo dada.

Además, la mejora en la latencia es crítica para cumplir con los SLO (Service Level Objectives) en aplicaciones interactivas. La arquitectura de vLLM, combinada con la infraestructura de red de alta velocidad, posiciona la inferencia desacoplada no solo como una técnica de optimización de throughput, sino como una estrategia viable para aplicaciones de baja latencia y alta interactividad, como los copilotos de código y los asistentes conversacionales complejos.

Continúa explorando

Correcciones y transparencia

Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.