vLLM reduz a latência em agentes multi-turno com transferência bidirecional de cache KV

O desafio da latência na inferência desacoplada

A inferência de modelos de linguagem grandes (LLM) tornou-se um gargalo crítico para aplicações agênticas, onde a latência acumulada entre turnos afeta diretamente a experiência do usuário. Em arquiteturas desacopladas, as fases de pré-processamento (prefill) e decodificação (decode) são executadas em nós separados para otimizar o uso de recursos, mas essa separação introduz uma dependência crítica: a transferência da cache de chaves e valores (KV) entre esses nós.

Tradicionalmente, a gestão da cache KV limitava-se à memória local de cada instância. Contudo, em cargas de trabalho multi-turno, o contexto da conversa cresce de forma progressiva. Recalcular esse contexto em cada turno gera sobrecarga computacional desnecessária. A evolução do vLLM para um modelo de transferência bidirecional busca resolver esse problema, permitindo que os nós de prefill e decode compartilhem e reutilizem o estado KV previamente calculado, minimizando o tempo ocioso e a recomputação.

Esse problema é particularmente relevante quando o agente precisa manter histórico, instruções de sistema, resultados de ferramentas e contexto de domínio. Cada novo turno pode repetir grande parte do conteúdo anterior, de modo que a ausência de reutilização eficiente transforma a inferência em uma operação repetitiva e cara, mesmo quando a nova contribuição do usuário é curta.

Mecanismo de transferência push-based e bidirecional

O núcleo dessa otimização reside no uso de um conector push-based baseado em NIXL (NVIDIA Inference Xfer Library). Diferentemente dos modelos pull-based, em que o nó decodificador solicita ativamente os dados, o modelo push-based permite que o nó de prefill envie proativamente a cache KV para o nó de decodificação assim que ela está disponível. Isso elimina a latência de espera associada à solicitação e à negociação da transferência.

A natureza bidirecional dessa transferência é crucial para agentes multi-turno. Não apenas a cache do prefill é transferida para o decode para iniciar a geração, como também se permite a atualização e o retorno de estados intermediários. Isso significa que, ao final de um turno, a cache KV resultante pode ser armazenada e reutilizada no turno seguinte, evitando que o sistema trate cada interação como uma solicitação independente a partir do zero.

Em termos práticos, o conector push-based reduz a exposição do caminho crítico a operações de controle. O nó de prefill pode iniciar o envio assim que o estado está pronto, enquanto o nó de decode prepara a recepção. Essa separação entre computação e transferência ajuda a evitar que a geração do primeiro token espere por uma sequência completa de handshakes, consultas e cópias sequenciais.

Impacto no Time To First Token (TTFT)

O Time To First Token (TTFT) é a métrica mais sensível para a percepção de velocidade em interfaces conversacionais. Ao mover a coordenação da transferência para fora do caminho crítico por meio do conector NIXL, o vLLM consegue reduzir drasticamente o tempo que decorre entre a recepção da solicitação e a geração do primeiro token.

Em cargas de trabalho agênticas, onde o contexto de entrada é extenso e reutilizado parcialmente, a redução do TTFT é proporcional à quantidade de contexto reutilizado. A transferência bidirecional permite que o sistema identifique quais partes da cache já existem no nó de destino e transfira ou recalcule apenas o estritamente necessário, otimizando a largura de banda de rede e a latência de computação.

É importante distinguir essa melhoria de uma aceleração genérica do modelo. O ganho depende da capacidade de preservar e localizar o estado KV, da velocidade da rede entre nós e da proporção de contexto reutilizável. Se a carga de trabalho tiver pouca reutilização, o benefício tende a ser menor, pois o sistema pode precisar transferir ou recalcular mais estado do que economizar.

Resultados em instâncias AWS EC2 P5en

Os benchmarks realizados em instâncias Amazon EC2 P5en, equipadas com interconexão AWS EFA (Elastic Fabric Adapter), demonstram a eficácia dessa arquitetura. A rede de alta velocidade do EFA é um requisito fundamental para que a transferência da cache KV não se torne um novo gargalo, permitindo que o movimento de dados seja quase tão rápido quanto o acesso à memória local.

Em testes com o modelo Qwen3-32B, observou-se uma redução do TTFT de até 1,6 vezes em comparação com a inferência desacoplada padrão. Para o modelo GLM-5-FP8, a melhoria foi ainda mais acentuada, alcançando uma redução de 3,3 vezes no TTFT. Esses números confirmam que a reutilização de contexto é mais benéfica em modelos com contextos longos e cargas de trabalho com alta reutilização de prefixos.

Esses resultados devem ser interpretados dentro do cenário avaliado: instâncias P5en, interconexão EFA e cargas de trabalho multi-turno com reutilização de contexto. A magnitude do ganho não é uma constante universal; ela varia com o tamanho do modelo, a profundidade da conversa, a concorrência, a política de roteamento e a quantidade de estado que pode ser reaproveitado antes de cada novo turno.

Implicações para arquitetos de IA

Para equipes que implantam agentes de IA na nuvem, essa otimização tem um duplo impacto: redução de custos e melhoria da experiência do usuário. Ao reutilizar a cache KV, diminui-se o número de operações de computação (FLOPs) necessárias por turno, o que se traduz em menor consumo de GPU por solicitação. Isso permite atender mais usuários simultaneamente com a mesma infraestrutura ou reduzir o tamanho da frota de GPUs para uma carga de trabalho dada.

Além disso, a melhoria na latência é crítica para cumprir SLO (Service Level Objectives) em aplicações interativas. A arquitetura do vLLM, combinada com a infraestrutura de rede de alta velocidade, posiciona a inferência desacoplada não apenas como uma técnica de otimização de throughput, mas como uma estratégia viável para aplicações de baixa latência e alta interatividade, como copilotos de código e assistentes conversacionais complexos.

Do ponto de vista operacional, a decisão de adotar inferência desacoplada com transferência bidirecional deve considerar o custo adicional de orquestração, a disponibilidade de interconexão de alta velocidade e a complexidade de depuração. Ainda assim, para agentes com sessões longas e contexto persistente, a economia de recomputação pode justificar a arquitetura, especialmente quando os objetivos de latência são mais rígidos do que os de throughput bruto.

Continue a explorar

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.