O que a AWS anuncia e quais produtos abrangem
A AWS anunciou o Global Inference Gateway para Amazon SageMaker HyperPod, um endpoint gerenciado que roteia solicitações de inferência entre clusters do HyperPod dentro de uma mesma região ou entre regiões distintas. O anúncio foi publicado em 20 de novembro de 2026 no blog oficial de Machine Learning da AWS.
Essa funcionalidade se distingue da Inference Gateway do HyperPod, lançada em setembro de 2026, que opera em nível de cluster (Tier 1) e gerencia o roteamento interno de pods. A porta de entrada global representa a camada de coordenação de frota (Tier 2), que adiciona failover entre clusters, limitação de taxa global e formação de tráfego consciente de custos.
A Global Inference Gateway posiciona-se como uma camada de coordenação de frota acima do roteamento interno de cada cluster. Sua função é oferecer uma única entrada lógica para a inferência, permitindo que a frota inclua clusters na mesma região ou em regiões distintas, sem que a aplicação precise conhecer cada destino individual.
Diferenças entre as camadas de roteamento do SageMaker
| Característica | Inference Gateway (Tier 1) | Global Inference Gateway (Tier 2) |
|---|---|---|
| Escopo | Intra-cluster | Inter-cluster e inter-região |
| Lançamento | Setembro de 2026 | Novembro de 2026 |
| Função principal | Seleção do pod ótimo por sinais de GPU | Coordenação de frota e failover global |
| Autenticação | Integrada com IAM | SigV4 e IAM sobre PrivateLink |
Como funciona o endpoint único
A arquitetura se baseia em um endpoint único que atua como ponto de entrada para todas as solicitações de inferência. Em vez de a aplicação gerenciar múltiplos endereços de cluster, o cliente envia a requisição para essa porta de entrada centralizada, que decide internamente para qual cluster ou região direcionar o tráfego.
O sistema seleciona o cluster de destino com base em critérios de saúde e capacidade. Quando um cluster experimenta uma falha ou esgotamento de recursos, a porta de entrada realiza um failover automático para outro cluster disponível, mantendo a continuidade do serviço sem intervenção manual do usuário.
Ao concentrar o acesso em um endpoint único, a aplicação mantém uma referência estável, mesmo quando a frota inclui vários clusters. A porta de entrada global assume a decisão de destino, de modo que o cliente não precisa manter listas de endereços nem lógica de seleção manual entre clusters.
Seleção de destino e failover automático
A lógica de roteamento avalia a disponibilidade dos clusters registrados na frota. Diferentemente do roteamento cross-region padrão do SageMaker AI, que é ativado por falhas de plataforma ou erros 5xx de contêiner, a porta de entrada global do HyperPod é projetada para gerenciar a coordenação completa da frota, incluindo a limitação de taxa global e a otimização de custos.
O failover automático garante que as solicitações não se percam diante de uma indisponibilidade regional. Esse mecanismo é crítico para aplicações de alta disponibilidade que dependem de modelos de linguagem de grande escala implantados em infraestrutura de GPU distribuída.
A limitação de taxa global e a formação de tráfego consciente de custos ampliam o alcance do failover: a frota pode aplicar limites de taxa em nível de frota e orientar o tráfego para destinos que atendam aos requisitos de saúde e capacidade. Esse comportamento é relevante quando vários clusters oferecem o mesmo modelo e o objetivo é manter a disponibilidade sem saturar um único destino.
Integração de segurança e acesso
A porta de entrada global integra a autenticação por meio de SigV4 e IAM sobre AWS PrivateLink. Isso significa que cada solicitação é autenticada com as credenciais padrão da AWS, permitindo aplicar políticas de acesso granulares sem expor o endpoint à rede pública.
O uso do PrivateLink assegura que o tráfego entre a aplicação e a porta de entrada permaneça dentro da rede da AWS, melhorando a segurança e a latência. Essa configuração é consistente com as melhores práticas de segurança para serviços de inferência em ambientes empresariais.
A autenticação com SigV4 e IAM sobre PrivateLink permite que o controle de acesso se baseie em identidades e políticas da AWS, em vez de depender de credenciais específicas do endpoint. Ao manter o tráfego dentro da rede privada, a configuração reduz a exposição da rede e facilita a aplicação de permissões granulares para os serviços que consomem a inferência.
Detalhes operacionais e métricas pendentes
Embora o anúncio confirme a disponibilidade da funcionalidade, a AWS ainda não publicou métricas detalhadas sobre a latência adicionada pelo roteamento global, os limites de capacidade específicos ou os custos adicionais associados à coordenação inter-regional.
As equipes de engenharia devem realizar testes de carga com suas próprias cargas de trabalho para avaliar o impacto na latência do primeiro token (TTFT) e na disponibilidade. A documentação técnica específica sobre a configuração da frota e os parâmetros de roteamento global ainda está em desenvolvimento.
Até que métricas oficiais sejam publicadas, os valores de latência, capacidade e custo devem ser tratados como provisionais. As equipes de engenharia devem validar o comportamento com suas próprias cargas de trabalho, especialmente o impacto na latência do primeiro token e na continuidade do serviço, e confirmar quais clusters e regiões participam da frota antes de assumir um comportamento uniforme.
Passos para avaliar a implementação
- 01Identificar os clusters do HyperPod que participarão da frota global.
- 02Configurar a autenticação SigV4 e IAM para o endpoint da porta de entrada.
- 03Realizar testes de latência comparando o acesso direto ao cluster com o acesso por meio da porta de entrada global.
- 04Validar o comportamento do failover diante da simulação de falhas em um cluster.
Continue a explorar
Fontes consultadas
Correções e transparência
Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.
Propor uma correção