AWS présente la passerelle d'inférence globale pour SageMaker HyperPod
Image générée par l’équipe éditoriale d’Inferama
01

Ce qu'AWS annonce et les produits concernés

AWS a annoncé la Global Inference Gateway pour Amazon SageMaker HyperPod, un point d'entrée géré qui achemine les requêtes d'inférence entre les clusters HyperPod au sein d'une même région ou entre différentes régions. L'annonce a été publiée le 20 novembre 2026 sur le blog officiel Machine Learning d'AWS.

Cette fonctionnalité se distingue de la Inference Gateway de HyperPod lancée en septembre 2026, qui opère au niveau du cluster (Tier 1) et gère le routage interne des pods. La passerelle globale représente la couche de coordination de flotte (Tier 2), qui ajoute le basculement entre clusters, la limitation de débit globale et la formation du trafic tenant compte des coûts.

La distinction entre les deux niveaux de passerelle est essentielle pour comprendre l'architecture de la flotte. Le niveau inférieur gère la distribution fine des requêtes vers les pods spécifiques en fonction de la charge GPU, tandis que le niveau supérieur orchestre la disponibilité globale de l'infrastructure. Cette séparation permet aux équipes d'ingénierie de maintenir une visibilité claire sur la santé de chaque composant sans avoir à gérer manuellement la complexité de la coordination inter-régionale.

Différences entre les couches de routage de SageMaker

CaractéristiqueInference Gateway (Tier 1)Global Inference Gateway (Tier 2)
PortéeIntra-clusterInter-cluster et inter-région
LancementSeptembre 2026Novembre 2026
Fonction principaleSélection du pod optimal par signaux GPUCoordination de flotte et basculement global
AuthentificationIntégrée avec IAMSigV4 et IAM via PrivateLink
02

Fonctionnement du point d'entrée unique

L'architecture repose sur un point d'entrée unique qui agit comme porte d'entrée pour toutes les requêtes d'inférence. Au lieu de gérer plusieurs adresses de cluster, l'application envoie la requête à cette passerelle centralisée, qui décide en interne vers quel cluster ou région diriger le trafic.

Le système sélectionne le cluster de destination sur la base de critères de santé et de capacité. Lorsqu'un cluster subit une panne ou un épuisement des ressources, la passerelle effectue un basculement automatique vers un autre cluster disponible, maintenant la continuité du service sans intervention manuelle de l'utilisateur.

Ce modèle centralisé simplifie la configuration des applications clientes, qui n'ont besoin de maintenir qu'une seule adresse de service. La passerelle abstrait la topologie sous-jacente des clusters, ce qui signifie que les changements d'infrastructure ou les migrations de modèles n'impactent pas le code applicatif. Cette abstraction réduit la surface d'erreur opérationnelle et facilite la mise à l'échelle horizontale de l'inférence à travers plusieurs zones de disponibilité.

03

Sélection de la destination et basculement automatique

La logique de routage évalue la disponibilité des clusters enregistrés dans la flotte. Contrairement au routage inter-régions standard de SageMaker AI, qui s'active en cas de pannes de plateforme ou d'erreurs 5xx de conteneur, la passerelle globale de HyperPod est conçue pour gérer la coordination complète de la flotte, incluant la limitation de débit globale et l'optimisation des coûts.

Le basculement automatique garantit que les requêtes ne soient pas perdues en cas d'indisponibilité régionale. Ce mécanisme est critique pour les applications haute disponibilité qui dépendent de modèles de langage de grande échelle déployés sur une infrastructure de GPU distribuée.

L'optimisation des coûts intégrée à la logique de routage permet de diriger le trafic vers les clusters les plus économiques tout en respectant les contraintes de latence. Cette approche contraste avec les stratégies de basculement traditionnelles qui privilégient uniquement la disponibilité au détriment de l'efficacité économique. En combinant la santé des nœuds et les tarifs applicables, la passerelle offre un équilibre dynamique entre performance et dépense pour les charges de travail d'inférence intensives.

04

Intégration de la sécurité et de l'accès

La passerelle globale intègre l'authentification via SigV4 et IAM sur AWS PrivateLink. Cela signifie que chaque requête est authentifiée avec les identifiants AWS standard, permettant d'appliquer des politiques d'accès granulaires sans exposer le point d'entrée au réseau public.

L'utilisation de PrivateLink assure que le trafic entre l'application et la passerelle reste dans le réseau AWS, améliorant la sécurité et la latence. Cette configuration est cohérente avec les meilleures pratiques de sécurité pour les services d'inférence dans les environnements d'entreprise.

L'application de politiques IAM granulaires permet de restreindre l'accès à la passerelle en fonction des rôles et des services spécifiques. Cette granularité est cruciale dans les environnements multi-équipes où différents services doivent interagir avec la même infrastructure d'inférence sans se voir accorder des privilèges excessifs. La sécurité par défaut est renforcée par le fait que le trafic ne transite jamais par l'internet public, limitant ainsi les vecteurs d'attaque potentiels.

05

Détails opérationnels et métriques en attente

Bien que l'annonce confirme la disponibilité de la fonctionnalité, AWS n'a pas encore publié de métriques détaillées sur la latence ajoutée par le routage global, les limites de capacité spécifiques ou les coûts supplémentaires associés à la coordination inter-régionale.

Les équipes d'ingénierie doivent effectuer des tests de charge avec leurs propres charges de travail pour évaluer l'impact sur la latence du premier jeton (TTFT) et la disponibilité. La documentation technique spécifique sur la configuration de la flotte et les paramètres de routage global est toujours en développement.

L'absence de métriques officielles impose une phase de validation rigoureuse avant tout déploiement en production. Les équipes doivent définir des seuils de performance acceptables pour la latence et la disponibilité, puis les comparer aux résultats obtenus lors des tests de charge. Cette démarche proactive permet d'identifier d'éventuels goulots d'étranglement introduits par la couche de coordination globale et d'ajuster la configuration de la flotte en conséquence.

Étapes pour évaluer la mise en œuvre

  1. 01Identifier les clusters HyperPod qui participeront à la flotte globale.
  2. 02Configurer l'authentification SigV4 et IAM pour le point d'entrée de la passerelle.
  3. 03Effectuer des tests de latence en comparant l'accès direct au cluster avec l'accès via la passerelle globale.
  4. 04Valider le comportement du basculement lors de la simulation de pannes sur un cluster.
06

Poursuivre l’exploration

Sources consultées

SECONDARYSageMaker Cross-Region Routing vs Provider Fallbackwww.edenai.co · 22 nov. 2026↗ SECONDARYSageMaker HyperPod Inference: 5 New Enterprise Features | AWS Builder Centerbuilder.aws.com · 22 nov. 2026↗ OFFICIAL · PrimaireIntroducing Amazon SageMaker HyperPod Inference Gateway | Amazon Web Servicesaws.amazon.com · 22 nov. 2026↗ OFFICIAL · PrimairePuerta de enlace de inferencia de Amazon SageMaker HyperPod para una inferencia del modelo de lenguaje de gran tamaño (LLM) escalable - AWSaws.amazon.com · 22 nov. 2026↗ SECONDARYAmazon SageMaker HyperPod Inference Gateway: Where GPU-Aware Routing Helps | Bloss0mwww.bloss0m.com · 22 nov. 2026↗ OFFICIAL · PrimaireKeep inference running through regional capacity shortfalls with cross-Region inference routing in Amazon SageMaker AI | Amazon Web Servicesaws.amazon.com · 22 nov. 2026↗ OFFICIAL · PrimaireHow Salesforce is advancing global-scale model serving with cross-Region inference routing in Amazon SageMaker AI | Amazon Web Servicesaws.amazon.com · 22 nov. 2026↗ OFFICIAL · PrimaireInference Gateway for Amazon SageMaker HyperPod Inference - Amazon SageMaker AIdocs.aws.amazon.com · 22 nov. 2026↗ OFFICIAL · PrimaireIntroducing Amazon SageMaker HyperPod Global Inference Gateway: One endpoint across Regions and clustersAWS Machine Learning Blog · 22 nov. 2026↗ OFFICIAL · PrimaireRoute requests across AWS Regions with cross-Region inference routing - Amazon SageMaker AIdocs.aws.amazon.com · 22 nov. 2026↗
03

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.

Proposer une correction