Was AWS ankündigt und welche Produkte betroffen sind
AWS hat das Global Inference Gateway für Amazon SageMaker HyperPod angekündigt. Es handelt sich um einen verwalteten Endpunkt, der Inferenzanfragen zwischen HyperPod-Clustern innerhalb derselben Region oder über verschiedene Regionen hinweg routet. Die Ankündigung erschien am 20. November 2026 im offiziellen Machine-Learning-Blog von AWS.
Diese Funktion unterscheidet sich vom Inference Gateway von HyperPod, das im September 2026 eingeführt wurde und auf Clusterebene (Tier 1) die interne Pod-Verteilung steuert. Das globale Gateway repräsentiert die Flotten-Koordinationsebene (Tier 2), die Failover zwischen Clustern, globale Ratenbegrenzung und kostensensible Verkehrssteuerung hinzufügt.
Das Global Inference Gateway ist als Koordinationsebene über dem Routing innerhalb eines Clusters angesiedelt. Während Tier 1 Anfragen intern auf Pods verteilt, verbindet Tier 2 die Cluster zu einer Flotte. Diese kann Cluster derselben Region oder verschiedener Regionen umfassen; die Anwendung muss dafür nicht jedes einzelne Ziel kennen.
Die beiden Ebenen übernehmen damit unterschiedliche Aufgaben: Tier 1 trifft die Auswahl innerhalb des Clusters, Tier 2 koordiniert den Verkehr zwischen Clustern. Zu den zusätzlichen Funktionen der globalen Ebene gehören Failover zwischen Clustern, globale Ratenbegrenzung und eine kostenbewusste Verkehrssteuerung. Die Ankündigung beschreibt diese Aufgaben, nennt aber keine konkreten Leistungswerte für sie.
Unterschiede zwischen den Routing-Ebenen von SageMaker
| Merkmal | Inference Gateway (Tier 1) | Global Inference Gateway (Tier 2) |
|---|---|---|
| Umfang | Innerhalb des Clusters | Zwischen Clustern und Regionen |
| Einführung | September 2026 | November 2026 |
| Hauptfunktion | Auswahl des optimalen Pods anhand von GPU-Signalen | Flotten-Koordination und globales Failover |
| Authentifizierung | Mit IAM integriert | SigV4 und IAM über PrivateLink |
Funktionsweise des einzelnen Endpunkts
Die Architektur basiert auf einem einzelnen Endpunkt, der als zentraler Eingangspunkt für alle Inferenzanfragen dient. Anstatt dass die Anwendung mehrere Cluster-Adressen verwalten muss, sendet der Client die Anfrage an dieses zentrale Gateway, das intern entscheidet, an welchen Cluster oder in welche Region der Verkehr geleitet wird.
Das System wählt den Zielcluster anhand von Gesundheits- und Kapazitätskriterien aus. Wenn ein Cluster einen Ausfall oder eine Erschöpfung der Ressourcen erlebt, führt das Gateway ein automatisches Failover zu einem verfügbaren Cluster durch und erhält so die Servicekontinuität ohne manuelle Eingriffe des Nutzers.
Der einzelne Endpunkt gibt dem Client eine gemeinsame Adresse für Anfragen an die Flotte. Die Anwendung muss daher nicht mehrere Cluster-Adressen als Ziele verwalten oder selbst auswählen, welches Cluster eine Anfrage erhalten soll. Das Gateway übernimmt diese Zielentscheidung anhand von Gesundheits- und Kapazitätskriterien.
Ein gemeinsamer Einstiegspunkt bedeutet jedoch nicht, dass jede Anfrage denselben Cluster erreicht. Das Gateway kann den Verkehr intern auf ein anderes verfügbares Cluster oder eine andere Region lenken. Wenn ein Cluster ausfällt oder seine Ressourcen erschöpft sind, beschreibt AWS ein automatisches Failover; die tatsächliche Wirkung auf die Dienstkontinuität hängt davon ab, dass ein geeignetes alternatives Ziel verfügbar ist.
Zielauswahl und automatisches Failover
Die Routing-Logik bewertet die Verfügbarkeit der in der Flotte registrierten Cluster. Im Gegensatz zum standardmäßigen Cross-Region-Routing von SageMaker AI, das bei Plattformfehlern oder 5xx-Containerfehlern ausgelöst wird, ist das globale HyperPod-Gateway für die Koordination der gesamten Flotte konzipiert, einschließlich globaler Ratenbegrenzung und Kostenoptimierung.
Das automatische Failover stellt sicher, dass Anfragen bei einem regionalen Ausfall nicht verloren gehen. Dieser Mechanismus ist für Hochverfügbarkeitsanwendungen kritisch, die auf große Sprachmodelle angewiesen sind, die auf verteilter GPU-Infrastruktur bereitgestellt werden.
Die globale Ratenbegrenzung erweitert die Steuerung über einzelne Cluster hinaus: Sie bezieht sich auf die Flotte als Ganzes. Zusammen mit der kostenbewussten Verkehrssteuerung ergänzt sie das Routing nach Verfügbarkeit und Kapazität. Die Ankündigung legt jedoch keine Schwellenwerte oder konkrete Entscheidungsregeln für diese Steuerung fest.
Das Failover ist als Reaktion auf einen Ausfall oder fehlende Ressourcen beschrieben, nicht als Vorhersage eines drohenden Problems. Es kann Anfragen zu einem verfügbaren Cluster umleiten, doch die Funktionsbeschreibung belegt weder, dass Fehler vor ihrem Eintritt erkannt werden, noch dass Anfragen unter allen Umständen erhalten bleiben.
Integration von Sicherheit und Zugriff
Das globale Gateway integriert die Authentifizierung über SigV4 und IAM auf AWS PrivateLink. Das bedeutet, dass jede Anfrage mit den Standard-AWS-Credentials authentifiziert wird, was die Anwendung granularer Zugriffsrichtlinien ermöglicht, ohne den Endpunkt im öffentlichen Internet zu exponieren.
Die Verwendung von PrivateLink stellt sicher, dass der Verkehr zwischen der Anwendung und dem Gateway innerhalb des AWS-Netzwerks bleibt, was Sicherheit und Latenz verbessert. Diese Konfiguration entspricht den Sicherheitsbest-Practices für Inferenzdienste in Unternehmensumgebungen.
Bei der beschriebenen Zugriffskonfiguration werden Anfragen mit SigV4 und IAM über AWS PrivateLink authentifiziert. IAM-Identitäten und -Richtlinien bilden dabei die Grundlage für die Zugriffskontrolle. Die Ankündigung beschreibt diese Integration, führt aber keine konkreten Richtlinien für einzelne Modelle oder Cluster auf.
PrivateLink hält die Verbindung zwischen Anwendung und Gateway im privaten AWS-Netzwerk, statt den Endpunkt dem öffentlichen Internet auszusetzen. Das beschreibt den Netzwerkpfad und die Zugriffskonfiguration; daraus folgt für sich genommen keine Garantie für eine bestimmte Latenz oder Sicherheitswirkung in jeder Umgebung.
Operative Details und ausstehende Metriken
Obwohl die Ankündigung die Verfügbarkeit der Funktion bestätigt, hat AWS noch keine detaillierten Metriken zur zusätzlichen Latenz durch das globale Routing, zu spezifischen Kapazitätsgrenzen oder zu den damit verbundenen Zusatzkosten für die interregionale Koordination veröffentlicht.
Engineering-Teams sollten Lasttests mit ihren eigenen Workloads durchführen, um den Einfluss auf die Latenz des ersten Tokens (TTFT) und die Verfügbarkeit zu bewerten. Die spezifische technische Dokumentation zur Flottenkonfiguration und den Parametern des globalen Routings ist noch in Entwicklung.
Da AWS keine detaillierten Werte zur zusätzlichen Routing-Latenz, zu Kapazitätsgrenzen oder zu den Kosten der interregionalen Koordination genannt hat, lassen sich diese Größen nicht verlässlich aus der Ankündigung ableiten. Die Auswirkungen müssen mit den eigenen Workloads geprüft werden; insbesondere können Tests den Einfluss auf die Latenz des ersten Tokens und die Verfügbarkeit der jeweiligen Konfiguration sichtbar machen.
Bei einem Vergleich sollten direkter Clusterzugriff und Zugriff über das globale Gateway getrennt betrachtet werden. Auch ein simulierter Clusterausfall kann zeigen, wie sich das Failover in der getesteten Konfiguration verhält. Solche Tests belegen das beobachtete Verhalten unter den jeweiligen Testbedingungen, nicht automatisch dieselben Ergebnisse für andere Cluster, Regionen oder Workloads.
Schritte zur Bewertung der Implementierung
- 01Die HyperPod-Cluster identifizieren, die an der globalen Flotte teilnehmen sollen.
- 02Die SigV4- und IAM-Authentifizierung für den Gateway-Endpunkt konfigurieren.
- 03Latenztests durchführen, um den direkten Clusterzugriff mit dem Zugriff über das globale Gateway zu vergleichen.
- 04Das Failover-Verhalten bei simulierten Cluster-Ausfällen validieren.
Weiter entdecken
Verwendete Quellen
Korrekturen und Transparenz
Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.
Korrektur vorschlagen