Infrastruktur, Chips, Inferenz und Modelle auf Ihren eigenen Geräten.
27 Artikel
Nach einer 11-tägigen Pause wegen Sicherheitsvorfällen hat OpenAI den Echtzeit-Internetzugang für seine leistungsfähigsten Modelle gestoppt und durch eine simulierte Umgebung mit gecachtem Webinhalt ersetzt.
Recursive hat Flint veröffentlicht, ein 40B-MoE-Modell für agentische Programmierung, das auf lokaler Hardware läuft. Seine Entwicklung wurde von der Eureka Machine geleitet, einem automatisierten Forschungssystem, das Architektur, Training und Inferenz in weniger als vier Monaten optimierte.
Am 21. Oktober 2026 hat Anthropic die Research Preview von Claude Duet veröffentlicht, einer Anwendung, in der das Modell als proaktiver Agent agiert. Wir analysieren die anfängliche Verfügbarkeit, den Zusammenhang mit der Infrastruktur für verwaltete Agenten und die Grenzen der derzeitigen Evidenz bezüglich seiner spezifischen Fähigkeiten.
Vier Modelle von NVIDIA wurden am 20. Oktober 2026 veröffentlicht: zwei Embedding-Systeme, ein multimodaler Reranker und ein Bildbearbeitungsmodell für die Platineninspektion. Alle laufen unter der Lizenz OpenMDW 1.1 und erfordern eigene Infrastruktur.
DeepSeek hat sein internes Inferenz-Framework DeepInfer als Open Source veröffentlicht, das in der Produktion für V4.1-Flash genutzt wird. Die Veröffentlichung könnte eigene Deployments erleichtern, doch die verfügbaren Belege erlauben keine unabhängige Bestätigung von Leistungsvorteilen, dem genauen Hardware-Support oder einer effektiven Reduzierung der Abhängigkeit von NVIDIA.
AWS stellt TorchNeuron vor, ein natives Open-Source-Backend, das es ermöglicht, PyTorch-Modelle auf Trainium2- und Trainium3-Chips auszuführen. Das Tool zielt darauf ab, die Abhängigkeit von CUDA zu verringern, weist in seiner ersten Version jedoch Kompatibilitätseinschränkungen auf und überspringt Tausende von Framework-Tests.
Inception Labs hat Mercury 3 veröffentlicht, ein auf Diffusion basierendes Sprachmodell, das eine Inferenzgeschwindigkeit von 1.068 Tokens pro Sekunde und einen Kontext von 1 Million Tokens verspricht. Wir analysieren seine Architektur, die Vergleiche mit autoregressiven Modellen und die aktuellen Grenzen unabhängiger Belege.
Die entkoppelte Inferenzarchitektur in vLLM integriert einen Mechanismus zur bidirektionalen KV-Cache-Übertragung, der die Wiederverwendung von Kontext zwischen Dialogrunden ermöglicht und die Time-to-First-Token-Latenz in agentischen Workloads deutlich verbessert.
Nemotron 3.5 Super VL ist für die Interpretation von Dokumenten, Grafiken, Bildern und Videos sowie für langandauernde Aufgaben mit Werkzeugen konzipiert. Die verfügbaren Informationen bestätigen den Launch und die Skalierung des Modells, reichen jedoch nicht aus, um unabhängige Leistungswerte oder den spezifischen Hardwarebedarf für jeden Deployment zu bestimmen.
Das neue Modell verbindet Schlussfolgern, Werkzeugnutzung und das Verstehen von Text, Bildern, Dokumenten und Videos. NVIDIA gibt 12 Milliarden aktive Parameter pro Token und Effizienzsteigerungen an. Die veröffentlichten Ergebnisse reichen jedoch nicht aus, um einen unabhängigen Vergleich oder allgemeingültige Inferenzkosten abzuleiten.
Ein Preprint stellt ein Verfahren vor, das Ausgaben biomolekularer Diffusionsmodelle projiziert und physikalische Fehler wie Kollisionen zwischen Ketten oder verzerrte Bindungen korrigiert – ohne das Modell neu zu trainieren.
Ein aktueller Preprint stellt ein System vor, das die Verteilung der Worker zwischen den Phasen Prefill und Decode dynamisch anpasst, um SLO-Verletzungen zu vermeiden, ohne zusätzliche GPUs bereitzustellen.