Infrastruktur, Chips, Inferenz und Modelle auf Ihren eigenen Geräten.
31 Artikel
Der Benchmark umfasst Aufgaben auf Grundlage realer Änderungen an Megatron-LM, vLLM und verl. Im Preprint löste das beste von sechs Frontier-Modellen 38,9 Prozent der Aufgaben.
Recursive Superintelligence hat Flint veröffentlicht, ein Open-Weight-Modell mit 39,8 Milliarden Parametern, das für lokale Code-Inferenz auf Consumer-Hardware ausgelegt ist. Mit nur 2,5 Milliarden aktiven Parametern pro Token meldet das Unternehmen Geschwindigkeiten von über 125 Tokens pro Sekunde auf Apple-Silicon-Laptops.
LFM3 umfasst Text-, Bild-, Audio- und Entscheidungsmodelle auf Basis einer gemeinsamen Architektur. Liquid AI erklärt, dass die Gewichte verfügbar sind und sich jedes Modell mit einer einzelnen GPU feinabstimmen lässt. Die veröffentlichten Leistungswerte stammen aus Tests des Unternehmens und sind keine unabhängige Bestätigung.
Ein Preprint stellt ein Quantisierungsverfahren vor, das auf die beiden Komponenten des MLA-Caches zugeschnitten ist. Die Autoren berichten von einer höheren theoretischen Kapazität und nahezu verlustfreien Ergebnissen auf vier Modellen. Die verfügbare Zusammenfassung reicht jedoch nicht aus, um die experimentellen Details oder die Leistung im Produktionseinsatz zu beurteilen.
Nach einer 11-tägigen Pause wegen Sicherheitsvorfällen hat OpenAI den Echtzeit-Internetzugang für seine leistungsfähigsten Modelle gestoppt und durch eine simulierte Umgebung mit gecachtem Webinhalt ersetzt.
Recursive hat Flint veröffentlicht, ein 40B-MoE-Modell für agentische Programmierung, das auf lokaler Hardware läuft. Seine Entwicklung wurde von der Eureka Machine geleitet, einem automatisierten Forschungssystem, das Architektur, Training und Inferenz in weniger als vier Monaten optimierte.
Am 21. Oktober 2026 hat Anthropic die Research Preview von Claude Duet veröffentlicht, einer Anwendung, in der das Modell als proaktiver Agent agiert. Wir analysieren die anfängliche Verfügbarkeit, den Zusammenhang mit der Infrastruktur für verwaltete Agenten und die Grenzen der derzeitigen Evidenz bezüglich seiner spezifischen Fähigkeiten.
Vier Modelle von NVIDIA wurden am 20. Oktober 2026 veröffentlicht: zwei Embedding-Systeme, ein multimodaler Reranker und ein Bildbearbeitungsmodell für die Platineninspektion. Alle laufen unter der Lizenz OpenMDW 1.1 und erfordern eigene Infrastruktur.
DeepSeek hat sein internes Inferenz-Framework DeepInfer als Open Source veröffentlicht, das in der Produktion für V4.1-Flash genutzt wird. Die Veröffentlichung könnte eigene Deployments erleichtern, doch die verfügbaren Belege erlauben keine unabhängige Bestätigung von Leistungsvorteilen, dem genauen Hardware-Support oder einer effektiven Reduzierung der Abhängigkeit von NVIDIA.
AWS stellt TorchNeuron vor, ein natives Open-Source-Backend, das es ermöglicht, PyTorch-Modelle auf Trainium2- und Trainium3-Chips auszuführen. Das Tool zielt darauf ab, die Abhängigkeit von CUDA zu verringern, weist in seiner ersten Version jedoch Kompatibilitätseinschränkungen auf und überspringt Tausende von Framework-Tests.
Inception Labs hat Mercury 3 veröffentlicht, ein auf Diffusion basierendes Sprachmodell, das eine Inferenzgeschwindigkeit von 1.068 Tokens pro Sekunde und einen Kontext von 1 Million Tokens verspricht. Wir analysieren seine Architektur, die Vergleiche mit autoregressiven Modellen und die aktuellen Grenzen unabhängiger Belege.
Die entkoppelte Inferenzarchitektur in vLLM integriert einen Mechanismus zur bidirektionalen KV-Cache-Übertragung, der die Wiederverwendung von Kontext zwischen Dialogrunden ermöglicht und die Time-to-First-Token-Latenz in agentischen Workloads deutlich verbessert.