Neueste Nachrichten

28 Artikel

RSS ↗
RAQ-MLA passt die Quantisierung an den MLA-Aufmerksamkeitscache an und meldet 2,5 Bit pro Element

RAQ-MLA passt die Quantisierung an den MLA-Aufmerksamkeitscache an und meldet 2,5 Bit pro Element

Ein Preprint stellt ein Quantisierungsverfahren vor, das auf die beiden Komponenten des MLA-Caches zugeschnitten ist. Die Autoren berichten von einer höheren theoretischen Kapazität und nahezu verlustfreien Ergebnissen auf vier Modellen. Die verfügbare Zusammenfassung reicht jedoch nicht aus, um die experimentellen Details oder die Leistung im Produktionseinsatz zu beurteilen.

Claude Duet: Anthropic startet Research Preview des proaktiven Agenten für Pro- und Max-Abonnenten

Claude Duet: Anthropic startet Research Preview des proaktiven Agenten für Pro- und Max-Abonnenten

Am 21. Oktober 2026 hat Anthropic die Research Preview von Claude Duet veröffentlicht, einer Anwendung, in der das Modell als proaktiver Agent agiert. Wir analysieren die anfängliche Verfügbarkeit, den Zusammenhang mit der Infrastruktur für verwaltete Agenten und die Grenzen der derzeitigen Evidenz bezüglich seiner spezifischen Fähigkeiten.

DeepSeek veröffentlicht DeepInfer: Das Inferenz-Framework hinter V4.1-Flash

DeepSeek veröffentlicht DeepInfer: Das Inferenz-Framework hinter V4.1-Flash

DeepSeek hat sein internes Inferenz-Framework DeepInfer als Open Source veröffentlicht, das in der Produktion für V4.1-Flash genutzt wird. Die Veröffentlichung könnte eigene Deployments erleichtern, doch die verfügbaren Belege erlauben keine unabhängige Bestätigung von Leistungsvorteilen, dem genauen Hardware-Support oder einer effektiven Reduzierung der Abhängigkeit von NVIDIA.

TorchNeuron: Amazon öffnet Trainium für PyTorch mit einer Konfigurationsänderung

TorchNeuron: Amazon öffnet Trainium für PyTorch mit einer Konfigurationsänderung

AWS stellt TorchNeuron vor, ein natives Open-Source-Backend, das es ermöglicht, PyTorch-Modelle auf Trainium2- und Trainium3-Chips auszuführen. Das Tool zielt darauf ab, die Abhängigkeit von CUDA zu verringern, weist in seiner ersten Version jedoch Kompatibilitätseinschränkungen auf und überspringt Tausende von Framework-Tests.

Inception stellt Mercury 3 vor: Ein Diffusions-LLM mit 1.068 Tokens pro Sekunde

Inception stellt Mercury 3 vor: Ein Diffusions-LLM mit 1.068 Tokens pro Sekunde

Inception Labs hat Mercury 3 veröffentlicht, ein auf Diffusion basierendes Sprachmodell, das eine Inferenzgeschwindigkeit von 1.068 Tokens pro Sekunde und einen Kontext von 1 Million Tokens verspricht. Wir analysieren seine Architektur, die Vergleiche mit autoregressiven Modellen und die aktuellen Grenzen unabhängiger Belege.

NVIDIA stellt Nemotron 3.5 Super VL vor: Offenes 120-Milliarden-Parameter-Modell für Enterprise-Agenten

NVIDIA stellt Nemotron 3.5 Super VL vor: Offenes 120-Milliarden-Parameter-Modell für Enterprise-Agenten

Nemotron 3.5 Super VL ist für die Interpretation von Dokumenten, Grafiken, Bildern und Videos sowie für langandauernde Aufgaben mit Werkzeugen konzipiert. Die verfügbaren Informationen bestätigen den Launch und die Skalierung des Modells, reichen jedoch nicht aus, um unabhängige Leistungswerte oder den spezifischen Hardwarebedarf für jeden Deployment zu bestimmen.

Nemotron 3.5 Super VL: NVIDIA kündigt ein multimodales Modell mit 120 Milliarden Parametern an

Nemotron 3.5 Super VL: NVIDIA kündigt ein multimodales Modell mit 120 Milliarden Parametern an

Das neue Modell verbindet Schlussfolgern, Werkzeugnutzung und das Verstehen von Text, Bildern, Dokumenten und Videos. NVIDIA gibt 12 Milliarden aktive Parameter pro Token und Effizienzsteigerungen an. Die veröffentlichten Ergebnisse reichen jedoch nicht aus, um einen unabhängigen Vergleich oder allgemeingültige Inferenzkosten abzuleiten.