Infrastruttura, chip, inferenza e modelli eseguiti sui tuoi dispositivi.
31 articoli
Il benchmark raccoglie attività basate su modifiche reali a Megatron-LM, vLLM e verl. Nel preprint, il miglior risultato tra sei modelli è stato completare il 38,9% delle attività.
Recursive Superintelligence ha pubblicato Flint, un modello a pesi aperti da 39,8 miliardi di parametri progettato per l'inferenza di codice su hardware locale. Con soli 2,5 miliardi di parametri attivi per token, l'azienda afferma velocità superiori a 125 token al secondo su portatili Apple Silicon.
LFM3 riunisce modelli per testo, visione, audio e decisioni basati su un’architettura comune. Liquid AI afferma che i pesi sono disponibili e che ogni modello può essere sottoposto a fine-tuning con una sola GPU; le prestazioni pubblicate sono valutazioni dell’azienda, non verifiche indipendenti.
Un preprint presenta una quantizzazione progettata per i due componenti della cache MLA. Gli autori dichiarano una maggiore capacità teorica e risultati quasi senza perdita su quattro modelli, ma l’abstract disponibile non consente di valutare i dettagli sperimentali né le prestazioni in produzione.
Dopo una pausa di 11 giorni causata da incidenti di sicurezza, OpenAI ha deciso di eliminare l'accesso a internet in tempo reale per i suoi modelli più avanzati, sostituendolo con un ambiente simulato contenente contenuti web in cache.
Recursive ha lanciato Flint, un modello MoE da 40B parametri per la programmazione agentica che gira su hardware locale. Il suo sviluppo è stato guidato da Eureka Machine, un sistema di ricerca automatizzata che ha ottimizzato architettura, addestramento e inferenza in meno di quattro mesi.
Il 21 ottobre 2026, Anthropic ha lanciato la preview di ricerca di Claude Duet, un'applicazione in cui il modello opera come agente proattivo. Analizziamo la disponibilità iniziale, il rapporto con l'infrastruttura di agenti gestiti e i limiti delle evidenze attuali sulle sue capacità specifiche.
Quattro modelli di NVIDIA sono stati resi pubblici il 20 ottobre 2026: due sistemi di embeddings, un reranker multimodale e un modello di editing di immagini per l'ispezione di schede. Tutti operano sotto la licenza OpenMDW 1.1 e richiedono infrastruttura propria.
DeepSeek ha pubblicato il proprio framework interno di inferenza, già utilizzato in produzione con V4.1-Flash. L'apertura può facilitare i deployment autonomi, ma le fonti disponibili non permettono di confermare in modo indipendente i vantaggi prestazionali, l'ambito del supporto hardware o una riduzione effettiva della dipendenza da NVIDIA.
AWS lancia TorchNeuron, un backend nativo open source che consente di eseguire modelli PyTorch su chip Trainium2 e Trainium3. Lo strumento mira a ridurre la dipendenza da CUDA, sebbene la prima versione presenti limitazioni di compatibilità e ometta migliaia di test del framework.
Inception Labs ha lanciato Mercury 3, un modello linguistico basato sulla diffusione che promette una velocità di inferenza di 1.068 token al secondo e un contesto di 1 milione di token. Analizziamo la sua architettura, i confronti con i modelli autoregressivi e i limiti attuali delle prove indipendenti.
L'architettura di inferenza disaggregata in vLLM incorpora un meccanismo di trasferimento bidirezionale della cache KV che consente di riutilizzare il contesto tra i turni, migliorando significativamente il tempo al primo token (TTFT) nei carichi di lavoro agentici.