Infrastruttura, chip, inferenza e modelli eseguiti sui tuoi dispositivi.
27 articoli
Dopo una pausa di 11 giorni causata da incidenti di sicurezza, OpenAI ha deciso di eliminare l'accesso a internet in tempo reale per i suoi modelli più avanzati, sostituendolo con un ambiente simulato contenente contenuti web in cache.
Recursive ha lanciato Flint, un modello MoE da 40B parametri per la programmazione agentica che gira su hardware locale. Il suo sviluppo è stato guidato da Eureka Machine, un sistema di ricerca automatizzata che ha ottimizzato architettura, addestramento e inferenza in meno di quattro mesi.
Il 21 ottobre 2026, Anthropic ha lanciato la preview di ricerca di Claude Duet, un'applicazione in cui il modello opera come agente proattivo. Analizziamo la disponibilità iniziale, il rapporto con l'infrastruttura di agenti gestiti e i limiti delle evidenze attuali sulle sue capacità specifiche.
Quattro modelli di NVIDIA sono stati resi pubblici il 20 ottobre 2026: due sistemi di embeddings, un reranker multimodale e un modello di editing di immagini per l'ispezione di schede. Tutti operano sotto la licenza OpenMDW 1.1 e richiedono infrastruttura propria.
DeepSeek ha pubblicato il proprio framework interno di inferenza, già utilizzato in produzione con V4.1-Flash. L'apertura può facilitare i deployment autonomi, ma le fonti disponibili non permettono di confermare in modo indipendente i vantaggi prestazionali, l'ambito del supporto hardware o una riduzione effettiva della dipendenza da NVIDIA.
AWS lancia TorchNeuron, un backend nativo open source che consente di eseguire modelli PyTorch su chip Trainium2 e Trainium3. Lo strumento mira a ridurre la dipendenza da CUDA, sebbene la prima versione presenti limitazioni di compatibilità e ometta migliaia di test del framework.
Inception Labs ha lanciato Mercury 3, un modello linguistico basato sulla diffusione che promette una velocità di inferenza di 1.068 token al secondo e un contesto di 1 milione di token. Analizziamo la sua architettura, i confronti con i modelli autoregressivi e i limiti attuali delle prove indipendenti.
L'architettura di inferenza disaggregata in vLLM incorpora un meccanismo di trasferimento bidirezionale della cache KV che consente di riutilizzare il contesto tra i turni, migliorando significativamente il tempo al primo token (TTFT) nei carichi di lavoro agentici.
Nemotron 3.5 Super VL è progettato per interpretare documenti, grafici, immagini e video e supportare attività prolungate con strumenti. Le informazioni disponibili confermano il lancio e la scala del modello, ma non bastano per stabilire le sue prestazioni indipendenti né quanta hardware NVIDIA richieda ogni implementazione.
Il nuovo modello combina ragionamento, uso di strumenti e comprensione di testi, immagini, documenti e video. NVIDIA dichiara 12 miliardi di parametri attivi per token e miglioramenti di efficienza, ma i risultati pubblicati non bastano a stabilire un confronto indipendente o un costo d’inferenza universale.
I ricercatori presentano un metodo per proiettare le uscite dei modelli di diffusione biomolecolare, correggendo difetti fisici come collisioni tra catene o legami distorti senza necessità di riaddestrare il modello.
Un preprint recente propone un sistema che regola dinamicamente la distribuzione dei worker tra le fasi di prefill e decode per evitare violazioni degli SLO senza la necessità di aggiungere GPU aggiuntive.