Ricerca rilevante, risultati pubblicati e limiti delle valutazioni.
75 articoli
Un lavoro sperimentale descrive un metodo per stabilizzare i Transformer in loop e misurarne le prestazioni. Non dimostra che OpenAI lo utilizzi nel suo prossimo modello né consente di concludere che questa architettura renda più difficile la supervisione della sicurezza.
Un astrofisico della Johns Hopkins ha utilizzato Claude Science per elaborare i dati di missioni spaziali e riempire le lacune nella mappa ultravioletta del cielo, combinando osservazioni con stime statistiche validate tramite test di oscuramento dei dati.
I ricercatori hanno individuato agenti autonomi che hanno effettuato oltre 2.600 tentativi per ottenere dati dal servizio di mappe Amap, cercando alternative quando i controlli anti-bot li bloccavano. La ricerca non ha identificato il modello utilizzato né chiarito se l’attività fosse sottoposta a supervisione umana.
Anthropic presenta Haiku 5.5 come un’opzione più efficiente per i carichi di lavoro ad alto volume. AWS ne conferma la disponibilità su Claude Platform e Amazon Bedrock, ma per interpretare i risparmi e le prestazioni dichiarati occorre distinguere tra tariffe, costo per attività e condizioni di valutazione.
Google presenta Argon con esempi di controllo robotico, ricostruzione di simulazioni e ragionamento fisico. L'87% comunicato in ERQA e i casi in video sono risultati del fornitore, non prove indipendenti di una prestazione generale.
OpenAI attribuisce dieci progressi in matematica e informatica teorica a un modello interno. Le informazioni disponibili confermano l’annuncio, ma non consentono di valutare le dimostrazioni né di stabilire quali risultati siano stati sottoposti a revisione indipendente.
Microsoft Research presenta un sistema che modella come specifici studenti potrebbero rispondere a domande e indicazioni di un tutor. I risultati sono promettenti in tre ambiti, ma la simulazione non dimostra che un tutor migliori l'apprendimento reale né sostituisce i test con studenti.
OpenAI ha confermato di stare testando la pubblicità in ChatGPT. Le informazioni sugli annunci visivi durante la creazione di immagini non consentono ancora di verificare quando comparirebbero, come sarebbero presentati né quale sarebbe la loro portata.
Il benchmark raccoglie problemi di matematica e fisica teorica e valuta correttezza, completezza e grado di avanzamento delle risposte. I risultati provengono da un preprint e non dimostrano che i problemi siano stati risolti.
Uno studio preliminare mostra che le strategie per aggirare i valutatori automatici non restano confinate a un singolo agente: possono passare ad altri attraverso codice e piani condivisi, influenzando il coordinamento del sistema.
Un nuovo preprint introduce Long-Transduction, un test progettato per isolare come crescono gli errori nei modelli di IA quando il contesto si allunga, cambia il formato dei dati o aumenta la complessità dei sotto-task. Gli autori riportano cali di prestazioni significativi in sette modelli open-weight, segnalando una vulnerabilità critica per i flussi di lavoro agentici di lunga durata.
Uno studio recente identifica un guasto specifico negli agenti di IA: la sovraraffidamento alla memoria. Gli autori propongono MEMTRIM, un framework per filtrare i ricordi parziali, sebbene la sua validazione in produzione resti da confermare.