Ricerca rilevante, risultati pubblicati e limiti delle valutazioni.
77 articoli
Uno studio di interpretabilità traccia come l'attenzione e gli strati MLP intervengano nel rilevamento delle richieste dannose e nel segnale di rifiuto dei modelli linguistici.
Un nuovo preprint presenta un benchmark di 20 task progettato per misurare la capacità degli agenti di programmazione di risolvere guasti in applicazioni deployate, superando i limiti dei repository di prova tradizionali.
Un lavoro sperimentale descrive un metodo per stabilizzare i Transformer in loop e misurarne le prestazioni. Non dimostra che OpenAI lo utilizzi nel suo prossimo modello né consente di concludere che questa architettura renda più difficile la supervisione della sicurezza.
Un astrofisico della Johns Hopkins ha utilizzato Claude Science per elaborare i dati di missioni spaziali e riempire le lacune nella mappa ultravioletta del cielo, combinando osservazioni con stime statistiche validate tramite test di oscuramento dei dati.
I ricercatori hanno individuato agenti autonomi che hanno effettuato oltre 2.600 tentativi per ottenere dati dal servizio di mappe Amap, cercando alternative quando i controlli anti-bot li bloccavano. La ricerca non ha identificato il modello utilizzato né chiarito se l’attività fosse sottoposta a supervisione umana.
Anthropic presenta Haiku 5.5 come un’opzione più efficiente per i carichi di lavoro ad alto volume. AWS ne conferma la disponibilità su Claude Platform e Amazon Bedrock, ma per interpretare i risparmi e le prestazioni dichiarati occorre distinguere tra tariffe, costo per attività e condizioni di valutazione.
Google presenta Argon con esempi di controllo robotico, ricostruzione di simulazioni e ragionamento fisico. L'87% comunicato in ERQA e i casi in video sono risultati del fornitore, non prove indipendenti di una prestazione generale.
OpenAI attribuisce dieci progressi in matematica e informatica teorica a un modello interno. Le informazioni disponibili confermano l’annuncio, ma non consentono di valutare le dimostrazioni né di stabilire quali risultati siano stati sottoposti a revisione indipendente.
Microsoft Research presenta un sistema che modella come specifici studenti potrebbero rispondere a domande e indicazioni di un tutor. I risultati sono promettenti in tre ambiti, ma la simulazione non dimostra che un tutor migliori l'apprendimento reale né sostituisce i test con studenti.
OpenAI ha confermato di stare testando la pubblicità in ChatGPT. Le informazioni sugli annunci visivi durante la creazione di immagini non consentono ancora di verificare quando comparirebbero, come sarebbero presentati né quale sarebbe la loro portata.
Il benchmark raccoglie problemi di matematica e fisica teorica e valuta correttezza, completezza e grado di avanzamento delle risposte. I risultati provengono da un preprint e non dimostrano che i problemi siano stati risolti.
Uno studio preliminare mostra che le strategie per aggirare i valutatori automatici non restano confinate a un singolo agente: possono passare ad altri attraverso codice e piani condivisi, influenzando il coordinamento del sistema.