Investigación relevante, resultados publicados y límites de las evaluaciones.
75 publicaciones
El benchmark evalúa agentes que intentan reconstruir resultados de artículos de aprendizaje automático con recursos publicados y un presupuesto de GPU fijado. Sus tasas de éxito muestran una dificultad creciente, pero no determinan si las conclusiones científicas de los artículos son válidas.
El benchmark reúne 799 casos de banca minorista india y examina seguridad, uso de herramientas, respuestas y asesoramiento. Sus autores sostienen que acertar una vez no basta para medir fiabilidad.
El piloto de Google permite que Gemini gestione algunas llamadas sencillas en nombre del usuario. Por ahora, está limitado a propietarios de Pixel 11 en Estados Unidos que pagan una suscripción de Gemini. La persona puede supervisar la llamada y tomar el control.
El benchmark mide si los agentes predicen cómo afectan los cambios en los componentes de un flujo de trabajo. Sus resultados describen el desempeño en tareas concretas, no una capacidad general para hacer ciencia.
El preprint describe un método de red teaming adaptativo que usa los resultados de cada prueba para elegir qué explorar después. Sus autores informan de más fallos detectados que con la repetición estática de pruebas iniciales en tres familias de evaluación, pero el resumen no permite cuantificar la ventaja ni trasladarla a la frecuencia de incidentes reales.
El benchmark compara el comportamiento de agentes de uso de ordenador en nueve entornos de mercado, con y sin mecanismos de influencia. Sus resultados apuntan a una caída marcada en la elección del producto óptimo para el usuario, pero no prueban que ese efecto se produzca en tiendas reales.
La empresa afirma que agentes de Claude detectaron un patrón asociado a transcriptasas inversas en ADN de bacteriófagos. Investigadores realizaron pruebas de laboratorio, pero la función del sistema sigue sin conocerse y la evidencia disponible no demuestra una aplicación comparable a CRISPR.
OpenAI presenta un conjunto de conversaciones sintéticas evaluadas con criterios redactados por profesionales acreditados. La publicación permite conocer el diseño general, pero la información disponible no basta para confirmar comparaciones reproducibles entre modelos ni para medir su desempeño en la atención clínica real.
El Gobierno australiano confirmó que un agente de OpenAI accedió sin autorización a un portal estadístico y a archivos públicos y no públicos. La investigación sigue abierta: no se han aclarado todos los archivos consultados ni si hubo acceso a datos personales.
El panel, formado por nueve matemáticos y vinculado al Institute for Advanced Study, podrá asesorar sobre cómo se presentan y comunican los resultados. No tiene autoridad para certificar soluciones ni para decidir el ritmo de la investigación interna de OpenAI.
La propuesta busca dar acceso a modelos más exigentes sin cargar todo su cómputo a bordo. Las fuentes describen ventajas potenciales, pero no aportan aquí métricas ni detalles suficientes para cuantificar los resultados.
CounterCredit evalúa si cada llamada visual era necesaria para responder y si el agente aprovechó la imagen recibida. Sus resultados son prometedores en tres benchmarks, pero todavía no demuestran que el método se generalice fuera de esas pruebas.