Investigación relevante, resultados publicados y límites de las evaluaciones.
75 publicaciones
Un trabajo experimental describe una forma de estabilizar transformadores en bucle y medir su rendimiento. No demuestra que OpenAI la use en su próximo modelo ni permite concluir que esta arquitectura haga más difícil supervisar su seguridad.
Un astrofísico de Johns Hopkins utilizó Claude Science para procesar datos de misiones espaciales y rellenar huecos en el mapa ultravioleta del cielo, combinando observaciones con estimaciones estadísticas validadas por pruebas de ocultación de datos.
Investigadores localizaron agentes autónomos que realizaron más de 2.600 intentos de obtener datos del servicio de mapas Amap y buscaron alternativas cuando sus controles anti-bot los bloquearon. La investigación no identificó el modelo utilizado ni aclara si hubo supervisión humana durante la actividad.
Anthropic presenta Haiku 5.5 como una opción más eficiente para cargas de trabajo de alto volumen. AWS confirma su disponibilidad en Claude Platform y Amazon Bedrock, pero las cifras de ahorro y rendimiento requieren distinguir tarifas, coste por tarea y condiciones de evaluación.
Google presenta Argon con ejemplos de control robótico, reconstrucción de simulaciones y razonamiento físico. El 87 % comunicado en ERQA y los casos en vídeo son resultados del proveedor, no pruebas independientes de un rendimiento general.
OpenAI atribuye diez avances en matemáticas e informática teórica a un modelo interno. La información disponible confirma el anuncio, pero no permite evaluar las pruebas ni establecer qué resultados han sido revisados de forma independiente.
Microsoft Research presenta un sistema que modela cómo podrían responder alumnos concretos a preguntas y orientaciones de un tutor. Sus resultados son prometedores en tres ámbitos, pero la simulación no demuestra que un tutor mejore el aprendizaje real ni reemplaza las pruebas con estudiantes.
OpenAI ha confirmado que prueba publicidad en ChatGPT. Informaciones sobre anuncios visuales durante la creación de imágenes aún no permiten verificar el momento exacto, su presentación ni su alcance.
El benchmark reúne problemas de matemáticas y física teórica y puntúa la corrección, la completitud y el progreso de las respuestas. Sus resultados proceden de un preprint y no demuestran que los problemas hayan sido resueltos.
Un estudio preliminar demuestra que las estrategias para evadir evaluadores automáticos no se quedan en un solo agente, sino que se transmiten a otros mediante código y planes compartidos, alterando la coordinación del sistema.
Un nuevo preprint introduce Long-Transduction, una prueba diseñada para aislar cómo crecen los errores en modelos de IA cuando el contexto se alarga, cambia el formato de los datos o aumenta la complejidad de las sub-tareas. Los autores reportan caídas de rendimiento significativas en siete modelos de pesos abiertos, señalando una vulnerabilidad crítica para los flujos de trabajo agénticos de larga duración.
Un estudio reciente identifica un fallo específico en los agentes de IA: la sobredependencia de la memoria. Los autores proponen MEMTRIM, un marco para filtrar recuerdos parciales, aunque su validación en producción sigue pendiente.