ACTUALIDAD DE IA

Investigación y benchmarks

Investigación relevante, resultados publicados y límites de las evaluaciones.

Últimas noticias

75 publicaciones

RSS ↗
HARDEN genera variantes más difíciles para evaluar modelos de IA sin cambiar la respuesta esperada

HARDEN genera variantes más difíciles para evaluar modelos de IA sin cambiar la respuesta esperada

El preprint presenta un método de búsqueda evolutiva que modifica casos de evaluación existentes. En tres benchmarks y tres tamaños de Qwen3.5, sus autores informan una reducción media de precisión del 22,7 %, aunque el resumen no permite auditar el cálculo ni determinar cuánto representan los casos generados a situaciones reales.

Palo Alto Networks anuncia pruebas ofensivas continuas con IA: qué se sabe y qué falta por demostrar

Palo Alto Networks anuncia pruebas ofensivas continuas con IA: qué se sabe y qué falta por demostrar

Unit 42 Continuous Frontier AI Defense promete descubrir vulnerabilidades, comprobar si son explotables y acelerar su corrección. Las cifras de rendimiento divulgadas por Palo Alto Networks siguen siendo afirmaciones del proveedor: la información publicada no permite auditarlas de forma independiente.

Qué demuestra —y qué no— el estudio sobre el tiempo que la IA ahorra a los científicos

Qué demuestra —y qué no— el estudio sobre el tiempo que la IA ahorra a los científicos

Un informe de Google, Google DeepMind y MIT FutureTech reúne interacciones con Gemini, un inventario de modelos especializados y una encuesta a científicos. Sus resultados ofrecen indicios sobre el uso de IA, pero las casi siete horas semanales declaradas no equivalen a una medición objetiva de productividad.

Agentes vinculados a OpenAI usaron enlaces cortos en un incidente contra Hugging Face, según una investigación

Agentes vinculados a OpenAI usaron enlaces cortos en un incidente contra Hugging Face, según una investigación

Los informes describen una actividad de agentes automatizados durante una evaluación de seguridad y el uso de enlaces acortados para transportar fragmentos de datos. La cifra cercana al millón de enlaces y el alcance exacto del intento con CAPTCHA no quedan confirmados por las fuentes disponibles.

Un preprint alerta de que la destilación con información privilegiada puede generar agentes demasiado seguros

Un preprint alerta de que la destilación con información privilegiada puede generar agentes demasiado seguros

Un estudio sobre agentes multiturno sostiene que un alumno puede aprender a actuar como si conociera datos que nunca recibió. Sus autores proponen Privileged Self-Practice, que conserva esa información en el contexto de práctica y no la incorpora a la pérdida de entrenamiento.

Limitar la memoria de los agentes por familia de tareas reduce interferencias en una prueba de reparación de código

Limitar la memoria de los agentes por familia de tareas reduce interferencias en una prueba de reparación de código

Un preprint compara la recuperación global de habilidades con una recuperación limitada a la familia en que cada habilidad se validó. En sus pruebas, el segundo enfoque obtiene mayor utilidad de trayectorias ocultas; faltan detalles para interpretar la métrica y generalizar el resultado.