Osegi
IA·2 min de lectura

Estudio de Vals AI: modelos de IA eligieron civiles como objetivos en simulaciones

En las pruebas de Vals AI, varios modelos marcaron una escuela, ambulancias y soldados que se rendían como posibles objetivos. Llamarlo juego solía bastar.

A military drone camera view over a built-up area with a school next to a military facility, overlaid with target markers.
Imagen: البوابة التقنية

Un estudio de la firma de evaluación Vals AI concluye que modelos de IA avanzados clasificaron a civiles, ambulancias y soldados que se rendían como posibles objetivos en simulaciones militares. Se publicó el martes 17 de noviembre.

Las pruebas incluyeron modelos de ocho empresas y el rendimiento varió mucho. Incluso los mejores cometieron errores. Los investigadores usaron imágenes reales y generadas en tareas de vigilancia con drones y análisis de imágenes de satélite. Afirman que los filtros de seguridad no bloquearon ninguna de sus peticiones y que presentar la tarea como un juego evitó los rechazos en muchos casos.

¿Qué hicieron mal los modelos?

Una prueba usó imágenes de una escuela junto a una instalación militar en Minab, Irán. Claude Opus 5.5 eligió la escuela como objetivo en el 69 % de las pruebas normales y en el 72 % cuando el escenario se describía como un juego, con 32 pruebas por condición.

¿Ya guía la IA armas reales?

El estudio no lo muestra. Los investigadores subrayan que no evaluaron cómo funcionan los modelos dentro de armas realmente desplegadas ni en los procedimientos reales del ejército de EE. UU. En su opinión, un riesgo más cercano es que se usen los resultados de los modelos para etiquetar grabaciones de combate y entrenar sistemas de selección de objetivos, en lugar de ejecutarlos directamente en drones.

OpenAI dijo que trabaja en actualizaciones del comportamiento de sus modelos en torno a drones y su software, incluso cuando las peticiones llegan como juego o simulación. Anthropic explicó a TechCrunch que los resultados son inaceptables y que desarrolla salvaguardas adicionales y amplía sus pruebas.

Contexto

El estudio llega después de las evaluaciones que Anthropic publicó en septiembre sobre la capacidad de los modelos para apoyar tareas de inteligencia y el desarrollo de armas convencionales. La empresa señaló que algunas de esas tareas exigían históricamente expertos con formación especializada, de ahí que convenga evaluar el posible mal uso además de medir capacidades.

Apps que merecen la pena

SUMO: el puzle de números

Toca las casillas correctas, suma y alcanza el objetivo. Fácil de aprender, difícil de dominar. Gratis, para todas las edades.

Etiquetas:vals aianthropicopenaimilitary aiai safetydrones

Más de este día

Ver todas →

Más en: IA

Ver todas →