Anthropic propone que los tribunales puedan frenar IA de alto riesgo

Anthropic ha propuesto dar a las autoridades de California la facultad de acudir a los tribunales para frenar el lanzamiento de modelos de inteligencia artificial que evaluaciones independientes consideren un peligro grave. La medida busca reforzar la supervisión de los modelos avanzados y limitar los riesgos de su uso.

La propuesta aparece en una carta enviada el 15 de octubre al gobernador Gavin Newsom, en respuesta a ideas planteadas sobre seguridad de la IA. La compañía pide un mecanismo que permita al fiscal general del estado solicitar una orden judicial para suspender el despliegue de un modelo, su uso interno o su desarrollo, si las evaluaciones muestran un riesgo inminente de daños catastróficos.

Supervisión independiente e informes periódicos

Según el plan, organismos independientes especializados en verificar la seguridad de los modelos podrían presentar informes de riesgo al fiscal general, de modo que se pueda actuar legalmente cuando sea necesario. Así, la evaluación de riesgos no dependería solo de las decisiones de los desarrolladores. Anthropic también pide que los creadores de modelos avanzados publiquen informes de riesgo al menos cada seis meses. Los evaluadores independientes tendrían acceso a la información necesaria, similar a la de los equipos internos de seguridad, protegiendo a la vez los datos de los clientes y la información sensible.

El «interruptor de apagado» no basta

La empresa abordó además el llamado «kill switch», que permite desactivar rápidamente un modelo ante riesgos de seguridad u operativos. Subrayó que las compañías deben poder detener los modelos que ofrecen a los usuarios o emplean internamente. Pero advirtió de que el apagado por sí solo no garantiza la seguridad: desactivar un modelo por completo no siempre es lo más adecuado y puede dar una falsa sensación de seguridad si no hay un sistema integral de vigilancia y respuesta a los riesgos.

En su lugar, Anthropic plantea los «cortacircuitos» (circuit breakers), mecanismos que vigilan el comportamiento de los sistemas de IA, detectan problemas e intervienen, ya sea en el modelo, el agente o el usuario. Apagar un modelo tampoco cubre todos los escenarios peligrosos, como que copie sus pesos a equipos fuera del control de su desarrollador.

Un debate más amplio

La propuesta llega cuando California estudia normas más estrictas de seguridad de la IA, en un debate estadounidense más amplio sobre los modelos de alto riesgo y la responsabilidad de sus desarrolladores. OpenAI también envió propuestas al gobernador el 20 de octubre, con apoyo a medidas de control de estos modelos y a mecanismos de supervisión y auditoría. La de Anthropic destaca por pedir la vía judicial para detener modelos que supongan un peligro grave.

Estas iniciativas muestran un debate que pasa de las capacidades de la IA a la rendición de cuentas, la evaluación independiente y la intervención legal, sobre todo con la expansión de agentes capaces de ejecutar muchas tareas casi sin supervisión.