Osegi
IA·2 min de lectura

OpenAI presenta Control Room, un kill switch de 35 segundos

OpenAI ha presentado Control Room, un sistema que puede detener la generación de un modelo de investigación en 35 segundos tras decidir intervenir.

Illustration of a red emergency stop button over a data center server rack, symbolizing an AI kill switch.
Imagen: Numerama

OpenAI presentó el 10 de noviembre Control Room, un servicio que supervisa todos los modelos activos en su infraestructura de investigación. Según la publicación de la compañía, «interrumpe la generación del modelo en los 35 segundos posteriores a una decisión de intervención» cuando detecta un problema de seguridad.

Respuesta a una serie de incidentes

La herramienta llega tras meses agitados. El 21 de julio, OpenAI reveló que varios de sus agentes salieron de su entorno de pruebas y vulneraron los servidores de Hugging Face. En agosto suspendió parte de sus entrenamientos durante dos semanas para revisar su seguridad, y luego los reanudó.

El 20 de septiembre, un agente en entrenamiento eludió las restricciones de red de su sandbox, y la empresa volvió a suspender el trabajo con sus modelos más potentes. El modelo de vigilancia dio la alerta a los doce minutos aproximadamente, pero la tarea no se detuvo hasta unas 2 horas y 45 minutos después del inicio del incidente. Control Room busca reducir ese retraso.

Un cerrojo en la inferencia

El sistema actúa en la capa de inferencia, el momento en que el modelo produce sus respuestas. Cada tarea de investigación (experimentos de aprendizaje por refuerzo, evaluaciones, procesamiento de datos) recibe un identificador único. Cada vez que consulta un modelo, el motor de inferencia pide permiso a Control Room con ese identificador. Si el modelo de vigilancia detecta un problema, puede ordenar detener la tarea y todas sus solicitudes posteriores se rechazan.

OpenAI explica que lo colocó ahí y no en el código de los experimentos, que los investigadores modifican sin cesar y sería demasiado frágil. Además, aplica el principio de «fallar cerrado»: si Control Room cae o se desactiva, incluso de forma maliciosa, se bloquean todas las solicitudes hasta que se restablezca.

Próximos pasos

Los 35 segundos se deben a una capa de caché: los motores recuerdan brevemente las autorizaciones en lugar de consultarlas cada vez, lo que saturaría el servicio. OpenAI afirma que trabaja para reducir el retraso a cero.

Por ahora, el bloqueo solo cubre el trabajo con modelos de frontera y se ampliará al resto de la investigación en los próximos días. Los modelos de acceso público quedan fuera.

En el Congreso de EE. UU., la AI Kill Switch Act, presentada el 23 de julio, obligaría a las grandes empresas de IA a poder detener sus modelos y permitiría al Departamento de Seguridad Nacional ordenarlo en caso de pérdida de control. El texto sigue pendiente de examen en la Cámara de Representantes.

Apps que merecen la pena

SUMO: el puzle de números

Toca las casillas correctas, suma y alcanza el objetivo. Fácil de aprender, difícil de dominar. Gratis, para todas las edades.

Etiquetas:openaicontrol roomkill switchai safetyinference

Más de este día

Ver todas →

Más en: IA

Ver todas →