DSCI propone un marco de responsabilidad por daños de agentes de IA

Quién responde de qué

El texto identifica cinco grupos en el despliegue empresarial: organizaciones usuarias, proveedores de servicios e integradores, empresas de producto y startups, proveedores de herramientas y frameworks, y proveedores de nube e infraestructura. Los proveedores de modelos se analizan aparte.

Las empresas que despliegan agentes responderían de la elección de casos de uso, los permisos, la evaluación de riesgos operativos y la decisión de cuándo exigir aprobación humana. Las empresas de producto podrían responder por sus afirmaciones, configuraciones por defecto y versiones de modelo; los integradores, por el diseño del sistema, los mecanismos de aprobación y la gestión de fallos. Los proveedores de herramientas serían responsables de la orquestación, la memoria y las funciones de seguridad, y los de nube, del aislamiento, la gestión de identidades, la retención de datos y los registros.

El tipo de modelo también cuenta. Quienes usan modelos de código abierto o de pesos abiertos en su propia infraestructura asumen más responsabilidad de auditoría y supervisión. Quienes emplean modelos cerrados mediante API gestionadas pueden reclamar por vía contractual, según los acuerdos y los límites de responsabilidad. Los proveedores de modelos siguen respondiendo de las capacidades, las medidas de seguridad, la información sobre limitaciones conocidas y el aviso de cambios importantes, aunque su responsabilidad puede reducirse si otros controlan el despliegue.

Riesgos y salvaguardas

A diferencia de la IA convencional, cuyos resultados revisa una persona, los agentes planifican tareas, usan API y actúan con poca supervisión. El DSCI advierte de transacciones no autorizadas, pagos erróneos, filtraciones de datos y errores en cascada cuando los agentes delegan tareas entre organizaciones. Identifica 12 áreas de daño, desde violaciones de privacidad hasta deepfakes y pérdida de control.

Propone seis salvaguardas: eliminar capacidades innecesarias, restringir permisos, exigir aprobación humana para acciones relevantes o irreversibles, monitorizar el comportamiento, permitir una reducción segura de operaciones e instalar interruptores de emergencia con responsable definido.

El DSCI ha invitado a desarrolladores, empresas y centros de estudios a enviar comentarios y prevé publicar más guías. El ministerio MeitY propuso hace poco el marco DEPA for AI Training, y el regulador TRAI publicó un borrador de directrices con plazo hasta el 27 de noviembre.