AI2026. 11. 4. 오전 8:07 UTC·2 분 소요

DSCI, AI 에이전트 피해 책임 판단 프레임워크 제안

인도 DSCI가 자율형 AI 에이전트로 인한 피해의 책임을 핵심 의사결정 통제권에 따라 가치사슬 전반에 배분하는 업계 프레임워크를 제안했습니다.

Illustration of an AI agent connected to a chain of companies, with a scale of justice symbolising shared liability. — 이미지: Inc42 Media

SUMO

Dialo

ediviewer

인도 데이터보안위원회(DSCI)가 자율형 AI 에이전트가 피해를 일으켰을 때 책임을 판단하기 위한 업계 프레임워크를 제안했습니다. 각 참여자가 내린 결정과 시스템에 대한 통제 정도에 따라 AI 가치사슬 전반에 책임을 나누는 방식입니다.

‘AI Liability: Industry Guidance for Agentic AI’라는 토론 문서는 새로운 규제 체계를 만들기보다 기존 법률, 계약상 의무, 분야별 규제를 에이전틱 AI에 적용하겠다는 입장입니다. DSCI는 책임을 AI를 도입한 기업이나 기술 공급사 어느 한쪽에만 지워서는 안 된다고 주장합니다. 모델 선택, 시스템 구성, 도구 접근, 권한, 사람의 감독 등 핵심 결정을 누가 통제했는지를 따져야 한다는 설명입니다.

위험 요인과 책임 배분

문서에 따르면 기존 AI는 사람이 검토하는 결과물을 주로 생성하지만, AI 에이전트는 스스로 작업을 계획하고 도구와 API를 활용하며 제한된 사람의 개입으로 지시를 실행할 수 있습니다. 이로 인해 무단 거래, 잘못된 결제, 데이터 유출 위험이 커지고, 여러 에이전트가 작업을 위임하면 오류가 연쇄적으로 확산될 수 있습니다. DSCI는 개인정보 침해, 보안 위협, 차별, 딥페이크, AI 기반 사이버 범죄 등 12개 피해 영역을 제시했습니다.

기업 도입 과정의 참여자는 최종 사용 조직, 서비스 제공업체·통합업체, 제품 기업·스타트업, 도구·프레임워크 제공업체, 클라우드·인프라 제공업체의 다섯 그룹으로 분류되며, AI 모델 제공업체는 별도로 다뤄집니다. 도입 기업은 사용 사례와 권한, 사람의 승인 시점을 정할 책임이 있고, 통합업체는 시스템 설계와 장애 대응을 맡습니다.

오픈소스나 오픈웨이트 모델을 자체 인프라에서 쓰는 기업은 감사, 수정, 모니터링에 더 큰 책임을 집니다. 관리형 API로 폐쇄형 모델을 쓰는 경우에는 계약 조건과 책임 한도에 따라 모델 제공업체에 구상할 수 있습니다.

제안된 안전장치

프레임워크는 불필요한 기능 제거, 권한 제한, 중대하거나 되돌릴 수 없는 작업에 대한 사람의 승인, 행동 모니터링, 안전한 축소 운영, 책임자가 명확한 킬 스위치 등 6가지 안전장치를 제시했습니다. DSCI는 AI 개발사, 업계, 정책 싱크탱크의 의견을 받고 있으며 권한 매핑 등에 대한 추가 지침도 발표할 계획입니다.