AI 에이전트의 실수에 대한 책임은 누구에게 있을까

개발사 도입 기업 승인자까지 얽힌 책임 구조 선명성 요구 커져

AI 에이전트가 일으킨 실수의 책임을 어디에 둘 것인가에 대한 논쟁이 빠르게 확산되고 있다. 출발점은 단순하다. 사고의 주체가 AI로 보일 수 있어도 법과 제도는 이를 책임 주체로 인정하지 않는다. 유럽연합의 AI Act는 책임의 단위를 사람과 기업으로 설정하고 개발 주체를 provider, 활용 주체를 deployer로 구분해 각각의 의무를 명확히 한다. 사고가 발생하면 책임은 기술 바깥의 조직으로 되돌아간다.

문제는 책임이 단일 주체에 귀속되지 않는다는 점이다. 개발사는 시스템 설계, 학습 데이터 구성, 안전 장치, 문서화에 대한 책임을 진다. 도입 기업은 해당 시스템을 어떤 업무에 연결했는지, 어떤 통제 아래 운용했는지에 대한 책임을 진다. 경제협력개발기구 OECD는 AI 위험이 가치사슬 전반에서 관리돼야 한다고 밝히며, 특히 배치와 운영을 담당한 조직의 책임을 강조한다. 이는 AI 에이전트 사고가 제조물 책임처럼 개발사에만 집중될 수 없고, 단순 사용자 과실로 축소될 수도 없다는 의미다.

여기에 승인자의 역할이 더해지면서 책임 구조는 더 복잡해진다. 다수 조직은 AI가 단독으로 결정을 확정하지 않도록 하고, 중요한 실행 단계 앞에 인간 승인 절차를 둔다. 이 구조에서 승인자는 형식적인 존재가 아니라 최종 판단을 내리는 책임 지점이 된다. 미국 국립표준기술연구소 NIST의 AI 위험 관리 프레임워크 AI RMF는 조직 리더십이 AI 관련 위험 결정에 책임을 져야 한다고 명시한다. 이는 승인 행위가 단순 확인이 아니라 결과에 대한 책임을 수반한다는 점을 분명히 한다.

이 같은 흐름 속에서 책임 구조는 세 축으로 나뉘는 경향을 보인다. 첫 번째는 개발사의 설계 책임이다. 예측 가능한 오류, 불충분한 테스트, 취약한 안전 설계, 설명 가능성 부족은 개발 단계에서 관리되어야 한다. 두 번째는 도입 기업의 운영 책임이다. 시스템을 어떤 영역에 연결했는지, 인간 감독을 어떻게 구성했는지, 권한을 어디까지 부여했는지가 포함된다. 세 번째는 승인자의 행위 책임이다. 금융 거래, 인사 결정, 고객 대응, 의료 판단, 법률 자문과 같이 피해 가능성이 큰 영역에서는 마지막 승인자의 판단이 직접적인 결과를 좌우한다.

AI 성능이 개선될수록 책임 문제는 더 복잡해진다. 시스템이 미숙할 때는 사람이 쉽게 의심하고 개입한다. 그러나 결과가 자연스럽고 설득력을 갖출수록 조직은 더 많은 권한을 부여하려는 유인을 받는다. 세계경제포럼 WEF는 2025년 보고서에서 에이전트를 역할, 자율성, 예측 가능성, 사용 맥락에 따라 구분하고 이에 맞는 통제 구조를 설계해야 한다고 제안했다. 이는 성능 향상이 곧 자율성 확대를 의미하지 않으며, 권한이 커질수록 책임 설계가 함께 강화되어야 함을 보여준다.

에이전트 기술은 기존 소프트웨어와 다른 위험을 드러낸다. 일반 프로그램은 사전에 정의된 명령을 수행하지만, 에이전트는 목표를 기반으로 중간 과정을 스스로 선택하고 다양한 도구를 연쇄적으로 활용한다. 이 과정에서 사고가 발생하면 원인을 특정하기 어려워진다. 설계 문제인지, 권한 설정 오류인지, 감독 부족인지, 승인 판단의 오류인지 경계가 흐려진다. OECD는 이러한 특성을 이유로 개발부터 운영까지 전 과정에 걸친 실사 절차를 강조한다. 사후 책임 규명만으로는 충분하지 않으며, 사전 통제와 기록 체계가 함께 필요하다는 의미다.

기업 간 경쟁의 기준도 변화하고 있다. 단순히 더 높은 정확도를 가진 에이전트를 만드는 것만으로는 충분하지 않다. 의사결정 과정이 어떻게 이루어졌는지 추적할 수 있는 구조, 역할과 책임이 명확히 구분된 체계, 사고 발생 시 원인을 설명할 수 있는 기록이 중요해지고 있다. NIST AI RMF는 거버넌스, 위험 식별, 측정, 관리라는 구조를 통해 이러한 요구를 제도화하려 한다. OECD와 WEF 역시 감사 가능성, 감독 체계, 책임 정의를 공통적으로 강조한다.

이 흐름은 기술 문제를 넘어 조직 운영 방식의 변화로 이어진다. 누가 시스템을 설계했는지, 누가 이를 배치했는지, 누가 최종 결정을 승인했는지에 대한 기록이 남지 않는다면 책임을 명확히 구분하기 어렵다. 책임이 흐려진 상태에서 자율성만 확대될 경우, 기술 발전은 신뢰를 강화하는 방향이 아니라 책임 회피 구조를 키우는 방향으로 작동할 가능성이 있다.

AI 에이전트는 이미 다양한 업무에 투입되고 있으며 그 영향 범위는 계속 넓어지고 있다. 이 상황에서 신뢰를 좌우하는 요소는 단순한 성능 수치가 아니다. 사고가 발생했을 때 그 원인을 설명할 수 있는지, 책임이 어디에 있는지 명확히 밝힐 수 있는지가 더 중요한 기준으로 떠오르고 있다.