AI를 많이 쓰라는 지표가 왜 불필요한 업무를 만들었나

토큰 소비 늘었지만 업무 성과는 별도 검증 필요 지표 설계의 허점 드러나

아마존이 직원들의 인공지능(AI) 활용도를 순위로 공개하던 내부 리더보드를 중단했다. 파이낸셜타임스 보도에 따르면 해당 시스템은 아마존의 AI 개발 도구인 키로(Kiro) 사용량을 기준으로 직원들의 순위를 매겼다. 일부 직원들은 순위를 높이기 위해 AI 에이전트에 불필요한 작업을 반복적으로 맡겼고, 그 결과 토큰 사용량이 크게 늘어났다. 토큰은 AI가 텍스트를 처리할 때 사용하는 데이터 단위다. 사용량 증가와 함께 컴퓨팅 비용도 상승했고, 결국 회사는 리더보드 운영을 중단했다.

표면적으로 보면 이번 사건은 직원들이 점수를 높이기 위해 시스템을 악용한 사례처럼 보인다. 그러나 더 중요한 쟁점은 개인의 행동이 아니라 평가 방식에 있다. 기업이 AI 활용 성과를 사용량 중심으로 측정할 경우 실제 업무 개선과 관계없는 행동도 보상받을 수 있기 때문이다.

키로는 단순한 대화형 AI가 아니다. 아마존웹서비스(AWS)는 키로를 개발 업무를 지원하는 에이전트형 코딩 서비스로 설명한다. 사용자가 입력한 요구사항을 코드, 문서, 테스트 작업으로 연결할 수 있으며 문서 작성, 단위 테스트 생성, 대규모 코드 작업을 지원한다. 개발자는 반복 작업을 줄일 수 있고 설계부터 검증까지 이어지는 업무 흐름을 단축할 가능성이 있다.

문제는 도구의 성능보다 평가 구조에 있었다. 리더보드가 공개되고 사용량이 경쟁 요소가 되는 순간 직원들의 관심은 자연스럽게 결과보다 수치에 집중될 수 있다. AI로 어떤 문제를 해결했는지보다 얼마나 많이 사용했는지가 더 눈에 띄는 지표가 되기 때문이다. 특히 에이전트형 AI는 사용자가 직접 모든 과정을 관리하지 않아도 장시간 작업을 수행할 수 있다. 이런 환경에서는 업무에 필요한 작업과 순위 상승을 위한 작업의 경계가 흐려질 수 있다.

이번 사례가 주목받는 이유는 비슷한 상황이 다른 기업에서도 발생할 수 있기 때문이다. 많은 기업이 AI 도입 성과를 확인하기 위해 다양한 수치를 추적한다. 도입률, 세션 수, 프롬프트 입력 횟수, 토큰 사용량은 수집이 쉽고 비교도 간단하다. 경영진 입장에서는 AI 전환이 얼마나 진행되고 있는지 빠르게 확인할 수 있는 자료가 된다.

하지만 측정이 쉽다는 이유만으로 가치 있는 지표가 되는 것은 아니다. 토큰 사용량은 비용을 설명하는 데는 도움이 되지만 생산성을 직접 증명하지는 못한다. AI가 개발 시간을 줄였는지, 오류를 감소시켰는지, 코드 품질을 높였는지, 배포 속도를 개선했는지는 별도의 검증이 필요하다. 사용량이 증가했다고 해서 성과가 함께 증가한다고 단정할 수는 없다.

이 문제는 오래전부터 알려진 경영 원칙과도 연결된다. 특정 지표가 목표가 되는 순간 그 지표는 측정 도구로서의 가치를 잃기 쉽다. 조직이 사용량 증가를 강조하면 직원들은 자연스럽게 사용량을 늘리는 방향으로 행동한다. 회사가 원한 것은 더 나은 결과물이었지만 실제로는 더 많은 토큰 소비만 발생할 수 있다. 숫자는 늘었지만 성과는 그대로인 상황이 만들어질 수 있다는 의미다.

비즈니스 인사이더 보도에 따르면 아마존은 AI 사용량 자체를 추적하는 정책을 중단한 것은 아니다. 비용 관리 목적의 모니터링은 계속 유지하고 있다. 다만 AI를 많이 사용하는 행동 자체를 경쟁 요소로 만들지 않겠다는 입장을 내놓았다. 이는 문제의 핵심이 추적이 아니라 활용 방식에 있다는 점을 보여준다.

기업이 AI 활용 성과를 평가하려면 질문의 방향부터 달라져야 한다. 직원이 AI를 얼마나 사용했는지가 아니라 AI가 어떤 문제를 줄였는지를 확인해야 한다. 개발 조직이라면 배포까지 걸리는 시간, 테스트 범위, 코드 리뷰 통과 비율, 버그 수정 속도, 장애 발생 빈도 같은 항목을 함께 살펴야 한다. 문서 작성 업무에서는 작성 시간 단축뿐 아니라 정확성 유지 여부와 검토 비용 감소 효과도 중요하다.

에이전트형 AI 평가도 같은 기준이 적용된다. 에이전트가 오랜 시간 동작했다고 해서 반드시 높은 가치가 발생한 것은 아니다. 고객 문제를 해결했는지, 실제 사용 가능한 결과물을 만들었는지, 검토 과정이 단순해졌는지 확인해야 한다. 만약 AI가 생성한 결과물을 사람이 다시 수정하는 데 더 많은 시간을 사용했다면 이는 생산성 향상보다 업무 이동에 가까운 현상이다.

이번 사례는 조직 문화 측면에서도 의미가 있다. 직원들은 대체로 조직이 주목하는 지표에 맞춰 행동한다. 순위가 공개되고 경쟁이 강조되는 환경에서는 수치 최적화가 자연스럽게 나타난다. 특히 AI 활용 능력이 성과 평가나 경력 관리와 연결된다고 인식되는 경우에는 더욱 그렇다. 직원 입장에서는 실제 생산성보다 AI를 잘 활용하는 사람으로 보이는 것이 더 중요한 목표가 될 수 있다.

그렇다고 해서 AI 코딩 도구의 효과를 부정할 수는 없다. 키로와 같은 도구는 테스트 생성, 문서화, 코드 설명, 초기 설계 정리, 단순 리팩터링 작업에서 시간 절약 효과를 제공할 수 있다. 반복 업무 감소는 개발자의 집중도를 높이고 업무 효율 향상에도 도움을 줄 수 있다. 다만 이런 효과는 사용량이 아니라 결과를 통해 검증해야 한다.

기업은 AI 관련 지표를 설계할 때 사용량, 산출물, 품질을 구분해 관리할 필요가 있다. 사용량 지표는 비용과 활용 현황을 파악하는 데 의미가 있다. 산출물 지표는 AI가 만든 결과물이 실제 업무 성과로 이어졌는지 확인하는 역할을 한다. 품질 지표는 오류 감소, 재작업 감소, 보안 위험 축소, 검토 시간 단축 같은 변화를 측정한다. 세 가지 영역이 함께 관리될 때 AI의 실제 효과를 파악할 수 있다.

아마존의 리더보드 중단은 AI 도입의 실패라기보다 성과 측정 방식의 한계를 보여준 사례로 해석된다. 기업은 AI 사용량을 늘리는 데 성공할 수 있다. 그러나 사용량 증가와 성과 향상은 같은 의미가 아니다. 앞으로 AI 경쟁에서 중요한 것은 얼마나 많은 토큰을 소비했는지가 아니라 실제 업무 문제를 얼마나 줄였는지에 대한 증명이다. 이번 사건은 AI 시대의 성과 평가가 어떤 방향으로 설계돼야 하는지 다시 묻고 있다.