라벨 데이터가 인공지능에서 중요한 이유

정답이 없는 데이터 학습의 한계와 라벨 데이터 확보 경쟁

인공지능 산업에서 데이터의 양만큼이나 라벨 데이터의 존재가 큰 영향을 미친다. 데이터는 많지만 정답 정보가 없는 경우 모델은 의미를 이해하지 못한다. 이 문제는 인공지능 성능을 제한하는 요소로 자주 지적된다. 기업과 연구 기관이 라벨 데이터 확보에 투자하는 이유도 여기에 있다.

라벨 데이터는 데이터에 정답 정보를 붙여 놓은 형태다. 이미지에 고양이라는 표시가 붙어 있다면 모델은 해당 이미지가 어떤 대상인지 학습할 수 있다. 전자메일에 스팸이라는 표시가 있다면 스팸 특징을 찾을 수 있다. 이러한 표시가 없으면 컴퓨터는 단순한 숫자 배열만 보게 된다. 의미 없는 정보 묶음이 된다.

지도 학습은 라벨 데이터에 의존하는 대표적인 학습 방식이다. 지도 학습은 영어로 supervised learning이라고 부른다. supervised는 감독된 상태를 뜻한다. 이 방식에서는 입력 데이터와 함께 정답이 제공된다. 알고리즘은 입력 값과 정답 사이의 관계를 반복적으로 계산한다. 학습 과정이 반복될수록 예측 정확도가 올라간다. 정답이 없는 데이터에서는 이런 과정이 성립하기 어렵다.

라벨 데이터의 품질 문제도 산업에서 자주 논의된다. 라벨이 정확하면 모델은 올바른 패턴을 학습한다. 라벨이 틀리면 모델은 잘못된 규칙을 학습한다. 작은 오류도 학습 과정에서 반복되며 확대된다. 이미지 분류 모델이 고양이를 개로 인식하는 사례는 잘못된 라벨에서 시작되는 경우가 있다. 데이터 검수 과정이 강조되는 이유다.

라벨 데이터는 다양한 분야에서 인공지능을 작동하게 만드는 기반이다. 이미지 인식 기술은 사진 속 대상 이름이 표시된 데이터가 필요하다. 음성 인식 기술은 음성과 문자 기록이 연결된 데이터가 필요하다. 감정 분석 기술은 문장의 감정 상태가 표시된 데이터가 필요하다. 이런 데이터가 축적될수록 모델은 패턴을 더 정확히 이해한다.

데이터 규모가 커질수록 라벨링 작업의 부담도 커진다. 수백만 장 이미지에 라벨을 붙이는 작업은 많은 인력이 필요하다. 이 과정에서 데이터 라벨링 산업이 등장했다. 전문 작업자가 이미지 객체를 표시한다. 음성 파일을 문자로 기록한다. 텍스트의 의미를 분류한다. 데이터 산업에서 라벨링 작업은 필수 단계가 되었다.

자동화 기술도 등장하고 있다. 일부 기업은 인공지능을 이용해 초기 라벨을 생성한다. 이후 사람이 검토하는 방식이다. 반자동 라벨링 방식은 시간 비용을 줄이는 방법으로 연구가 진행된다. 데이터 규모가 계속 커지면서 이런 방법의 필요성이 커지고 있다.

라벨 데이터 확보 경쟁은 인공지능 기술 경쟁으로 이어진다. 같은 알고리즘을 사용해도 학습 데이터 품질에 따라 결과가 달라진다. 기업이 데이터 구축에 많은 비용을 쓰는 이유도 여기에 있다. 검색 서비스, 추천 시스템, 자율주행 기술, 음성 인식 서비스 모두 라벨 데이터 축적 정도에 따라 성능 차이가 나타난다.