라벨 데이터를 만드는 과정, 데이터 라벨링

정답 데이터셋 구축 절차 속 정확도와 기준 관리 필요성 커져

인공지능 성능 경쟁이 치열해지면서 학습 데이터의 품질 문제가 다시 주목받고 있다. 인공지능 모델의 성능은 알고리즘보다 데이터에 더 크게 좌우된다는 분석이 이어지면서 데이터 라벨링 작업의 중요성이 커졌다. 데이터 라벨링은 원시 데이터에 의미 있는 태그를 붙여 인공지능이 학습할 수 있는 정답 데이터셋을 만드는 절차다. 단순한 태그 작업으로 보이지만 실제 현장에서는 여러 단계의 체계적인 과정이 요구된다.

첫 단계는 데이터 수집이다. 학습에 사용할 원시 데이터를 확보하는 과정이다. 데이터는 이미지, 텍스트, 음성, 영상 등 다양한 형태로 존재한다. 수집 방식도 여러 갈래로 나뉜다. 웹 크롤링을 통해 인터넷 자료를 모으거나 공개 데이터셋을 활용하기도 한다. 센서 장치를 통해 직접 데이터를 얻는 경우도 있다. 이 단계에서 데이터 양과 다양성은 모델 학습 결과에 큰 영향을 준다. 특정 환경에 치우친 데이터만 모일 경우 모델이 다른 상황에서 제대로 작동하지 않는 문제가 발생한다.

두 번째 단계는 데이터 준비와 전처리다. 수집된 데이터는 바로 사용하기 어려운 경우가 많다. 중복 파일이 존재하거나 형식이 제각각인 경우가 많기 때문이다. 이 단계에서는 데이터 구조를 정리한다. 파일 형식을 통일한다. 손상된 데이터나 노이즈 데이터도 제거한다. 노이즈 데이터는 학습에 방해가 되는 오류 데이터나 불필요한 정보를 의미한다. 전처리 과정이 부족하면 이후 라벨링 작업의 정확도가 낮아질 수 있다.

세 번째 단계는 라벨 정의와 기준 설정이다. 어떤 방식으로 라벨을 붙일지 규칙을 만드는 과정이다. 인공지능 모델이 무엇을 구분해야 하는지 먼저 정해야 한다. 이미지 분류 작업에서는 객체 종류를 기준으로 클래스를 정의한다. 클래스는 데이터를 구분하는 범주를 의미한다. 예를 들어 고양이, 개, 자동차 같은 항목이 클래스가 된다. 텍스트 분석에서는 문장의 감정을 분류하는 기준이 사용된다. 긍정, 부정, 중립 같은 감정 라벨이 대표적이다. 이 단계에서 기준이 모호하면 서로 다른 작업자가 서로 다른 판단을 내릴 가능성이 커진다.

네 번째 단계는 실제 데이터 라벨링 작업이다. 작업자는 데이터를 확인한 뒤 정해진 기준에 따라 라벨을 부여한다. 이미지 데이터에서는 특정 객체 위치를 표시하기도 한다. 이를 바운딩 박스라고 부른다. 바운딩 박스는 사각형 형태로 객체 영역을 표시하는 방법이다. 텍스트 데이터에서는 문장의 감정이나 의도를 태그로 표시한다. 일부 환경에서는 인공지능 도구가 라벨을 자동으로 제안하기도 한다. 작업자는 제안된 결과를 검토해 수정하거나 확정한다. 이를 반자동 라벨링 방식이라고 부른다. 이 방식은 작업 시간을 줄이는 역할을 한다.

다섯 번째 단계는 검토와 품질 관리다. 라벨링 데이터에는 오류가 포함될 수 있다. 사람의 판단이 개입되기 때문이다. 이 때문에 검증 절차가 필요하다. 여러 작업자가 동일 데이터를 라벨링한 뒤 결과를 비교하는 방식이 사용된다. 전문가가 다시 검토하는 방식도 존재한다. 이 단계는 품질 관리, 즉 QA로 불린다. QA는 Quality Assurance의 약어다. 데이터 라벨 정확도는 모델 성능과 직접 연결된다. 잘못된 라벨이 많으면 모델이 잘못된 패턴을 학습할 가능성이 높다.

여섯 번째 단계는 데이터셋 정리와 모델 학습 준비다. 검증을 마친 데이터는 학습 데이터셋으로 구성된다. 데이터셋은 인공지능이 학습에 사용하는 데이터 모음을 의미한다. 데이터셋은 보통 학습용 데이터와 평가용 데이터로 나뉜다. 학습용 데이터는 모델 훈련에 사용된다. 평가용 데이터는 모델 성능을 확인하는 데 사용된다.

모델 학습 이후에도 데이터 작업은 계속 이어진다. 모델 성능 분석 결과에 따라 데이터 라벨을 수정하는 경우도 있다. 부족한 데이터 유형을 추가로 수집하기도 한다. 이 과정은 반복 구조로 진행된다. 데이터 품질을 개선하는 작업이 이어지면서 모델 성능도 함께 변화한다.

최근 인공지능 산업에서는 데이터 중심 접근 방식이 강조되고 있다. 데이터 중심 접근 방식은 알고리즘보다 데이터 품질 개선에 집중하는 개발 방법을 의미한다. 많은 기업이 대규모 모델 개발에 투자하면서 데이터 라벨링 시장도 함께 확대되고 있다. 다만 대량 데이터 작업에서 품질 관리가 어려워지는 문제도 동시에 제기된다. 라벨 기준의 일관성 확보와 검증 체계 구축이 중요한 과제로 남아 있다.