인공지능 성능을 가르는 학습과 추론의 차이

데이터로 모델을 만드는 단계와 결과를 계산하는 단계의 차이

인공지능 기술이 다양한 서비스에 적용되면서 모델이 어떻게 만들어지고 어떻게 사용되는지에 대한 관심이 높아졌다. 많은 사람은 인공지능이 단순히 데이터를 입력하면 결과를 내는 기술이라고 생각한다. 실제 구조는 두 단계로 나뉜다. 하나는 학습이다. 다른 하나는 추론이다. 두 과정은 목적이 다르다. 계산 방식도 다르다. 인공지능 시스템의 성능은 이 두 단계의 설계에 따라 크게 달라진다.

학습은 인공지능 모델이 데이터를 통해 규칙을 배우는 과정이다. 모델은 처음에 아무 지식도 없는 상태에서 시작한다. 대량의 데이터를 입력받는다. 데이터에는 입력 값과 정답이 함께 포함되는 경우가 많다. 이런 데이터를 라벨 데이터라고 부른다. 라벨은 데이터의 정답 정보를 의미한다. 모델은 입력과 정답 사이의 관계를 반복 계산으로 분석한다. 계산 과정에서 가중치라는 값이 계속 수정된다. 가중치는 모델이 어떤 정보를 얼마나 중요하게 보는지 결정하는 수치다.

학습 과정에서는 오차 계산이 반복된다. 모델이 예측한 값이 정답과 얼마나 다른지 측정한다. 이 차이를 줄이기 위해 역전파라는 알고리즘이 사용된다. 역전파는 영어로 backpropagation이라고 부른다. 모델의 출력에서 시작해 계산 흐름을 거꾸로 따라가며 가중치를 수정하는 방식이다. 이런 반복 과정은 수천 번에서 수백만 번까지 이어질 수 있다. 이 반복을 거치면서 모델의 예측 정확도는 점차 올라간다.

학습은 많은 계산 자원을 요구한다. 순방향 계산이 먼저 이루어진다. 입력 데이터가 모델을 통과하며 결과를 만든다. 이후 역방향 계산이 이어진다. 오차 정보를 바탕으로 가중치를 다시 조정한다. 이 과정 때문에 그래픽처리장치 GPU나 인공지능 가속 칩이 사용된다. GPU는 Graphics Processing Unit의 약어다. 대량 계산을 동시에 처리할 수 있는 장치다. 학습 시간은 데이터 규모에 따라 크게 달라진다. 짧게는 몇 시간이다. 길게는 수 주가 걸리기도 한다.

추론은 학습이 끝난 모델을 실제 환경에서 사용하는 단계다. 이미 가중치가 결정된 상태다. 새로운 데이터를 입력하면 모델은 계산을 통해 결과를 만든다. 이 과정에서는 역전파가 필요 없다. 순방향 계산만 수행된다. 계산 구조가 단순하다. 처리 속도는 학습보다 훨씬 빠르다.

추론 단계에서 입력되는 데이터는 모델이 처음 보는 정보다. 모델은 학습 과정에서 얻은 패턴을 기반으로 결과를 판단한다. 예를 들어 이메일 분류 모델을 생각할 수 있다. 모델은 메일 내용을 분석한다. 이후 스팸 여부를 예측한다. 사용자가 실제로 접하는 인공지능 서비스는 대부분 이 추론 단계에서 작동한다. 음성 인식 시스템도 같은 구조다. 사용자의 음성을 입력받는다. 모델이 단어를 계산해 결과를 반환한다.

학습과 추론 사이에는 환경 차이도 존재한다. 학습은 연구 단계에 가깝다. 데이터 수집이 필요하다. 모델 구조 설계가 필요하다. 실험이 반복된다. 반면 추론은 서비스 단계다. 응답 속도가 중요하다. 사용자는 결과를 즉시 받기를 기대한다. 이런 요구 때문에 추론 시스템은 지연 시간을 최소화하도록 설계된다.

최근 인공지능 산업에서는 추론 효율 문제가 새로운 과제로 떠올랐다. 대형 언어 모델은 높은 성능을 보여준다. 대신 계산 비용이 증가한다. 서비스 운영 비용이 커진다. 기업은 모델 압축 기술을 연구한다. 모델 크기를 줄이는 방식이다. 양자화 기술도 사용된다. 양자화는 계산에 사용하는 숫자 정밀도를 낮춰 연산량을 줄이는 방법이다. 이런 기술은 추론 속도 개선에 도움을 준다.

학습과 추론은 분리된 단계다. 두 과정은 하나의 흐름 안에서 연결된다. 학습이 모델의 능력을 만든다. 추론은 그 능력을 실제 문제 해결에 사용한다. 인공지능 기술의 경쟁은 두 영역에서 동시에 진행되고 있다. 더 정확한 학습 방법을 찾는 연구가 이어진다. 더 빠른 추론 구조를 설계하려는 시도도 계속된다. 이 두 과정의 발전 속도는 인공지능 산업의 방향에 직접 영향을 준다.