NPU가 등장하게 된 배경은 무엇일까?

딥러닝 확산과 모바일 AI 수요 증가가 전용 연산 반도체 개발 촉진

컴퓨터 구조는 오랜 기간 중앙처리장치(CPU)를 중심으로 설계됐다. CPU는 다양한 프로그램을 실행할 수 있는 범용 프로세서다. 운영체제 실행, 문서 작업, 웹 브라우저 동작 같은 여러 작업을 처리하도록 설계됐다. 이 구조는 일반 계산 환경에서는 문제없이 작동했다. 그러나 인공지능 기술이 빠르게 확산되면서 상황이 달라졌다. 기존 프로세서 구조는 새로운 연산 요구를 충분히 감당하기 어려운 모습을 보였다.

변화의 출발점은 딥러닝의 확산이다. 딥러닝은 인공신경망 구조를 활용해 데이터를 학습하는 인공지능 기술이다. 2010년대 이후 이미지 인식, 음성 인식, 자연어 처리 분야에서 성능이 급격히 상승했다. 자연어 처리는 사람이 사용하는 언어를 컴퓨터가 이해하도록 만드는 기술이다. 이러한 기술 발전은 인공지능 모델의 규모 확대를 불러왔다. 모델 내부에는 수많은 파라미터가 존재한다. 파라미터는 학습 과정에서 조정되는 숫자 값이다. 모델이 커질수록 계산량도 빠르게 늘어났다.

이 과정에서 반복적인 수학 계산이 대량으로 발생했다. 딥러닝 모델은 입력 데이터와 가중치 사이의 연산을 지속적으로 수행한다. 가중치는 모델이 학습을 통해 얻은 값이다. 연산의 대부분은 행렬 계산 형태로 이루어진다. 행렬은 숫자가 격자 형태로 배열된 구조다. 벡터는 일렬로 나열된 숫자 집합이다. 인공지능 계산은 이러한 행렬과 벡터 연산을 반복한다. 문제는 이러한 연산이 순차 처리 방식의 CPU 구조와 맞지 않는다는 점이었다. CPU는 다양한 작업을 처리하도록 설계됐다. 대신 특정 계산을 대량으로 처리하는 상황에서는 효율이 떨어질 수 있다.

이 문제를 보완하기 위해 그래픽처리장치(GPU)가 활용되기 시작했다. GPU는 Graphics Processing Unit의 약자다. 원래 목적은 화면 그래픽 계산이다. 게임 화면이나 3차원 그래픽을 처리하기 위해 수많은 연산을 동시에 수행하도록 설계됐다. 이 구조는 딥러닝 계산과 유사한 특징을 보였다. 연구자들은 GPU를 이용해 인공지능 모델을 학습하기 시작했다. GPU 기반 연구가 늘어나면서 인공지능 계산을 위한 전용 하드웨어 필요성이 산업 전반에 퍼졌다.

그러나 GPU에도 한계가 존재했다. 높은 성능을 제공하지만 전력 소비가 크다. 데이터센터 환경에서는 전력 비용이 중요한 문제가 된다. 모바일 기기에서는 상황이 더 까다롭다. 스마트폰이나 노트북은 배터리를 사용한다. 전력 소모가 커지면 사용 시간이 줄어든다. 인공지능 기능을 계속 실행하면 발열 문제도 발생한다. 이러한 이유로 전력 효율이 높은 인공지능 전용 프로세서 요구가 커졌다.

모바일 기기에서 인공지능 기능이 빠르게 늘어난 점도 변화를 촉진했다. 스마트폰 카메라는 장면을 분석해 촬영 설정을 자동으로 조정한다. 얼굴 인식 잠금 해제 기능도 널리 사용된다. 음성 비서는 사용자의 질문을 분석해 답을 제공한다. 실시간 번역 기능도 확산됐다. 이러한 기능은 모두 인공지능 연산을 필요로 한다. 기기 내부에서 빠르게 처리되지 않으면 사용자 경험이 떨어진다.

네트워크 의존 문제도 영향을 미쳤다. 과거 인공지능 기능은 서버에서 처리되는 경우가 많았다. 데이터를 인터넷을 통해 전송한 뒤 결과를 받는 방식이다. 이 방식은 지연 시간이 발생한다. 통신 환경이 불안정하면 서비스 품질이 낮아진다. 개인정보 보호 문제도 제기됐다. 사용자 데이터가 외부 서버로 전달되기 때문이다. 이러한 문제를 해결하기 위해 기기 내부에서 인공지능 계산을 수행하는 온디바이스 AI 방식이 확산됐다. 온디바이스 AI는 스마트폰, 노트북 같은 장치 안에서 인공지능 연산을 처리하는 구조다.

온디바이스 AI 확산은 새로운 반도체 설계를 요구했다. 기기 내부에서 빠른 연산을 수행해야 한다. 동시에 전력 소비는 낮아야 한다. 이러한 요구 조건은 범용 프로세서로 충족하기 어려웠다. 이 지점에서 신경망처리장치(NPU)가 등장했다. NPU는 Neural Processing Unit의 약자다. 인공신경망 연산을 효율적으로 처리하도록 설계된 프로세서다.

NPU는 행렬 계산을 빠르게 처리하도록 구조가 설계된다. 같은 연산을 동시에 수행하는 병렬 구조가 활용된다. 불필요한 제어 기능을 줄여 연산 효율을 높인다. 이 구조는 전력 사용량을 낮추는 효과도 만든다. 같은 작업을 CPU나 GPU보다 적은 에너지로 수행할 수 있다.

반도체 설계 기술 발전도 NPU 확산을 가능하게 했다. 하나의 칩 안에 여러 연산 장치를 배치하는 방식이 널리 사용되기 시작했다. 스마트폰 시스템온칩(SoC)은 CPU, GPU, NPU를 함께 포함한다. 시스템온칩은 여러 기능을 하나의 반도체에 통합한 구조다. 각 프로세서는 서로 다른 역할을 맡는다. CPU는 일반 작업을 담당한다. GPU는 그래픽 연산을 처리한다. NPU는 인공지능 계산을 전담한다.

이러한 구조는 컴퓨팅 환경 변화를 반영한다. 인공지능 기능이 다양한 기기에서 기본 기능으로 자리 잡고 있다. 사진 촬영, 음성 인식, 번역, 추천 시스템 같은 서비스가 기기 내부에서 작동한다. 그 결과 인공지능 연산을 위한 전용 반도체 중요성이 빠르게 상승했다. NPU는 이러한 변화 속에서 등장한 연산 장치다. 컴퓨팅 구조는 인공지능 중심 환경에 맞춰 재편되고 있다.