엔비디아 추론 전용 칩 공개 예고... AI 판도 흔든다

학습 중심 전략에서 서비스 단계로 확장, 비용과 속도 경쟁 본격화

엔비디아가 인공지능 처리 방식을 겨냥한 새 프로세서를 공개할 계획이다. 이번 제품은 대규모 언어모델을 학습시키는 용도가 아니라, 학습이 끝난 모델이 실제 서비스에서 답을 생성하는 추론 단계에 초점을 맞췄다. 인공지능 산업의 무게가 연구 개발에서 상용 서비스로 이동하는 상황에서 나온 결정이다.

월스트리트저널 보도에 따르면 새 칩은 오픈에이아이(OpenAI) 같은 기업이 더 빠른 응답 속도를 구현하도록 설계됐다. 추론은 사용자가 질문을 입력한 뒤 답이 생성되기까지의 전 과정을 뜻한다. 이 단계에서는 지연 시간이 짧아야 하며 전력 사용량이 낮아야 한다. 서비스 운영 비용과 직결되기 때문이다. 기업 입장에서는 같은 시간에 더 많은 요청을 처리할 수 있어야 수익성이 개선된다.

엔비디아는 그동안 그래픽처리장치 GPU를 앞세워 학습 시장을 장악했다. GPU는 Graphics Processing Unit의 약자로 대규모 연산을 병렬로 처리하는 반도체다. 대형 모델을 훈련하는 과정에서 높은 성능을 보여 사실상 표준으로 자리 잡았다. 그러나 생성형 인공지능이 검색, 상담, 콘텐츠 제작 영역으로 확산되면서 경쟁의 초점이 달라졌다. 학습 성능만으로는 차별화를 유지하기 어려운 국면에 접어든 것이다.

업계는 이번 발표가 사업 구조 변화의 신호라고 본다. 학습용 반도체 판매에 머물지 않고, 실제 서비스 구간까지 영향력을 확대하려는 전략이라는 해석이다. 추론 전용 칩이 보급되면 데이터센터 구성 방식도 달라질 수 있다. 학습 클러스터와 서비스 클러스터가 구분되고, 각 목적에 맞는 반도체가 배치되는 구조가 확산될 가능성이 있다.

새 프로세서는 스타트업 그록(Groq)의 기술을 바탕으로 한 구조를 채택한 것으로 전해진다. 그록은 응답 지연을 줄이는 설계로 주목받아 왔다. 인공지능 모델이 입력을 한꺼번에 처리하는 프리필 단계와 한 토큰씩 결과를 생성하는 디코드 단계를 최적화하는 방식이다. 프리필은 사용자의 질문을 모델이 이해하는 과정이며, 디코드는 단어를 순차적으로 만들어내는 단계다. 이 두 구간의 효율이 개선되면 체감 속도가 달라진다.

오픈에이아이는 이번 칩의 유력한 고객으로 거론된다. 그동안 더 빠른 처리 기술을 확보하기 위해 여러 반도체 기업과 접촉해 왔다. 추론 비용은 대규모 서비스 운영에서 큰 부담이다. 하루 수억 건의 요청이 발생하는 환경에서는 미세한 전력 차이도 비용에 직접 반영된다. 엔비디아가 추론 전용 제품을 제시하면 장기 계약을 통해 고객을 묶어둘 수 있다.

빅테크 기업의 대응도 변수다. 구글은 자체 텐서처리장치 TPU를 발전시켜 왔다. 아마존은 클라우드 서비스에 특화된 반도체를 개발 중이다. 마이크로소프트 역시 맞춤형 칩 설계에 투자하고 있다. 각 기업이 자사 생태계에 맞는 하드웨어를 확보하려는 흐름 속에서 엔비디아의 선택은 시장 지형을 흔들 수 있다.

산호세에서 열릴 개발자 행사 GTC에서 구체적 사양이 공개될 가능성이 있다. 성능 수치, 전력 소비량, 가격 정책이 경쟁력을 가를 요소다. 추론 전용 칩이 데이터센터에 대규모로 도입되면, 인공지능 서비스의 응답 시간 단축이 가시화될 수 있다. 이는 사용자 경험 변화로 이어진다. 동시에 반도체 수급 구조에도 영향을 준다. 학습용 고가 GPU 수요가 조정되고, 추론용 제품이 새로운 매출 축으로 자리 잡을 가능성이 제기된다.

인공지능 경쟁은 소프트웨어를 넘어 하드웨어 단계로 확산됐다. 누가 더 빠르게 답을 내놓는지, 누가 더 낮은 비용으로 운영하는지가 기업 가치에 반영된다. 엔비디아의 새 칩은 이 경쟁의 방향을 가늠할 시험대에 오르게 된다.