인공지능(AI) 경쟁의 무게중심이 ‘학습’에서 ‘추론’으로 빠르게 이동하고 있다. 더 많은 데이터를 더 큰 모델에 가르치는 ‘학습’의 시대는 지났고 우리 요구에 얼마나 빠르고 정확하게 답을 내놓느냐의 ‘추론’의 시대가 온 것이다.

젠슨 황 엔비디아 최고경영자(CEO)가 최근 차세대 플랫폼 베라루빈에 추론 전용 기술(그록 LPX)을 전격 편입하며 ‘AI 추론의 변곡점’을 선언한 것은 이러한 변화를 상징적으로 보여준다.

글로벌 AI 추론 반도체 시장은 2030년까지 연평균 30% 이상의 고성장이 전망되지만 아직 시장을 지배하는 절대 강자가 없다. 이는 이미 독자적 신경망처리장치(NPU) 기술력과 시스템 역량을 갖춰온 우리 기업에 기회가 될 수 있다.

이 새로운 전장에서의 승부는 이제 칩 하나가 아니라 서버와 데이터센터·네트워크를 아우르는 인프라 시스템 전체의 경쟁력에서 갈린다. 추론 시대는 단순한 연산 성능이 아니라 해당 분야 ‘특화 능력’ ‘전력효율’과 ‘저지연’에 있기 때문이다.

기존의 그래픽처리장치(GPU)가 대규모 병렬 연산에 강점을 가졌다면 우리 기업들이 주력하는 NPU는 AI가 보고 듣고 판단하는 신경망 연산에 특화된 설계 덕분에 동일 전력 대비 추론 처리량이 훨씬 높다.

그래서 GPU는 학습, NPU는 실시간 답변 생성으로 역할이 분리되는 흐름도 굳어지고 있다. 여기에 칩 간 데이터 이동을 최적화하는 컴퓨트익스프레스링크(CXL)와 서버 간 데이터 이동 및 보안을 지능적으로 처리하는 데이터처리장치(DPU)가 결합할 때 비로소 강력한 AI 추론 인프라의 토대가 완성된다.

추론 시장은 이제 거대 데이터센터를 넘어 우리 일상 속 ‘온디바이스 단말기’로 확장하고 있다. 특히 로봇, AI 제조, 자율주행 등 현실 세계와 맞닿는 이른바 ‘피지컬 AI’ 수요가 급증하면서 현장에서 즉각 판단을 내리는 AI 반도체의 역할이 더 중요해졌다.

다행히 우리 기업들은 의미 있는 성과를 내고 있다. 리벨리온과 퓨리오사AI는 국내외 데이터센터 시장에 진출하고 있으며 딥엑스와 모빌린트는 에지 영역에서 유니콘 기업에 성큼 다가서고 있다.

하지만 몇몇 기업의 선전으로 산업을 일구기는 어렵다. NPU의 스케일업과 CXL과 DPU의 고도화, 이들을 연계한 대규모 테스트베드와 개방형 시스템 소프트웨어를 관통하는 ‘풀스택 최적화’ 개발 전략을 병행해야 한다.

그리고 실제 환경에서 실증 기반을 다지고 공공 수요와도 연계할 수 있도록 지원해야 한다. 정부도 AI 반도체 산업 전략으로 시동을 걸었다. 이 모멘텀을 현장의 성과로 이어가는 실행력이 관건이다.

추론 시대의 AI 반도체는 국가전략 자산이자 안보의 영역이다. AI 추론은 제조·금융·의료·교통 등 산업 및 서비스와 직접 맞닿아 있다.

공급망 교란이나 기술 통제가 곧바로 산업 현장의 혼란으로 이어질 수 있는 만큼 이를 해외 플랫폼에만 의존하는 것은 위험하다. 핵심 추론 인프라의 자립 없이는 AI 주권을 온전히 지켜낼 수 없다.

굳건한 AI 반도체 생태계 위에 우리의 AI 모델, 네트워크 역량이 결합한 ‘종합 경쟁력’을 갖출 때 대한민국은 AI 추론 시대의 추격자가 아닌 선도자로 설 수 있을 것이다.

<홍진배 정보통신기획평가원장>