일론 머스크(Elon Musk) 스페이스X(SpaceX) 최고경영자는 AI 인프라의 병목 현상이 그래픽처리장치(GPU)의 연산 성능에서 메모리 공급으로 이동하고 있다는 점을 다시 한 번 강조했다. AI 에이전트가 장시간 동안 작업을 수행할 경우, 과거의 문맥과 작업 기록을 저장하고 다시 불러와야 하기 때문에 고대역폭메모리(HBM)와 낸드(NAND)의 수요가 크게 증가할 수 있다는 분석이 뒤따랐다.

피터 H. 디아만디스(Peter H. Diamandis) 엑스프라이즈(XPRIZE) 창립자가 소셜 미디어 플랫폼 엑스(X)에 올린 글에 대해 머스크는 "이를 아는 사람이 거의 없다"는 반응을 보였다. 디아만디스는 AI 에이전트 시대의 실제 속도 제한 요소가 계산 능력이 아니라 메모리라는 점을 지적했다. 이는 AI 메모리 수요가 연 200% 이상 증가할 수 있다는 기존의 진단과 연결된다.

머스크는 스페이스X의 2분기 실적 발표에서 메모리 생산 증가율이 연 20%에 불과한 반면 수요는 연 200%가 넘을 수 있다고 강조했다. 이는 AI 데이터센터 증설 경쟁에서 GPU만큼 메모리 공급이 중요하다는 점을 시사하며, AI 모델의 규모와 추론 사용량 증가로 인해 연산 장치뿐 아니라 문맥을 저장할 수 있는 저장 장치의 병목 현상도 커지고 있다는 것을 의미하다.

주요 기술적 쟁점은 'KV 캐시'로, 대형언어모델은 입력 토큰을 처리하는 과정에서 문맥 관계를 담고 있는 키·값 데이터를 생성하여 이를 메모리에 저장한다. 이 데이터가 필수적이며, 모델이 이전 문맥을 한 번에 처음부터 다시 계산하지 않고 이어서 처리하는 데 크게 기여한다. 대화형 챗봇은 대화의 단위가 짧은 반면, AI 에이전트는 여러 단계에서 코딩, 검색, 분석 작업을 이어가며 과거의 판단과 작업 기록을 다시 불러와야 한다. 이러한 과정에서 저장해야 할 문맥이 증가하면서 GPU 내부의 HBM만으로는 처리가 어려워지게 된다.

엔비디아(NVIDIA)는 올해 CES에서 Inference Context Memory Storage Platform을 발표하며, KV 캐시를 GPU HBM, 시스템 메모리, SSD, 공유 스토리지 계층에 나눠 배치할 경우 장문맥 및 에이전트형 추론에서 초당 토큰 처리량과 전력 효율을 최대 5배까지 증가시킬 수 있다고 밝혔다. 이는 AI 반도체 경쟁의 초점을 더욱 확장시키며, GPU의 연산 성능뿐만 아니라 에이전트형 추론에서는 문맥 저장과 빠른 접근이 비용과 처리량에 큰 영향을 미친다는 점을 부각한다.

마이크로소프트가 AI 추론 가속기인 마이아 200의 비용 효율성을 강조하는 흐름 역시 이러한 문제와 관련이 있다. 특히 생성형 AI 서비스는 학습보다 추론 단계에서 반복적인 비용이 더 크기 때문에 처리량과 전력 효율 개선이 운영비에 직접적인 영향을 미친다.

트렌드포스(TrendForce)는 2026년 낸드 시장이 AI 수요 증가와 증설의 제한으로 공급 부족 상태에 이를 것이라고 전망하며, 서버가 전체 낸드 비트 수요의 40%를 차지하고 있다고 밝혔다. 이들은 공급 제약이 2027년 하반기부터 완화될 것으로 예상하며, AI 인프라의 확장은 단기 수요뿐 아니라 메모리 업체의 증설 속도와 장기 공급 계약 조건에 영향을 미치는 중요한 사안임을 시사한다.

한국 시장에서는 삼성전자와 SK하이닉스의 HBM 및 낸드 공급 전략이 긴밀하게 연계되고 있다. SK하이닉스는 AI 인프라 투자 확대와 타이트한 공급 환경으로 증가하는 수요를 반영하고 있다고 관계자들이 전했다. 그러나 메모리 산업의 수익 전망은 단순한 수요 증가에 의해 결정되지 않으며, 장기공급계약 가격, 중국 업체의 증설, 데이터센터 투자 속도에 따라 공급 부족의 강도와 수익성은 달라질 수 있다.

AI 에이전트의 확산은 반도체 수요의 초점을 GPU에서 메모리와 스토리지 계층으로 확대하고 있으며, 머스크의 의견은 AI 인프라 투자에서 메모리 병목 문제를 다시 한 번 확인시켜주는 중요한 신호로 해석된다고 볼 수 있다.