구글(Google) TPU 8i Max 성능 2배, 새 칩이 아닌 이유

TPU 8i Max는 무엇이 2배가 됐나

구글은 9일(현지시간) 8세대 TPU 제품군에 TPU 8i Max와 TPU 8tx를 추가한다고 밝혔다. 이 가운데 8i Max는 기존 TPU 8i 칩 2개를 한 패키지에 결합한 시스템이다.

구글에 따르면 연산 성능, 칩 내부 메모리(SRAM) 용량, 고대역폭 메모리(HBM) 대역폭이 모두 기존 8i의 2배다. 칩을 둘 붙였으니 연산과 메모리가 함께 두 배로 늘어난 셈이다.

헤드라인의 '성능 2배'는 이 세 항목의 묶음이다. 연산 속도만 두 배가 된 것이 아니라 데이터를 담고 퍼 나르는 쪽도 같이 커졌다는 점이 이 제품의 설계 의도를 보여 준다.

새 칩이 아니라 4월 칩의 변형이라면 무엇이 달라지나

구글은 올해 4월 학습용 TPU 8t와 실시간 추론용 TPU 8i를 처음 내놓으며 TPU를 용도별로 갈랐다. 이번 두 제품은 그 칩을 묶거나 호스트만 바꿔 만든 변형이다.

칩 설계를 새로 하지 않고 패키징과 조합으로 제품군을 넓혔다. 신칩이 나왔다는 인상으로 읽으면 기대치가 과하게 잡힌다. 같은 설계를 두 개 붙인 결과라서 2배라는 숫자가 나온 것이다.

이 숫자가 8i 한 개와 비교한 것인지, 같은 조건에서 처리량이나 응답 속도로 재었는지는 공개된 내용만으로 알 수 없다. 비용 효과를 따지려면 이 비교 조건이 먼저 필요하다.

AI 에이전트 작업은 왜 연산보다 메모리가 먼저 막히나

여러 AI 에이전트가 소프트웨어 전체 소스 코드나 수 시간 분량의 영상을 함께 분석하는 장면을 떠올려 보자. 계산할 양도 많지만, 그 데이터를 메모리에서 읽어 오는 속도가 처리 성능을 좌우한다.

계산기가 아무리 빨라도 재료가 늦게 도착하면 놀게 된다. 8i Max가 연산과 함께 SRAM 용량, HBM 대역폭을 같이 키운 이유가 여기에 있다. 구글은 이런 작업에서 한 번에 대량의 데이터를 처리하도록 설계했다고 설명한다.

그래서 이 제품의 가치는 연산 수치보다 메모리 쪽 개선이 실제 서비스에서 어디까지 먹히느냐로 갈린다. 칩 성능표가 아니라 대용량 입력을 다루는 에이전트 서비스의 응답 속도에서 확인될 문제다.

같은 랙에 더 많은 연산을 담으면 돈은 어디서 달라지나

데이터센터에서는 기존 서버 랙과 같은 공간에 더 많은 연산 자원을 배치할 수 있다. 랙과 전력은 AI 인프라의 병목으로 꼽히기 때문에 이 문구가 연산 수치보다 비용에 직접 닿는다.

TPU가 돈이 되는 길은 하나가 아니다. 구글 안에서 쓰고, 클라우드로 빌려주고, 2025년 앤스로픽 계약에서는 첫 40만 개를 임대가 아니라 브로드컴이 랙째 직접 파는 구조였다.

업계 추정으로는 그 40만 개가 약 100억 달러 규모다. 공식 공시는 아니다. 칩 마진의 상당 부분이 구글이 아니라 공동 설계사로 흘러갈 수 있다는 점은 TPU 수혜를 읽을 때 기억할 구조다.

4월에는 8t와 8i를 선별 고객의 자체 시설에 설치하는 용도로 판다는 보도도 나왔다. 랙당 연산이 늘면 임대든 판매든 같은 공간에서 받을 수 있는 매출 한도가 달라진다.

TPU 8tx는 왜 AMD CPU를 골랐나

함께 공개한 TPU 8tx는 학습용 8t와 같은 칩에 맞춤형 AMD CPU를 조합한 시스템이다. 하드웨어 수준에서 민감한 데이터와 모델 가중치를 격리해 처리 중에도 보호한다.

금융사나 정부 기관은 민감한 데이터를 별도 서버로 옮기지 않고 이 시스템에서 AI 모델을 미세 조정하고 추론에 쓸 수 있다. 구글이 금융사를 겨냥했다는 점이 드러난다. 저지연 네트워크로 지연 시간은 8t보다 최대 절반 줄였다고 한다.

4월 발표 때 8t와 8i는 구글의 Arm 기반 Axion CPU와 짝을 이뤘다고 알려졌다. 보안 격리 버전만 AMD CPU를 택한 셈이다. 기밀 컴퓨팅 기능을 AMD 쪽 기술로 풀려는 선택으로 보이며, 구글이 밝힌 이유는 아니라서 우리 추정이다.

진입장벽도 낮췄다. 구글이 지난달 오픈소스로 공개한 토치TPU로 기존 파이토치 코드를 수정하지 않고 TPU에서 실행할 수 있다. 엔비디아 중심 개발 습관에서 옮겨 오는 부담을 줄이려는 작업이다.

국내 보유자에게 달라지는 것은 무엇인가

구글은 TPU를 쓰는 외부 고객이 AI 연구기관, 금융사, 유통업체, 대학 등 100곳에 육박한다고 밝혔다. AI 칩 수요가 GPU 한 축만이 아니라는 점은 확인되는 사실이다.

국내 종목과의 직접 연결은 제한적이다. 설계와 랙 판매에서는 브로드컴, 8i 설계로 보도된 미디어텍이 거론된다. HBM 대역폭을 두 배로 키운 만큼 HBM 공급사도 관심사지만, 8i Max에 어느 업체가 납품하는지는 확인되지 않았다.

결국 이번 발표는 새 칩의 등장이 아니라 같은 칩을 묶어 메모리와 랙 효율을 키운 제품 확장이다. 성능 2배가 비용 절감인지는 비교 조건, 출하 시점, 가격이 나와야 판가름 난다.