메타 AI 연구팀, 대형언어모델 학습 비용 예측법에 대한 새 모델 제안

메타($META)의 AI 연구 팀인 FAIR는 대형언어모델(LLM) 학습의 효율성을 높이기 위해 기존의 친칠라(Chinchilla) 스케일링 법칙의 한계를 지적하고 새로운 보정 모델인 'Skaling'을 제안했다. 이 연구는 모델 크기와 학습 데이터가 손실값에 독립적으로 작용한다는 기존 가정이 특정한 조건에서는 오차를 유발할 수 있다고 주장했다.

논문에서 언급된 '10배 적은 컴퓨트'는 전체 학습 비용이 아닌, 스케일링 법칙을 추정하기 위한 실험 비용의 절감을 의미한다. 마튀랭 비도(Mathurin Videau), 바드르 유비이드리시(Badr Youbi-Idrissi), 데이비드 로페스파스(David Lopez-Paz), 카르틱 아후자(Kartik Ahuja) 연구진은 'Skaling: Chinchilla’s Exponents Meet Kaplan’s Coupling'이라는 제목의 논문을 통해 이러한 주장을 담았다. 이 논문은 2026년 8월 7일에 제출되었고, PDF 메타데이터에는 2026년 8월 10일로 기록되어 있다.

친칠라 법칙은 고정된 계산 예산 내에서 모델 크기와 학습 토큰 수를 균형 있게 늘려야 효율적이라고 알려져 있다. 과거 구글 딥마인드는 700억 파라미터 모델이 2800억 파라미터 모델인 고퍼(Gopher)보다 같은 컴퓨트에서 더 나은 성능을 보여주었다고 주장하며, 그 결과 '파라미터당 약 20토큰'이라는 경험칙이 세워졌다.

이러한 연구를 기반으로 한 Skaling 법칙은 모델 크기 N과 학습 토큰 D가 독립적으로 작용하는 것이 아니라, 두 변수가 손실 곡면에서 함께 작용하는 효과를 반영하여 예측 오차를 줄이는 데 기여하고자 한다. 연구진은 Skaling이 시험한 구성의 76%에서 친칠라보다 더 높은 정확도를 보였으며, 중앙값 기준으로 오차 개선 폭은 2.2배에 이른다고 밝혔다. 평균절대백분율오차(MAPE)은 특정 실험 조건에 따라 1.5배에서 3배까지 개선되었다.

가장 주목할 부분은 '10배'이며, 연구진은 저비용 구간만을 분석하는 'L자형' 프로파일링 그리드를 통해 전체 격자를 균일하게 분석하는 전통적인 방법보다 약 10배 적은 컴퓨트를 사용하여 비슷한 예측 정확도를 얻을 수 있다고 설명했다. 이는 전체 학습 비용이 10분의 1로 감소한다는 의미가 아니다. 오히려, 본 학습에 앞서 스케일링 법칙을 맞추기 위한 소규모 실험과 프로파일링의 비용을 절감하겠다는 점에서 기인한다.

메타는 과거 라마 3(Llama 3) 공개 글에서도 친칠라 법칙이 절대적인 규칙이 아니다라는 입장을 전한 바 있다. 메타는 2024년에는 8B 모델이 친칠라 최적점으로 언급되는 약 2000억 토큰을 넘어 최대 15조 토큰까지 학습되었다고 보고하며 성능이 계속 개선되는 경향을 보였다. FAIR의 연구지는 또한 바이트 기준 데이터 크기가 파라미터 규모에 비례한다고 주장했으며, Skaling은 손실 곡면의 결합 구조를 더 직접적으로 다루는 연구라는 점에서 기존 이론들과의 차별성을 보여준다.

이번 연구 결과는 AI 개발 비용과 연관이 깊으며, 대형 모델 학습은 데이터센터, 반도체, 전력 비용에 영향을 끼친다. 미국 빅테크의 AI 설비 투자 경쟁이 기업의 현금 흐름에 압박을 가하고 있는 상황에서, Skaling 연구는 대규모 학습에 앞서 예산 배분을 보다 정밀하게 잡으려는 노력으로 해석될 수 있다. 이 연구는 아직 동료 심사를 거친 학술지에 발표된 것이 아니며, 암호화폐나 블록체인과의 직접적인 연결점도 제시되지 않아 현재로서는 AI 학습 효율성과 스케일링 법칙 보정에 대한 논쟁으로 읽히고 있다.