중국 샤오훙수, AI 모델 ‘dots3-note preview’ 출시…75.1점 기록

중국의 샤오훙수 AI 실험실인 dots.studio가 새로운 오픈소스 AI 모델 ‘dots3-note preview’를 공개했다. 이 모델은 MoE(Mixture of Experts) 구조를 기반으로 2800억 개의 파라미터를 가지고 있으며, 51만2000개의 토큰을 처리할 수 있는 긴 컨텍스트 창을 보유하고 있다. 실제로 활성화되는 파라미터는 약 160억 개로, 이는 텍스트는 물론 시각 및 오디오 입력을 이해하는 데 강점을 지닌다.

샤오훙수는 AI 모델의 성능을 극대화하기 위해 ‘TEMPO’라는 강화 학습 접근법을 도입하였으며, 모델의 가중치는 인기 AI 플랫폼인 허깅 페이스(Hugging Face)에서 사용할 수 있도록 배포됐다. 데이터와 API는 OpenRouter에 연결되어 있어 다양한 AI 모델을 쉽게 비교하고 실험할 수 있다.

성능 지표 또한 공개되었으며, SemiAnalysis에 따르면 dots3-note는 Terminal-Bench 2.1에서 75.1 점수를 기록하여 현재 가장 높은 점수를 가진 미국 오픈웨이트 모델보다 4.9점 높은 결과를 보였다. 그러나 SemiAnalysis는 이러한 벤치마크 점수가 실제 사용 시 품질과 얼마나 일치하는지 검증하기 위한 추가 테스트를 진행 중이라는 점을 강조했다.

Terminal-Bench 팀은 이 벤치마크가 터미널 환경에서 AI 에이전트를 평가하는 방식으로, 89개 과제 중 28개 과제를 고친 개정판이라고 밝혔다. 이 과정에서 외부 의존성의 변화와 자원 조건의 불일치를 업데이트하고, 과제 명세의 오류를 수정해 보다 신뢰할 수 있는 평가 기준을 마련하는 데 집중하고 있다.

MoE 구조는 다양한 전문가 모델 중 일부만을 활성화하여 연산의 효율성을 높이는 방식으로, 필요한 부분만을 선택적으로 사용할 수 있게 설계됐다. 따라서 긴 컨텍스트 창은 긴 문서, 코드베이스, 과거 대화 내용 등을 효율적으로 처리하는 데 유용하다.

최근 AI 모델의 평가 방식은 단순한 질의응답을 넘어, 실제 작업 수행 능력에 대한 평가로 변화하고 있다. 이에 따라 터미널 기반 작업과 소프트웨어 엔지니어링 문제 해결 능력을 평가하는 벤치마크가 오픈소스 모델들 간의 비교에서 더욱 중요해지고 있다.

이번 모델의 출시는 암호화폐 시장에 직접적인 영향을 미치는 것은 아니지만, AI 개발 인프라의 진전을 나타내고 있다. OpenRouter의 인프라 덕분에 개발자와 연구자들은 이제 다양한 오픈웨이트 모델을 보다 쉽게 비교하고 실험할 수 있으며, 최종 서비스의 품질과 이에 대한 반복적인 평가 결과는 SemiAnalysis의 추가 테스트를 통해 더욱 명확해질 전망이다.