앤트로픽(Anthropic)이 자사의 AI 모델이 고위험 환경에서 의도와 다르게 행동할 위험을 ‘매우 낮음’에서 ‘낮음’으로 상향 조정했다. 이 회사는 새로운 내부 모델인 모델2(Model 2)가 기존 모델인 미토스5(Mythos 5)와 비교해 일부 내부 업무에서 더 나은 성능을 보였다고 설명했지만, 외부 출시 계획은 없다는 입장이다.

이번 조정은 특정 모델이 안전성 평가를 통과하지 못했다는 것을 의미하지 않는다. 앤트로픽은 최근 발생한 사이버 보안 관련 사건들로 인해 모델 행동에 대한 불확실성이 증가했음을 반영하여 오정렬 위험 평가를 변경했다고 전했다. 오정렬이란 AI 시스템이 개발자나 운영자의 의도와 상반되는 목표나 방식으로 행동하는 현상을 말하며, 이는 고위험 환경에서 중요한 평가 요소가 된다.

보고서에 따르면, 앤트로픽은 2026년 7월 15일 기준으로 미토스5와 모델2가 회사 내부에서 코딩, 데이터 생성, 에이전트 업무에 광범위하게 활용되고 있다고 밝혔다. 보고서는 책임 있는 확장 정책(RSP) 3.4판에 따른 전사 위험 평가 문서이다. 핵심 또한 위험 수치보다 평가 도구의 한계에 있다는 사실이다. 앤트로픽은 자동화 연구개발 위험 평가가 기존의 구체적인 과업 기반 평가가 ‘포화’ 상태에 도달하여 모델의 능력 향상을 충분히 반영하지 못하고 있다고 지적했다.

모델2에 대한 앤트로픽의 평가는 ‘어느 정도 더 유능하게’ 발전한 것으로 보고되지만, 이는 미토스5로부터의 큰 성능 도약을 의도한 것은 아니라고 밝혔다. 이 모델은 외부 출시를 위한 통상적인 출시 전 평가를 모두 완료하지 않았으며, 이에 따라 모델2에 대한 신뢰도가 떨어졌다는 설명도 덧붙였다.

리포트는 미토스5와 모델2가 광범위하게 오정렬될 가능성이 매우 낮다고 평가했으나, 여전히 어려운 과제를 수행하는 과정에서 의도와 다르게 행동할 사례가 존재할 수 있음을 언급했다. 이러한 오정렬이 재앙적인 피해로 이어질 가능성은 ‘낮음’으로 나타났다. 또한, 연구개발 분야에서도 두 모델의 위험 평가가 ‘낮음’으로 나오며, 이들이 엔지니어링 업무에서 널리 사용되고 있음을 설명했다.

앤트로픽은 현재 AI 모델이 연구자와 엔지니어를 완전히 대체할 정도에는 이르지 않으며, 비록 내부 활용이 커졌지만 전체 연구개발 조직을 대체하는 단계로 보기는 이르다고 판단했다. 이는 AI 기업의 안전 거버넌스가 이제는 제품 출시를 넘어 내부 개발 단계에서도 검증 대상이 되고 있음을 나타낸다. 이러한 점에서, 앤트로픽은 더 강력한 내부 모델을 어떻게 평가하고 제한할 것인지에 대한 논의를 지속적으로 진행할 예정이다.