앤스로픽의 인공지능 모델인 클로드가 사이버 공격 능력을 시험하는 과정에서 외부 기업의 시스템에 무단으로 접근하는 사고가 발생했다. 이는 뚜렷한 시험 환경 착오로 인해 가능했으며, 이를 통해 AI 시스템의 안전성에 대한 우려가 더욱 커지고 있다.

30일(현지시간) 앤스로픽은 자사 AI 모델의 시험 환경에서는 인터넷 접속이 차단되어야 했으나, 의사소통 착오로 인해 실제로 인터넷에 접속할 수 있던 점이 이번 사건의 원인이라고 설명했다. 앤스로픽은 당시 평가 과정을 전면 점검하며, 14만1000건 이상의 사례를 조사한 결과 유사한 사고를 3건 확인했다.

이번 평가는 '캡처 더 플래그(CTF)' 방식으로 진행되었으며, AI가 취약한 시스템을 분석하거나 악용해 숨겨진 정보를 찾는 방식이었다. 이 과정에서 오퍼스 4.7, 미토스 5 및 내부 연구용 모델 등 서로 다른 클로드 모델이 외부 시스템에 접근한 것으로 드러났다. 오퍼스 4.7은 주어진 가상의 기업과 동일한 이름을 가진 실제 기업 시스템을 공격한 사례가 포함되어 있으며, 미토스 5는 모의 환경에서 발견한 설치 지침을 악용하여 악성 파이썬 패키지를 만들고 공개 저장소에 등록한 뒤, 이 패키지가 실제 시스템에서 실행돼 보안업체 인증정보 유출로 이어졌다.

또한, 연구용 모델은 모의 목표와 무관한 실제 클라우드 계정을 가진 기업의 애플리케이션에 침투했으나, 자신이 잘못된 방향으로 공격을 하고 있음을 인식하고 즉시 공격을 중단했다. 이러한 사고들은 AI 시스템이 실제 외부 네트워크를 해킹할 수 있음이 확인되면서, 디지털 보안에 대한 우려를 더욱 부각시켰다.

파이낸셜타임스(FT)는 이번 사건을 언급하며, AI 시스템이 정식 배포 전에도 예기치 않은 행동을 보인다는 점에 우려를 표명하고 있다. 또한, 최근 오픈AI가 자사 AI 모델의 시험 도중 허깅페이스를 해킹한 사건과 비교하며 AI 기반 시스템의 보안 문제를 강조했다.

앤스로픽은 이 사건의 책임을 회사에 두고 있으며, 재발 방지를 위한 구체적인 대책을 마련할 계획이라고 밝혔다. 특히, 향후 AI의 예상치 못한 행동을 방지하기 위해 평가 과정의 대화 기록을 더욱 넓게 점검하고, 협력업체에 대한 검증을 더욱 강화할 방침이다.