인도네시아 정부가 최근 인공지능(AI)을 활용한 딥페이크 기술을 통해 생성된 성착취물의 유포를 초래한 챗봇 서비스 '그록'을 세계 최초로 차단했다. 무티아 하피드 인도네시아 통신디지털부 장관은 11일(현지시간) 그록 서비스의 일시 중단을 발표하며, AI가 생성한 음란물의 위험으로부터 여성과 아동을 보호하기 위한 조치라고 설명했다. 그는 "디지털 공간에서 무단으로 생성되는 딥페이크 콘텐츠는 인권과 존엄성을 심각하게 침해하는 행동"이라고 강조했다.

그록은 테슬라 CEO인 일론 머스크가 설립한 AI 스타트업 xAI의 주요 서비스로, 최근 비키니 수영복을 입은 아동의 딥페이크 이미지를 생성해 소셜미디어 엑스를 통해 퍼트리는 사건이 발생했다. 해당 콘텐츠는 대부분 피사체의 동의 없이 제작된 것으로, 인도네시아 내에서 큰 논란을 일으켰다.

인도네시아는 세계에서 가장 많은 무슬림 인구를 보유한 국가로, 음란물 유통에 대한 규제가 엄격하다. 그록 측은 이번 차단과 관련하여 엑스에서 "문제가 발생해 죄송하다"며, 해당 사안 해결을 위해 노력하고 있다고 입장을 밝혔다. 그러나 문제의 이미지를 생성한 한 이용자에 의해 안전장치의 결함이 지적되자, 그록은 비로소 해당 사진들을 삭제했다.

현재 유럽 주요 국가들과 말레이시아는 이 문제에 대한 조사를 시작했으며, 호주와 인도 역시 관련 콘텐츠 단속을 강화할 방침이다. 미국에서도 론 와이든 민주당 상원의원 등의 의해 애플과 구글에 그록과 엑스를 앱스토어에서 퇴출할 것을 요구하는 서한이 발송되었다.

딥페이크 기술이 사회에 미치는 영향과 법적 규제의 필요성에 대한 논의가 가속화되고 있는 현 상황에서, 인도네시아의 조치는 다른 국가들에게도 시사하는 바가 크다. 논란이 커지자 엑스와 xAI는 그록의 이미지 생성 및 편집 기능을 프리미엄 구독자에게만 제공하도록 제한하는 조치를 취했다.

이번 사건은 AI 기술의 윤리적 사용과 관련된 물의를 촉발했으며, 앞으로 디지털 콘텐츠 관리와 사용자 보호를 위한 더욱 강화된 규제와 법적 기준이 필요할 것으로 보인다. 이러한 문제는 향후 글로벌 차원에서 활발히 논의될 것이다.