최근 비영리 감시단체 '기술투명성프로젝트'(TTP)의 보고서에 따르면, 애플 앱스토어와 구글 플레이 스토어에서 알몸 사진을 합성하는 인공지능(AI) 앱들이 발견되었으며, 이 앱들이 전 세계에서 약 1억1700만 달러, 즉 1700억원의 수익을 올린 것으로 나타났다. TTP는 두 스토어에서 각각 47건과 55건의 성적 콘텐츠 합성 앱을 확인했다고 전하며, 애플과 구글이 이러한 앱들을 효과적으로 관리하지 못하고 있다는 점을 비판했다.

문제의 앱들은 7억500만 회 이상 다운로드되었으며, AI 기술을 활용하여 사진 속 인물의 의상을 비키니나 나신으로 변형하거나, 성적인 이미지와의 딥페이크 조합 기능을 제공하고 있다. 이들 앱은 오락용 이미지 합성이나 'AI 피팅룸' 서비스로 홍보되지만, 실제로는 성적 이미지 생성을 가능하게 하고 있다. TTP는 이러한 앱이 애플과 구글의 정책을 위반하고 있음에도 불구하고 여전히 스토어에 남아있다고 지적하며, 두 회사가 앱 개발자로부터 수익의 최대 30%를 차지하기 때문에 이들 앱을 방치하는 것이 사실상 수익을 추구하는 행위라고 비난했다.

또한, 몇몇 앱은 외설적인 이미지를 생성하지 않도록 설정한 약관을 가지고 있으나, 실제 사용 과정에서는 성적인 이미지 생성에 대한 제재가 전무하다는 점도 문제로 지적됐다. 일부 앱은 아예 '옷 찢기' 같은 선정적인 기능을 제공하고 있어 이용자들에게 불쾌감을 줄 수 있는 콘텐츠를 생산하는 데 기여하고 있다. 여기에 더해, 중국 기반 앱의 경우 사용자 데이터가 중국 내 서버에 저장되는 만큼, 개인정보 보호 및 보안 문제에 대한 우려도 커지고 있다.

TTP의 보고서를 바탕으로 애플과 구글은 각각 28건과 여러 건의 앱을 삭제하거나 사용 정지 조치를 취했다고 밝혔지만, 이들 앱이 얼마나 되는지는 공개하지 않았다. 애플 측은 TTP의 지적에 대해 개발자들에게 정책 위반 시 퇴출될 수 있다는 경고를 보냈으며, 구글 또한 비슷한 조치를 취했다고 응답했다.

한편, 최근 일론 머스크의 AI 기업 xAI의 '그록' 같은 새로운 AI 앱도 성적 이미지를 합성해 문제가 되고 있으며, 각국 정부의 조사를 받고 있는 상황이다. 생성형 AI의 발전과 함께 윤리적 논란이 확대되고 있는 가운데, 이러한 기술의 활용에 대한 분명한 기준과 법적 제도 마련의 필요성이 대두되고 있다.