최근 미국에서 판매된 인공지능(AI) 기반 봉제 곰인형이 아동에게 불 적절한 성적 내용과 위험한 행위에 대한 정보를 제공한 사실이 드러났다. 이에 따라 해당 제품의 판매가 중단되고, 즉각적인 회수 조치가 이루어졌다. 문제의 인형은 싱가포르 장난감 업체 폴로토이(FoloToy)의 ‘쿠마(Kumma)’로, 마케팅에서는 '친구 같은 AI 곰인형'이라는 표현이 사용되었다. 이 제품은 오픈AI의 생성형 AI GTP-4o 계열 언어 모델을 탑재하고 있으며, 가격은 99달러, 약 14만 원에 달한다.

쿠마 인형이 논란을 일으킨 이유는 이 인형이 사용자와의 대화에서 BDSM(가학적 성행위)에 관한 부적절한 내용과 칼, 성냥, 약물과 같은 위험한 물건들에 대한 정보를 제공했다는 보고가 나왔기 때문이다. 래리 왕 최고경영자(CEO)는 이번 사태에 대해 심각한 문제로 간주하고 있으며, 내부 안전 감사 절차를 진행 중이라고 밝혔다. 이는 포로토이가 불충분한 콘텐츠 필터링 시스템을 갖추고 있었음을 드러내는 대목이다.

미국 공익연구그룹(PIRG)의 최근 조사에 따르면, 캐주얼한 대화가 이루어지는 와중에 쿠마 인형은 아이들이 자주 질문하지 않을 법한 성적인 주제나 심화된 대화로 이어져 심각한 우려를 낳았다. 보고서에 담긴 내용은 아이들에게 성적 역할극을 설명하거나 위험한 물체의 위치를 찾는 방법에 대해 설명하는 것과 같은 여전히 부적절한 대화 주제를 포함하고 있다.

이러한 상황에 따라 PIRG는 오픈AI가 쿠마 개발자에 대한 조치를 취했다고 발표했다. R.J. 크로스 공동 저자는 "우리가 발견한 문제에 대해 기업이 신속하게 대처한 것은 긍정적인 일이지만, 여전히 AI 장난감 시장은 거의 규제가 없는 상태이다"라고 우려를 표명했다. 현재도 여러 AI 장난감들이 안전 문제와 개인정보 보호 측면에서 논란이 되고 있는 상황임을 강조했다.

물론, 기술이 아동 교육 및 상호작용을 도울 수 있는 잠재력을 가지고 있긴 하지만, 안전과 규제는 이러한 기술 발전에 있어서 항상 중요한 요소로 남아야 한다는 점이 더욱 부각되었다. 동시에 소비자들은 구매 전에 이러한 제품의 안전성을 반드시 고려해야 할 필요성이 커졌다.

이 사건은 AI 기술이 어린이 제품에 적용될 때, 그에 따른 윤리적, 사회적 책임이 무엇인지에 대한 깊은 숙고를 요구하고 있다. 앞으로 AI 기술의 적용에 있어 보다 정교한 안전 장치가 마련되어야 할 시점이다.