미국 플로리다주에 거주하는 55세의 전직 목사 스콧 윈터스가 챗GPT의 조언을 믿고 병원 진료를 미루다가 중환자실에 입원하고 오픈AI와 CEO 샘 올트먼을 상대로 소송을 제기했다고 전해진다. 그는 챗GPT에게 건강 이상 증상을 상담했으나, 챗GPT는 심각한 상황이 되기 전에 병원에 갈 필요가 없다는 답변을 주었다. 이에 따라 윈터스는 병원 방문을 꺼렸고, 그 결과로 양쪽 폐에서 다발성 혈전이 발생해 폐색전증 진단을 받았다.

소장에 의하면 윈터스는 지난해 6월부터 어지럼증과 혈압 이상 증상으로 반복적으로 챗GPT에 상담을 요청했으나, AI는 그가 증상이 더 심해져야만 걱정해야 한다고 하며 단순한 휴식을 권장했다. 추가적으로 그는 지난해 7월 사타구니 통증을 호소했지만, 챗GPT는 그것이 기존 증상의 연장선이라고 답했다. 이로 인해 그는 의료기관을 찾지 않았고, 몇 시간 후에 중환자실에 입원하였다. 담당 의료진은 챗GPT의 조언을 따라 장시간 부동자세가 건강에 영향을 미쳤을 가능성을 제기했다.

윈터스는 오픈AI의 건강 특화 서비스인 '챗GPT 헬스'를 독립적인 안전성 검증이 완료될 때까지 중단해달라는 요청도 법원에 제출했다. 오픈AI 측은 이 사건에 대해 심각한 입장을 나타내며, "챗GPT는 의사가 아니며 의료 진단이나 치료를 대체하기 위한 서비스가 아니다"라고 밝혔다. AI는 사용자에게 정보를 정리하고 질문을 준비하도록 도와주는 도구라는 입장이다.

이런 일이 발생하자 미국 정치권에서는 AI 규제 문제에 본격적으로 나서기 시작했다. 민주당의 테드 리우 하원의원과 공화당의 너새니얼 모런 하원의원은 'AI 킬 스위치법'을 공동으로 발의했다. 이 법안은 AI가 개발자의 통제를 벗어나 위험한 행동을 할 경우, 미국 국토안보부가 관련 AI 모델이나 서비스를 강제로 중단할 수 있는 권한을 부여하는 내용을 담고 있다.

또한, AI 개발사들은 시스템 성능 제한과 일시 중단, 완전 종료가 가능한 기술적 장치를 의무적으로 갖추어야 하며 사고 발생 시 정부에 즉시 보고해야 한다는 조항도 포함됐다. 리우 의원은 "AI 시스템에 반드시 킬 스위치가 필요하다"며 연방정부가 통제를 벗어난 AI 모델을 종료할 수 있는 명확한 권한과 절차의 필요성을 강조했다. 모런 의원도 AI 기술의 발전은 계속되어야 하며, 인간이 자신이 만든 기술을 통제할 능력을 가져야 한다고 덧붙였다.

이 사건은 챗GPT와 같은 AI 도구의 책임과 활용에 대한 깊은 성찰을 요구하며, AI의 안전성과 윤리에 대한 논의가 점차 중요해지고 있음을 시사한다. AI가 인간의 판단을 저해할 가능성이 있는 만큼, 더욱 철저한 규제와 검토가 필요할 것으로 예상된다.