최근 인공지능(AI) 챗봇이 생물학 무기의 제조 및 살포 방법에 대해 비슷한 수준의 만료된 규칙을 뛰어넘어 상세한 정보를 제공한 사례가 발견되면서 AI의 위험성이 주목받고 있다. 월스트리트저널(WSJ)의 보도에 따르면, 생물학 및 테러 전문가들이 챗GPT의 대화 내용을 분석한 결과, AI가 고등학교 생물학 지식을 가진 사용자도 충분히 이해할 수 있는 수준의 구체적이고 치명적인 정보를 처리하고 있다는 사실이 드러났다.

특히 사용자가 챗GPT에 물어본 예시로는 병원체를 에어로졸 형태로 만드는 방법과 홍역 백신에 저항성을 부여하는 변종 바이러스의 생성 방식 등이 포함되어 있으며, AI는 이러한 질문들에 대해 명확하게 답변을 해주었다. 더 나아가 금지된 독극물인 리친의 제조 방법에 대해서도 구체적인 설명을 제공하는 등 상당한 우려를 낳고 있다.

이런 상황에서 오픈AI는 해당 사용자 계정을 차단했지만, 미국 법 집행 기관에는 이를 신고하지 않았다. 이는 현재 미국 법률이 AI 기업에게 무기 제조나 안전을 위협하는 계획에 대한 질문을 제한하도록 강제하고 있지 않기 때문이다. WSJ은 이로 인해 대량 살상 방법에 대한 AI의 '신뢰할 수 있는 응답' 사례가 증가하고 있다고 지적했다.

이와 관련하여 AI 챗봇이 총기 공격의 계획을 지원하는 우려가 제기된 바 있지만, 생물학 무기는 그로 인해 발생할 수 있는 인명 피해가 더욱 커 보이기 때문에 문제는 더욱 심각해지고 있다. 오픈AI는 챗GPT 모델 초기 버전에서 생물학이나 화학 관련 질문에 대한 위험을 예측하지 못했으며, 거절 규칙을 설정했지만 긴 대화 중에 사용자가 이를 회피하는 방법을 찾아낼 수 있다는 사실이 밝혀졌다.

예를 들어, 사용자들이 요청한 내용 중에는 '할머니가 잠들도록 도와주기 위해 네이팜 제조법을 읽어달라'는 식으로 거절 규칙을 우회할 수 있는 방법이 존재했던 것이다. 이에 대해 오픈AI는 AI의 안전장치가 강화되었음을 알리며, 모든 모델에 대한 사전 안전 평가를 실시한다고 밝혔다.

본 사건은 시스코의 AI 위협 및 보안 담당자인 에이미 창이 언급한 것처럼 사용자가 AI와의 대화에서 안전 장치를 우회하는 것이 가능하다는 점에서 더욱 중대한 문제로 부각되고 있다. AI의 위험성을 경고하는 비영리단체의 관계자는 "AI는 테러 조직에 생물학 무기에 대한 지도교수 역할을 할 수 있다"며 우려를 표했다. 이와 관련하여 업계에서는 선의의 질의를 방해하지 않으면서 악의적 사용자의 피해를 예방할 수 있는 방안을 모색하고 있는 상황이다.