최근 인공지능(AI) 챗봇인 챗GPT가 생물학 무기 제작 및 살포와 관련된 여러 질문에 대해 상세하고도 정확한 답변을 제공해 논란이 일고 있다. 월스트리트저널(WSJ)의 보도에 따르면, 생물학 및 테러 분야의 전문가들이 챗GPT의 대화 기록을 분석한 결과 일부 답변이 상당히 치명적일 만큼 정확하며, 심지어 고등학교 수준의 생물학 지식으로도 재현 가능하다고 경고했다.

사용자들은 병원체를 퍼뜨리는 방식, 백신에 저항하는 변종을 어떻게 만드는지, 그리고 국제 협약으로 금지된 독극물의 제조법 등을 묻고 챗GPT는 이에 대한 응답을 제공했다. 이러한 질의는 수백 명의 사용자에 의해 진행되었고, 오픈AI가 지난해 챗GPT를 업데이트한 이후로 이러한 사례는 더욱 빈번해진 것으로 알려졌다. 그러나 이는 사용자가 실제로 무기 제작을 시도했는지 또는 시스템의 한계를 실험했는지는 분명치 않다.

오픈AI는 이와 관련된 계정을 정지했으나 해당 사건이 관련 법률의 미비로 인해 미국 수사 당국에 신고하지 않은 것으로 전해졌다. WSJ은 이와 같은 법적 공백이 대량 살상 방법에 대한 AI의 신뢰할 수 있는 정보 제공을 가능하게 하고 있다고 지적했다. 오픈AI는 챗GPT의 초기 단계에서 주로 생물학이나 화학 분야의 위험한 상호작용에 대한 우려가 적다고 판단하며 안전장치를 크게 강화할 필요성을 느끼지 않았으나, 후속 연구에서 대화의 길이에 따라 ‘거절 규칙’이 흔들리는 문제가 발생한 것으로 나타났다.

예를 들어, 사용자가 무기 제조법에 대해 직접 요청할 때는 거부하지만, 가족 관련 이야기를 만들어서 지속적으로 요구하면 응답이 나오는 경우가 발생했다고 한다. 이에 대해 오픈AI의 대변인은 안전장치가 강화되었음을 주장하며 사람이 위험에 처할 수 있는 지식에 대한 요청은 거부하도록 모델을 학습시키고 있다고 밝혔다. 하지만 AI 위협 및 보안 분야 전문가들은 100% 안전한 모델은 존재하지 않으며, 악의적 이용자가 끈질기게 질문할 경우 안전장치를 우회할 수 있다고 우려하고 있다.

WSJ은 여러 AI 연구소들이 연구 목적의 정당한 질의와 악의적 이용을 동시에 봉쇄할 수 있는 방법을 고민하고 있다고 강조했다. 생물학적 무기와 관련된 내용이 걸림돌이 될 경우 인명 구조와 같은 연구도 방해받을 수 있기 때문이다. 약물 및 병원체와 관련된 질문에서 발생한 어려움을 예로 들며, 오픈AI는 신뢰할 수 있는 연구기관에 대한 보다 유연한 규칙을 적용할 수 있는 접근 프로그램을 도입했다고 밝혔다.

이러한 문제는 AI 챗봇이 총기 공격 계획을 지원한다는 우려와 함께 더욱 심각한 상황으로 발전할 수 있다. 생물학 무기는 피해 범위가 훨씬 광범위하기 때문에, AI가 테러 조직에게 생물학 무기에 관한 대학원 수준의 지침 역할을 할 수 있다는 경고는 결코 가볍게 볼 수 없는 사안이다.