글로벌 컨설팅 기업 딜로이트가 호주 정부 의뢰로 작성한 보고서에서 인공지능(AI)이 생성한 가짜 판결문을 인용한 사실이 드러나 논란을 일으키고 있다. 호주 고용노동부는 최근 딜로이트가 제출한 보고서에서 다수의 인용 및 참고문헌 오류가 확인되었으며, 이로 인해 딜로이트는 보고서 작성 용역비의 일부를 환불하기로 결정했다고 밝혀졌다.

호주 고용노동부는 지난해 12월, 구직자에게 불이익을 초래하는 복지 시스템의 문제를 평가하기 위해 43만9000호주달러, 즉 약 4억1000만원에 딜로이트에 보고서를 발주하였다. 하지만 지난 7월 딜로이트가 작성한 보고서의 내용을 검토한 결과, 학계 및 언론에서 다수의 오류가 발견되었다. 특히, 보고서에는 실제로 존재하지 않는 허위 보고서가 각주로 제시되었고, 호주 법원의 판결문도 조작하여 인용한 사실이 논란을 더했다.

딜로이트는 확인된 오류를 반영하여 참고문헌 141개 중 발생한 문제를 일으킨 14개 항목을 삭제한 수정본을 최근 제출했다. 이 수정본에서는 오픈AI의 대규모 언어 모델 기반 도구인 GPT-4를 보고서 작성에 일부 활용했다는 사실이 포함되었다. 딜로이트는 수정된 보고서가 보고서의 실질적 내용, 결과 및 제안에 어떤 영향을 미치지 않았다고 설명했으나, 논란은 쉽게 가라앉지 않고 있다.

호주 정부는 해당 보고서의 내용 및 권고 사항은 변동이 없으며, 용역비 환불 규모는 거래 완료 후 공개할 것이라고 밝혔다. 이러한 사건은 AI 기술 사용에 따른 환각 현상이 발생할 수 있음을 명확히 보여준다. 크리스토퍼 러지 시드니대 로스쿨 교수는 "보고서의 기초 자체에 결함이 존재하며, 비전문적인 방법론으로 인해 권고안을 신뢰할 수 없다"고 경고했다.

딜로이트와 같은 대형 컨설팅 회사와 계약을 맺으려는 사람들은 이러한 사례를 통해 과연 자신들이 지불하는 비용에 가치가 있는지 검증해야 할 필요성이 증가하고 있다. 호주 상원의원 데버라 오닐은 "이런 회사들과의 계약을 고려하는 사람은 누가 그 업무를 수행하는지를 명확히 확인해야 하며, 이러한 전문성과 AI 활용에 대한 검증 또한 필수적"이라고 조언했다. 결국, 대형 컨설팅 회사 대신 개인이 챗GPT와 같은 도구에 의존하는 것이 더 나은 선택일 수 있다는 지적도 나왔다.

이번 사건은 AI 기술이 가져올 수 있는 위험성과 그에 대한 신중한 접근이 필요하다는 점을 시사한다. AI의 활용이 증가하고 있는 가운데, 데이터의 신뢰성을 검증하고 이에 대한 책임 있는 사용이 더욱 중요한 시대가 도래하고 있음을 느끼게 한다.