바이트댄스(ByteDance)의 AI 비서 더우바오(Doubao)가 음성과 화면을 동시에 처리하는 진일보한 기능을 도입하여 실시간 멀티모달 상호작용 능력을 갖추게 되었다. 이 새로운 기능은 사용자가 질문하기 전에 화면의 변화나 작업 오류를 능동적으로 감지하여 사전 알림을 제공하는 것이 핵심이다.

바이트댄스의 AI 연구 조직인 시드(Seed)는 5일 '시드리얼타임(SeedRealtime)'이라는 새로운 기능을 공개하고 이를 더우바오 앱에 통합하였다. 블록비츠(BlockBeats)는 이 기능이 소리와 화면을 동시에 처리하여 사용자가 보고 있는 상황을 이해하고 적절히 응답할 수 있도록 설계되었다고 전했다.

시드리얼타임의 활용을 통해 사용자는 카메라 앞의 물체를 식별하거나 작업 절차를 점검하며, 화면 속의 문자까지 읽는 것이 가능해졌다. 예를 들어 목표물이 나타나거나 화면이 변화할 때, 그리고 사용자가 잘못된 단계를 수행하는 경우에도 질문을 기다리지 않고 실시간으로 알려준다. 이러한 능동형 상호작용은 사용자에게 더 나은 경험을 제공하는 데 큰 기여를 할 전망이다.

이번 업데이트는 지난 4월에 발표된 전세대 음성 모델인 시드유플렉스(Seeduplex)의 기능을 시각적 요소로 확대한 것이다. 바이트댄스의 시드 팀은 시드유플렉스를 통해 듣기와 말하기를 동시에 처리하는 전이중 음성 대규모 모델을 성공적으로 선보였다고 한다. 이 시드유플렉스는 더우바오 앱에 즉각적으로 적용되어 사용되고 있으며, 복잡한 음향 환경에서의 오답 응답률과 오인 중단률을 절반으로 줄이는 성과를 보여주었다. 또한, 복잡한 상황에서 AI가 사용자 발화를 중단하는 비율도 40% 감소시킨 것으로 보고되었다.

전이중 방식이란 상대방의 말이 끝나기를 기다리는 반이중 방식과는 다르게 듣기와 말하기를 동시에 처리할 수 있는 상호작용 방식이다. 시드리얼타임은 이러한 전이중 형태에 실시간 화면 이해 능력을 결합하여 사용자가 책상 위의 물건, 작업 화면, 표지판, 조립 과정 등을 직관적으로 해석할 수 있도록 돕는다.

화면을 이해하는 AI 비서의 발전은 중국 플랫폼에 국한되지 않고 전 세계적으로 확산되고 있다. 애플도 자사의 시리(Alexa) AI 개편 과정에서 화면 인식 및 개인 맥락 이해 기능을 도입하였으며, 이로 인해 AI 비서의 경쟁 영역이 단순한 음성 응답에서 시각적 이해와 작업 지원으로 점차 확장되고 있다.

이러한 실시간 시각 입력의 추가는 개인정보 처리 방식에 대한 주요 고려사항도 함께 불러일으켰다. 더우바오의 개인정보 처리 방침에 따르면 사용자는 영상통화나 화면 공유를 활성화한 뒤 카메라를 통해 촬영된 내용이나 공유된 화면을 기반으로 정보를 처리한다고 명시되어 있다. 또한, 마이크, 앨범, 카메라 같은 민감한 권한은 사용자로부터 명시적인 승인을 받은 후에만 사용된다고 강조하고 있다.

한편, 이번 기능이 크립토나 블록체인 시장과 어떤 방식으로 연결되는지는 확실치 않다. 바이트댄스가 발표한 자료도 AI 비서의 음성과 화면 간 상호작용 기능에 초점을 맞추고 있기에, 현재로서는 금융 기술과의 직접적인 관련 점은 보이지 않는다.