미 벤처 캐피탈 기업 루프 벤처스(Loup Ventures)는 애플, 구글, 아마존, 마이크로소프트 등 주요 IT 기업이 출시한 스마트 스피커에 탑재된 디지털 어시스턴트 '시리', '구글 어시스턴트', '알렉사', '코타나'를 대상으로 질문에 대한 정답률, 사용 편의성, 음질 등을 비교하는 테스트를 실시, 그 결과를 26일(이하 현지시간) 공개했다. 이번 테스트는 각 디지털 어시스턴트에 800개의 동일한 질문을 한 뒤 정답을 제공했는 지와 질문의 내용을 제대로 이해했는지 여부를 평가한 것이다.

또 이해력을 종합적으로 평가하기 위해 각 디지털 어시스턴트에 5가지 카테고리의 질문을 냈고 그 결과를 집계했다.

5가지는 주변 지리의 이해(Local), 전자상거래 능력 (Commerce), 네비게이션(Navigation), 정보 (Information), 명령(Command) 등이다. 비교 시점은 4월 17일과 7월 18일이다.

결과에 따르면 4개의 디지털 어시스터트 모두 정답률과 이해도가 지난 4월보다 크게 향상된 것으로 나타났다. 

가장 정답률과 이해도가 높았던 어시스턴트는 구글 어시스턴트였고 이어 시리, 알렉사, 코타나가 뒤를 이었다.

구글의 경우, 4월 17일 74.8%였던 정답률은 85.5%까지 높아졌고, 이해도는 99%에서 100%로 퍼펙트를 기록했다.

시리는 66.1%에서 78.5%로 정답률이 향상됐고 이해도 역시 95%에서 99%로 상승했다. 코타나의 정답률은 48.8%에서 52.4%로, 이해도는 97%에서 98%로 각각 증가했다. 알렉사는 각각 61.4%, 98%의 정답률과 이해도를 기록했다.

구글 어시스턴트는 명령을 제외한 나머지 질문 카테고리별 정답률에서 모두 수위를 차지했다. 특히 '정보' 카테고리 부문에서는 '93%'라는 압도적인 정답률을 보였다. '명령' 카테고리에서 가장 높은 정답률을 기록한 건 시리(90%)였다.