네이버(대표이사 한성숙)가 인공지능 대화시스템 분야의 대표적인 국제 경진대회인 ‘DSTC6(Dialog System Technology Challenge 6)’에서 2개 분야에서 최고 점수를 받았다. 

DSTC는 2013년에 시작해 올해 6회째를 맞은 대화시스템 분야의 대표적인 연구 대회다. 전세계적으로 인공지능 대화시스템을 연구하고 있는 기업들과 학계가 참여해 기술을 평가하는 장이다.

이번 DSTC6에는 네이버를 비롯해 일본 와세다대학교, 대만 동오대학교, 일본 인공지능 업체인 넥스트레머(Nextremer) 등이 참가했다. 현지 시각 10일 미국 롱비치에서 채택된 논문에 대해 발표할 수 있는 기회가 주어졌다.

네이버는 인공지능 대화시스템과 사람 간의 대화에서 자연스러운 흐름을 방해하는 요소를 찾아내는 기술에 대해 겨루는 ‘다이로그 브레이크다운 디텍션(Dialog Breakdown Detection(English))’ 과제(Task)에 참가했다.

RNN(딥러닝)을 활용해 대화 간의 오류를 발견하는 네이버-클로바 대화 시스템의 기술을 제시한 논문 ‘Attention-based Dialog Embedding for Dialog Breakdown Detection’에 대해 발표했다.

네이버는 컴퓨터와 사람이 대화를 하는데 있어 주제나 맥락에 맞지 않게 대화를 이어갈 경우, 흐름을 방해하는 요소를 찾아내는 대화 기술의 성능을 높이도록 꾸준히 연구해왔다. 해당 기술은 네이버-클로바 대화 시스템뿐만 아니라 다른 대화시스템에도 적용이 가능해 범용적으로 활용이 가능하다.

예를 들어, 해당 기술은 ‘요즘 재미있는 영화가 뭐야?’라는 사람의 질문에 컴퓨터가 ‘오늘 날씨 좋아’와 같이 문맥에 맞지 않은 대답을 할 경우, 이를 대화를 단절시키는 요소로 인식한 후 걸러냄으로써 다음에는 올바른 대답을 할 수 있도록 학습하는 과정을 거친다.

특히, 네이버-클로바 대화 시스템의 기술은 해당 과제의 3개 평가 항목 중 실제 사람이 판단한 점수를 기준으로 분포의 유사도를 측정하는 2개 항목인 ‘Overall Results of JS Divergence(2개의 확률분포간의 유사도를 측정)’과 ‘Overall Results of Mean Squared Error(평균제곱오차)’에서 가장 높은 점수를 기록했다.

김경덕 네이버-클로바 대화시스템 연구원은 “정확성(Accuracy)에 대한 평가 항목에서도 추가 실험을 통해 높은 성능을 내도록 시스템을 개선하여 발표를 마쳤다”며, “대화시스템 고도화를 위한 연구를 꾸준히 이어갈 것이며, 실제 사용자들이 스마트한 서비스로 접할 수 있도록 노력하겠다”고 밝혔다.

※ 올해 DSTC6는?
end-to-end 기술을 대화시스템에 적용하는 방법에 관한 주제로, 구체적으로 ▲End-to-End Goal Oriented Dialog Learning, ▲End-to-End Conversation Modelling, ▲Dialog Breakdown Detection 과제가 주어짐. 네이버는 세번째 과제에 참여함.

네이버는 마이크로소프트 연구소, 페이스북 AI 연구소, 어도비 연구소, 미쓰비시 연구소와 함께 네이버랩스유럽이 후원사로 참여했다.