AI(인공지능) 딥러닝 얼굴-음성 합성 기술을 보유한 클레온이 ‘메타버스 버추얼 리얼리티 퓨처 프로젝트’에 참여해 영원히 죽지 않고 디지털 속에서 사는 ‘메타클론’을 구현하는 기술을 제공했다.
VR(가상현실) 원천기술을 보유한 기업 ‘모인’을 주축으로 진행하는 프로젝트다. 메타버스 속에서 인류를 복제하여 영원히 존재할 수 있는 '메타클론(METACLONE)'을 공동 개발하고 있다.
■ 사진 1장-음성데이터 30초만으로 영상 속 인물의 얼굴-목소리 실시간 변환 ‘딥휴먼’ 제공
메타클론은 인류의 기억을 저장하고 복원시켜 메타버스 속에서 영원히 존재할 수 있는 존재다. 약 1000여 개의 AI 기업들을 추리고 추려 최고의 기술과 솔루션을 갖고 있는 국내 및 해외의 글로벌 기업들과 컨소시움으로 개발이 진행되고 있다.
메타버스는 초현실을 의미하는 메타(meta)와 현실 세계를 의미하는 유니버스(universe)의 합성어다. 현실과 디지털 기술이 결합된 가상세계를 뜻하는 개념이다. 1992년 미국의 SF 작가 닐 스티븐슨이 쓴 소설 ‘스노크래시’에서 처음 등장했다.
클레온은 자사 보유 기술인 ‘딥휴먼’을 메타클론에 제공했다. 딥휴먼은 사진 1장과 음성 데이터 30초 만으로 영상 속 인물의 얼굴과 목소리를 실시간에 가깝게 바꾸고 새롭게 만들 수 있는 기술이다.
클레온의 딥휴먼을 이용하여 메타클론은 인류의 얼굴과 목소리를 복원할 수 있다.
메타클론은 인류의 머릿속에 있는 기억을 복제하여 기억을 토대로 디지털 세상 속에서 죽지 않고 영원히 존재할 수 있다. 뿐만 아니라 살아생전의 얼굴, 표정, 제스처, 감정 등 모든 것을 기억하게 하여 몇 세대를 걸쳐도 인류는 디지털 세상에 존재할 수 있게 될 것이다.
■ 유튜브 ‘메타뻐스 토크콘서트’에서 메타클론의 시연
옥재윤 모인 CEO는 지난 8일, 유튜브 채널 ‘OASIS TV’에서 진행한 ‘메타뻐스 토크콘서트’에서 메타클론의 시연을 직접 선보였다.
시연은 실시간으로 진행됐으며, 옥재윤 CEO를 복제한 메타클론에게 말을 걸면 그의 생김새와 목소리를 똑닮은 메타클론이 실시간으로 대답을 해준다. 그의 얼굴과 목소리를 구현하는 데에 클레온의 '딥휴먼' 기술이 사용됐다.
그는 “다른 외국 기업에서는 얼굴 하나를 합성하려면, 약 3000장의 사진이 필요하다”라며 “저희가 이번에 같이 공동 프로젝트를 진행하고 있는 AI 기업 클레온에서는 사진 단 한 장으로 한다. 사진 한 장으로 결과물을 만들어 냈다”라고 밝혔다.
영상 생성 기술뿐만 아니라 음성 생성 기술에 대해서도 “보통 목소리를 구현하는데 약 30분에서 1시간의 대화량이 있어야 한다. 그러나 이번 솔루션을 개발한 회사는 30초 만에 음성을 만들어낸다”고 말하며 “약 1년 전만 해도 엄청난 빅데이터를 가지고 딥러닝 학습을 하는 기술이 필요했는데 벌써 이렇게 빨라졌다. 사진 한 장, 30초의 음성을 가지고 사람을 만들어 내는 시대”라고 말한 바 있다.
본 프로젝트에 대한 관련된 내용은 오는 8월 15일 밤 11시에 SBS에서 방영하는 스페셜 방송 '불멸의 시대'에서 자세하게 확인할 수 있다.
클레온은?
컬처 콘텐츠 AI 기업으로, 9명의 카이스트 석박사 출신의 연구원들을 비롯한 각 분야 최고의 팀원들로 구성되어있는 스타트업이다. 클레온의 딥러닝 영상-음성 생성 기술은 타사 대비 빠르고 가벼우며, CJ ENM, LG전자 등 국내외 유수 기업들과의 B2B 협업을 통해 기술력을 입증하고 있다. 올 7월 인공지능을 이용한 영상 제작 SNS 플랫폼인 '카멜로'를 정식으로 런칭했다.
