사진제공 | NEW
엔진비주얼웨이브는 1일 “인공지능 전문 기업 셀바스AI와 함께 텍스트 입력만으로 자연스러운 한국어 말하기가 가능한 실사형 디지털 휴먼 제작 기술을 개발했다”고 밝혔다. 엔진비주얼웨이브와 셀바스AI는 개발 기술의 시연을 위해 영화 ‘청년경찰’, 연극 ‘날 보러와요’ 등 다양한 작품에 출연해 눈길을 사로잡았던 신인배우 이승희의 디지털 휴먼을 제작했다. 얼굴만 교체하는 일반적인 버추얼 인플루언서와 달리, 4D 스캔 기반의 언리얼 엔진으로 구동되는 모델이다.
이번 프로젝트를 위해 엔진비주얼웨이브의 R&D 연구소 랩오일(LAB51)은 한국어에 최적화된 립싱크 애니메이션 생성 기술인 코어립스(CoreLips)와 인어데이(In-a-Day) 디지털 휴먼 기술을 적용했다. 코어립스는 랩오일이 카이스트 출신 연구진을 주축으로 자체 개발한 기술로, 자음과 모음으로 구성된 한국어 음소 구조에 따른 입술 및 안면 근육 움직임을 분석하여 자동으로 스피치 애니메이션을 생성할 수 있다. 그동안 디지털 휴먼의 입술 그래픽 기술 개발은 주로 해외에서 영어 기반으로 이루어져 온 만큼 이번 프로젝트가 한국어 구현에 특화된 디지털 휴먼 고도화 및 대중화에 마중물 역할을 할 것으로 기대를 모으고 있다. 랩오일의 인어데이 디지털 휴먼 기술은 기존의 작업 시간과 투입 비용을 획기적으로 단축해 하루 만에 실제와 흡사한 사실적인 디지털 휴먼 제작을 가능케 한다.
여기에 국내 최고 수준의 음성기술을 보유한 셀바스AI의 음성합성(TTS, Text-To-Speech) 기술을 적용했다. 음성합성은 입력된 텍스트를 자동으로 실제 사람처럼 자연스러운 목소리를 생성해 주는 기술이다. 셀바스AI는 특화 대본을 기반으로 배우 목소리를 녹음한 후, 인공지능을 통한 학습 후 이승희 배우의 목소리를 재현하는 TTS 엔진을 제작했다. 또한 자체 개발한 ‘개인화 TTS 기술’을 활용해 짧은 시간 녹음을 한 음성 데이터만으로도 고품질 음성을 재현했으며, 또 다른 자체 개발 기술력인 ‘발화 스타일 학습 기술’을 통해 모델이 말을 하는 특징을 잡아내 음성 생성에 반영될 수 있도록 했다. 이를 통해 고품질 음성 재현 및 디지털 휴먼의 입술과 안면 근육의 움직임이 목소리와 이질감이 들지 않도록 배우의 발화 습관 재현에 성공했다. TTS 엔진은 실제 사람의 음성을 기반으로 목소리를 생성해 주기 때문에 디지털 휴먼 운영의 효율성을 획기적으로 향상시킬 수 있다는 장점이 있다.
사진제공 | NEW
이번 프로젝트 성과에 대해 엔진비주얼웨이브의 R&D연구소 랩오일 송재원 소장은 “자신의 목소리로 이야기하는 실존 인물과 흡사한 인공지능 디지털 휴먼을 제작하는 데 있어 큰 기술적 도약을 이루었다”라고 전했다. 또한 셀바스AI의 HCI Sector 이항섭 전무는 “엔진비주얼웨이브와의 협업을 통해 영상기술과 음성기술에 각각 장점을 가진 업체가 협력하였을 때 완성도 높은 디지털 휴먼 제작이 가능함을 확인할 수 있었다”라며 이번 성과를 통한 향후 다양한 방면에서의 발전 가능성을 시사했다.
한국어 말하기에 특화된 디지털 휴먼 제작 기술은 앞으로 영화 및 게임 속 가상 캐릭터를 발전시킨 디지털 액터 등 콘텐츠 분야는 물론이고 키오스크, 개인비서 등 다양한 산업과의 융복합을 통해 가상환경 기반 산업의 활력을 불어넣을 수 있을 것으로 보인다. 엔진비주얼웨이브는 오는 12월 6일부터 9일까지 대구에서 열리는 컴퓨터 그래픽 분야 국제 기술 컨퍼런스 ‘시그래프 아시아 2022’에 참가해 디지털 휴먼 시연 및 디지털 환경 스캔 등 다양한 미래 기술을 선보일 예정이다.
이승미 기자 smlee@donga.com 기자의 다른기사 더보기
![‘스위트홈’ 이시영, 상의 탈의 후 성난 복근 大방출 [DA★]](https://dimg.donga.com/a/298/198/95/1/wps/SPORTS/IMAGE/2024/07/25/126116968.1.jpg)
