SIGGRAPH Special Interest Group on Graphics and Interactive Techniques
시그라프는 컴퓨터 그래픽과 양방향 기술 분야의 세계 최고의 콘퍼런스 입니다. 미국 컴퓨터 협회의 주최로 1974년부터 매년 8월에 미국에서 개최되고 있습니다.
시그라프는 1974년부터 개최된 컴퓨터 그래픽스 관련 신기술 및 인터랙티브 연구 분야에 대한 최신 트렌드를 선보이는 국제학회 입니다. 1947년 설립된 세계최초의 컴퓨터 분야의 학술과 교육을 목적으로 설립된 ACM SIGGRAPH(미국 컴퓨터그래픽협회)의 가장 크고 저명한 학술회의 입니다.
매년 수 만명의 컴퓨터공학, 소프트웨어 개발, 예술, 과학적 비주얼라이제이션, 게임디자인, 비주얼이펙트, 그래픽디자인, 영화/TV 영상 제작물 등 다양한 분야의 컴퓨터 그래픽스 전문가들이 참가합니다.
엔비디아의 모델들은 은행과 소매업계의 음성 자동화 고객 서비스 라인을 지원하고 비디오 게임과 소설 속 캐릭터에 생동감을 불어넣는 한편, 디지털 아바타용 실시간 음성 합성을 지원합니다.
엔비디아 크리에이티브 팀은 AI의 위력을 다루는 비디오 시리즈에 삽입돼 풍부한 표현력을 자랑하는 내레이션에도 음성 합성 기술을 사용하고 있습니다.
표현적 음성 합성은 엔비디아 연구진이 대화형 AI 분야에서 진행 중인 여러 연구의 일부입니다.
대화형 AI는 음성 합성외에도 자연어 처리, 자동 음성 인식, 키워드 검출, 오디오 개선 등 여러 요소를 포함합니다.
엔비디아 GPU에서 효율적으로 실행되도록 최적화된 최첨단 연구의 일부는 엔비디아 NeMo 툴킷을 통해 오픈소스로 제작됐으며, 엔비디아의 NGC 컨테이너 허브와 기타 소프트웨어에서 제공됩니다.
엔비디아 연구진과 크리에이티브 전문가들은 음성 합성 기술을 실제 사례에 접목해 대화형 AI의 위력을 증명하고 있습니다. 그 일환으로 엔비디아는 ‘아이엠 AI’의 제작에 혁신적 음성 합성 모델을 사용합니다. 아이엠 AI는 산업 전반을 재편하는 세계적 혁신을 소개하는 비디오 시리즈입니다.
얼마 전까지만 해도 해당 영상의 내레이션은 사람이 직접 담당했습니다.
기존 음성 합성 모델의 경우 합성된 음성의 속도와 음정 제어에 한계가 존재했습니다.
그 결과, AI를 활용한 내레이션은 인간 화자만큼 시청자의 정서적 반응을 강하게 끌어내지 못했습니다.
이러한 경향은 엔비디아의 텍스트-투-스피치 연구진이 RAD-TTS처럼 보다 강력하고 제어 가능한 음성 합성 모델을 개발하면서 변화했습니다. RAD-TTS는 시그라프 2021의 실시간 라이브 쇼케이스에서 우승한 엔비디아의 데모에서도 소개된 바 있습니다. 해당 모델은 텍스트-투-스피치 모델을 개인의 음성으로 훈련시켜 텍스트 일체를 해당 화자의 목소리로 즉시 변환할 수 있습니다.
RAD-TTS의 또 다른 음성 변환 기능은 화자의 말뿐 아니라 노래까지 다른 화자의 목소리로 전달합니다.
인간의 목소리가 곧 악기라는 아이디어에 영감을 얻은 RAD-TTS 인터페이스는 합성된 목소리의 음정과 길이, 분위기 전반을 프레임 단위로 세밀히 제어하도록 돕습니다.
아이엠 AI의 프로듀서는 RAD-TTS 인터페이스를 사용해 대본 내용을 직접 녹음한 다음, 자신의 음성을 여성 내레이터의 목소리로 변환했습니다. 이 기본 내레이션을 바탕으로 AI의 음성이 성우의 육성처럼 들리게 연출했습니다. 즉, 합성 음성을 수정해 특정 단어를 강조하고 영상의 분위기를 완벽히 표현하도록 내레이션의 속도를 변경했습니다.
RAD-TTS 모델의 기능은 내레이션을 덧입히는 수준을 넘어섭니다.
문자 음성 변환 프로그램은 게이밍, 발성 장애를 가진 개인의 지원, 사용자의 목소리로 언어 사이를 오가는 번역 등에 활용됩니다. 더 나아가 유명 가수의 공연도 재현합니다. 곡의 멜로디뿐 아니라 노래 너머의 감정도 표현 가능합니다.
엔비디아 NeMo는 GPU 가속 대화형 AI를 위한 오픈소스 파이썬 툴킷입니다.
연구자와 개발자, 크리에이터의 애플리케이션에 적합한 음성 모델의 신속한 실험과 미세 조정에 기여합니다.
NeMo의 간편한 API와 사전 훈련된 모델들은 문자 음성 변환과 자연어 처리, 실시간 자동 음성 인식용 모델의 개발과 커스터마이징을 지원합니다.
일부 모델은 엔비디아 DGX 시스템에서 수만 시간 분량의 오디오 데이터로 훈련됩니다.
개발자들은 자신의 활용 사례에 맞춰 모델 일체를 미세 조정합니다.
이때 엔비디아 텐서 코어 GPU에서 혼합 정밀도 컴퓨팅을 사용해 훈련 속도를 높입니다.
엔비디아 NeMo는 모질라 커먼 보이스로 훈련한 모델을 NGC 카탈로그를 통해 제공합니다. 모질라 커먼 보이스는 76개 언어와 1만4000시간 분량의 음성 데이터를 크라우드 소싱 방식으로 수집한 데이터세트입니다. 엔비디아는 해당 프로젝트에 대한 지원으로 세계 최대의 공개 데이터 음성 데이터세트를 구축하고 음성 기술을 대중화할 방침입니다.
시그라프아시아 2020
시그라프아시아는 코로나19로 인해 오는 12월, 온라인개최(Virtual)로 대체되었습니다.
서울산업진흥원(SBA, 대표이사 장영승)은 11월, ‘쾰른메세(Koelnmesse)’와 함께
아시아 최대 규모 CG/VFX 행사인 ‘시그라프 아시아(SIGGRAPH ASIA)’의 후반작업 전문 스튜디오로서 다년간(3년) 업무협약을 체결했다고 밝혔습니다.
SBA 미디어콘텐츠센터는 싱가포르에서 개최된 ‘시그라프아시아 2008’ 영상 후반작업 지원을 시작으로 서울에서 개최된 ‘시그라프아시아 2010’을 SBA에서 유치한 바 있습니다. 이와 같은 인연을 바탕으로 2017년도, 시그라프아시아 운영에 대한 공식 업무협약을 체결하여 컴퓨터애니메이션페스티벌(CAF) 현지 기술지원을 통해 지속적인 협력관계를 유지해왔습니다.
이번 협약을 통해 SBA-쾰른메세(Koelnmesse)의 파트너십 기간을 2022년까지 총 3년으로 확대하였고, 오는 12월 개최 예정인 ‘시그라프아시아 2020’에서는 12,500달러 규모 로얄티 스폰서십을 부여 받았습니다.
SBA 미디어콘텐츠센터는 첨단 장비와 국내외 다양한 영화제 지원 기술력을 바탕으로
▷후반작업 기술과 시그라프아시아 전용 클라우드 서버를 제공하여 대용량 데이터를 원활하게 관리할 수 있게 지원
▷상영작에 대한 편집 등 기술지원
▷후반작업 기술 디렉팅
▷ 콘텐츠 검수 등을 지원할 예정입니다.
SBA 박보경 전략산업본부장은 ‘시그라프아시아 2020’ 컴퓨터애니메이션페스티벌(CAF) 본선경쟁 심사위원으로 위촉되었으며, 이번 협약과 관련하여 “국내외 다수의 영화제를 지원하고 있는 SBA 미디어콘텐츠센터는 이번 협약을 통해 시그라프아시아의 전문 후반작업 스튜디오로서 글로벌 네트워크를 확보하였다.”며, “이러한 지원 노하우와 기술력을 바탕으로 국내 콘텐츠의 글로벌 위상을 높이는데 전념하겠다.”고 밝혔습니다.
시그라프아시아는 2021년은 일본 도쿄, 2022년은 대구에서 개최될 예정입니다.
시그라프2019
2019 시그라프에서는 참가 기술 대부분이 VR(가상현실)과 모션 트래킹 기술이 주를 이뤘습니다.
한국전자통신연구원(ETRI)은 컴퓨터 그래픽 분야 세계 최고 학회 및 전시회 중 하나로 미국 LA에서 개최된 ‘시그라프(SIGGRAPH) 2019’에 참가해 증강현실(AR) 기술을 연극에 접목한 ‘AR 뮤지컬’을 선보였다고 밝혔습니다.
ETRI는 본 전시회에서 연구진이 개발한 다수 사용자 참여가 가능한 ‘AR 공간 생성 및 위치 추정 기술’과 ‘AR 인터랙션 기술’ 공동연구기관인 토즈의 애니메이션을 더한 신개념 콘텐츠를 선보여 관계자들의 많은 관심을 받았습니다.
연구진이 선보인 AR 뮤지컬은 특수 제작된 무대와 태블릿PC로 이뤄집니다.
실제 배우 없이 소품만 놓인 무대를 태블릿으로 비추면 AR 배우들이 등장해 의자 위를 뛰어 다니며 화려한 춤과 노래가 펼쳐집니다.
강아지와 함께 살아온 고양이 ‘티미드’ 에게 길고양이들이 음악과 춤을 통해 진정한 고양이의 세계에 대해 알려주는 내용입니다. 이를 위해 노래와 대사도 만들었습니다. 특히, 5마리의 고양이가 등장해 군무를 펼치는 모습은 뮤지컬 캣츠를 떠오르게 할 정도로 몰입도가 높습니다.
ETRI 연구진이 개발한 기술로 AR 콘텐츠를 제작해 움직임이 자연스럽고 정교합니다.
사용자가 직접 체험할 수 있는 기술도 선보였습니다.
지정된 위치에서 춤을 추면 스크린에 AR 고양이가 등장해 이를 실시간으로 따라합니다.
연구진의 기술은 체험자의 다수의 가족 혹은 지인들이 함께 보고 즐기고 기록으로 남길 수 있도록 만들어 학회 참가자들의 눈길을 끌었습니다.
2019 시그라프에서는 참가 기술 대부분이 VR(가상현실)과 모션 트래킹 기술이 주를 이뤄 AR 기술로 주목을 받기도 했습니다.
연구진이 개발한 핵심 기술인 다수 사용자 참여가 가능한 공간 생성 및 위치 추정 기술은 3차원 모델링을 통해 공간을 증강현실 서비스가 가능하도록 만들고 3차원 가상 객체인 AR 캐릭터들이 정확한 위치에 있도록 만드는 기술입니다. 또한 다수 사용자간 인터랙션 기술을 통해 여러 명의 사용자가 동일한 공연을 관람할 수 있습니다.
본 기술은 문화체육관광부(한국콘텐츠진흥원)의 2019년 문화기술 연구개발 지원사업인
"사용자 참여형 문화 공간 콘텐츠를 위한 AR 플랫폼 기술 개발" 과제의 결과물의 일환으로 개발됐습니다.
연구진은 향후 교육, 엔터테인먼트 목적으로 활용할 계획임을 밝히고 과제 협력기관인 경남 김해시와 롯데월드 테마파크에도 관련 기술을 올 하반기에 시범 적용하기로 했습니다.
과제책임자인 ETRI 정성욱 박사는
“이번 전시회를 발판으로 AR 기술을 고도화하는 동시에 협력기관을 늘려 많은 사람들이 즐길 수 있는 AR 서비스를 적용할 계획이다”고 밝혔습니다.
토즈 김기태 대표는
“이번 시그라프 2019 출시를 기점으로 융합 콘텐츠를 점진적으로 발전시켜 향후 실제 뮤지컬 무대에도 적용해 더욱 화려하고 색다른 재미를 느낄 수 있도록 노력할 것”이라고 말했습니다.
한편 본 기술은 관련 국제논문 4건을 발표하고 국제 특허 5건이 출원되었으며 기술이전 예정입니다.
연구진은 향후 알고리즘 최적화를 통해 성능 경량화 및 엔진 정확도를 높일 수 있도록 연구를 지속할 계획입니다.
댓글 영역