온마인드, 버추얼 휴먼 기술로 가상 농구단 재현
명예 치어리더 나수아, ‘질풍가도’ 맞춰 칼군무
“사람에 이로운 진정한 버추얼 휴먼 제공할 것”
# 철갑옷과 대검으로 중무장한 김선형·오세근이 오크들을 향해 달려들자 관중들의 함성소리가 들려왔다. 버추얼 휴먼 ‘나수아’는 접전이던 경기 막바지 작전타임에 SK나이츠 응원복 차림으로 등장, 대표 응원가인 ‘질풍가도’에 맞춰 현란한 치어리딩과 오차 없는 칼군무를 선보였다.
22일 서울 송파구 잠실학생체육관에서 열린 서울 SK나이츠와 수원 KT 소닉붐 간의 경기. SK나이츠의 2023-2024시즌 프로농구 홈 개막전을 맞아 출정을 알리는 웅장한 인트로 영상이 경기 시작 전 송출됐다.
버추얼 휴먼 전문기업 온마인드는 SK나이츠 팬들에게 보다 특별한 경험을 선사하기 위한 이색 인트로 영상을 준비했다. 전희철 감독 및 코치단을 비롯, 김선형·오세근·허일영 등 선수 전원을 포함한 선수단 22인을 ‘버추얼 휴먼(가상 인간)’으로 재탄생시킨 것이다.
접전이 이어지던 4쿼터 막바지 작전타임에는 온마인드의 대표 버추얼 휴먼 ‘나수아’가 등장해 멋진 치어리딩 무대로 분위기를 한층 달궜다. 최근 나수아는 SK나이츠의 2023-2024시즌 명예 치어리더로 선정된 바 있다.
온마인드는 인트로 영상 속 농구단 개개인의 얼굴 개성을 살리고 실제 같은 표정을 구현하기 위해 디지털 트윈(Digital Twin) 기술을 활용했다. 디지털 트윈은 현실세계의 기계·장비·사물 등을 디지털 데이터 모델로 복제해 가상세계에 구현하는 것으로, 온마인드는 그중 사람을 가상세계로 복제하는 기술에 주력하고 있다.
농구단의 디지털 트윈 제작에는 3D 스캔 장비인 ‘포토그래메트리(Photogrammetry)’가 활용됐다. 포토그래메트리란 다수의 카메라로 촬영된 고품질 이미지 데이터를 기반으로, 프로그램이 공간을 재구성하고 좌표값을 생성해 폴리곤(Polygon) 데이터를 만들어주는 장비다.
온마인드는 카메라 129대와 조명 50대를 사용해 포토그래메트리를 자체 구축함으로써, 고화질의 3D 스캔 데이터를 쉽고 빠르게 확보할 수 있게 됐다. 이를 통해 버추얼 농구단의 ▲얼굴 골격 ▲홍채 ▲눈물샘 ▲피부 솜털 ▲주름 등을 한층 섬세하게 구현해냈다.
또한 온마인드는 인트로 영상 속에서 선수들이 검을 휘두르거나 적진을 향해 달려가는 장면 등 역동적인 동작을 구현하고, 나수아의 파워풀한 치어리딩 공연을 만들기 위해 3D 엔진을 활용한 ‘실시간 렌더링(Real-Time Rendering)’ 기술을 사용했다.
이는 연기자(Performer)의 움직임을 캡처해 3D 캐릭터에 적용한 후 실시간 렌더링 환경에서 배경 및 각종 효과들을 적용해 원하는 씬으로 구현한 것으로, 별도의 영상 합성이나 후처리 렌더링이 필요 없어 더욱 빠르고 쉽게 높은 수준의 3D 영상을 구현할 수 있다는 설명이다.
온마인드는 이 같은 실시간 렌더링 기술 기반의 버추얼 휴먼 라이브 컨텐츠 서비스를 준비 중에 있다. 이를 통해 유저들과 실시간으로 소통하며 팬덤을 구축하고, 수익 창출까지 가능한 신규 비즈니스 모델(BM)을 마련한다는 계획이다.
최신 인공지능(AI) 기술을 접목해 스스로 말하고 행동하는 AI 버추얼 휴먼 개발에도 속도를 내고 있으며, 오는 11월 17일 열리는 SK 테크 서밋(TECH SUMMIT)을 통해 ‘AI를 품은 FULL 3D 버추얼 휴먼’을 주제로 첫 선을 보일 예정이다.
김형일 온마인드 대표는 “이번 SK나이츠와의 협업을 통해 버추얼 휴먼 기술력을 대중에 증명하고, 버추얼 휴먼의 활동 무대를 스포츠 업계로 확장할 수 있는 좋은 기회를 얻게 됐다”라며 “다년간 쌓아온 버추얼 휴먼 제작 및 라이브 기술 노하우를 통해 사람과 교감하고 더 나아가 사람에게 이로운 역할을 하는 진정한 AI 버추얼 휴먼 서비스를 제공할 것”이라고 공언했다.
한편 온마인드는 그룹 ICT 분야 중간 지주사인 SK스퀘어가 37.5%, 카카오게임즈 계열사인 넵튠이 37.5%의 지분을 각각 보유하고 있다. 2020년 넵튠이 온마인드 지분 60.4%를 인수한 후, 이듬해 SK스퀘어로부터 80억원의 투자를 유치받 으며 이 같은 지분 구조를 형성하게 됐다.
온마인드는 SK스퀘어의 지분 투자 이후 특히나 SK텔레콤과 긴밀한 협력 관계를 이어오고 있다. 지난해 SKT와 나수아 AI 보이스를 제작하고 ‘A.(에이닷)’ 메인 모델로 발탁하는가 하면, 올해 7월 SKT·하나금융그룹의 ‘AI 랩 포 스타트업(AI LAB for startups)’ 홍보 영상을 제작하기도 했다.
파이낸셜투데이 채승혁 기자