“60대 배우 최민식 나이를 되돌려라”
디즈니+ ‘카지노’ 후반작업 담당자들
젊게 변신, 현실감 살린 AI 디에이징
디즈니+ ‘카지노’ 후반작업 담당자들
젊게 변신, 현실감 살린 AI 디에이징
피부 관리와 티 안나는 시술을 거친 동안 외모가 비결이냐고? 천만에 말씀. 대배우 최민식의 주름은 시간의 흐름 그대로 여전히 깊다. 대신 그의 시간을 30년 가까이 되돌린 것은 인공지능(AI)을 활용한 ‘페이스·음성 디에이징’ 기술이다. 몇분짜리 장면 보정 수준이 아니라 수회차 분량 속에서 나이대를 자유자재로 넘나든다.
2019년 70대 배우 로버트 드니로 등의 20대 모습을 구현했던 넷플릭스 영화 ‘아이리시맨’보다 제작 비용은 낮아졌고, 구현 수준도 진일보했다. 도대체 어디에 어떤 기술이 쓰였느지 눈치채기도 어려웠다고 따져 묻는다면, 그건 3개월 넘게 후반 작업에 매달린 이들에겐 더없는 극찬이다. 시각효과(VFX)팀의 씨제스걸리버스튜디오와 AI 음성합성을 담당한 수퍼톤 각 책임자에게 ‘최초’ 시도를 이어간 작업 뒷이야기를 들었다.
‘VFX 감독’ 이주원 씨제스걸리버스튜디오 본부장
이 과정을 총괄한 이주원 본부장은 “전 세계에서 우리 기술 수준이 완전한 선두는 아니지만 과감하게 AI 디에이징을 작품에 실용화한 건 의미 있는 첫 단계”라고 밝혔다.
이번 디에이징은 촬영 현장에 특수장비는 하나도 쓰지 않고 AI를 활용한 후반작업으로 구현됐다. 예를 들어 스마트폰의 사진 보정 애플리케이션이 사람 얼굴 모양을 찍어낸 뒤 새로운 필터를 씌우는 것처럼, 60대 최민식의 얼굴 위에 AI가 학습한 30대 최민식 얼굴을 합성하는 식이다. 과거 ‘벤자민 버튼의 시간은 거꾸로 간다’ ‘엑스맨’ ‘제미니맨’ 등 할리우드 특수효과 영화에서 배우가 머리에 기계를 장착하거나 얼굴 근육에 점을 찍고 모션 캡쳐를 뜨던 방식에 비하면 제작 과정은 훨씬 간단해졌다.
물론 여기까지 구현하는 과정도 쉽지 않았다. 드라마 영상은 4K 초고화질인데, 30년 전 최민식 영상 자료는 비디오테이프 저해상도라 쓸 만한 자료가 많지 않았다. 이에 AI로 영상 해상도를 끌어올리는 ‘슈퍼 레졸루션’ 기술이나 전통적인 3D 캡쳐 기술도 보완적으로 쓰였다.
“특히 중견 배우들은 얼굴 주름 하나도 연기의 도구로 진화시켜온 것이더군요. 또 비슷한 시기의 한 인물이더라도 처한 상황에 따라 낯빛이 어둡고 주름이 더 질 수도 있죠. 디에이징 작업은 배우가 표현하려는 감정에 맞춰 따라가야 했습니다.”
물론 어떤 작품에선 과도한 설정과 효과가 시청자 몰입을 방해하는 요소로 지적되기도 한다. 짧은 제작기간, 한정적인 제작비 등 현실 자체가 큰 장벽이다. 이 본부장은 “시청자의 평가 기준이 높아지고 있다”며 “‘카지노’에서도 완벽한 30대를 구현한 건 아니지만 배우의 예전 모습과 현재의 연기 사이 접점을 구현해냈다는 점에서 소기의 성과가 있었다”고 말했다.
‘AI 음성합성’ 이승복 수퍼톤 콘텐츠사업본부장
페이스 디에이징과 마찬가지로 음성 디에이징도 영상 작업물에 쓰인 건 세계 최초 수준의 시도다. 이승복 수퍼톤 콘텐츠사업본부장은 “앞선 영화 아이리시맨이 디에이징 기술로 주목받았지만, 얼굴만 젊어지고 목소리는 그대로라 오디오 업계에선 풀지 못하는 숙제 같은 영역이었다”며 “기술 연구를 하고 있던 차에 마침 작품 의뢰가 들어오면서 성과를 이루게 됐다”고 말했다.
촬영 현장에서 동시녹음된 배우의 목소리를 ‘가우디오랩’에서 AI 음성 분리기술을 이용해 최대한 잡음 없이 깨끗하게 가공해주면, 수퍼톤은 자체 기술인 ‘에이지 슬라이더’ ‘보이스 진’ 등을 활용해 ‘30대 차무식’의 목소리를 새롭게 만들었다. 대중이 기억하는 최민식의 젊은 시절, 최민식이 이번 작품을 통해 표현하려고 한 캐릭터, 시청자에게 어색하지 않은 톤 등이 모두 어우러진 목소리를 찾는 데 공을 들였다.
이 본부장은 음성 합성이 잘 녹아든 장면으로 2회, 특히 무식(최민식)과 동갑내기 친구 동억(이종윤)이 필리핀 숙소에서 대화하는 장면을 꼽았다. “친구끼리 편한 대화지만 실제 원본 영상과 음성에선 배우간 나이차가 느껴졌거든요. 그래도 오디오 원본의 질이 좋았고 변환 결과물도 자연스러워서, 장면이 완성된 후 ‘잘 나왔다’고 생각했습니다.”
수퍼톤은 앞으로도 문화·예술 분야에도 쓰일 수 있는 극사실주의 AI 음성을 발전시키겠단 목표다. 예를 들어 우리나라 배우가 한국어로 연기한 영상 위에 입히는 외국어 더빙을 AI가 대신할 수 있는 정도까지 기술 수준이 올라왔다. 배우가 가진 고유한 음색을 그대로 살려 언어 제약 없이 더빙할 수 있다.
“원본 목소리 없이도 얼마든지 젠더·국적·인종별 새로운 캐릭터 목소리가 나올 수 있어요. 다만 이걸 고유한 창작물로 볼 수 있는지, 시청자 거부감은 없을지 계속 고민해야 하는 부분이죠. 상상을 현실로 만드는 AI 기술이 어디까지 상용화될지 기대됩니다.”
.png?type=nf190_130)
.png?type=nf190_130)
