디즈니 AI FRAN 배우의 나이를 자유자재로 조절하는 AI.
할리우드 스타들의 어린 시절이 등장하는 영화가 최근 급증하고 있다는 사실에 놀란 적이 있었나요?
이러한 행위자들을 젊어지게 하는(또는 노화시키는) 디지털 기술이 비판을 받지 않는 것은 아니지만 업계의 요구는 증가하고 있습니다.
세계 굴지의 엔터테인먼트 회사인 월트 디즈니 컴퍼니도 그 중 하나입니다.
그리고 이 회사의 AI 연구소인 디즈니 리서치 스튜디오는 배우의 얼굴 나이를 자유롭게 조작할 수 있는 AI 시스템 개발에 성공했다고 지난달 30일 밝혔습니다.
이 AI를 FRAN(Face Re-Aging Network)이라고 하는데, 영화 속 캐릭터의 얼굴을 단시간에 늙게 하거나 젊게 만드는 것이 가능합니다.
이번 연구의 세부 내용인 "시각적 효과를 위한 Production-Ready Face Re-Aging"은 이달 6일부터 개최되는 기술 컨퍼런스인 ACM SIGGRAPH Asia에서 발표될 예정입니다.
배우의 얼굴 나이를 자유롭게 조절할 수 있습니다.
영화 산업에서 수년 동안 숙련된 예술가들은 배우의 얼굴 나이를 바꾸기 위해 특수 분장을 적용했습니다.
CG 기술의 등장 이후 화면에 주름이나 얼룩 등을 추가(제거)하는 것이 가능해졌지만 각 프레임마다 세심한 수작업이 필요하기 때문에 이미지를 처리하고 수정하는데 최소 며칠 또는 몇 주가 소요됩니다.
여하튼 배우의 나이를 조작하는 것은 많은 시간과 노력과 비용이 드는 작업이었고, 창작자에 따라 완성도의 편차가 있었습니다.
또한 신경망이나 기계 학습을 이용한 연령 조작 자동화는 이미 시도된 바 있지만 아쉽게도 정지 이미지에는 잘 작동하지만 동영상에는 기술이 안정적이지 않습니다.
그래서 디즈니·리서치·스튜디오는 2년 전부터 이러한 어려움을 해결할 수 있는 AI 시스템 "FRAN"의 개발을 진행해 왔습니다.
개발 과정에서 연구팀은 적대적 생성 네트워크(GAN)를 사용하여 18세에서 85세 사이의 수천 명의 남성과 여성 얼굴을 무작위로 생성했습니다.
(※ GAN: 입력 데이터의 특성을 학습하여 존재하지 않는 데이터를 생성할 수 있는 AI 알고리즘의 일종)
GAN이 생성한 존재하지 않는 사람들의 얼굴
이후 머신러닝 기반의 기존 연령 조작 도구를 이용하여 이러한 안면 노화와 회춘을 수행하고 그 결과를 훈련을 위해 FRAN에 입력하였습니다.
FRAN은 입력된 얼굴 사진을 분석하여 어떤 부분이 노화에 영향을 받을지 예측하고, 원본 이미지 위에 주름, 기미, 피부질 등의 노화 효과를 레이어로 적용합니다.
회춘 조작에 대해서도 마찬가지입니다.
노화의 영향을 받는 부분을 예측하고 해당 부분에 노화의 영향을 적용합니다.
훈련 결과 FRAN은 영상 속 배우들의 나이를 움직이거나 표정을 바꾸거나 조명의 밝기를 바꿔도 정확하게 조작할 수 있었습니다.
게다가 프레임당 단 5초 만에 얼굴을 노화시키거나 회춘시킬 수 있다고 합니다.
FRAN을 이용한 노화 실험
연구팀은 FRAN을 비디오에서 얼굴 나이를 조작할 수 있는 최초의 실용적이고 완전 자동화된 AI 시스템이라고 설명합니다.
FRAN을 사용하면 시간과 비용이 많이 드는 연령 조작이 품질의 차이 없이 더 부드럽고 간단해집니다.
또한 6일 발표 예정인 연구 제목에서 '생산 준비 완료'라는 제목에서 알 수 있듯이 FRAN은 언제라도 실용적인 상태에 있는 것으로 보인다.
FRAN을 이용한 에이징 실험
디즈니는 이미 자신의 영화에서 나이에 맞게 조작된 배우의 얼굴을 여러 번 선보였습니다.
디즈니 자체 집계에 따르면 2022년까지 최소 12개의 영화 및 TV 시리즈에서 연령 조작이 사용될 것이며 다가오는 FRAN 항목은 그 수를 더욱 늘릴 예정입니다.
내년 출시 예정인 인디 존스 5로 컴백하는 해리슨 포드(80)의 얼굴 일부에 회춘 기술이 사용되고 있다고 합니다.
FRAN은 극 중 캐릭터가 나이를 먹거나 플래시백에서 젊어지는 모습을 만드는 데 큰 도움이 될 것입니다.
그러나 다른 한편으로는 엔터테인먼트 산업에 AI가 침투하면 메이크업 아티스트나 특수 효과 예술에 대한 뛰어난 숙련도를 잃을 수도 있습니다.
전통 장인의 솜씨를 잊지 않기 위해서는 인공지능과 특수 분장이나 예술을 구분할 필요가 있을 것입니다.
