"인공지능으로 얼굴 바꾼다" 덱스터, AI 디에이징·업스케일링 등 VFX 특허 4건 등록

[프라임경제] 덱스터스튜디오(206560, 이하 덱스터)가 인공지능(AI) 기반의 시각특수효과(VFX) 신규 특허를 취득하며 VFX 제작 효율화 및 품질 향상을 위한 기술 혁신 의지를 공고히 했다.

콘텐츠 전문기업 덱스터가 AI 디에이징, 업스케일링 등 총 4건에 대한 신규 특허 등록을 완료했다고 밝혔다.

신규 등록된 AI 특허는 △비디오 시퀀스 디에이징 항상성 유지 기술 △멀티레이어 이미지 고품질 업스케일링 기술이다. 딥러닝 기반 영상 처리 방식에 고도화된 알고리즘을 결합해 제작 효율은 물론 완성도 향상까지 기대할 수 있는 기술이다.

AI 디에이징 기술의 특허명은 '비디오 시퀀스에 대한 디에이징 항상성 유지를 위한 영상 제작 방법'이다. 기존에는 각 프레임마다 개별 처리하던 디에이징 효과를 영상 전체에 자동 적용하면서도 자연스럽고 일관적인 외형을 구현하는 것이 특징이다.

전체 영상에서 표정·조명 등이 크게 바뀌는 '키프레임'을 딥러닝으로 집중 학습한 결과값을 유사한 구조를 가진 나머지 프레임에 전체 적용하는 방식이다. 연속된 프레임에 대한 일관성 있는 디에이징 효과를 구현했다. 

또한 목, 어깨, 머리카락 등은 제외하고 얼굴 피부만의 색상 분포를 디에이징 처리된 이미지의 색상과 매칭해 원본의 분위기, 피부의 톤까지 보존되는 일관성 높은 디에이징 효과를 구현한다.

개인화 기능을 통해 나이, 성별 등을 인식해 디에이징 강도를 조절할 수 있어 에이징(Aging)과 디에이징(De-aging)이 모두 가능해 나이대가 크게 바뀌는 장면에도 대응할 수 있다. 

글로벌 인터넷동영상서비스(OTT) 등 프로젝트에 해당 기술이 적용되고 있으며, 촬영된 배우의 얼굴을 다른 배우의 얼굴·표정으로 바꾸는 '페이스 스왑(Face Swap)'에도 활용할 수 있다.

특허명 '멀티 레이어 이미지에 대한 고품질 업스케일링을 위한 영상 제작 방법'은 VFX 및 고해상도 콘텐츠 제작에 최적화된 업스케일링 기술이다. 

기존 단일 이미지 기준 업스케일링 방법과 달리, EXR(Extended Range) 포맷과 같은 다중 레이어 이미지의 각 레이어(색상, 조명, 깊이, 위치 등)를 분리해 독립적으로 업스케일링한 후 재구성하는 방식이다.

 

각 레이어의 특성 데이터가 유지돼야 하는 다중 레이어 이미지를 최종 제작 품질 수준의 초해상도(Super Resolution)로 업스케일링 하는 경우에도, 데이터 손실 없이 높은 처리 효율로 질감과 디테일을 향상시킬 수 있다.

이밖에도 덱스터는 풀바디 스캔 및 모션 캡처를 활용한 3D 바디 프로필 제작, 버추얼 프로덕션 환경에서의 디지털 휴먼을 활용한 촬영 시스템에 관한 특허까지 총 4건의 특허를 신규 등록했다. 

AI 딥러닝 기반의 매치메이션 기술, 포토그래메트리 촬영 자동화 기술 등 신규 VFX 기술 다수도 특허 출원 상태다. AI 아티스트와 AI 엔지니어로 구성된 AI 전담팀을 운영하며 AI 제작 노하우 축적 및 생성형 AI 등 신규 기술 개발에도 집중하고 있다.

송재원 덱스터 R&D연구소 소장은 "이번 특허 기술을 비롯해 VFX 제작 파이프라인에 직접 연동되는 다수의 AI 기술을 통해 작업 효율을 꾸준히 상승시키고 있고, 영화, 드라마, CF 등 다양한 영역의 프로젝트로 기술 적용 범위를 확대하고 있다"고 말했다.

이어 "효율성 극대화로 확보되는 자원은 주연급 캐릭터에 활용 가능한 딥러닝 기반의 '디지털 휴먼 페이셜 시스템' 개발 등 독보적인 기술 우위 확보를 위해 투입 중"이라고 덧붙였다.