비디오에서 기계 학습을 사용하여 얼굴 재구성

AI 요약

중국과 영국의 연구 협력으로 비디오에서 얼굴을 확장·축소해 재구성하는 새로운 방법이 개발되었고, 연구진은 유튜브에서 사용된 제니퍼 로렌스의 얼굴을 더 가늘게 만든 예시를 제시했으며 일관성과 아티팩트가 없다고 보고했습니다. 이 방법은 3D 모르펠러블 페이스 모델(3DMM)을 신경망 파이프라인에 통합하고 옵티컬 플로우·구조 플로우로 모션 맵을 생성하며 FAN 랜드마크, 서명된 거리 함수(SDF), 컨투어 에너지를 활용해 가려짐을 고려하고 콘텐츠 인식 워핑 최적화를 수행합니다. 논문 제목은 Parametric Reshaping of Portraits in Videos이며 浙江大学 연구자 3명과 바스大学 연구자 1명이 참여했으며 데스크톱(AMD Ryzen 9 3950X, 32GB)에서 훈련되었고 실시간 구현은 어렵다고 판단되어 24fps 기준 프레임당 16.344초의 대기 시간과 아이덴티티 추정 321ms·3D 얼굴 변형 160ms의 추가 비용이 보고되었습니다.