비디오에서 객체를 더 효율적으로 제거하는 머신 러닝

AI 요약

중국 연구진은 End-to-End 프레임워크인 Flow-Guided 비디오 인페인팅(E2FGVI)을 발표했으며, 이 시스템은 비디오에서 객체와 워터마크 등 다양한 오클루전을 제거하고 오클루전 뒤의 콘텐츠를 예측하여 제거할 수 있다고 보고했습니다. 논문에 포함된 모델은 432px x 240px 비디오에서 훈련되었지만 이후 임의 해상도 처리가 가능한 E2FGVI-HQ를 공개했고, 코드와 HQ 버전은 GitHub·Google Drive·Baidu Disk에서 제공되며 Titan XP GPU(12GB VRAM)에서 432px x 240px 비디오를 프레임당 0.12초로 처리해 이전 최첨단 방법보다 15배 빠르다고 보고했습니다. E2FGVI는 흐름 완성·픽셀 전파·콘텐츠 환상의 기존 3단계를 엔드투엔드로 결합해 픽셀 전파를 특징 전파로 대체하고 시간적 초점 변환기를 도입해 원격 이웃을 고려하는 등 아키텍처적 혁신으로 YouTube-VOS와 DAVIS 데이터셋의 질적·양적 평가에서 라이벌을 능가했다고 보고했습니다.