“티라노사우르스가 실제 달려오는 줄” 영상 속 물체 분석…AI로 맞춤형 효과음 만든다

AI 요약

KAIST 전산학부 오태현 교수 연구팀이 POSTECH, 소니 AI와 공동으로 영상 속 물체의 질량·속도 등 물리 정보를 추론해 장면 맞춤형 효과음을 생성하는 인공지능 '파바스(PAVAS)'를 개발했다고 26일 밝혔습니다. 파바스는 영상에서 물체의 질량과 속도 등 눈에 보이지 않는 물리량을 스스로 추정해 소리 생성 과정에 반영하며, 물체 간 충돌과 타격 장면에서 실제 환경과 유사한 소리를 만들고 질량·속도 변화에 따라 크기와 음색이 자연스럽게 변했습니다. 이 기술은 촬영된 영상의 후반작업 도구로 병을 내려놓는 소리나 신발이 바닥을 밟는 소리 등 장면에 맞는 효과음을 자동 생성할 수 있고 AR·VR, 메타버스, 로보틱스 시뮬레이션 등에서 몰입감 있는 경험을 제공할 수 있을 것으로 기대되며, 오태현 교수는 차세대 멀티모달 AI의 핵심 기반 기술로 확장될 수 있다고 말했습니다.