KAIST, 영상 속 질량·속도까지 읽는 AI, 맞춤형 효과음 만든다

AI 요약

한국과학기술원(KAIST) 전산학부 연구팀은 POSTECH, 소니 AI와 공동으로 영상만 보고 물체의 질량과 속도 같은 보이지 않는 물리량을 추론해 현실감 있는 효과음을 생성하는 파바스(PAVAS·Physics-Aware Video-to-Audio Synthesis) 기술을 26일 밝혔습니다. 파바스는 물체의 움직임과 주변 환경과의 상호작용·충돌 방식을 분석해 추정한 물리량을 음향 생성에 반영해 빠른 충돌과 느린 접촉의 음색·음압 차이나 질량이 클수록 저주파 성분이 강조되는 특성 등을 재현했습니다. 연구진은 이 기술이 후반 작업의 자동화와 AR·VR·메타버스·로보틱스 시뮬레이션 등에서 활용될 수 있을 것으로 기대하며 관련 연구는 CVPR 2026에서 상위 1% 이내 오랄 발표로 채택됐습니다.