"상황 이해보다 현실감" KAIST, 장면 맞춤형 효과음 생성 AI 개발

AI 요약

KAIST 전산학부 오태현 교수 연구팀이 POSTECH, 소니 AI와 공동으로 물체의 질량과 속도 등 물리적 정보를 스스로 추론해 영상에 맞춘 효과음을 생성하는 AI 기술 '파바스(Physics-Aware Video-to-Audio Synthesis·PAVAS)'를 개발했다고 26일 밝혔다. 파바스는 영상 속 움직임과 충돌 특성을 분석해 물체의 무게와 속도 변화에 따라 소리의 크기와 음색을 자연스럽게 변화시키며 실제 환경과 유사한 소리를 생성하는 것으로 검증됐다. 연구는 POSTECH 오현빈 학생이 제1 저자이고 오태현 교수 및 소니 AI의 타키다 유타·우에사카 토시미츠·미츠후지 유키 연구원이 공동 저자로 참여했으며 논문은 CVPR 2026에서 오랄 발표로 채택돼 논문은 내달 6일 발표될 예정이다.