현실감 있는 소리 생성하는 AI 기술 '파바스' 개발

AI 요약

KAIST 전산학부 오태현 교수 연구팀이 포스텍, 소니 AI와 공동으로 영상 속 물체의 질량과 속도 등 물리량을 추정해 이를 음향 생성 과정에 반영하는 물리 인식 기반 영상→음향 생성 모델 PAVAS를 개발했습니다. 연구팀의 AI는 물체 간 충돌이나 타격 장면에서 질량과 속도가 달라질 때 소리의 크기와 음색이 자연스럽게 변화하는 등 실제 환경과 유사한 현실감 있는 소리를 생성했으며, 영상 속 객체의 움직임과 충돌 특성에 맞춰 정밀한 효과음을 생성한다고 설명했습니다. 이번 연구는 포스텍 오현빈 학생이 제1저자로 참여했으며 CVPR 2026 오랄 발표(전체 논문 중 상위 1% 이내)로 채택되어 6월 6일 발표될 예정이고 과학기술정보통신부 기초연구사업 중견연구, 미래창조과학부 미래유망융합기술 파이오니어사업, 과학기술정보통신부 AGI 사업, KAIST 이노코어 사업의 지원을 받아 수행됐습니다.