KAIST·포스텍·소니 AI, 영상 속 물체의 질량·속도 추론해 장면 맞춤형 효과음 생성 AI 개발

AI 요약

KAIST 전산학부 오태현 교수 연구팀은 POSTECH, 소니 AI 공동 연구진과 함께 영상 속 물리적 상황을 이해해 현실감 있는 소리를 생성하는 인공지능 기술 파바스(PAVAS·Physics-Aware Video-to-Audio Synthesis)를 26일 개발했다고 밝혔습니다. 이 기술은 영상에서 물체의 질량과 속도 같은 눈에 보이지 않는 물리 정보를 스스로 추론해 충돌·타격 장면에서 소리의 크기와 음색을 자연스럽게 변화시키는 소리를 생성했고, 검증 결과 실제 환경과 매우 유사한 소리를 구현했습니다. 연구 결과는 컴퓨터 비전 분야 최고 권위 학술대회인 CVPR 2026에서 상위 1% 이내에 선정되는 오랄 발표로 채택돼 오는 6월 6일 발표될 예정이며, 제1저자는 POSTECH 오현빈 통합과정 학생이고 관련 코드도 곧 공개될 예정입니다.