KAIST, 화면 맥락 분석해 맞춤형 효과음 생성해주는 AI ‘파바스’ 개발

AI 요약

한국과학기술원(KAIST, 총장 이광형)은 26일 오태현 전산학부 교수 연구팀이 포항공과대학교(POSTECH, 총장 김성근)와 소니 AI 공동 연구진과 함께 효과음 생성 AI 파바스(PAVAS)를 개발했다고 밝혔습니다. 파바스는 영상 속 물체의 질량과 속도 등 눈에 보이지 않는 물리 정보를 스스로 추론해 이를 소리 생성 과정에 반영함으로써 충돌이나 타격 장면에서 실제 환경과 매우 유사한 소리를 생성했고, 질량과 속도 변화에 따라 소리의 크기와 음색이 자연스럽게 변했습니다. 연구팀은 콘텐츠 음향 제작 자동화와 증강현실(AR), 가상현실(XR), 메타버스, 로보틱스 시뮬레이션 등에서 몰입감 있는 사용자 경험을 제공할 수 있을 것으로 전망했으며, 오태현 교수는 이번 연구가 AI가 물리량과 인과관계를 직접 이해하도록 설계했다는 점에서 의미가 있다고 말했습니다.