AI가 영상 상황 이해 현실적 효과음 생성…물체 질량·속도 추론

AI 요약

한국과학기술원(KAIST) 전산학부 오태현 교수 연구팀은 POSTECH·소니 AI가 참여한 공동연구로 영상 속 상황을 이해해 보다 현실감 있는 소리를 생성하는 인공지능 '파바스'(PAVAS)를 개발했다고 26일 밝혔습니다. 파바스는 영상에서 물체의 질량과 속도 등 보이지 않는 물리 정보를 스스로 추론해 그 결과를 소리 생성에 반영하며, 물체 질량·속도가 달라질 때 소리 크기와 음색이 자연스럽게 변화하는 등 충돌·타격 장면에서 실제 환경과 유사한 소리를 구현했습니다. 연구팀은 이 기술이 콘텐츠 음향 제작 자동화와 증강현실(AR)·가상현실(VR), 메타버스, 로보틱스 시뮬레이션 등에서 몰입감 있는 사용자 경험을 제공할 수 있을 것으로 기대한다고 밝혔습니다.