구글도 놓친 ‘진짜 소리’ 한국이 뚫었다?…영상 속 무게까지 계산하는 AI ‘파바스’ [팩플]

AI 요약

KAIST 오태현 전산학부 교수 연구팀은 26일 포항공대(POSTECH), 소니 AI 공동 연구진과 함께 영상 속 물체의 질량과 속도 등 물리적 상황을 이해해 현실감 있는 소리를 생성하는 인공지능 파바스(PAVAS)를 개발했다고 밝혔습니다. 파바스는 영상의 물리 환경을 스스로 추론해 장면과 정밀하게 맞아떨어지는 효과음을 생성하도록 설계돼 기존 구글의 비오3나 바이트댄스의 시댄스 2.0 등 영상·오디오 동시 생성 모델들이 통계적 확률로 소리를 입혀 후반 작업을 필요로 하는 것과 차별화된다고 연구진은 설명했습니다. 이번 연구는 CVPR 2026에서 전체 논문 중 상위 1% 이내에 선정되는 오랄 발표 논문으로 채택됐고 발표는 다음 달 6일 진행될 예정이며, 연구진은 이 기술이 콘텐트 음향 제작 자동화와 AR·VR, 메타버스, 로보틱스 시뮬레이션 등 분야에서 몰입감 있는 사용자 경험을 제공할 것으로 기대하고 있습니다.