article detail
KAIST, 입모양 읽는 AI로 시각적 음성인식 향상 기술 개발
2026. 11. 16. 오후 3:57

AI 요약
한국과학기술원(KAIST)은 16일 입술 움직임만으로 말을 문자로 바꾸는 시각적 음성 인식(VSR)의 정확도를 높이는 AI 기술인 ‘DLLM-VSR’ 프레임워크를 개발했다고 밝혔습니다. 연구진은 확산 대형언어모델(DLLM) 기반의 마스크 기반 노이즈 제거 디코딩, 2단계 마스크-노이즈 제거 학습법, 길이 안내 후보군 디코딩 등을 적용해 433시간 분량의 LRS3 데이터셋만으로 단어 오류율 19.4%를 기록해 세계 최고 수준의 성능을 달성했고 EMNLP 2026에서 우수논문상을 수상했습니다. 이 기술은 기계 소음이 큰 산업 현장이나 청각장애인·난청인의 의사소통 보조 장치에 활용될 수 있으며, 연구팀은 웨어러블 기기나 로봇에서 인터넷 연결 없이 실시간 작동하도록 후속 연구를 진행할 예정입니다.