[개발] AI의 시각·청각 정보 혼동 줄이고 신뢰성 높인다

AI 요약

KAIST 전기및전자공학부 노용만 교수 연구팀이 멀티모달 대형 언어모델(MLLM)의 감각 혼선과 환각을 줄이는 두 가지 핵심 기술을 개발했다고 밝혔습니다. 첫 번째 기술인 센서 이해 AI(DNA)는 열화상·깊이영상·엑스레이 등 각 센서가 담고 있는 물리적 의미를 학습해 어둠이나 연기 속에서도 사물 인식을 개선하고 적은 데이터로 다양한 센서를 이해하도록 성능을 높였습니다. 두 번째 기술인 감각 혼선 방지(MAD)는 AI가 어떤 감각으로 판단할지 스스로 구분해 더 중요한 감각에 집중하도록 함으로써 존재하지 않는 소리 등을 답하는 환각을 줄이고 별도의 대규모 재학습 없이 기존 AI에 적용할 수 있으며, MAD 연구는 6월 CVPR에 발표되었고 DNA 연구는 IEEE Transactions on Image Processing에 게재되었습니다.