KAIST, AI ‘과신’ 잡았다 “모르면 모른다고 말하는 AI”

AI 요약

KAIST 뇌인지과학과 백세범 석좌교수 연구팀이 딥러닝에서 널리 사용되는 무작위 가중치 초기화(random initialization)가 AI의 과신(overconfidence)을 유발하는 근본 원인일 수 있음을 규명했다고 27일 밝혔습니다. 연구팀은 실제 데이터를 학습하기 전 무작위 노이즈로 신경망을 짧게 학습시키는 예열(warm-up) 전략을 제안해 초기 확신도를 낮추고 정확도와 확신도의 일치를 개선했으며 처음 보는 데이터에 대해 확신을 낮춰 분포 밖 데이터 탐지 성능을 향상시켰다고 밝혔습니다. 이번 연구는 네이처 머신 인텔리전스에 4월 9일 게재됐고 자율주행·의료 AI·생성형 AI 등 신뢰성이 요구되는 분야와 딥러닝 초기화 방식 개선에 적용될 수 있을 것으로 기대된다고 전했습니다.