"모를 땐 '모른다' 답해야" AI의 과신 원인규명·신뢰성 'UP'

AI 요약

KAIST 뇌인지과학과 백세범 석좌교수 연구팀은 AI의 과신 원인을 무작위 가중치 초기화에서 찾고, 학습 전 무작위 노이즈를 입력해 신경망을 짧게 학습시키는 '예열' 전략을 고안했다고 27일 밝혔습니다. 예열 과정을 거친 모델은 초기 확신도가 낮아 학습하지 않은 데이터에 대해 '모른다'고 판단하는 능력이 향상됐고, 정확도와 확신도가 일치하는 방향으로 개선돼 과신 편향이 완화됐다고 연구팀은 확인했습니다. 연구팀은 이번 연구가 AI의 메타 인지 능력 가능성을 보여주며 자율주행·의료 AI·생성형 AI 등 모든 딥러닝 모델의 초기화 방식에 적용돼 AI 신뢰성을 높이는 핵심 기술로 활용될 수 있다고 평가했으며, 제1 저자 KAIST 천정환 석사(현 육군 일병) 등이 참여한 연구 결과는 지난 9일 네이처 머신 인텔리전스 온라인에 게재됐습니다.