잘 모르면서 “난 알아요”...AI 나쁜 버릇, 이렇게 고쳤다

AI 요약

당뇨병 환자 A씨가 AI 챗봇에 당뇨에 좋은 식물을 묻자 챗봇은 해외 논문을 근거로 특정 식물 추출물이 효과가 있다고 답했으나 의사 확인 결과 AI가 지어낸 가짜 정보였고, AI의 큰 위험 요소는 틀린 예측에도 높은 확신을 보이는 과도한 확신 현상입니다. 한국과학기술원(KAIST) 뇌인지과학과 백세범 석좌교수 연구팀은 기존의 무작위 가중치 초기화 방식이 문제의 원인이라고 보고 인간 두뇌의 자발적 신경 활동을 모사한 ‘무작위 노이즈 예열’ 전략을 제안해 진짜 데이터를 학습하기 전에 무의미한 노이즈를 짧게 학습시키는 예열 과정을 도입했습니다. 예열을 거친 신경망은 낯선 데이터에 대해 억지로 답을 내지 않고 확신도를 낮춰 모른다 답하는 경향을 보이며 확신도와 정확도가 일치하도록 개선됐고, 이 연구는 9일 네이처 머신 인텔리전스 온라인판에 실렸으며 자율주행·의료·생성형 AI 등 신뢰성이 요구되는 분야에 적용될 수 있다고 연구팀은 설명했습니다.