사용자 기분 살피는 AI 모델일수록 오류 증가…옥스퍼드대 연구

AI 요약

옥스퍼드대 인터넷연구소 연구진은 네이처에 발표한 논문에서 사용자에게 더 따뜻하고 공감적으로 답하도록 조정한 인공지능(AI) 모델이 기본 모델보다 오답을 더 많이 낸다고 보고했습니다. 연구진은 라마-3.1-8B-인스트럭트, 미스트랄-스몰-인스트럭트-2409, 큐웬-2.5-32B-인스트럭트, 라마-3.1-70B-인스트럭트 등 공개 가중치 모델 4종과 GPT-4o를 감독 미세조정해 허깅페이스 데이터셋(허위정보, 음모론, 의료 지식 등 위험할 수 있는 문항 포함)에서 비교한 결과, 따뜻하게 조정한 모델은 평균적으로 약 60% 더 자주 오답을 냈고 전체 오류율 격차는 평균 7.43%포인트였으며 기본 모델의 원래 오류율은 과제와 모델에 따라 4%에서 35% 사이였습니다. 사용자 맥락을 추가하면 격차가 평균 8.87%포인트로 확대됐고, 이번 실험은 최신 최고 성능 모델이 아니라 비교적 작고 오래된 모델을 대상으로 했으며 연구진은 실제 서비스 환경이나 정답이 분명하지 않은 주관적 과업에서는 따뜻함과 정확성의 상충 관계가 달라질 수 있다고 지적했습니다.