LLM 추천 AI, 과거 오류까지 학습…특정 상품 쏠림 심해진다

AI 요약

UNIST 인공지능대학원 이연창 교수팀은 대규모언어모델(LLM) 기반 AI 추천 시스템의 편향과 오류 누적 과정을 추적하는 진단 도구 에코트레이스를 개발했다고 8일 발표했습니다. 분석 결과 LLM이 직접 만든 추천 목록에서는 추천 대상에 포함되지 않은 항목을 제시하는 오류가 영화 4.07%, 도서 7.40%, 가게 13.14%였고, 사용자 프로필을 생성하는 방식에서는 추정한 직업의 93.16%가 실제 정보와 일치하지 않았으며 학습자료 생성 방식에서는 특정 장르나 업종에 치우친 데이터가 만들어졌습니다. 연구팀은 초기 오류와 편향이 추천과 재학습 과정에서 지속되거나 일부 시스템에서 심화돼 영화 추천 모델의 경우 이용자 100명 중 86~92명에게 다음 영화를 추천할 때 이전에 자신이 추천했던 작품을 가장 중요한 참고 정보로 활용하는 등 피드백 루프가 작동한다며 LLM 기반 추천 결과의 재학습 영향을 지속 점검해야 한다고 강조했습니다.