"애피어, AI도 ‘모르는 것’을 알아야 한다"… LLM 28종서 정확도 30~50% 하락

AI 요약

10일 애피어 AI 연구팀은 거대언어모델의 정보 부족 인식과 다국어 추론 방식을 분석한 두 편의 연구 논문을 발표했습니다. 첫 번째 연구에서는 28종의 LLM을 대상으로 '해당 사항 없음' 선택지가 정답인 경우 정확도가 30~50% 하락했고, 지도 미세조정(SFT)과 직접 선호 최적화(DPO)를 적용한 결과 DPO가 정답 없음 상황 식별 정확도를 약 30%포인트 높였다고 보고했습니다. 두 번째 연구인 'Language Matters'에서는 LRM이 내부적으로 영어 등 고자원 언어로 추론하는 경향이 있고 일부 모델은 내부 추론 언어와 최종 답변 언어 불일치 비율이 90%를 넘었으며, 영어 추론은 수학·지식 과업에, 현지어 추론은 문화 이해와 안전성 식별에 더 유리해 '추론 언어 라우팅' 개념을 제시했고 애피어는 연구 성과를 자사 제품군에 적용할 계획이라고 밝혔습니다.