“세차하러 가는데 걸어가라고?”...‘국가대표 AI’ 추론 성능 논란 확산

AI 요약

국가대표 AI 2차 평가를 앞두고 참여 모델들이 간단한 추론 문제에서 오답을 내는 사례가 잇따르며 성능 논란이 확산되고 있습니다. 이번 평가는 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점으로 구성되며 일반 국민 200명이 사용자 평가단으로 참여하는데, 온라인에서는 이른바 세차장 벤치 질문에 여러 모델이 걸어가는 것이 합리적이라는 오답을 냈다는 사례와 일부 모델에 대한 족보 의혹이 제기되고 있습니다. 업계에서는 미국 업체들이 벤치마크 취약 항목을 분석해 핀포인트 학습을 지원해 점수만 올리는 방식으로 벤치마크 평가의 신뢰성에 문제가 있다는 지적이 나오고 있습니다.