에포크 AI, 벤치마크 검증 착수..."15개 중 9개 결함"

AI 요약

에포크 AI는 18일(현지시간) 주요 벤치마크의 문제점과 한계를 점검하는 ‘벤치마크 리뷰(Benchmark Reviews)’를 시작한다고 발표했으며 초기 검토에서 15개 벤치마크 중 4개는 ‘검증(Verified)’, 9개는 ‘결함(Flawed)’, 2개는 ‘정보 부족(Not enough information)’으로 분류됐다고 밝혔습니다. 검토 결과 잘못된 정답, 채점 방식 오류, 버전 변화에 따른 평가 기준 불일치 등 다양한 결함이 발견됐고, 버클리 함수 호출 리더보드와 인류의 마지막 시험(HLE) 등에서 구체적 오류 사례가 확인되었습니다. 에포크 AI는 평가 과제와 채점 기준의 명확성, 채점 방식의 작동 여부, 버전별 결과의 일관성 등 세 가지 기준으로 판정하며 벤치마크 자체를 검증해야 한다고 강조했습니다.