옛 정보로 답하는 ‘AI 시간 오류’ 바로 잡았다

AI 요약

14일 KAIST는 황의종 전기및전자공학부 교수 연구팀이 마이크로소프트 리서치와 공동으로 LLM의 시간 오류를 자동으로 잡아내는 평가·진단 기술을 개발했다고 밝혔습니다. 연구팀은 시간에 따라 정보가 어떻게 바뀌는지를 기준으로 하는 시간 데이터베이스 개념을 도입해 사람이 직접 만들지 않아도 데이터만으로 13가지 유형의 시간 관련 문제를 자동 생성하고 문제 생성과 정답 도출·검증까지 전 과정을 자동화해 데이터 업데이트 시 문제와 정답이 함께 갱신되도록 구현했습니다. 또한 답이 맞는지만 보는 것을 넘어서 AI가 답을 설명할 때 사용한 날짜나 시점까지 별도로 확인해 겉보기에 맞아 보이지만 옛 정보를 기준으로 한 시간 오류도 더 잘 찾아낼 수 있도록 했습니다.