KAIST-MS, AI가 ‘최신 정보’ 반영하는지 진단하는 시스템 개발

AI 요약

KAIST는 황의종 교수 연구팀이 마이크로소프트와 공동 연구로 시간 데이터베이스 기술을 활용해 대형언어모델(LLM)의 시간 추론 능력을 자동으로 평가·진단하는 시스템을 개발했다고 14일 밝혔습니다. 연구팀은 시간 데이터베이스 설계 이론을 AI에 도입해 데이터의 시간적 흐름과 관계 구조만으로 문제 생성·정답 도출·검증 전 과정을 자동화했고, 데이터베이스를 업데이트하면 평가 문제와 정답, 검증 기준이 자동 반영되며 최신 정보 입력은 외부 데이터 및 관리자를 통해 이뤄진다고 설명했습니다. 이 시스템은 답변 과정에서 제시된 날짜나 기간의 논리적 타당성까지 검증해 시간 환각을 기존보다 평균 21.7% 더 정확하게 탐지하고 평가 유지 비용을 크게 절감하며 입력 데이터량도 평균 51% 줄인다고 전했습니다.