AI도 '악마의 게임'에 무릎 꿇었다…"23전 3승 20패"

AI 요약

영국 옥스퍼드대 등이 참여한 공동 연구진은 arXiv에 공개한 CivBench에서 앤트로픽의 클로드 오퍼스 4.6, 오픈AI의 GPT-5.4, 구글의 제미나이 3.1 프로, 문샷 AI의 키미 K2.5 등 4종 AI를 문명 6에 투입해 내장 컴퓨터와 총 23게임을 진행한 결과 3승 20패를 기록했습니다. 연구진은 AI들이 20턴마다 승리 진행 상황을 확인하라는 지침을 지키지 않고 평균 30~75턴에 한 번만 확인했으며, 사전에 세운 계획의 실행률을 100점 만점으로 환산한 계획 이행 점수에서 모델별로 48.2~65.8점을 받아 장기적 정보 조회와 계획 실행에 문제가 있다고 분석했습니다. 연구진은 추론 능력 개선만으로는 장기 작업의 신뢰성과 완결성을 확보하기 어렵다며 정기 상태 조회를 강제하거나 모니터링 도구에 우선순위를 부여하는 등 보완책이 필요하다고 지적했습니다.