AI에게 '질문하는 법' 가르쳤다…MIT, '배틀십' 게임으로 GPT-5도 뛰어넘은 저비용 AI 개발

AI 요약

미국 매사추세츠공과대학교(MIT) 컴퓨터과학 및 인공지능 연구소(CSAIL)와 하버드대학교 공학·응용과학대학원(SEAS) 연구진은 협력형 배틀십(Collaborative Battleship) 게임을 실험 환경으로 삼아 40명 이상 참가자 데이터를 기반으로 배틀십QA(BattleshipQA) 데이터셋을 구축하고, 많은 모델이 효과적인 질문을 생성하지 못해 소형 모델 성능이 떨어진다는 사실을 확인했습니다. 연구진은 몬테카를로 추론(Monte Carlo Inference)을 적용해 질문을 정보량 기준으로 계산하도록 했고, 그 결과 라마 4 스카우트의 승률이 8%에서 82%로 상승했으며 개선된 라마 4 스카우트는 GPT-5를 능가하는 성능을 보이면서 운영 비용은 약 1% 수준에 불과했습니다. 또한 질문을 자동으로 파이썬 코드로 변환해 검증하도록 해 모델들의 답변 정확도를 평균 15% 향상시켰고(GPT-4o mini 약 30%, 앤트로픽의 클로드 4 오퍼스 약 8%포인트), 연구진은 이 접근법이 신약 후보 탐색·분자 구조 규명·의료 진단·수학 문제 해결 등 과학 연구 보조에 활용될 수 있을 것으로 봤습니다.