MIT 연구진, GPT-6 아스트라로 AI 가중치 고쳐 수학 점수 6배 달성

AI 요약

미국 매사추츠공대(MIT) 컴퓨터과학인공지능연구소(CSAIL)는 11월 2일 공개한 연구보고서 'Sparks of Weight-Space Programming'에서 오픈AI의 GPT-6 아스트라가 다른 AI 모델의 가중치를 직접 읽고 고쳐 알리바바의 소형 모델 큐원3.5-0.8B의 수학 시험 MATH-500 점수를 7.9%에서 48.1%로, 지시 이행 능력 시험 IFEval 점수를 21.0%에서 62.3%로 끌어올렸고 이는 추가 학습 없이 전체 가중치의 0.016%만 수정한 결과라고 밝혔습니다. 연구진은 아스트라가 학습 코드를 작성하지 않고 신경망의 각 부분이 어떤 계산을 하는지 추론해 가중치를 직접 읽고 쓰는 방식을 '가중치 공간 프로그래밍'이라고 정의했으며, 게임용 신경망·확산 모델·자동차 제어 모델 등 다양한 실험에서 가중치 판독과 수정을 통해 성능 개선이나 모델 구성 추론 능력을 보였다고 설명했습니다. 연구진은 가중치 수정으로 모델의 결함을 제거할 수는 있으나 모델에 없는 능력을 새로 추가하지는 못했고 현재 능력은 AI가 한 번에 읽을 수 있는 자료 분량과 실험 도구의 효율 문제로 제한적이라며, 신경망 가중치를 LLM이 직접 ���적화하게 될 가능성을 제기했습니다.