LLM은 신경망 가중치를 읽고 쓰는 데 초인적이지 않다

AI 요약

연구는 GPT-6 Astra가 작은 게임 신경망의 입력 채널과 첫 번째 층 가중치의 L2 노름 분석으로 게임을 식별하고, 가중치를 직접 수정해 성능을 바꾸는 실험을 보고했습니다. 0.8B Qwen의 수학 성능 향상은 새로운 수학 능력 추가가 아니라 32k 토큰 이후 반복에 빠지는 문제를 스티어링 계열의 가중치 감소 패치로 고쳐 더 오래 문제를 풀게 한 결과였으며, 이 절차는 유능한 인간 ML 연구자도 수행할 수 있는 방법이라고 설명되었습니다. 연구진은 일부 결과를 인간 능력을 넘어서는 것으로 해석했으나 기사에서는 직접 가중치 수정이 곧 초인적 AI 연구 능력을 뜻하지는 않으며 Hacker News에서는 히트맵 해석의 명확성과 성과 평가에 대한 논쟁이 있었다고 전했습니다.