AI 연구개발이 그렇게 독창적이라는 말을 믿기 어렵다

AI 요약

세 가지 사이드 프로젝트(Scrabble 엔진, Ultimate Tic-Tac-Toe 봇, AI Philosophy contest) 관찰에서 모델은 중요한 문헌을 식별하지 못하거나 학습 데이터가 부족한 실험을 수행하는 등 기본적인 판단력이 매우 부족했습니다. 예외로 빠른 피드백 루프를 갖춘 언덕 오르기식 최적화는 효과를 보였는데, Astra로 Scrabble의 합법적 수 나열 성능을 기존보다 10배로 높였으나 큰 도약 두 번은 사람의 구체적인 제안 뒤에 일어났습니다. Astra의 보고서는 이해하기 어려워 핵심 결과를 확인하려면 추가 문답이 필요한 경우가 많았고, 지난 주말 Apart 해커톤에서 검토한 논문 8편은 Pangram 점수 60~95%로 서로 매우 비슷한 방법론적 불완전성을 보였습니다.