앤트로픽 "AI가 AI를 만드는 시대, 지금 속도를 늦춰야 한다"

AI 요약

AI 개발 속도가 빨라지고 AI가 스스로를 구축할 수 있다는 가능성이 제기되면서 앤트로픽 수석 연구원들은 신규 블로그 게시물 제목 AI가 스스로를 구축할 때(When AI builds itself)에서 AI가 인간의 감독 속도를 초과해 자체 성능을 개선할 수 있는 시스템으로 이어질 수 있다며 정렬 문제가 다시 부각된다고 경고했으며, 세 가지 미래 시나리오(역량 성장 둔화, 소프트웨어 개발의 다른 영역 병목, 완전한 재귀적 자기개선)를 제시하고 특히 세 번째 시나리오에 대비할 필요가 있다고 주장했습니다. 가트너는 2028년까지 일상적인 업무 의사결정의 15%가 에이전틱 AI를 통해 자율적으로 이루어지고 기업용 소프트웨어의 3분의 1이 에이전틱 AI 기능을 탑재할 것으로 예측했으며, 2027년까지 기업의 40%가 프로덕션 환경에서 거버넌스 실패가 명백해진 후 자율 AI 에이전트를 강등하거나 폐기할 것이라고 전망했습니다. 아시시 바네르지와 포레스터의 찰리 다이, AI 정책·전략 연구소 등은 자율 AI 에이전트가 무단 행동·책임 공백·데이터 노출·도구 오용·감사 추적 부족 등의 새로운 위험을 초래하며 기존의 모델·데이터 중심 거버넌스는 불충분하므로 런타임 동작·권한·도구 사용·의사결정 경계에 대한 감독을 강화해야 한다고 경고했습니다.