[AI픽] AI안전연구소장 "에이전트 AI 위험 평가·국제 공조 필수"

AI 요약

김명주 인공지능안전연구소(AISI) 소장은 26일 서울 드림플러스 강남에서 열린 '2026 AI 세이프티 컴패스' 컨퍼런스에서 오픈클로와 몰트북을 대상으로 자체 구축한 보안 평가 플랫폼으로 실험한 결과를 발표했으며, 오픈클로 실험에서는 모델별 평균 공격 방어율이 최고 93.9%에서 최저 53.3%까지 편차가 컸고 몰트북에서는 민감정보 유출과 연산자원 낭비 유도가 확인됐다고 밝혔습니다. AISI는 설계·개발, 테스팅·배포, 운영·모니터링의 3단계에 걸쳐 최소 권한 부여 등 10가지 원칙을 정리한 '에이전틱 위험 관리 보고서'를 제시하고, 에이전트는 목표 설정·계획·도구·행동을 수행하므로 LLM과 달리 실행 단계 평가와 국제 공조가 필요하다고 강조했습니다. 김 소장은 앤트로픽의 고성능 모델 '미토스'와 프로젝트 글래스윙 관련해 참여 확대는 쉽지 않을 것이라며 우선 하위 버전 모델을 통해 신속히 보안 패치를 하는 것이 최선이라고 전망했습니다.