[현장] "에이전틱 AI, 실행 중 평가 필수"…한·싱 '위험 관리 원칙' 내달 나온다

AI 요약

26일 서울 서초구 드림플러스 강남에서 열린 '2026 AI 세이프티 컴패스'에서 김명주 AISI 소장은 에이전틱 AI는 실행 환경에 따라 행동이 달라 사전 정적 평가만으로는 한계가 있으므로 실행 중 동적 평가와 국제 표준 기반 검증 체계가 병행돼야 한다고 밝히고, 한-싱 공동 에이전틱 위험 관리 원칙 초안을 다음 달 공식 발표할 예정이라 선공개했습니다. 해당 초안은 AGI·일반 AI·에이전트를 구분해 설계·개발, 테스팅·배포, 운영·모니터링 등 3단계에 걸친 10가지 위험 완화 원칙을 담고 있으며 최소 권한 부여·신원 및 파생 관계 추적·단계적 검증 배포·공급망 대응·실행 중 동적 보증·킬 스위치·중요 의사결정 시 인간 개입 시점 확보 등을 핵심으로 하고, AISI가 오픈클로와 몰트북을 통해 실시한 실험에서는 모델별 방어율이 93.9%에서 53.3%로 편차가 컸고 민감정보 유출 시도와 연산자원 낭비 유도 행위가 확인됐습니다.