MS, AI 에이전트 검증·통제 기준 제시…"정책 위반 차단"

AI 요약

마이크로소프트가 AI 에이전트의 행동 평가와 실행 통제를 표준화하는 오픈소스 프레임워크 'AI 에이전트 작동 검증 프레임워크(ASSERT)'와 런타임 거버넌스 표준 'AI 에이전트 런타임 거버넌스 표준(ACS)'을 공개해 AI 에이전트가 실제 업무 수행 과정에서 허용·금지 행동을 명확히 평가하고 정책 위반을 실시간으로 차단할 기반을 마련했습니다. ASSERT는 자연어 행동 요구사항을 테스트 시나리오·데이터세트·지표·스코어카드로 전환하고 도구 호출·중간 판단 등 실행 기록을 남겨 내부 검증에서 의도한 행동 공간을 약 1.2배 더 포괄하고 점검 사례를 약 1.5배 더 드러내며 강한 시스템과 약한 시스템의 차이를 4배 이상 더 뚜렷하게 구분했습니다. ACS는 특정 프레임워크에 종속되지 않고 에이전트 시작, 사용자 입력, 모델 호출 전후, 도구 호출 전후, 최종 출력, 에이전트 종료 등 여덟 개 개입 지점에서 맥락을 평가해 허용·경고·거부·상위 단계 이관 등 판정을 내리도록 정의해 프롬프트나 애플리케이션 코드만으로는 부족한 통제 문제를 보완하려는 것입니다.