[현장] ‘답변’ 넘어 ‘행동’하는 AI에 대응하는 보안…에이전트 시대 ‘AI 리스크’ 관리법은?

AI 요약

생성형 AI가 이메일·웹·로컬 파일을 읽고 도구를 호출해 실제 행동을 수행하는 에이전트로 확장되면서, 외부 데이터가 AI에 의해 명령으로 해석되는 간접 프롬프트 인젝션으로 예기치 않은 버튼 클릭이나 로컬 파일 삭제 등 피해가 발생할 수 있다고 지적했습니다. 이병영 서울대학교 교수는 사용자 프롬프트를 처리하는 트러스티드 LLM과 외부 데이터를 처리하는 언트러스티드 LLM을 분리해 언트러스티드 LLM을 샌드박스에서 실행하고 도구 호출과 시스템 권한을 차단하는 듀얼 LLM 구조를 제시했습니다. AI 리스크 컨퍼런스 서울 2026 발표자들은 AI 보안의 초점이 ‘무엇을 답하느냐’에서 ‘무엇을 할 수 있게 할 것인가’와 권한·통제 문제로 확대되는 것이 새로운 과제라고 설명했습니다.