에이전틱 AI 결정하고 사람은 승인만…가트너 “HITL 착각 조짐”

AI 요약

가트너는 에이전틱 AI가 발전할수록 실제 결정권이 AI로 이동해 인간은 형식적 승인만 하는 'HITL(Human-in-the-Loop) 착각'에 빠질 위험이 커지며, 많은 경우 AI 의사결정 과정을 누가 확인·중단·이의제기하고 책임질지 불분명한 'HOTL(Human-on-the-Loop)' 구조가 형성된다고 지적했습니다. 이에 따라 기업 내 AI 사용 정책과 가이드라인을 중단 권한·이의 제기 권한·책임 주체를 명확히 하도록 재설계하고, 시스템 설계 초기부터 인간과 AI 협업을 탑재하며 누가 검토하고 책임지는지 기록하고 AI의 독립적 행동 상황을 규정해 임직원이 결정을 중단·수정할 수 있는 프로세스를 마련하는 등 관리체계를 강화할 것을 권고했습니다.