클로드 ‘Computer Use’는 어떻게 사람처럼 컴퓨터를 조작하는가...김용덕 변리사, 앤트로픽의 AI 에이전트 특허 분석

AI 요약

생성형 인공지능이 사람을 대신해 직접 컴퓨터를 조작하는 단계로 진화하고 있으며, 앤트로픽은 2024년 10월 클로드 3.5 소넷에 Computer Use 기능을 공개해 클로드가 화면을 보고 커서를 움직이고 버튼을 클릭하며 가상 키보드로 문자를 입력할 수 있다고 설명했습니다. 미국 특허 제12585862호 멀티모달 소프트웨어 사용을 자동화하기 위한 인공지능 에이전트 학습 데이터(Training data for training artificial intelligence agents to automate multimodal software usage)는 2026년 3월 24일 등록됐고, 서지사항상 출원인은 Anthropic, PBC이나 명세서에는 Adept의 기술과 워크플로우가 설명되며 현재 권리자 항목에는 Adept AI Labs, Inc.가 표시돼 있습니다. 특허는 AI 에이전트가 화면을 보고 시각적 요소를 이해하며 자연어 명령을 해석해 클릭·스크롤·타이핑 같은 연속적 행동을 수행하도록 가르치기 위해 텍스트·이미지 혼합 문서, OCR 텍스트, 사람이 소프트웨어를 사용하는 영상, PDF, 웹페이지 및 업무용 화면 이미지, 에이전트의 작업 이력 등 다양한 멀티모달 학습 데이터를 단계별 화면 상태와 행동 기록으로 결합해 학습시키는 방식을 제시합니다.