"클로드는 어떻게 컴퓨터 화면을 하나의 언어처럼 읽는가"...김용덕 변리사, 앤트로픽의 화면 이해 특허 분석

AI 요약

사람은 화면에서 검색창·메뉴·버튼·입력란을 자연스럽게 구별하지만, 인공지능은 화면을 픽셀 집합으로 보고 자연어 지시를 이해해 관련 요소를 찾아 클릭·입력·스크롤 등의 행동을 결정한 뒤 변한 화면을 다시 분석하는 과정을 반복해야 하므로 사람처럼 컴퓨터를 조작하게 만드는 일은 단순한 이미지 인식보다 훨씬 어렵습니다. 앤트로픽은 2024년 10월 클로드의 ‘컴퓨터 사용’ 기능을 공개했으며, 관련 기술을 다룬 미국 등록특허 제12,387,036호는 임의 길이의 텍스트와 임의 해상도의 이미지를 하나의 다중양식 에이전트가 처리하는 기반 구조를 설명합니다. 이 특허는 화면을 작은 이미지 조각으로 나누어 줄 단위로 배열한 뒤 줄바꿈 문자를 삽입해 2차원 화면을 1차원 토큰 흐름으로 변환하고, 이미지 토큰과 텍스트 토큰을 결합해 동일한 디코더 전용 트랜스포머가 처음부터 양측의 관계를 고려하며 처리하도록 하는 방식을 제안합니다.