노타, 이기종 컴퓨팅 기반 AI 추론 기술 개발..."GPU·NPU 역할 분배가 핵심"

AI 요약

노타(대표 채명수)는 AI PC 환경에서 GPU와 NPU 등을 동시 활용하는 이기종 컴퓨팅 기반 대형언어모델(LLM) 추론 최적화 기술을 구현했다고 4일 밝혔습니다. 인텔 루나 레이크 기반 AI PC에 입력 처리 연산은 GPU에서, 답변 생성 연산은 NPU에서 실행하는 분리형 추론 방식을 적용해 단일 GPU 대비 토큰당 에너지 소비를 약 32% 줄이고 생성 처리량을 약 12% 높였으며 단일 NPU 대비 첫 응답 지연시간을 약 89% 단축했다고 설명했습니다. 노타는 모델 경량화와 런타임·하드웨어 최적화를 통해 AI PC 환경에서 온디바이스 AI 사용자 경험을 개선하겠다고 강조했습니다.