[IT마니아 Pick&play-NPU] 내 컴퓨터 안의 AI 엔진, ‘NPU’란 무엇일까?

AI 요약

NPU는 인공 신경망 연산만을 위해 설계된 특수 목적 하드웨어로 딥러닝의 행렬·벡터 연산을 효율적으로 처리해 GPU보다 전력 대비 성능이 높고, 한국지능정보사회진흥원 2024 보고서에 따르면 AI 연산 시 에너지 소모의 상당 부분이 메모리에서 프로세서로 데이터를 옮기는 과정에서 발생해 NPU가 데이터 이동 병목을 해결합니다. 마이크로소프트의 ‘Copilot+ PC’ 규격은 초당 40조 번(40 TOPS) 이상의 NPU 성능을 요구하며 인텔·AMD·퀄컴은 50 TOPS 이상의 고성능 NPU 탑재를 로드맵에 포함시켜 로컬 환경에서 거대언어모델(LLM) 구동과 화상회의 배경 흐림·실시간 자막 등 작업을 NPU가 전담하게 함으로써 CPU와 GPU는 본연의 작업에 집중하도록 합니다. 또한 마이크로소프트와 어도비 등 소프트웨어 기업들이 NPU 기반 AI 기능을 도입하고 있어 하드웨어·소프트웨어 결합의 AI 생태계가 형성되며 온디바이스 AI와 NPU의 결합으로 개인화된 AI 비서와 개인정보를 클라우드에 공유하지 않는 로컬 학습 기반 기능들이 가능해집니다.