IT뉴스모아news terminal

article detail

스냅드래곤 8 엘리트 5세대 NPU 성능은?…'실리콘 고문' 해봤더니

전자신문LLMNPU성능갤럭시AI스냅드래곤신경망처리양자화온디바이스AI토큰속도
2026. 4. 22. 오후 5:00
스냅드래곤 8 엘리트 5세대 NPU 성능은?…'실리콘 고문' 해봤더니

AI 요약

스냅드래곤 8 엘리트 5세대(Gen 5)는 신경망처리장치(NPU) 성능이 이전 세대 대비 37~39% 향상됐으며, 네트워크를 차단한 상태에서 MLC LLM 기반 MLC Chat 앱으로 메타의 라마 3(Llama-3)-8B(70억~80억 파라미터, 4비트 양자화(INT4)) 모델을 가동해 NPU 성능을 시험했습니다. 테스트에서 프리필은 68 tok/s, 디코드는 초기 25.1 tok/s를 기록했고 소설·대본 창작 등 고난도 작업에서도 약 20 tok/s 수준을 유지하다가 장시간 사용 시 일시적으로 15 tok/s로 하락했으나 기기 발열은 느껴지지 않았고 앱 재기동 시 즉시 25 tok/s로 복귀해 이는 NPU 성능보다는 LLM 모델의 최적화 이슈로 추정된다고 보도했습니다. 디코드 20 tok/s 이상은 사람 평균 읽기 속도보다 3~4배 빠른 수준이며 앞선 세대 AP들이 최고 14~15 tok/s였던 것과 비교해 성능 향상이 뚜렷하고, 이러한 디바이스 내 AI 연산 능력은 콘텐츠 제작과 개인 맞춤형 추천 등 갤럭시 AI의 File Overview, Nightography 비디오, Photo Assist, Now Nudge 등 기능에서 활용 폭을 넓혀 갤럭시 S26 울트라 등에서 콘텐츠 제작에 기여한다고 전했습니다.

원문보기
feed://articles/related관련 기사
코난테크놀로지, WIS 2026서 AI 글래스 적용 '비전플로우' 첫선전자신문
2026. 4. 21. 오후 4:01

코난테크놀로지, WIS 2026서 AI 글래스 적용 '비전플로우' 첫선

AI글래스웨어러블온디바이스AI스마트글래스음성인터페이스산업용AI온프레미스LLM
AI, LLM 넘어 ‘피지컬 AI’로 주도권 이동산업일보
2026. 4. 20. 오후 4:59

AI, LLM 넘어 ‘피지컬 AI’로 주도권 이동

피지컬AILLM온디바이스AI데이터센터제조데이터GPUAI플랫폼연산비용
삼전·하닉 또 '폭락'은 아니겠지…구글 터보퀀트, ICLR 검증 앞두고 촉각[AI세계속으로]v.daum.net
2026. 4. 19. 오후 12:27

삼전·하닉 또 '폭락'은 아니겠지…구글 터보퀀트, ICLR 검증 앞두고 촉각[AI세계속으로]

AI기술메모리압축LLMKV캐시온디바이스AI학회발표반도체기술검증
[AI세계속으로]구글 터보퀀트, 삼전닉스 영향은…세계AI학회에 쏠린 눈아시아경제
2026. 4. 19. 오후 12:24

[AI세계속으로]구글 터보퀀트, 삼전닉스 영향은…세계AI학회에 쏠린 눈

AI기술양자화메모리압축LLM반도체온디바이스학회발표KV캐시
[AI세계속으로]구글 터보퀀트, 삼전닉스 영향은…세계AI학회에 쏠린 눈v.daum.net
2026. 4. 19. 오후 12:27

[AI세계속으로]구글 터보퀀트, 삼전닉스 영향은…세계AI학회에 쏠린 눈

AI기술메모리압축LLMKV캐시온디바이스AI학회발표메모리수요반도체
애플, AI 학회서 연구 60여건·기술 데모 공개디지털투데이
2026. 4. 18. 오후 8:41

애플, AI 학회서 연구 60여건·기술 데모 공개

AI학회D복원대규모언어모델온디바이스AI양자화MLX프레임워크SHARP모델애플실리콘
[매경의 창] LLM 혁명의 새 슈퍼갑 '메모리'네이트
2026. 4. 9. 오후 5:04

[매경의 창] LLM 혁명의 새 슈퍼갑 '메모리'

LLM메모리GPU캐싱양자화병목반도체AI칩
에너자이, 저사양 기기서도 구현 가능한 고성능 온디바이스 AI 솔루션 공개인공지능신문
2026. 4. 8. 오후 9:58

에너자이, 저사양 기기서도 구현 가능한 고성능 온디바이스 AI 솔루션 공개

온디바이스AI음성AI언어AI양자화경량화추론속도음성제어실시간번역
프리즘ML, 1비트 LLM '본자이' 발표…극단적 압축에도 모델 정확도 유지디일렉
2026. 4. 7. 오전 12:37

프리즘ML, 1비트 LLM '본자이' 발표…극단적 압축에도 모델 정확도 유지

LLM양자화모델압축네이티브오픈소스추론성능경량모델
LG, 온디바이스 AI 위한 '경량화 해커톤' 개최...“내 기기 속에 엑사원 구현"AI타임스
2026. 4. 6. 오후 3:45

LG, 온디바이스 AI 위한 '경량화 해커톤' 개최...“내 기기 속에 엑사원 구현"

온디바이스AI경량화모델대형언어모델해커톤양자화프루닝증류AI인재육성
워트인텔리전스, AI 반도체 기반 ‘온프레미스 풀스택 패키지’ 공개… 2026 월드IT쇼IPDaily
2026. 4. 22. 오후 5:31

워트인텔리전스, AI 반도체 기반 ‘온프레미스 풀스택 패키지’ 공개… 2026 월드IT쇼

AI반도체온프레미스풀스택특허AILLMNPUR&D리서치플랫폼
[AI TECH 2026] Vision AI·사운드 AI·자율제조…산업별 AX 성공 조건 한자리에헬로티
2026. 4. 22. 오후 5:07

[AI TECH 2026] Vision AI·사운드 AI·자율제조…산업별 AX 성공 조건 한자리에

AI도입산업현장PoCVisionAILLM디지털트윈이상음탐지자동화