article detail
Show GN: Tesseract NPU - LLM 추론을 위한 풀스택 오픈소스 NPU
2026. 11. 18. 오후 3:07
AI 요약
오픈소스 진영의 제한을 해결하기 위해 현대적 LLM 아키텍처와 소프트웨어 스택을 포괄하고 연산커널 그래프 실행 모델로 장기적 유지보수와 호환성을 고려한 오픈소스 NPU를 개발했으며 전체적인 위치는 Nvidia GPU와 Google TPU의 중간쯤 됩니다. Alveo U200 FPGA 카드에 SystemVerilog로 구현된 4 클러스터 NPU 코어와 RISC V 컨트롤 코어, C++ 연산 커널 라이브러리, 비용기반 연산 그래프 옵티마이저, llama.cpp·Pytorch 백엔드, RTL Verification용 시뮬레이터 골든 모델을 포함하고 있으며 디코딩 시 이론적 상한 메모리 대역폭의 90%까지 활용합니다. 지원 범위는 대부분의 양자화된 32B 이하 LLMs와 GGUF·Pytorch 모델(미지원 연산은 자동 CPU fallback), Q8_0·Q4_K_M 및 MoE·GDN·MTP 네이티브 지원이며 아직 llama.cpp·Pytorch 정식 빌드 백엔드 등록, 다중 칩 클러스터링, Q6·NVFP4 포맷 네이티브 지원, 추가 모델 벤치마크와 ASIC 구현은 되지 않았습니다.