오픈AI, 자체 AI 추론칩 ‘할라페뇨’ 성능 전격 공개… “와트당 AI 처리량·응답속도 모두 잡았다”

AI 요약

오픈AI는 25일(현지시간) 자체 개발한 인공지능 추론 전용 칩 할라페뇨의 첫 실측 결과를 공개하며 칩뿐 아니라 모델·추론 소프트웨어·메모리·네트워크·데이터센터 시스템 등 전체 컴퓨팅 스택을 함께 최적화한 전략을 제시했습니다. 인퍼런스X 벤치마크에서 GPT-OSS 120B, 딥시크 R1 670B, 키미 K2.5 1T를 대상으로 한 테스트에서 할라페뇨는 비교 시스템 대비 와트당 처리량이 1.5~1.9배 높고 엔드투엔드 지연시간은 1.7~3.6배 낮았으며 대화형 작업에서는 성능 격차가 2.1~4.1배까지 확대됐고(키미 K2.5 1T에서는 와트당 약 1.5배·지연시간 약 3.4배 개선), 이는 오픈AI의 자체 테스트 결과여서 상용 환경에서의 동일 성능 재현 여부는 추가 검증이 필요하다고 밝혔습니다. 할라페뇨는 KV 캐시를 로컬에 유지하고 네트워크를 아키텍처 핵심으로 설계해 데이터 이동을 줄이는 데 초점을 맞췄으며 700W급 설계에 실제 테스트에서는 지속 소비전력이 550W 이하로 측정됐고 한 랙에 128개 ASIC을 탑재해 최대 16개 랙(2,048개 ASIC)까지 확장 가능하며 128개 구성은 4비트 기준 약 1.7엑사플롭스·27.5TB HBM4와 패키지당 15.4TB/s 메모리 대역폭을 제공한다고 설명했습니다.