애피어, 기업용 AI 신뢰성 높이는 ‘역량 캘리브레이션’ 소개

AI 요약

AI 네이티브 AaaS 기업 애피어가 연구 논문 '거대언어모델의 캘리브레이션 연구: 응답에서 역량으로'를 통해 LLM의 과도한 확신과 환각 문제를 완화하기 위해 AI 시스템이 특정 과업을 실제로 수행할 수 있는지를 스스로 평가하는 '역량 캘리브레이션' 프레임워크를 제안했습니다. 이 프레임워크는 개별 응답의 확신도에서 벗어나 '주어진 질문을 모델이 성공적으로 해결할 확률인 기대 성공률'로 평가 기준을 확장해 응답 전 성공 가능성을 추정하고, 이를 통해 연산 자원을 효율적으로 배분해 신뢰성·비용 효율성·확장성을 높일 수 있다고 제시했습니다. 애피어는 세 가지 LLM과 7개 데이터셋을 활용한 실험에서 선형 탐사 방식이 성능과 비용 측면에서 균형이 가장 좋았다고 보고했으며, 역량 캘리브레이션이 pass@k 예측과 추론 자원 배분 최적화 등 실제 기업용 AI 활용에 적용될 수 있다고 밝혔습니다.