"GPU 사용부터 LLM 모니터링까지 … AI시대 '옵저버빌리티' 꼭 필요하죠"

AI 요약

클라우드 전환과 AI 확산으로 IT 인프라의 복잡성이 심화되며 GPU 자원 활용과 LLM의 토큰 비용 관리 등 단순 장애 감지를 넘어선 '옵저버빌리티'가 필수가 되었다고 와탭랩스 CTO 김성조가 말했습니다. 와탭랩스는 지난해 'AI 네이티브 옵저버빌리티'를 선언하고 최근 '거대언어모델(LLM) 옵저버빌리티'를 출시해 GPU 사용률·부서별 활용·LLM의 토큰 사용량과 답변 품질 등을 GPU와 연계해 모니터링합니다. 김 CTO는 AI와 인프라 운영을 결합한 AI옵스(AIOps)를 추진해 AI가 모니터링 과정에서 포착된 장애를 스스로 해결하도록 하고 다음달부터 어시스턴트 기능을 본격 추가할 예정이라고 밝혔습니다.