"GPU 사용부터 LLM 모니터링까지 … AI시대 '옵저버빌리티' 꼭 필요하죠"

AI 요약

클라우드 전환과 AI 확산으로 IT 인프라의 복잡성이 심화돼 단순 모니터링을 넘어 옵저버빌리티가 필요해졌다고 와탭랩스 김성조 CTO가 말했습니다. 와탭랩스는 지난해 'AI 네이티브 옵저버빌리티'를 선언하고 최근 '거대언어모델(LLM) 옵저버빌리티' 기능을 출시해 GPU 가동률, 부서별 할당, LLM 토큰 사용량과 답변 품질 등을 GPU와 연계해 모니터링하고 있습니다. 김 CTO는 AI옵스(AIOps)로 장애를 AI가 스스로 해결하는 단계로 나아가며 다음달부터 운영자 보조 어시스턴트 기능을 본격 추가하고 AI가 운영 환경에서 조치하는 시대를 준비한다고 밝혔습니다.