"GPU 사용부터 LLM 모니터링까지…AI시대 '옵저버빌리티' 꼭 필요하죠"

AI 요약

클라우드 전환과 AI 도입으로 기업이 관리해야 할 IT 인프라의 복잡성이 심화되며 GPU 자원 활용량과 AI 서비스의 토큰 비용 관리까지 필수가 됐습니다. 2015년 설립된 와탭랩스는 서버·애플리케이션·데이터베이스 등 인프라 모니터링 플랫폼을 개발하며 'AI 네이티브 옵저버빌리티'를 선언하고 최근에는 GPU와 연계해 LLM의 성능 지표와 토큰 사용량, 답변 품질까지 모니터링하는 'LLM 옵저버빌리티' 기능을 출시했습니다. 김성조 CTO는 AI가 모니터링 중 포착한 장애를 스스로 해결하는 AIOps와 운영자 역할을 보조하거나 대신 조치하는 어시스턴트 기능을 다음달부터 본격적으로 추가할 예정이라고 밝혔습니다.