"GPU 사용부터 LLM 모니터링까지 … AI시대 '옵저버빌리티' 꼭 필요하죠"

AI 요약

와탭랩스의 김성조 최고기술책임자(CTO)는 클라우드와 AI 도입으로 기업 IT 인프라의 복잡성이 증가해 단순 모니터링을 넘어 옵저버빌리티 시대가 도래했다고 밝혔습니다. 2015년 설립된 와탭랩스는 서버·애플리케이션·데이터베이스 등 인프라와 GPU 사용을 실시간으로 파악하는 플랫폼을 개발하며 최근 거대언어모델(LLM) 옵저버빌리티 기능을 출시해 토큰 사용량과 LLM 성능 지표를 GPU와 연계해 모니터링하고 있습니다. 김 CTO는 AI와 인프라 운영을 결합한 AIOps를 추진해 다음달부터 운영자 보조 어시스턴트 기능을 본격 추가하고 궁극적으로 AI가 운영 환경에서 조치하는 시대를 준비하겠다고 말했습니다.