“같은 질문에도 답 달라”… AI 상용화의 걸림돌 ‘비결정론’

AI 요약

레드햇이 27일 서울 웨스틴 서울 파르나스에서 열린 행사에서 최효근 이사는 생성형 AI를 PoC에서 실제 서비스로 옮기려면 같은 질문에도 답이 달라지는 비결정론 특성을 전제로 운영 체계를 설계하고 실제 업무 질문으로 계속 평가해 드리프트를 확인해야 한다고 강조했습니다. 새 오픈모델 도입 시에는 vLLM 등 추론엔진 업그레이드와 보안·호환성·GPU 동작 재검증 등 비용이 발생해 실무에서는 핵심 질문을 골드·실버·브론즈로 나눈 평가 데이터셋을 유지하며 모델 변경 시 같은 질문을 반복하고, 서비스 성능 문제 진단을 위해 사용자 요청 경로를 기록한 트레이스와 에이전트 실행은 외부 네트워크 차단 및 CPU·메모리 제한의 격리 환경에서만 허용하도록 구성한다고 설명했습니다. 레드햇은 모델 추론·평가·에이전트 행동을 하나의 컨트롤 플레인에서 관리하는 전략을 제시했으며, 빈센트 칼데이라 CTO는 IT 경쟁력이 보안과 안정성을 지키며 확실히 실행하는 것에 달렸다고 했고 보안 세션에서는 다층 방어와 고객 지정 환경에 보안 패치를 제공하는 ‘라이트웰���이 소개됐으며 김경상 사장은 국내 기업의 오픈소스 기술 종속 탈피를 돕겠다고 밝혔습니다