RAG는 정말 '환각'을 잡았는가...생성형 AI 운영, 지표 없는 품질 관리의 한계

AI 요약

2023년 이후 생성형 AI 도입이 전 산업의 공통 의제가 되면서 LLM 기반 서비스의 중심에는 거의 예외 없이 RAG(검색증강생성)가 자리 잡았고, RAG는 학습하지 못한 최신 정보와 조직 고유 데이터를 참조해 환각을 줄이는 보완 기술로 2026년 현재 사실상 표준 아키텍처로 거론되고 있습니다. 하지만 가트너가 2025년까지 약 30%의 생성형 AI 프로젝트가 PoC 단계에서 멈출 것이라고 전망한 것처럼, 출시 직후에는 무리 없이 동작하던 RAG 기반 서비스가 운영 수개월 후 답변 품질 저하, 출처 불일치, 동일 질의에 상이한 답 반환 등 문제를 보이며 많은 조직이 정성적 판단에 의존해 성능을 인지하고 있습니다. 지속 가능한 RAG 운영을 위해서는 성능 측정의 부재, 최적화의 난해함, 변경 검증의 부재라는 세 가지 구조적 과제를 해결하고 충실성(Faithfulness), 관련성(Relevancy), 문맥 정확도(Context Precision/Recall), 유해성(Harmfulness), 편향성(Bias) 등 지표 기반의 정기적·자동화된 평가와 기획·배포·운영·개선의 순환적 라이프사이클 관리를 도입해야 합니다.