DoorDash가 정확도를 유지하면서 LLM 검색 비용을 98% 줄인 방법

AI 요약

DSG는 LLM의 내장 웹 검색을 별도 공유 검색 게이트웨이로 분리해 여러 AI 에이전트가 하나의 게이트웨이를 공유하고 모델과 검색 업체를 독립적으로 교체할 수 있도록 하며, 공급자 선택·대체 순서·캐시 정책·검색 깊이 등을 설정으로 관리합니다. 캐시 재사용과 공급자 체인을 통해 원문 평가에서 검색 요금을 98% 이상 절감(모델 추론 비용 제외)했고, 캐시가 채워진 평가에서는 평균 지연 시간이 68% 단축되고 검색 비용이 99% 이상 감소했으며 DSG+BrightData는 내장 검색과 정확도 차이 1.6%p 이내에 비용은 약 11분의 1 수준이었습니다. 내장 검색은 ‘답만 출력하라’는 지시를 어기고 장황한 설명을 덧붙이는 문제가 있었지만, DSG는 검색 결과를 제목·URL·본문 발췌로 정규화하고 구조화된 도구 응답과 관측 가능성을 제공해 이 문제를 완화합니다.