LLM 요청 61억건 공개…캐시·라우팅 연구 활용

AI 요약

Chutes와 하버드 연구진이 2025년 4월 11일부터 2026년 4월 12일까지 Chutes에서 발생한 61억2241만3756건의 LLM 요청을 담은 공개 데이터셋을 공개했으며, 데이터에는 9174개 모델과 익명화된 사용자 31만4970명의 요청 기록, 요청 시각·모델·사용자·서빙 인스턴스 식별자·입력·출력 토큰 수·첫 토큰 생성 시간(TTFT)·캐시된 토큰 수 등이 Parquet 형식으로 약 91GB 규모로 포함됐습니다. 프롬프트와 모델 응답은 제외됐고 사용자 식별자는 3개월마다 재익명화됐으며, 연구는 동일 사용자가 같은 모델에 보낸 반복 요청의 99%가 이전 요청 후 15분 안에 발생해 접두사 캐시의 효과가 커질 수 있음을 확인했고, 캐시 재사용률을 높이는 캐시 인식형 라우팅은 부하 불균형을 감수해야 한다고 제시했습니다. 데이터는 분산형 추론 플랫폼인 Bittensor 서브넷 64의 단일 플랫폼에서 수집돼 전체 LLM 시장이나 국내 이용 행태를 그대로 대표하지 않으며, 연구진은 본 자료를 캐시 재사용률과 GPU 부하 분산 분석 등 인프라 설계·운용 연구에 활용할 것을 제안했습니다.