그래프와 LLM 북키핑 없이 AI 메모리 구현하기 - 입력 토큰 95% 절감

AI 요약

LambdaDB는 대화 원문을 보존하고 질문에 필요한 구절을 검색해 답변 모델에 전달하는 AI 메모리 구현을 공개했으며, 지식 그래프를 만들거나 생성형 LLM으로 기억을 추출·요약·갱신하지 않고 대화를 출처와 시각 정보가 있는 청크로 저장하고 네이티브 임베딩, 하이브리드 검색, Jev 기반 재정렬을 활용하며 임베딩 생성부터 검색과 재정렬까지 한 번의 검색 요청으로 처리합니다. LongMemEval-S 500문항에서 정확도 96.0%를 기록해 전체 대화를 제공한 방식의 95.2%와 비슷한 품질을 유지했고 평균 답변 입력은 105,183토큰에서 4,886토큰으로 95.35% 감소했으며 검색 메모리를 4,096토큰 예산으로 선택하고 최근 메시지와 지시문을 함께 전달합니다. 초기 메모리 준비·검색·답변 생성 포함 500건 실행 비용은 7.51~9.42달러로 추정되어 전체 대화 방식의 105.53달러보다 약 91~93% 낮고, BEAM 평가에서도 그래프나 생성형 메모리 없이 past.dev 공개 결과에 근접한 품질을 기록했으며 구현은 SillyTavern용 오픈소스 확장 SillyMemory로 제공되고 벤치마크 설정과 재현 명령을 공개했습니다.