Memorilla: LLM을 위한 잠재 의미 메모리

AI 요약

MEMORILLA는 전체 문서 임베딩에서 질의에 필요한 정보를 읽어 고정된 LLM에 기본 K=16개의 학습 가능한 소프트 메모리 토큰으로 전달하고, 문서는 한 번 인코딩해 재사용하며 질의별 메모리 읽기로 문맥을 압축하는 시스템입니다. 논문 구현에서는 Qwen3-Embedding-4B 인코더와 고정된 Qwen3-8B 생성기를 사용하고 학습 가능한 매개변수는 194,123,776개이며, 세 단계 학습을 통해 Mem0·MemoRAG 등 비교군 중 평균 성능이 가장 높았고 단일 H100에서 문서 512개 처리 시 응답 생성 시간이 19.9초에서 0.74초로 줄어 약 27분의 1 수준을 기록했고 TextWorld 성공률은 18.6%에서 24.2%로 향상됐습니다. 메모리 읽기는 슬롯 초기화, 질의 조건화, Perceiver 스타일의 문서 읽기, LLM 공간으로의 투영의 네 단계로 구성되며 생성된 메모리 토큰을 텍스트 임베딩 앞에 붙여 회전 위치 임베딩과 기존 자기어텐션으로 처리합니다.