“AI 메모리 다이어트 돌입!”…필요한 것만 기억하는 개인화 AI 개발

AI 요약

울산과학기술원(UNIST) 컴퓨터공학과 공태식 교수팀은 사용자 선호와 밀접한 정보만 선별해 저장하고 해당 정보의 활용 지침까지 함께 보관해 온디바이스 검색증강생성(RAG) 방식으로 보다 정확하고 빠른 맞춤형 답변을 제공하는 기술 EPIC을 개발했습니다. 실험에서 프리프위키 벤치마크의 검색용 저장공간은 기존 648.96MB에서 0.27MB로 줄고 평균 검색시간은 96.5밀리초에서 3밀리초로 단축됐으며, 라마 3.1 8B 인스트럭트를 사용한 실험에서는 사용자 취향 반영 정확도가 기존 최고 성능 기술보다 평균 18.79%포인트 향상했고 젯슨 오린 나노·맥북 프로 M4·갤럭시 Z 플립6에서 검색메모리를 1MB 미만으로 유지하면서 질문당 5.21~29.35밀리초에 자료를 찾는 것도 확인됐습니다. 연구결과는 지난 7월 ICML에서 발표됐고 연구팀의 코드는 깃허브를 통해 공개돼 있습니다.