프린스턴대, 이전 계산 결과 이어서 토큰 생성하는 '순환 루프 변환기' 공개

AI 요약

프린스턴대학 연구진은 12일(현지시간) 프롬프트 입력부터 응답 생성까지 디코더 상태를 초기화하지 않고 최종 은닉 상태와 어텐션 캐시를 다음 토큰 계산으로 직접 전달하는 '순환 루프 변환기(RLT·Recurrent Looped Transformer)' 아키텍처를 알파카이브(alphaXiv)를 통해 공개했습니다. RLT는 인코더가 만든 KV 메모리와 슬라이딩 윈도우 어텐션(SWA) 캐시를 함께 활용해 토큰이 누적될수록 연산 경로가 연동되어 '시간적 깊이' 또는 연구진이 말한 '무한 깊이'를 구현하며, 인코더 48개와 디코더 48개 레이어 기준으로 t개의 토큰을 처리하면 디코더 연산 경로가 48t번으로 늘어납니다. 다만 연구진은 이번 연구가 설계 단계임을 밝혔고 RLT가 기존 LLM보다 추론 능력이나 처리 속도에서 우월하다는 측정 결과는 없으며, 길이가 길어질수록 정확도가 떨어지는 한계와 정보가 오래 유지되지 않을 가능성 등을 지적했습니다.