IT뉴스모아news terminal

article detail

현대 LLM의 위치 임베딩 이해하기

GeekNews
2026. 11. 16. 오전 5:40
현대 LLM의 위치 임베딩 이해하기

AI 요약

LLM의 위치 정보는 같은 토큰이라도 문장 안의 순서와 거리에 따라 다르게 처리되며, 인과 마스크는 암묵적인 순서 정보만 제공하고 토큰 간 거리를 직접 알려주지는 않습니다. GPT-2는 학습한 절대 위치 벡터를 토큰 임베딩에 더해 사용하고 원래 Transformer는 고정된 사인/코사인 벡터를 더하는 반면, RoPE는 어텐션 내부에서 쿼리와 키를 회전시켜 상대 위치를 쿼리-키 내적에 직접 반영하며 값 벡터는 회전하지 않습니다. 최근에는 부분 RoPE, RoPE/NoPE 혼합, 학습형 상대 위치 편향 등 다양한 혼합 방식이 늘어나고 있으나 표본이 작아 추세의 지속 여부는 판단하기 어렵습니다.

원문보기