LLM의 미래를 다시 쓰는 차세대 AI 스타트업

AI 요약

2017년 구글이 발표한 트랜스포머는 지금까지 거의 모든 대형 언어모델의 핵심이 되었으나 처리할 데이터가 많아질수록 계산량과 비용이 급격히 늘어나는 한계가 드러났습니다. 이를 해결하기 위해 여러 스타트업들이 희소 어텐션, 핵심 정보만 요약해 기억하는 방법, 더 작고 효율적인 신경망, 텍스트를 한꺼번에 생성하는 디퓨전 등 다양한 차세대 기술을 개발하고 있습니다. 이러한 기술들은 AI를 더 빠르고 저렴하게 만들어 스마트폰이나 자동차 같은 작은 기기에서도 활용할 수 있게 하고, 연구자와 엔지니어들 사이에서는 ‘트랜스포머 이후’를 고민하며 MIT 테크놀로지 리뷰가 ‘LLM+’로 지칭하는 변화가 일어나고 있다고 평가합니다.