10 Best Machine Learning Algorithms

AI 요약

기사에서는 최신 혁신을 뒷받침하는 ‘클래식’ 빌딩 블록과 AI 명예의 전당에 조기 출마하는 새로운 엔트리를 살펴본다고 소개했습니다. 2017년 Google Research가 발표한 Attention Is All You Need는 주목(attention) 메커니즘을 중심으로 한 트랜스포머 아키텍처를 제시했으며, 이는 시퀀스 전달 문제를 처리하고 기억의 지속성을 허용하며 RNN보다 병렬화가 쉬워 NLP 혁신과 자가회귀 언어모델(GPT-3 등)을 구동했습니다. 트랜스포머는 2020년 OpenAI의 GPT-3 출시로 대중의 상상력을 사로잡았고 당시 기록적인 175억 매개변수를 보유했으며 이후 Microsoft의 Megatron-Turing NLG 530B가 2021年に 출시되어 530억 개 이상의 매개변수를 특징으로 했습니다.