대규모 언어 모델: 너무 커서 실패할 수 없는가?

AI 요약

OpenAI는 대규모 언어 모델 확장을 위해 66억 달러 규모의 투자를 유치했으며, Anthropic의 CEO는 자사가 이미 10억 달러 규모의 모델을 개발 중이고 곧 1,000억 달러 규모의 모델을 출시할 예정이라고 밝혔습니다. Nature에 발표된 발렌시아 공과대학교 연구진의 연구는 OpenAI의 ChatGPT, Meta의 Llama, BigScience의 BLOOM 등 모델을 수리·과학·지식 과제에서 테스트한 결과, 최신의 더 큰 LLM은 인간이 더 어렵다고 평가한 작업에서는 개선이 있었지만 인간이 쉽다고 생각하는 작업에서는 여전히 오류를 범하고 자신 있게 틀린 답변을 제공하는 경우가 많아 규모가 커질수록 신뢰도가 떨어질 수 있다고 밝혔습니다. 이러한 한계와 높은 비용을 고려해 일부 전문가는 기업들이 처음에는 대형 모델로 시작한 뒤 이후 더 맞춤화되고 효율적인 소형 모델로 전환할 것이라고 예상했습니다.