[AI는 지금] 구글, 학습·추론 모두 효율로 승부…AI 인프라 판 흔든다

AI 요약

구글 딥마인드가 23일(현지시간) '디커플드 디로코(Decoupled DiLoCo)'를 공개했으며, 이는 여러 지역에 분산된 연산 자원을 독립된 학습 단위로 나누고 비동기식으로 데이터를 주고받아 통신량과 장애 영향을 줄이는 분산 학습 구조입니다. 이 구조로 미국 4개 지역에서 120억 개 매개변수(12B) 모델을 2~5Gbps 광역망으로 학습해 기존 동기화 방식 대비 20배 이상 빠른 결과를 냈고, 카오스 엔지니어링으로 일부 단위가 중단된 뒤에도 전체 학습이 이어졌으며 복구된 단위는 다시 편입됐습니다. 아울러 구글 리서치가 공개한 '터보퀀트(TurboQuant)'는 KV 캐시를 3비트 수준으로 압축해 정확도 손실 없이 메모리 사용량을 최소 6배 줄이며, 구글은 디커플드 디로코로 학습 단계의 네트워크·장애 영향을 줄이고 터보퀀트로 추론 단계의 메모리 병목을 낮추는 방식으로 AI 인프라 전반의 효율 개선에 나섰습니다.