예진, 한국어 특화 8B AI 모델 공개…사전학습부터 독자 개발

AI 요약

AI 전문 예진(대표 고종현)은 한국어에 특화된 80억 매개변수 파운데이션 모델 예진 8B v3를 토크나이저 설계부터 사전학습까지 프롬 스크래치로 개발했다고 6일 밝혔습니다. 엔비디아 H200 GPU 8장을 활용해 과기부·NIPA 지원으로 학습했으며 AI허브 등 약 2.7TB 원천데이터에서 중복·유해 문서를 걸러 총 1384억 토큰으로 학습했고 숫자 분리형 토크나이저를 적용해 동일 한국어 법령 문서를 라마 3 등 해외 모델 대비 24~38% 적은 토큰으로 처리합니다. 모델 크기는 약 15GB로 공공기관 내부망에서 구동 가능하고 아파치 2.0 라이선스로 공개했으며 K-AI 리더보드의 300억 파라미터(30B) 이하 중소형 모델 부문에서 평균 0.366점을 기록해 주요 공개 모델들을 앞섰고 현재 젤리법령 도우미에 탑재되어 있으며 예진은 기초 사전학습 데이터를 v3 대비 약 2.5배 늘린 예진 8B v4를 연내 공개 목표로 개발 중입니다.