KT, 다국어 LLM 안전성 벤치마크 공개…에임인텔리전스·MS와 협력

AI 요약

KT는 글로벌 기업, 공공기관, 학계와 함께 대규모 언어모델(LLM)의 안전성과 문화적 민감성 인식 능력을 통합 평가하는 다국어 벤치마크 XL-SafetyBench를 4일 공개했습니다. 이 벤치마크는 한국, 미국, 독일, 일본, 튀르키예, 아랍에미리트 등 10개국의 언어·문화적 특성을 반영한 총 5500개 규모의 프롬프트로 구성되며 사회적 규범과 문화적 민감성을 정밀하게 측정하도록 설계됐습니다. 에임인텔리전스, 마이크로소프트(MS), 한국 인공지능안전연구소(AISI)와 국내외 전문가들이 참여했으며 데이터셋과 평가 코드는 허깅페이스(Hugging Face)와 깃허브(GitHub)에 공개되고 37종의 주요 LLM 평가 결과와 논문은 arXiv에 공개했습니다.