KT, 다국어 LLM 안전성 벤치마크 공개…에임인텔리전스·MS와 협력

AI 요약

KT가 글로벌 기업, 공공기관, 학계 등과 함께 대규모 언어모델(LLM)의 안전성과 문화적 민감성 인식 능력을 통합 평가하는 다국어 벤치마크 XL-SafetyBench를 4일 공개했습니다. 이 벤치마크는 에임인텔리전스, 마이크로소프트(MS), 한국 인공지능안전연구소(AISI)와 국내·외 전문가들이 설계에 참여했고 한국·미국·독일·일본·튀르키예·아랍에미리트 등 10개국의 언어·문화적 특성을 반영한 총 5500개 프롬프트로 LLM의 사회적 규범과 문화적 민감성 인식 능력을 측정하도록 구성됐습니다. 벤치마크 데이터셋과 평가 코드는 Hugging Face와 GitHub에 공개됐고 연구진은 이를 이용해 Claude-4.6-Opus 등을 포함한 주요 LLM 37종을 평가했으며 분석 결과를 arXiv에 공개했습니다.