KT, 다국어 LLM 안전성 벤치마크 공개…에임인텔리전스·MS와 협력

AI 요약

KT가 4일 글로벌 기업·공공기관·학계 등과 함께 대규모 언어모델(LLM)의 안전성과 문화적 민감성 인식 능력을 통합 평가하는 다국어 벤치마크 XL-SafetyBench를 공개했습니다. 이 벤치마크는 에임인텔리전스·마이크로소프트(MS)·한국 인공지능안전연구소(AISI) 등과 국내·외 전문가들이 참여해 한국·미국·독일·일본·튀르키예·아랍에미리트 등 10개국의 언어·문화적 특성을 반영한 총 5,500개 프롬프트로 LLM의 사회적 규범 및 문화적 민감성 인식 능력을 측정하도록 설계됐습니다. 데이터셋과 평가 코드는 허깅페이스와 깃허브에 공개됐고 연구진은 이를 바탕으로 주요 LLM 37종을 평가해 분석 결과와 논문을 아카이브(arXiv)에 공개했습니다.