에임인텔리전스, 10개국 문화·법률 반영 AI 안전성 벤치마크 ‘XL-SafetyBench’ 공개

AI 요약

AI 보안 전문기업 에임인텔리전스가 전 세계 각국의 법률·제도·문화적 맥락을 반영해 대규모 언어모델(LLM)의 신뢰성을 평가하는 글로벌 벤치마크 XL-SafetyBench를 공개했습니다. 영어권 프롬프트 번역 방식과 달리 10개국을 대상으로 5,500개의 현지화 테스트 케이스로 37개 주요 LLM을 평가하며, 현지 리스크 트랙과 문화적 민감성 트랙을 통해 모델의 위험 인지 능력과 이른바 안전성의 착시(Illusion of Safety) 여부를 구분하는 것이 특징입니다. 이번 프로젝트에는 마이크로소프트, 한국 인공지능안전연구소, KT, BMW 그룹, 뮌헨공과대학교, 앙카라대학교, 서울대학교 등 10개 기관의 17명이 공동 저자로 참여했으며 논문과 데이터셋은 아카이브(arXiv)와 허깅페이스(Hugging Face)에 공개됐습니다.