KT-고려대, 한국 문화 특화 AI 오픈 벤치마크 'KSAFE-MM' 공개...국내 최대규모 한국어 멀티모달 안전성 평가 데이터셋

AI 요약

KT(대표이사 박윤영)가 고려대와 공동으로 멀티모달 대형언어모델(MLLM) 벤치마크 'KSAFE-MM'을 16일 공개했으며, 이는 텍스트·이미지·음성 등 다양한 데이터를 통합 처리하는 AI 모델의 안전성을 한국 사회 이슈와 문화적 맥락을 반영해 평가합니다. 'KSAFE-MM'은 글로벌 공통 리스크를 한국 문화 맥락으로 변환한 'KSAFE-MM-G'와 전세 사기·독도 분쟁 등 한국 사회 고유 이슈를 반영한 'KSAFE-MM-C'로 구성되며, 총 1만 4,135개의 평가 샘플로 국내 최대 규모의 한국어 멀티모달 안전성 평가 데이터셋이고 Gemma, HyperCLOVA X 등 12개 글로벌 MLLM을 검증했습니다. 연구진은 현지 커뮤니티 기반 수집부터 템플릿 기반 쿼리·합성 이미지 생성·탈옥 쿼리 생성을 포함한 4단계 자동화 파이프라인을 구현해 일본어 파일럿(JSAFE-MM-C)으로 적용 가능함을 실증했으며, 연구 결과와 벤치마크는 arXiv와 Hugging Face에 공개돼 누구나 활용할 수 있고 AI 서비스 안전성 검증·레드팀 테스트·가드레일 평가 등에 활용될 수 있을 것으로 기대됩니다.