KAIST, AI 취약점 7배 더 찾는 '안전성 검증' 기술 개발

AI 요약

KAIST 전기및전자공학부 김준모 교수 연구팀이 대규모 언어모델의 안전성을 검증하는 새로운 프레임워크 스테이블-지플로우넷(Stable-GFlowNet)을 개발해 생성형 AI의 숨은 취약점을 기존 기술보다 약 7배 더 다양하게 찾아냈습니다. 연구팀은 대조 궤적 균형·노이즈 경사 가지치기·최소-K 유창성 안정화 장치 등 세 가지 기법으로 학습 안정성과 의미 없는 공격 문장 생성을 개선했고, 그 결과 기존이 찾아낸 17개보다 많은 134개의 고유 공격 유형을 발굴하면서 공격 성공률은 92%를 유지했습니다. 스테이블-지플로우넷으로 찾은 공격으로 학습시킨 방어 모델은 교차 공격 시험에서 다양한 미학습 공격에도 대응하는 일반화 성능을 보였고, 권민찬 박사과정이 제1저자로 참여한 이번 연구는 과기정통부·정보통신기획평가원 SW스타랩 지원으로 수행돼 ICML 2026에서 스포트라이트 논문으로 선정되었습니다.