KAIST, 생성형 AI 취약점 7배 더 찾는 안전성 검증 기술 개발

AI 요약

KAIST 전기및전자공학부 김준모 교수 연구팀이 대규모 언어모델의 안전성 검증을 위한 새로운 레드팀 프레임워크 스테이블 지플로우넷(Stable GFlowNet)을 개발했다고 30일 밝혔습니다. 연구팀은 대조 궤적 균형(CTB), 노이즈 경사 가지치기(NGP), 유창성 안정화 장치(MKS) 등 세 가지 핵심 기술로 학습 안정성과 공격 다양성 및 자연스러운 공격 프롬프트 생성을 개선했습니다. 스테이블 지플로우넷은 기존이 찾아낸 17개 고유 공격 유형보다 약 7배 많은 134개 공격 유형을 발굴하면서도 92퍼센트의 공격 성공률을 유지했고, 방어 모델은 교차 공격 시험에서 우수한 일반화 성능을 보였으며 ICML 2026에서 상위 2.2퍼센트의 스포트라이트 논문으로 선정되었습니다.