KAIST, AI 스스로 취약점 찾는 '스테이블-지플로우넷' 개발

AI 요약

KAIST 전기및전자공학부 김준모 교수 연구팀이 대규모 언어모델(LLM)의 안전성을 검증하는 레드팀 기술의 한계를 극복한 새로운 프레임워크 스테이블-지플로우넷(Stable-GFlowNet)을 개발했습니다. 연구팀은 대조 궤적 균형(CTB)으로 계산을 줄여 학습을 안정화하고, 노이즈 경사 가지치기(NGP)로 잡음을 제거하며, 유창성 안정화 장치(MKS)로 사람이 실제 사용할 법한 공격 프롬프트를 생성하도록 유도했습니다. 그 결과 기존이 찾아낸 17개 공격 유형보다 약 7배 많은 134개의 공격 유형을 발굴하면서도 92%의 공격 성공률을 유지했고 교차 공격 시험에서 우수한 일반화 성능을 보였으며 신약 후보 물질 생성 등 다양한 분야에 활용 가능성이 확인되었고 해당 연구는 권민찬 박사과정이 제1저자로 참여한 논문이 ICML 2026에서 상위 2.2% 스포트라이트 논문으로 선정되었습니다.