LLM의 치명적인 구조적 결함 드러나…AI 보안에 경고등

AI 요약

찰스 예, 재스민 추이, 딜런 해드필드-메넬 등 연구진은 7월 ICML에서 발표한 논문에서 대형언어모델(LLM)이 구조적으로 누가 명령을 내렸는지 구분하지 못해 공격자가 만든 가짜 '사고 과정' 문장을 자기 생각으로 착각하고 위험한 정보를 제공할 수 있다고 밝혔습니다. 오픈AI, 앤트로픽, 딥시크 등 주요 회사들의 모델에서도 비슷한 취약점이 확인됐고 이 문제는 텍스트 구분 방식에서 비롯돼 추가 훈련으로 완전히 고치기 어렵다고 연구진은 설명했습니다. 연구진은 조직들이 AI를 무조건 신뢰하지 말고 항상 안전하지 않을 수 있다고 가정해야 한다고 경고했습니다.