article detail
메타, AI 테스트로 상반기 개인정보 중대 버그 74건 사전 차단
2026. 11. 18. 오후 4:01

AI 요약
메타가 AI로 테스트 코드를 자동 생성해 코드 변경의 오류를 찾는 캐칭 지트테스트(Catching JiTTests)를 사내 인프라에 적용해 2026년 상반기 개인정보 관련 중대 버그 74건을 배포 전에 잡아냈고, 10월 29일 엔지니어링 블로그를 통해 같은 기간 개인정보 중대 사고(SEV) 발생이 20% 줄었다고 공개했습니다. 지트테스트(JiTTest, 저스트 인 타임 테스트)는 LLM이 코드 변경분마다 실행 가능한 테스트를 생성해 이전 코드와 달라진 동작을 드러내는 방식이며, 도지 디프(dodgy diff) 방식과 의도 인식 방식을 함께 사용해 테스트를 만든 뒤 실패한 테스트는 LLM 판사(LLM-as-Judge) 앙상블과 규칙 기반 판정기 럽페이크(RubFake)가 검토해 실제 버그일 가능성 순으로 순위를 매깁니다. 메타는 엔지니어가 기준을 정해 결과를 묶어 점검하는 휴먼 온 더 루프 방식을 택했고 지금까지 엔지니어 589명이 지트테스트 결과에 대응했으며 알림을 받은 엔지니어는 64%, 확인한 결과 실제 문제로 판명된 비율은 60%이며 해당 기술 관련 논문을 소프트웨어공학 학회 FSE 2026에서 발표했습니다.