AUC '90%'의 함정...AI 신약개발 투자 시 '성능의 오류' 피하려면

AI 요약

염민선 나무아이씨티 부사장은 29일 한국제약바이오협회에서 열린 AI 신약개발 교육 세미나에서 신약개발 AI 기업이 AUC 등 높은 예측 정확도를 내세우더라도 평가 데이터의 불균형 등으로 실제 임상 현장에 적용되지 않을 가능성이 있어 투자에 유의해야 한다고 밝혔습니다. 그는 무작위 분할(Random Split)이 학습 데이터와 유사한 문제를 외워 해결하는 방식이라 실제 신약 개발 환경에는 부적합하며, 새로운 골격 분자에서 성능을 평가하는 스캐폴드 분할(Scaffold Split)이 더 유용하고 AUC 대신 정밀도와 재현율을 고려하는 AUPRC를 대안으로 제시했습니다. 또한 후보물질 생성 건수나 켐블(ChEMBL), 단백질 데이터 은행(PDB) 등 빅데이터 보유만 강조하는 기업은 합성 가능성·실험 피드백 루프와 실패 데이터 학습 여부를 확인해야 하며 AI 도입 이후 임상 진입 성공률 80% 이상이라는 문구는 주로 임상 1상에 국한된 수치라는 점을 지적했습니다.