단국대 이용진 교수팀, AI 가상 환자 평가 체계 개발 ‘NeurIPS 2026’ 채택

AI 요약

단국대학교 이용진 교수(의학과)가 서울대 김세중 교수, 박진용 연구원과 공동으로 의대생의 진료 실습에 활용할 AI 가상 환자의 답변을 체계적으로 검증하는 평가 체계를 개발했으며 논문이 NeurIPS 2026에 채택되어 12월 6일부터 13일까지 호주 시드니에서 열리는 데이터셋 및 벤치마크 트랙에서 발표될 예정입니다. 연구팀은 GPT-4o, Claude 3.5 Sonnet, Llama-3.1 70B, HyperCLOVA X 등 4종의 LLM이 생성한 가상 환자 답변을 의학교육 전문가의 모범 답변과 비교해 고학년 의대생 17명이 출처를 모른 채 총 7,480건의 평가 점수를 수집해 11개 병력 청취 문항 범주와 3가지 언어 형식으로 분석했습니다. 분석 결과 AI 가상 환자는 대부분 문항에서 전문가의 모범 답변에 근접한 높은 사실 정확성을 보였으나 주호소 파악, 환자 교육, 임상 추론 등에서는 언어적 유창성이 낮았고 특히 한국어 부정형 질문에서 유창성이 추가로 저하되어 웹 기반 진료 실습 플랫폼에 해당 평가 체계를 적용해 답변 품질과 자동 채점 기준을 지속 검증하는 기반을 마련했습니다.