단국대 이용진 교수팀, AI 가상 환자 평가 체계 개발‘NeurIPS 2026’채택

AI 요약

단국대학교 이용진 교수(의학과)가 서울대 김세중 교수, 박진용 연구원과 공동으로 의대생의 진료 실습에 활용할 AI 가상 환자의 답변을 체계적으로 검증하는 평가 체계를 개발했으며, 연구 논문은 NeurIPS 2026에 채택되어 12월 6일부터 13일까지 호주 시드니 학술대회 데이터셋 및 벤치마크 트랙에서 발표될 예정입니다. 연구팀은 GPT-4o, Claude 3.5 Sonnet, Llama-3.1 70B, HyperCLOVA X 등 4종의 LLM이 생성한 답변을 전문가 모범 답변과 비교·분석하고 고학년 의과대학생 17명이 출처를 모르는 상태에서 평가해 총 7,480건의 점수를 수집하여 11개 병력 청취 문항 범주와 3가지 언어 형식으로 분석했습니다. 그 결과 AI 가상 환자는 대부분 문항에서 높은 사실 정확성을 보였으나 주호소 파악·환자 교육·임상 추론 등에서는 언어적 유창성이 낮았고 한국어 부정형 질문에서 유창성이 추가로 저하되어 대화 능력을 별도 검증할 필요가 확인되었으며, 이 평가 체계는 웹 기반 진료 실습 플랫폼에 적용되어 자동 채점 기준 검증 기반을 마련했습니다.