단국대 이용진 교수팀, AI 가상 환자 평가체계 개발…세계적 학회 채택

AI 요약

단국대 이용진 교수(의학과)가 서울대 김세중 교수, 박진용 연구원과 공동으로 의대생 진료 실습에 활용할 AI 가상 환자 답변을 체계적으로 검증하는 평가 체계를 개발했으며, 해당 논문은 NeurIPS 2026에 채택돼 12월 6일부터 13일까지 호주 시드니에서 열리는 학술대회 데이터셋 및 벤치마크 트랙에서 발표될 예정입니다. 연구팀은 GPT-4o, Claude 3.5 Sonnet, Llama-3.1 70B, HyperCLOVA X 등 4종의 LLM이 생성한 답변을 의학교육 전문가의 모범 답변과 비교해 고학년 의과대학생 17명이 출처를 모른 채 평가해 총 7,480건의 점수를 수집하고 11개 병력 청취 문항 범주와 3가지 언어 형식으로 분석했습니다. 분석 결과 AI 가상 환자는 대부분 문항에서 높은 사실 정확성을 보였으나 주호소 파악, 환자 교육, 임상 추론 등에서는 언어적 유창성이 상대적으로 낮고 한국어 부정형 질문에서 유창성이 추가로 저하돼 웹 기반 실습 플랫폼에 적용해 지속 검증하는 기반을 마련했다고 밝혔습니다.