단국대 이용진 교수팀, AI 가상 환자 평가 체계 개발

AI 요약

단국대 의학과 이용진 교수 연구팀(서울대 김세중 교수·박진용 연구원 공동)은 주요 대형언어모델(LLM)이 생성한 가상 환자 답변을 다각도로 분석·검증하는 평가 시스템을 구축했으며, 해당 연구는 'NeurIPS 2026' 데이터셋 및 벤치마크 트랙에 채택돼 오는 12월 호주 시드니에서 발표될 예정입니다. 연구팀은 GPT-4o, 클로드 3.5 소네트, 라마 3.1 70B, 하이퍼클로바X 등 4개 LLM을 대상으로 고학년 의대생 17명이 블라인드 평가를 수행해 총 7,480건의 데이터를 11개 병력 청취 범주와 3가지 언어 형식으로 분석했습니다. 분석 결과 AI 가상 환자는 의학적 사실 기반 정보 정확도에서는 전문가 답안에 근접했으나 주호소 파악, 환자 교육, 임상 추론 등 대화의 유창성과 자연스러움이 요구되는 영역과 한국어 부정형 질문에서 한계를 보였으며, 연구팀은 이를 웹 기반 진료 실습 플랫폼에 적용해 답변 품질과 자동 채점 기준을 정밀화할 계획입니다.