Web3 특화 AI 벤치마크 'DMind Benchmark', KDD 2026 공식 채택

AI 요약

싱가포르 기반 오픈소스 AI 연구기관 DMind AI가 아시아 주요 연구진과 공동 개발한 DMind Benchmark 논문이 오는 8월 제주에서 열리는 국제 학술대회 KDD 2026의 Datasets & Benchmarks 트랙에 채택됐으며, 이 평가지표는 블록체인 기초 개념부터 인프라·스마트 컨트랙트·보안 취약점 등 총 9개 핵심 분야와 스마트 컨트랙트 디버깅·온체인 수치 추론 등 실제 환경 기반 문제를 포함해 Web3·블록체인 산업 전반에서 LLM 성능을 검증하도록 설계됐습니다. 연구팀은 GPT-5 시리즈, Claude, Gemini, DeepSeek, Grok, Qwen 등 총 31개 모델을 평가해 GPT-5 Medium이 평균 77.63점으로 최고점을 기록했으나 토큰 이코노믹스와 보안 취약점 영역에서는 다수 모델이 낮은 성능을 보였고 일부 상용 모델이 Web3 전문 추론에서 한계를 드러냈으며, DMind의 32B 오픈소스 모델은 10~30% 수준의 비용으로 유사하거나 더 높은 성능을 보였고 해당 DMind 모델은 현재 AI 금융 플랫폼 Minara에 적용돼 운영 중입니다.