엔비디아, 전이중 음성 AI에 도구 호출 이식... '네모트론랩스 보이스챗 11B' 오픈 공개

AI 요약

엔비디아는 3일(현지시간) 110억 매개변수의 오픈웨이트 전이중 음성 모델 네모트론랩스 보이스챗 11B를 허깅페이스로 공개했으며, 실시간 스트리밍 네트워크로 ASR→LLM→TTS 분리를 통합하고 끼어들기(Barge-in)와 외부 API·기능 호출(도구 호출)을 지원합니다. 평가에서 자연스러운 턴테이킹 지연시간은 약 448ms, 끼어들기 반응은 약 480ms였고 전이중 대화 0.82 턴오버율, GPT-4o 기반 끼어들기 품질 4.33점(5점 만점)을 기록했으나 도구 선택 정확도 82.5%, 인자 정확도 44.2%, 전체 첫 시도 성공률 33% 등 도구 호출 성능은 개선 여지가 있다고 밝혔습니다. 모델은 공개 데이터와 엔비디아 자체 스튜디오 녹음 등 55만 시간의 음성으로 학습됐고 OpenMDW-1.1 라이선스의 연구용으로 제공되며 영어 중심·최대 오디오 컨텍스트 2분·소음 환경 제약 등 사용상 한계가 있다고 보도했습니다.