피지컬 AI를 먹여 살리는 합성데이터 [이승현의 AI 네이티브]

AI 요약

휴머노이드 영상은 하드웨어의 정교함을 보여주지만, 실제 어려움은 그 손을 언제 어떻게 움직여야 할지 판단하는 경험과 데이터에 있으며 피지컬 AI의 진짜 병목은 하드웨어가 아니라 데이터입니다. 현실에서 로봇 경험을 대량으로 수집하는 것은 느리고 비싸므로 디지털 트윈 기반의 합성데이터가 등장했고, 엔비디아의 옴니버스·아이작 심·코스모스 같은 시뮬레이션 환경과 도메인 랜덤화로 분포를 설계해 드문 경계 사례를 과대표집하는 방식으로 학습용 경험을 빠르게 생산할 수 있습니다. 다만 시뮬레이션과 현실의 차이인 Sim-to-Real 갭(물리 모사·센서 차이·롱테일 문제) 때문에 현실 데이터를 시뮬레이션에 이식하는 Real2Sim과 시뮬레이션 학습 결과를 현실에 적용해 오류를 되먹이는 Sim2Real의 반복으로 갭을 좁혀야 합니다.