Skip to content
뉴스레터2026.10.01

← 지난 발행

로봇 데이터는 왜 부족한 걸까?

발송일 2026.10.01

로보틱스 모델이 데이터 가뭄을 극복하는 방법

테크 기사를 읽다 보면 “로봇 AI를 키우려면 데이터가 턱없이 부족하다”는 이야기를 자주 접하게 됩니다. 하지만 도대체 여기서 말하는 ‘로봇 데이터’라는 게 정확히 무엇이길래, 글로벌 테크 기업들이 천문학적인 자금을 쏟아붓고도 데이터의 중요성을 외치고 있는걸까요?

💡 이번 주 뉴스레터 요약

  • 로봇 데이터의 원천적 한계: 관절 각도, 모터 토크 같은 제어 정보는 웹 어디에도 없어 대규모 스크래핑이 불가능합니다.
  • 기존 해법의 한계: 사람이 직접 시범을 보이는 텔레오퍼레이션은 확장성이 없고, 시뮬레이터는 아직 현실과의 Sim-to-Real Gap을 극복하지 못했습니다.
  • 차세대 Data Engine: 생성형 AI로 가상 환경을 자동 구축하거나, 사람 동작을 로봇 데이터로 변환하거나, 2D 영상을 3D로 복원(Real-to-Sim)하는 방식으로 데이터 파이프라인을 재설계하고 있습니다.

LLM과 다르게 데이터가 부족한 이유

LLM이 지금처럼 눈부시게 성장할 수 있었던 비결은 결국 ‘데이터의 힘’이었습니다. OpenAI가 증명한 스케일링 로(Scaling Laws)에 따라, 인터넷에 널린 수조 개의 텍스트와 이미지를 흡수하며 성장했죠. 최근 공개된 OpenVLA 같은 VLA(Vision-Language-Action) 모델도 약 97만 개(970k)의 로봇 에피소드를 학습하며 피지컬 AI의 가능성을 보여주기 시작했습니다.

텍스트(15조 토큰)나 이미지(60억 개)에 비해 로봇 데이터(240만 에피소드)는 범용 AI를 만들기에 턱없이 부족한 수준입니다.

하지만 언어나 비전 모델에 비하면 이건 가뭄에 콩 나듯 턱없이 부족한 양입니다. 아무리 인터넷 전체를 긁어모아도, 정작 로봇을 실제로 움직이는 데 필요한 ‘관절 각도’나 ‘모터 토크’ 등과 같은 정보는 웹상 어디에도 적혀 있지 않죠.

가장 직관적인 해법, 사람이 가르치기

로봇에게 데이터를 가르쳐 주는 가장 직관적인 방법은 사람이 직접 시범을 보여주는 것입니다. 이를 원격 조작(Teleoperation)이라고 부르죠. 사람이 VR 글래스나 조이스틱, 모션 슈트를 착용하고 로봇을 1:1로 직접 움직여 동작 데이터를 쌓는 방식입니다.

**📌 텔레오퍼레이션(Teleoperation): ** VR 글래스나 조이스틱 같은 장비를 활용해 로봇을 1:1로 직접 조작하며 로봇 학습에 필요한 정밀한 동작 데이터를 수집하는 원격 제어 방식.

사람이 직접 원격조작을 하여 데이터를 수집하는 텔레오퍼레이션 예시.

하지만 이 방식에는 치명적인 병목이 존재합니다. 데이터 1시간 치를 모으려면 사람의 시간도 정확히 1시간 동안 묶여 있어야 하므로 막대한 인력과 비용이 소요됩니다. 게다가 연구실마다 사용하는 센서와 그리퍼, 제어 모드가 제각각이라 데이터를 서로 호환하기 어렵고, 정밀한 6D 포즈(위치 및 회전)를 추적하고 평가하는 일조차 까다로운 난제로 남습니다.

그렇다면 시뮬레이션으로 데이터를 만들면 되지 않을까?

사람을 일일이 투입하는 데 한계를 느낀 연구진은 가상 세계인 시뮬레이터로 눈을 돌렸습니다. 가상 공간에서 로봇을 무한히 돌려 데이터를 스스로 생성하게 만든다면 무한한 확장성을 얻을 수 있을 거라 기대한 것이죠. 하지만 물리 세계를 가상으로 옮겨오는 일 역시 만만치 않은 난관이 기다리고 있었습니다.

아주 단순해 보이는 ‘컵을 집어 옆으로 옮기는(Pick & Place)’ 동작 하나만 떠올려 볼까요? 가상 환경을 구축하려면 로봇의 형태는 물론, 물체의 질량과 크기, 마찰계수, 중력 세팅까지 수많은 환경 변수를 일일이 정의해야 합니다. 여기에 로봇 손이 접근해 그리퍼를 닫고 물체를 들어 올리기까지, 손과 물체 사이의 미세한 접촉과 미끄러짐을 아주 짧은 시간 간격(ms)으로 밀도 있게 연산해야 하죠.

Franka Emika Panda 로봇을 Mujoco simulator에서 실행한 모습

문제는 이렇게 엄청난 연산을 거쳐 가상 세계를 만들어도 현실과의 거대한 격차인 Sim-to-Real Gap이 발생한다는 점입니다. 가상 세계의 물리 엔진과 렌더링 오차 때문에 실제 현실로 가져오면 오류가 생기기 쉽고, 특히 옷감이나 휴지 같은 비정형 물체(Non-rigid)나 액체의 미세한 움직임은 현재 시뮬레이터 수준으로 완벽히 모사하는 것이 불가능에 가깝습니다.

인터넷 비디오를 긁어오면 안 될까?

그렇다면 유튜브나 웹상에 넘쳐나는 수억 개의 일상 동영상을 학습시키면 되지 않을까요? 안타깝게도 영상만으로는 로봇을 실제로 움직일 수 없습니다. 동영상은 시각적인 픽셀 데이터일 뿐, 로봇 모터를 제어하는 데 결정적으로 필요한 관절 각도(Joint Angle)나 모터 토크(Torque) 같은 제어 정보가 전혀 들어있지 않기 때문입니다. 텍스트나 이미지는 웹 스크래핑으로 대량 확보할 수 있지만, 로봇을 직접 구동할 행동(Action) 데이터는 웹 세상 어디에도 존재하지 않는 원천적 한계에 부딪히게 됩니다.

판을 바꾸는 차세대 Data Engine

결국 연구진은 데이터를 수집하는 파이프라인 자체를 원점에서 다시 설계하기 시작했습니다.

첫 번째 돌파구는 ‘시뮬레이션의 자급자족’입니다. 사람이 가상 환경을 일일이 만들던 방식에서 벗어나, 생성형 AI와 LLM을 활용해 3D 환경부터 물체, 로봇의 과제, 제어 정책까지 무한히 자동 생성하는 RoboGen과 AutoRT 기술이 등장했습니다. 사람의 개입 없이도 학습 데이터를 가상 공간에서 스스로 쏟아내는 구조를 구축한 것입니다.

AutoRT의 데이터 자동 생성 메커니즘: 환경 탐색 ➔ 과제 생성(LLM) ➔ 필터링 ➔ 자동 수집 ➔ 무한 반복

두 번째 돌파구는 ‘인간의 행동을 로봇 데이터로 번역하는 기술’입니다. 사람이 직접 로봇을 조종하는 비효율을 깨기 위해, 휴대용 그리퍼를 손에 들고 직접 물건을 움직이면 이를 로봇 데이터로 정밀하게 전환해 주는 UMI(Universal Manipulation Interface) 기술이 활발히 쓰이고 있습니다. 인간과 로봇 사이의 신체 차이(Embodiment Gap)를 직관적으로 극복한 셈이죠.

휴대용 그리퍼 조작만으로 로봇 데이터를 바로 추출하는 UMI 기술

여기에 멈추지 않고, 웹에 수없이 쌓인 일반 2D 동영상을 인터랙티브한 3D 가상 공간으로 복원하는 Real-to-Sim(디지털 트윈) 기술을 통해, 버려지던 인터넷 영상 자원까지 로봇 학습 데이터로 탈바꿈시키고 있습니다.

‘더 많이’가 아니라 ‘더 똑똑하게’

언어 모델의 시대가 ‘인터넷을 얼마나 많이 긁어오느냐’의 싸움이었다면, 로봇 AI의 시대는 ‘물리적 한계를 넘어 유용한 제어 신호를 얼마나 똑똑하게 만들어내느냐’의 싸움입니다. 가상 환경을 스스로 구축하는 AI와 인간의 행동을 로봇 언어로 번역하는 데이터 엔진이 완성되는 날, 비로소 로봇 생태계에도 진짜 ‘ChatGPT 모멘트’가 찾아오지 않을까요?


결국 핵심은 하나입니다.

한정된 자원을 과연 ‘어떤 데이터’에 똑똑하게 투입해야 할까요?

이 글에 의견 남기기