Microduck으로 살펴보는 강화학습과 Sim-to-Real
발송일 2026.11.12
Microduck, 강화학습으로 걷는 로봇을 만드는 방법
SNS나 릴스에서 아장아장 걷는 작은 오리 로봇을 본 적 있으신가요? 바로 Microduck입니다. 귀여운 외형과 달리, 이 로봇은 가상세계에서 수많은 시행착오를 거치며 걷는 법을 배웠습니다. 그런데 컴퓨터 안에서 잘 걷는 것과 현실에서 넘어지지 않는 것은 전혀 다른 문제죠.
💡 이번 주 뉴스레터 요약
- 강화학습으로 걷기: Microduck은 관절 상태와 움직임 명령 등을 입력받아 관절 목표를 출력하는 정책(policy)을 학습합니다. 공개된 정책 인터페이스에서는 61차원 관측을 받아 14차원 행동을 출력하죠.
- 수천 마리의 동시 훈련: 원래 Microduck RL 저장소는 mjlab(MuJoCo Warp)과 PPO를 사용합니다. 한편 NVIDIA·Hugging Face 튜토리얼에서는 Isaac Lab에서 무려 4,096개 시뮬레이션 환경을 동시에 실행해요.
- 현실로 옮기는 것이 관건: 가상세계에서 걷는 법을 배웠다고 현실에서도 잘 걸을까요? 모터 마찰부터 명령 지연, 기어 유격(backlash), 배터리 전압 변화까지 넘어야 할 장벽이 남아 있어요.
작은 로봇이 두 발로 걷는 모습을 보면 이런 생각이 들죠. 저 조그만 몸으로 어떻게 균형을 잡을까요? 한 발을 들면 무게중심이 바뀌고, 발이 바닥에 닿는 순간 충격이 발생하죠. 관절을 조금만 잘못 움직여도 그대로 넘어지고 말죠.
사람이 걸음걸이를 하나하나 설계한다면 어떨까요? 관절의 움직임부터 발의 접촉, 몸의 기울기, 속도 변화까지 일일이 계산해야 해요. 하지만 최근 로봇 학습은 다른 질문을 던집니다. 정답인 걸음걸이를 알려주는 대신, 로봇 스스로 걷는 방법을 찾게 할 수는 없을까요?
그 질문에 답해 볼 만한 사례가 있어요. Pollen Robotics와 Hugging Face의 오픈소스 이족보행 로봇, Microduck입니다.

Microduck의 모습
Microduck은 어떻게 움직이는가
Microduck의 키는 약 25cm, 무게는 약 800g으로, 책상 위에도 올려놓을 만한 작은 이족보행 로봇이에요. 이렇게 작은 몸으로 넘어지지 않고 걸으려면, 균형이 무너지기 전에 재빨리 자세를 고쳐야 하죠. 그래서 Microduck은 1초에 50번, 즉 0.02초마다 ‘지금 몸 상태를 보고 다음 관절 움직임을 정하는’ 과정을 반복해요. 이 판단을 맡는 것이 바로 신경망 정책이에요.
그렇다면 이 신경망은 걷는 법을 어디서 배울까요? 실제 로봇 대신 시뮬레이션에서 PPO(Proximal Policy Optimization)라는 강화학습 알고리즘으로 학습해요. PPO는 시행착오의 결과를 바탕으로 신경망을 조금씩 고쳐 나가는 학습 방법인데, 자세한 내용은 뒤에서 다시 살펴볼게요. 학습이 끝난 신경망은 ONNX 형식으로 저장해 실제 로봇에 옮겨요. ONNX는 신경망을 어떤 프레임워크로 학습했든 다른 기기나 프로그램에서 그대로 실행할 수 있게 해 주는 표준 파일 형식이에요.
여기서 말하는 정책(policy)은 거창한 게 아니에요. 지금 로봇이 어떤 상태인지 보고, 다음에는 어떻게 움직일지를 결정하는 함수죠.
Microduck의 공개 정책 인터페이스에는 61차원 관측과 14차원 행동이 사용됩니다. 쉽게 말해, 정책은 0.02초마다 숫자 61개를 입력받아 숫자 14개를 내놓는다는 뜻이에요. 입력 61개 중 48개는 관절 각도나 몸의 기울기처럼 로봇이 지금 어떤 상태인지를 나타내는 값이고, 나머지 13개는 ‘앞으로 얼마나 빨리 가라’, ‘머리와 몸은 어떤 자세를 취하라’처럼 이동·머리·몸 자세를 지정하는 명령이에요. 출력 14개는 각 관절을 어디로 움직일지 정하는 목표값으로 쓰이죠. 여기서 모터의 총개수와 정책이 직접 출력하는 행동의 개수는 꼭 같을 필요는 없어요.

관측한 로봇 상태가 정책을 거쳐 관절 움직임으로 이어지는 과정
관측한 로봇 상태가 정책을 거쳐 관절 움직임으로 이어지는 과정
그럼 이런 정책에 걷는 법을 어떻게 가르칠까요? ‘왼발을 몇 도 들고 오른발을 얼마나 돌려라’는 정답을 주는 대신, 목표 속도를 잘 따라가거나 넘어지지 않았을 때 보상(reward)을 주는 거예요.
보상을 잘 주면 걷는 법을 배울까?
강화학습의 기본 구조는 단순해요. 로봇이 행동하면 환경이 점수를 돌려주고, 로봇은 더 높은 점수를 받도록 정책을 고쳐 나가죠. 예를 들어 목표 속도를 따라 걷는 로봇이라면, 목표 속도에 가깝게 걸을수록 높은 점수를 주고 차이가 벌어질수록 낮은 점수를 줄 수 있어요. 여기에 넘어지거나 자세가 불안정하면 점수를 깎는 식이죠. 다만 이는 원리를 설명하기 위한 예시로, Microduck의 실제 보상함수는 아니에요.
그런데 여기서 재미있는 일이 벌어집니다. 높은 보상을 받는 행동이 꼭 우리가 원하는 걸음걸이는 아니라는 거죠. 로봇은 사람이 의도한 ‘자연스러운 걸음걸이’가 아니라, 수학적으로 주어진 보상을 잘 받는 지름길을 찾아낼 수도 있습니다. 이런 현상을 reward hacking이라고 불러요.
그래서 어떤 행동에 점수를 줄지 정하는 과정이 생각보다 까다로워요. 빨리 걷는 것에만 점수를 주면 균형을 잃을 수 있고, 안정성만 지나치게 강조하면 아예 움직이지 않으려 할 수도 있죠. 우리가 원하는 것은 높은 점수 자체가 아니라, 현실에서도 유용한 걸음걸이이기 때문입니다.
📌Reward hacking: 설계자가 원한 실제 목적과 보상함수 사이의 빈틈을 정책이 이용하는 현상입니다. 높은 보상은 얻어도 유용한 행동은 아닐 수 있습니다.
한 마리 대신 가상 오리 4,096마리를 훈련시키는 이유
그런데 실제 로봇 한 대를 수백만 번 넘어뜨리며 가르친다면 어떨까요? 시간도 오래 걸리고 위험하겠죠. 넘어질 때마다 모터나 프레임이 망가질 수 있고, 누군가는 그때마다 로봇을 다시 일으켜 세워야 해요. 그래서 필요한 것이 시뮬레이션에서의 사전 학습이에요. 지금부터 이야기할 4,096마리는 모두 컴퓨터 안의 가상 오리랍니다. 서로 부딪치거나 망가질 걱정 없이 마음껏 넘어질 수 있죠.
여기서 중요한 아이디어 하나가 등장해요. 로봇을 한 대씩 학습시키는 대신 수천 대를 동시에 움직이는 겁니다. Rudin 등의 연구 Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning은 수천 대의 가상 로봇을 GPU에서 병렬 학습해 ANYmal 로봇의 평지 보행 정책을 4분 미만, 험지 보행 정책을 약 20분에 학습하는 결과를 보고했습니다.
단, 이 학습 시간은 ANYmal 논문의 결과로 Microduck의 학습 시간을 뜻하지는 않아요. 그렇다면 Microduck은 얼마나 걸릴까요? 아쉽게도 공식 자료에 정확한 학습 시간은 나와 있지 않아요. 다만 Isaac Lab의 Microduck 문서를 보면, 험지 보행의 기본 설정은 GPU 한 대에서 가상 환경 16,384개를 돌리며 최대 5만 번의 학습 반복(iteration)을 하도록 되어 있어요. 실제 걸리는 시간은 GPU 성능과 설정에 따라 크게 달라지죠.

가상 로봇을 여러 개 병렬로 실행하는 환경
Microduck도 같은 병렬 학습 아이디어를 활용해요. 학습 예시에서는 가상 환경 4,096개를 한꺼번에 실행할 수 있죠. 2026년 10월 공개된 NVIDIA·Hugging Face의 별도 튜토리얼은 Isaac Lab 3.0 + Newton + RSL-RL 조합으로 이 병렬 학습을 구현하는 방법을 보여줘요. 세 가지는 각자 맡은 역할이 달라요.
각자 맡은 역할은?
1.Isaac Lab: NVIDIA의 오픈소스 로봇 학습 프레임워크예요. 로봇과 환경, 관측·보상을 정의하고 학습 과정 전체를 묶어 주는 ‘훈련장’ 역할을 하죠.
2. Newton: GPU에서 돌아가는 오픈소스 물리 엔진이에요. 수천 마리 가상 오리의 관절, 충돌, 마찰을 동시에 계산하는 ‘물리 법칙’ 역할을 해요.
3. RSL-RL: ETH 취리히 RSL 연구실에서 만든 강화학습 라이브러리예요. 시뮬레이션에서 모은 경험으로 PPO를 실행해 정책을 고치는 ‘코치’ 역할이죠.
즉, Isaac Lab이 훈련장을 차리면 Newton이 그 안의 물리를 빠르게 계산하고, RSL-RL이 그 결과로 정책을 학습시키는 구조예요.

Microduck의 장애물 환경 시뮬레이션
사용하는 시뮬레이터는 프로젝트마다 달라도 괜찮아요. 핵심은 수천 마리가 각자 넘어지고 다시 일어나는 경험을 모아 하나의 보행 정책을 개선한다는 점이죠.
PPO는 무엇을 바꾸는가
이제 그 경험으로 정책을 어떻게 고칠지 살펴볼까요? 여기서 등장하는 알고리즘이 PPO예요. PPO는 현재 정책으로 모은 경험을 바탕으로 더 좋은 정책을 찾으면서도, 한 번의 업데이트에 정책이 너무 급격하게 바뀌지 않도록 목적함수를 설계하죠.
왜 급격한 변화를 피해야 할까요? 지금 가진 경험 데이터는 현재 정책으로 걸어 보며 모은 것이에요. 정책이 한 번에 크게 바뀌면, 이 데이터는 더 이상 새 정책의 행동을 제대로 대변하지 못하죠. 그런데도 같은 데이터를 믿고 크게 고치면, 잘 걷던 로봇이 갑자기 넘어지기만 하는 정책으로 무너질 수 있어요. 한번 이렇게 되면 넘어지는 경험만 쌓여서 다시 회복하기도 어렵고요. 그래서 PPO는 ‘조금씩, 그러나 꾸준히’ 정책을 개선하는 쪽을 택해요.
PPO는 이를 위해 변화 폭에 상한선을 둬요. 먼저 각 행동이 예상보다 좋았는지 나빴는지 따져서, 좋았던 행동은 더 자주, 나빴던 행동은 덜 하도록 정책을 고치죠. 다만 어떤 행동을 할 확률이 이전 정책보다 일정 비율 이상 달라지면, 그 이상 고쳐도 더는 점수를 쳐주지 않아요. 이 방식을 clipped objective라고 불러요. 물론 정책이 크게 바뀌는 일을 절대 막아 준다는 보장은 아니에요.

PPO 학습 단계의 직관적 개념도
그렇다면 PPO만 잘 쓰면 로봇이 잘 걸을까요? 그렇지는 않아요. 어떤 상태를 관측하고 어떤 행동을 출력할지, 어떤 보상을 줄지, 물리 시뮬레이터가 얼마나 현실에 가까운지까지 함께 중요하죠.
가상세계에서는 잘 걷는데, 현실에서는 왜 넘어질까?
수천 마리의 가상 오리가 잘 걷기 시작했어요. 이제 진짜 로봇에 정책을 옮기면 끝일까요? 아직 가장 까다로운 단계, Sim-to-Real이 남았어요.
시뮬레이션 속 모터는 원하는 각도대로 정확히 움직이지만, 현실의 서보모터에는 마찰과 토크 한계가 있어요. 명령이 늦게 도착하기도 하고 배터리 전압도 계속 변하죠. 맞물린 기어 사이의 미세한 틈, 기어 유격(backlash) 때문에 관절이 방향을 바꿀 때 살짝 늦게 따라오기도 해요. 한 발로 균형을 잡는 순간에는 이런 작은 지연도 넘어짐으로 이어질 수 있어요.
그래서 NVIDIA·Hugging Face 튜토리얼은 먼저 **Better Actuator Models(BAM)**로 가상 모터를 실제 모터에 가깝게 만들어요. BAM은 실제 서보모터로 측정한 데이터를 바탕으로, 시뮬레이터 기본 모델보다 모터의 마찰을 더 정확하게 표현하는 라이브러리예요. 여기에 backlash도 함께 반영하죠.
또한 로봇마다 질량, 무게중심, 바닥 마찰, 배터리 전압, 명령 지연 등을 조금씩 바꾸고, 지형을 바꾸거나 외부 충격도 가하며 학습해요. 이렇게 학습 환경을 일부러 다양하게 만드는 방법을 Domain Randomization이라고 해요. 한 가지 가상세계에만 익숙해지지 않고, 여러 조건에서 버티도록 훈련하는 거죠.

시뮬레이션과 현실의 차이
📌 Sim-to-Real Gap: 시뮬레이터가 나타내는 물리·센서·지연 특성과 실제 하드웨어 사이의 차이. 정책의 성능이 가상환경에서 현실로 그대로 이어지지 않는 주요 원인 중 하나입니다.
학습한 걸음걸이는 어떻게 실제 로봇에 들어갈까?
학습이 끝나면 PPO도 로봇 안에서 계속 돌아갈까요? 그렇지는 않아요. 학습 중 PPO는 환경에서 데이터를 모으고 신경망을 업데이트하지만, 배포 후 로봇은 매 제어 주기마다 학습을 다시 하는 것이 아니라 이미 학습된 정책을 추론합니다.
Microduck에서는 학습한 정책을 ONNX 파일로 내보낼 수 있어요. 여기서 중요한 것은 로봇이 학습할 때와 같은 방식으로 상태를 읽고 행동을 실행하는 일이죠. 예를 들어 신경망이 몸의 기울기를 특정 순서와 단위로 배웠는데, 실제 로봇에서 그 입력을 다르게 해석하면 관절이 엉뚱하게 움직일 수 있죠.

이처럼 시뮬레이션 학습부터 실제 로봇에 정책을 옮기는 과정까지 직접 다뤄 볼 수 있다는 점에서, Microduck은 단순히 귀여운 완제품 이상의 의미를 가져요. 보행 정책을 직접 학습하고 바꿔 볼 수 있는 오픈소스 연구 플랫폼이기도 하거든요. 개발자는 자신의 정책을 시험하고 공유할 수 있고, 공식 튜토리얼은 Hugging Face Hub와 Microduck Arena를 통한 정책 공유와 평가도 안내합니다.
작은 오리가 보여준 것과 아직 남은 것
Microduck을 보고 ‘강화학습만 시키면 로봇이 걷는구나’라고 생각할 수도 있어요. 하지만 실제로는 훨씬 많은 과정이 숨어 있죠. 오히려 보행처럼 기본적으로 보이는 동작조차 보상 설계, 빠른 데이터 수집, 현실적인 모터 모델, 다양한 환경에서의 학습, 정확한 배포 인터페이스가 함께 맞아떨어져야 한다는 사실이죠.
물론 아직 남은 과제도 있어요. 지금의 Microduck은 정해진 관측·행동 인터페이스 안에서, 주어진 학습 목표대로 걷는 법을 익힌 것이에요. 학습 중에 겪어 보지 못한 지형이나 상황에서도 잘 걸을 수 있을지는 또 다른 문제죠. 공개된 튜토리얼 역시 걷기에서 시작해 더 다양한 지형과 지각 문제로 확장하는 방향을 제안하고 있어요.
그래도 한 가지 변화만큼은 분명해 보여요. 과거에는 정교한 보행 연구를 시도하려면 특수한 하드웨어와 자체 시뮬레이션 환경이 필요했죠. 지금은 작은 오픈소스 로봇과 공개된 학습 코드를 활용해 ‘시뮬레이션에서 배우고, 현실에서 검증하는 과정’을 직접 살펴볼 수 있어요.
로봇이 한 걸음을 내딛는 데 필요한 것은 관절을 움직이는 명령일까요, 아니면 수천 번의 시행착오일까요? Microduck은 그 둘 사이에 얼마나 많은 공학이 필요한지 보여주는 듯 싶습니다.