콘텐츠로 이동

Aligning Video Models with Executable Robot Actions via Inverse Dynamics Rewards

arXiv(2026), 3 citation, Chinese University of Hong Kong, Review Data:

한 줄 요약

실제 로봇 궤적으로 학습한 IDM을 reward model로 삼아 video world model을 RL(GRPO)로 post-training하여, 시각적으로만 그럴듯한 영상이 아니라 실행 가능한(executable) 로봇 동작으로 이어지는 영상을 생성하게 한다.

흐름 내용
문제 Video world model은 실행 제어 조건이 없어 시각적으로 일관되더라도 강체·운동학적 일관성을 위반하고, IDM으로 디코딩하면 불안정하거나 실행 불가능한 명령이 나오는 executability gap이 생긴다 (rejection sampling은 비용이 너무 큼)
아이디어 EVA (Executable Video Alignment): IDM이 생성 영상에서 뽑은 동작 시퀀스의 속도·가속도·저크를 유한 차분으로 계산해 Huber penalty 등으로 reward를 만들고, 이를 GRPO로 video generation model에 반영
결과 RoboTwin 2.0 사람 평가에서 kinematic plausibility +20.9%, 21개 simulation task 평균 성공률 52.6% (RL 없이 46.2%), 실제 로봇 OOD task 성공률 60.0% (RL 없이 42.0%)

"시각적으로 일관되기만 한 비디오 생성으로 인해 물리학적으로 실행할 수 없는 비디오 생성인 Executability gap을 해결하기 위해 이미 학습된 IDM을 Reward Model로 활용하여 물리학적으로도 일관된 비디오를 생성하는 것이다."


Figure 1. EVA 개요


1. 문제 정의 — 왜 이 논문이 필요한가

배경.

  • Video generation model은 robotics의 world model로 사용된다.

    • 이는 observation과 task instruction을 condition으로, 미래의 시각적 rollout을 생성한다.
  • 그리고, IDM (Inverse dynamic model)은 생성된 frame들을 실행가능한 robot action으로 변환한다.

기존 방법의 한계.

  • 하지만, 최근 video world model은 명시적인 실행 제어 조건이 부족하여 시각적으로 일관된 rollout 일지라도, 강체 (rigid-body) 및 운동학적 일관성을 위반할 수 있다. (e.g., 관절의 꺾임)

    • 이로 인해, IDM을 통해 디코딩 할 때 불안정하거나 실행불가능한 제어 명령이 생성될 수 있다.
    • 시각적 frame 생성을 통해 실행 가능한 제어로 가지 못하는 mismatch를 본 논문에서는 executability gap 이라고 한다.
  • 물론, 이 gap이 추론 시에 rejection sampling 과 같은 방법론을 적용하면 그 gap이 완화될 수 있다.

    • 하지만, video generation의 높은 cost로 인해 비효율적이다.

이 논문의 접근.

  • 본 논문에서는 이 gap을 학습 signal로 활용하고 reinforcement-learning post training framework인 EVA (Executable Video Alignment) 제안한다.

  • EVA는 실제 로봇 궤적을 기반으로 IDM(Inverse Dynamics Model)을 학습시키고, 이를 생성된 영상이 유도하는 동작 시퀀스를 평가하는 보상 모델로 재구성한다.

    • 이를 통해 속도, 가속도, 저크(jerk)로 측정되는 부드러운 동작을 장려하는 동시에, 구현 제약 조건을 위반하는 동작에는 페널티를 부여할 수 있다.
    • 중요한 점은 생성된 영상에 심각한 시각적 아티팩트가 포함된 경우에도 보상이 유용한 정보를 제공한다.
  • 즉 Executability gap을 해결하기 위해 이미 학습된 IDM을 Reward Model로 활용하여 물리학적으로도 일관된 비디오를 생성하는 것이다.

  • 관절 각도 데이터(7-DOF): 로봇 팔의 7개 자유도(Joint 1~7)에 해당하는 관절 각도 변화를 그래프로 나타냅니다.

    • 상단(고품질 생성): 시각적으로 우수한 비디오는 로봇의 움직임을 예측할 때 관절 각도가 부드러운 곡선을 그리며 변화합니다.
    • 하단(실패 사례): 영상 자체에 미세한 시각적 오류(Artifacts)가 포함되면, 이를 Inverse Dynamics Model(IDM)이 해석할 때 급격한 관절 이동(Jumps)이나 고주파 떨림(High-frequency jitter)이 발생합니다.

2. 사전 지식

  • Video World Models for Robotics

  • Embodied Visuomotor Policies

    • 결합형(End-to-End VLA): 시각적 관찰을 로봇의 저수준 모터 명령으로 직접 매핑합니다. (예: Diffusion Policy, π0)
    • 분리형(Decoupled Paradigm): 비디오 모델이 시각적 계획(Visual Planner)을 세우고, Inverse Dynamics Model (IDM)이 이를 실행 가능한 행동으로 추출합니다. 이는 일반화 능력이 뛰어나다는 장점이 있습니다.
    • 분리형 접근 방식의 가장 큰 문제는 비디오 모델이 시각적으로는 그럴듯하지만, 물리적으로는 불가능한 비디오(팔의 기형적 변형, 시간적 불연속성 등)를 생성할 수 있다는 점입니다.
    • IDM은 단순히 입력된 비디오를 해석하는 '수동적 디코더'로 작동하므로, 이러한 시각적 오류를 걸러내지 못하고 불안정한 로봇 제어 명령을 생성하여 실패로 이어집니다.
  • Alignment and Post-Training in Generative Models

3. 방법

Preliminaries

  • Flow-Matching-Based Video Generation
    • Wan 2.1과 같은 large scale video generation model들은 flow-matching을 사용
    • Video sequence \(V = \{I_1, \cdots, I_{T} \}\) 가 주어지면 3D VAE로 latent space로 보낸다. \(x_1\)
  • Group Relative Policy Optimization
    • 강화학습 기법이다.
    • GRPO는 여러 개의 샘플을 동시에 생성한 뒤, 그 그룹 내에서의 상대적인 점수를 계산하여 학습한다.
    • 이를 통해 value function을 학습시키는 복잡한 과정을 생략할 수 있다.

IDM (Inverse Dynamics Model)

  • IDM은 이 생성된 미래 프레임들을 보고 "이 비디오대로 움직이려면 현재 로봇이 어떤 동작을 해야 하는가?"를 계산하여 로봇을 움직인다.

    • 따라서 video generation model이 생성한 frame들 (미래를 예측한 frame 포함)을 보고 이렇게 되려면 어떤 행동을 해야하는가 예측하는 거다
    • Convolutional Backbone (특징 추출): 비디오 프레임에서 로봇 팔의 위치, 물체의 형태 등 제어에 필요한 핵심 정보(특징)를 뽑아냅니다.
    • Spatial Softmax (2D 좌표 변환): 단순히 이미지를 뭉뚱그려 처리하는 대신, 로봇의 관절이나 손끝(Gripper)이 이미지 상에서 어디에 위치하는지 좌표값 \((x_c, y_c)\) 으로 정밀하게 찾아냅니다.
    • MLP (행동 예측): 추출된 좌표값들을 종합하여 "이 좌표로 이동하려면 각 관절 모터를 얼만큼 움직여야 하는가?"라는 질문에 대한 답(Action)을 계산합니다.
    • 이러한 키포인트 형태의 표현은 생성된 rollout으로부터 동작을 디코딩할 때 global pooling보다 더 안정적이다
  • Spatial Softmax 수식

    • 각 채널에서 모든 feature 값들을 더한 게 분모, 분자는 특정 위치에서의 값
    • 그리고, 모든 채널의 값을 더한다.

IDM-based Executability Reward

  • Inverse Dynamics Model(IDM)을 사용하여 보상(Reward)을 산출하는 과정
    • 생성된 비디오를 IDM에 입력으로 주면 행동 시퀀스가 나온다.
    • 여기서 속도, 가속도, 저크를 유한 차분법(finite difference)으로 계산하여 행동의 부드러움을 측정
    • 페널티 함수(Huber Penalty): 급격한 동작 변화를 방지하기 위해 가속도와 저크에 대해 Huber 함수를 적용합니다.

참고