다목적 로봇 훈련을 위한 Real-to-Sim-to-Real 모델 개발 사례

MIT의 컴퓨터 과학 및 인공 지능 연구소(CSAIL)의 연구원들은 다양한 실제 조건에서 로봇 학습을 향상시키기 위해 혁신적인 Real-to-Sim-to-Real 모델을 개발했다. RialTo라는 이름의 이 모델은 특정 환경에서 일상적인 작업을 효율적으로 수행하도록 로봇을 훈련시키도록 설계되었다.

많은 개발자의 목표는 모든 조건에서 보편적으로 작동할 수 있는 로봇을 만드는 것이지만 MIT CSAIL의 팀은 로봇이 특정 환경에서 능숙하게 작동하도록 하는 데 중점을 두었다. RialTo 방법은 동일한 수의 시연으로도 기존 모방 학습에 비해 로봇 정책을 67% 개선했다. 이 접근 방식을 통해 로봇은 토스터를 열고, 선반에 책을 놓고, 서랍과 캐비닛을 여는 것과 같은 작업을 처리할 수 있다.

MIT CSAIL의 연구 조교이자 이 작업에 대한 새로운 논문의 수석 저자인 Marcel Torne Villasevil은 로봇이 단일 환경 내에서 방해, 산만함, 다양한 조명 조건 및 물체 포즈의 변화에서도 예외적으로 잘 작동하는 것의 중요성을 강조했다. "우리는 컴퓨터 비전의 최신 기술을 사용하여 즉석에서 디지털 트윈을 만들 수 있는 방법을 제안합니다"라고 Torne은 설명했다. "휴대폰만 있으면 누구나 현실 세계의 디지털 복제본을 캡처할 수 있으며, 로봇은 GPU 병렬화 덕분에 시뮬레이션 환경에서 현실 세계보다 훨씬 빠르게 훈련할 수 있습니다."

RialTo: 재구성된 장면에서 정책 구축

RialTo의 프로세스에는 NeRFStudio, ARCode 또는 Polycam과 같은 도구를 사용하여 선택한 환경을 스캔하는 작업이 포함된다. 장면이 재구성되면 사용자는 이를 RialTo의 인터페이스에 업로드하여 세부 조정을 하고 로봇에 필요한 관절을 추가했다. 그런 다음 재정의된 장면은 시뮬레이터로 내보내져 실제 시연이 복제되어 강화 학습(RL)에 유용한 데이터를 제공한다.

"이는 시뮬레이션과 현실 세계 모두에서 잘 작동하는 강력한 정책을 만드는 데 도움이 됩니다"라고 Torne은 말했다. 강화 학습을 사용하는 향상된 알고리즘은 시뮬레이터 외부에 적용할 때 정책의 효과를 보장하기 위해 이 프로세스를 안내한다.

테스트 및 성능

MIT CSAIL의 테스트에 따르면 RialTo는 통제된 실험실 환경과 예측할 수 없는 실제 환경 모두에서 다양한 작업에 대한 강력한 정책을 생성했다. 연구원들은 증가하는 세 가지 난이도, 즉 물체 포즈 무작위화, 시각적 방해 요소 추가, 작업 실행 중 물리적 방해 요소 적용에서 시스템의 성능을 테스트했다.

논문에 참여하지 않은 워싱턴 대학의 컴퓨터 과학 박사 과정 학생인 조이 첸(Zoey Chen)은 RialTo가 실제 RL의 안전 제약 조건과 데이터 기반 학습 방법을 위한 효율적인 데이터 제약 조건을 모두 해결한다고 언급했다. 첸은 "리알토는 로봇 학습을 크게 확장할 수 있는 잠재력을 가지고 있으며 로봇이 복잡한 실제 시나리오에 훨씬 더 효과적으로 적응할 수 있도록 한다"고 덧붙였다.

실제 데이터와 결합했을 때, RialTo는 특히 시각적 방해 요소나 신체적 방해가 많은 상황에서 기존의 모방 학습 방법을 능가했다. 이러한 유망한 결과에도 불구하고 현재 시스템은 전체 교육에 3일이 필요하다. 팀은 이 프로세스의 속도를 높이기 위해 기초 모델을 사용하여 기본 알고리즘을 개선하기를 희망한다.

앞으로의 방향

시뮬레이션 교육에는 sim-to-real 전송 및 변형 가능한 물체 또는 액체 시뮬레이션과 같은 한계가 있다. MIT CSAIL 팀은 새로운 환경에 대한 적응력을 향상시키는 동시에 다양한 교란에 대한 견고성을 향상시킬 계획이다. "우리의 다음 노력은 사전 훈련된 모델을 사용하고, 학습 과정을 가속화하고, 인간의 개입을 최소화하고, 더 광범위한 일반화 기능을 달성하는 것이다.

Torne은 워싱턴 대학의 조교수인 Abhishek Gupta와 MIT의 전기 공학 및 컴퓨터 과학(EECS) 조교수인 Pulkit Agrawal과 함께 논문을 공동 저술했다. 이 연구는 소니 리서치 어워드(Sony Research Award), 미국 정부, 현대자동차, WEIRD(Washington Embodied Intelligence and Robotics Development) 연구소의 지원을 받았다.