다양한 환경에서 테이블 청소하는 로봇

저녁 식탁을 치우는 일은 어린이가 익힐 만큼 쉬운 일이지만, 로봇에게는 큰 도전이다.

로봇은 반복적인 작업을 하는 데는 뛰어나지만, 새로운 것을 해야 하거나 현실 세계의 무질서와 혼란에 대처해야 할 때는 어려움을 겪는다. 이러한 작업은 단계가 많을 때 특히 어려워진다.

카네기 멜론 대학교 컴퓨터 과학부(SCS) 로봇 연구소의 박사 과정 학생인 무르타자 달랄은 "새로운 작업을 할 때마다 로봇을 재프로그래밍하고 싶지는 않을 것이다."라고 말한다. "로봇에게 무엇을 해야 할지 말하면 로봇이 그 일을 하게 하면 된다. 로봇이 우리의 일상 생활에 유용하기를 원한다면 이는 필요하다."

로봇이 이전에 접하지 못했던 다양한 작업을 수행할 수 있도록 하기 위해 달랄과 SCS 및 Apple Inc.의 다른 연구원들은 ManipGen이라는 로봇 조작 방식을 개발했는데, 이 방식은 이러한 다단계 작업, 즉 장기적 작업에서 매우 성공적인 것으로 입증되었다.

달랄이 설명하는 핵심 아이디어는 로봇 팔이 어떻게 움직여야 하는지 계획하는 작업을 두 부분으로 나누는 것이다.

문을 여는 것을 상상해 보라. 첫 번째 단계는 문 손잡이에 도달하는 것이고, 다음은 문을 돌리는 것이다. 첫 번째 문제를 해결하기 위해 연구자들은 컴퓨터 비전과 동작 계획을 위한 잘 확립된 데이터 기반 방법을 사용하여 물체를 찾고 로봇 팔의 조작기를 물체 근처로 이동한다. 이 방법은 프로세스의 두 번째 부분을 단순화하여 근처 물체와 상호 작용하는 것으로 제한합니다. 이 경우 문 손잡이이다.

달랄은 "그 시점에서 로봇은 더 이상 물체가 어디에 있는지 신경 쓰지 않는다. 로봇은 물체를 잡는 방법에만 신경 쓴다."라고 말한다.

로봇은 일반적으로 작업 시연에서 얻은 방대한 양의 데이터를 사용하여 작업을 수행하도록 훈련된다. 이 데이터는 인간이 로봇을 제어하여 수동으로 수집할 수 있지만 프로세스는 비용이 많이 들고 시간이 많이 걸린다. 대안적인 방법은 시뮬레이션을 사용하여 데이터를 빠르게 생성하는 것이다. 이 경우 시뮬레이션은 로봇을 다양한 가상 장면에 배치하여 다양한 모양과 크기의 물체를 잡는 방법이나 서랍이나 문을 열고 닫는 방법을 학습할 수 있도록 한다.

달랄은 연구팀이 이 시뮬레이션 방법을 사용하여 데이터를 생성하고 신경망을 훈련하여 시행착오적 강화 학습 기술을 사용하여 수천 개의 물체를 집어 올리고 놓고 수천 개의 서랍과 문을 열고 닫는 방법을 학습했다고 말한다. 이 팀은 시뮬레이션에서 훈련된 이러한 네트워크를 실제 세계로 전송하기 위한 특정 훈련 및 하드웨어 솔루션을 개발했다.

그들은 이러한 기술을 필요에 따라 재결합하여 로봇이 이전에 접하지 않았던 물체를 포함하여 실제 세계의 여러 다른 물체와 상호 작용할 수 있음을 발견했다.

달랄은 로봇을 실제 세계에 배치하는 것에 대해 "새로운 데이터를 수집할 필요가 없다."라고 말한다."우리는 로봇에게 영어로 무엇을 해야 하는지 알려주기만 하면 로봇이 그렇게 한다."

이 팀은 GPT-4o와 같은 기초 모델을 사용하여 로봇의 환경을 살펴보고 테이블 정리와 같은 작업을 로봇이 실행할 수 있는 일련의 기술로 분해할 수 있는 2단계 프로세스를 구현한다. 그런 다음 로봇은 이러한 기술을 실행하여 먼저 컴퓨터 비전을 사용하여 물체 근처의 위치를 ​​추정한 다음 모션 플래닝을 사용하여 해당 위치로 이동하고 마지막으로 깊이 카메라를 사용하여 물체를 조작하여 거리를 측정한다.

연구자들은 서랍을 열고 물건을 넣거나 선반에 물건을 재배치하는 것과 같은 어려운 다단계 작업에 이 방법을 적용했다. 그들은 이 접근 방식이 최대 8단계가 포함된 로봇 작업에 효과가 있음을 입증했다. "하지만 더 나아갈 수 있다고 생각한다."라고 달랄은 말한다.

마찬가지로 데모를 통해 데이터를 수집하면 이 접근 방식을 현재 시뮬레이션할 수 없는 부드럽고 유연한 물체와 같은 물체로 확장할 수 있다.

"ManipGen으로 탐험할 것이 훨씬 더 많다. 이 프로젝트를 통해 구축한 기반은 로봇 조작의 미래 발전을 위한 흥미로운 가능성을 열어주고, 일반 로봇을 개발한다는 목표에 한 걸음 더 다가가게 한다."라고 머신러닝 부서의 석사 과정생이자 프로젝트 공동 책임자인 민 리우(Min Liu)가 말했다.

"ManipGen은 광범위하게 일반화할 수 있는 로봇을 제작하기 위한 패러다임으로서 시뮬레이션-현실 전환의 강점을 실제로 보여준다. 이동에서는 보았지만, 지금까지는 일반 조작에서는 보지 못했다." 로봇 연구소의 컴퓨터 과학 조교수인 디팍 파탁(Deepak Pathak)이 말했다.

ManipGen은 로봇이 더 길고 복잡한 작업을 해결할 수 있도록 연구를 기반으로 구축되었다고 이 프로젝트의 수석 연구원이자 머신러닝 부서의 컴퓨터 과학 교수인 루슬란 살라쿠트디노프(Ruslan Salakhutdinov)가 말했다.

그는 "이 반복에서 마침내 수년간의 작업의 흥미로운 정점을 보여준다. 현실 세계에서 엄청난 양의 작업을 일반화하고 해결할 수 있는 에이전트이다."라고 말했다.

달랄과 리우는 새로 발표된 연구 논문에서 ManipGen에 대해 설명한다.

출처: 카네기멜론대학교