BMW 로봇 함대의 레벨업 모습

이미지 출처 : 그림

요약: Figure의 CEO인 브렛 애드콕은 BMW 스파르탄버그 공장에서 작업하는 휴머노이드 로봇에 대한 최신 정보를 게시했다 . 이 로봇은 자율 작업의 속도와 정확도가 향상되면서 획기적인 성능 지표를 달성하고 있다.

세부 정보:

그림 02 로봇은 BMW 공장에서 매일 1,000개의 자율적인 구성 요소 배치를 수행하며, 특히 중요한 배터리 셀 설비에 집중한다. 이 함대는 8월에 처음 배치되었을 때보다 이제 EV 배터리 조립 작업을 400% 더 빠르게 처리할 수 있으며 , 정확도도 7배 향상되었다. 자율 주행 차량은 인간의 감독 없이 배터리 구성 요소를 들어 올리고, 운반하고, 자동차 프레임에 정확하게 배치할 수 있다. 엔지니어는 실제 로봇을 배치하기 전에 공장 현장의 정확한 디지털 복제본을 활용하여 로봇의 움직임과 의사 결정을 완벽하게 구현한다.

중요한 이유: 실제 산업 응용 분야에서 범용 휴머노이드 로봇의 부상은 빠르게 일어나고 있으며, 실용적인 로봇 자동화의 전환점에 가까워지고 있는 것 같다. 로봇 회사 및 자동차 회사와의 파트너십은 결국 모든 곳의 가정에 배치될 것이라는 주요 증거이다.

 

소닉센스 시스템: 청취는 로봇에게 인간과 같은 촉감을 제공한다.

 

어두운 영화관에 앉아 커다란 컵에 얼마나 많은 소다가 남았는지 궁금해한다고 상상해보자. 뚜껑을 따서 보는 대신, 컵을 들어 살짝 흔들어 안에 얼마나 많은 얼음이 들어 있는지 들어보고, 무료로 리필을 받아야 할지 알 수 있다.

 

음료를 다시 내려놓고, 팔걸이가 진짜 나무로 만들어졌는지 멍하니 궁금해한다. 하지만 몇 번 두드리고 텅 빈 메아리를 듣고는 플라스틱으로 만들어졌어야 한다고 생각한다.

 

물체에서 나오는 음향 진동을 통해 세상을 해석하는 이런 능력은 우리가 생각 없이 하는 것이다. 그리고 연구자들은 이 능력을 로봇에 도입하여 빠르게 성장하는 감지 능력을 증강시키려고 한다.

 

11월 독일 뮌헨에서 열리는 로봇 학습 컨퍼런스(CoRL 2024)에서 발표될 예정인 듀크 대학교의 새로운 연구에서는 로봇이 이전에는 인간에게만 국한되었던 방식으로 주변 환경과 상호 작용할 수 있게 해주는 소닉센스(SonicSense)라는 시스템을 자세히 설명한다.

촉각적 상호작용을 통해 음향 진동을 느낄 수 있는 능력은 이 로봇 손에 인간과 같은 촉각을 부여하여 세상을 더 잘 인식할 수 있게 한다. (출처: 듀크)

 

"오늘날 로봇은 주로 시각에 의존하여 세상을 해석한다."라고 논문의 주저자이자 듀크의 기계 공학 및 재료 과학 교수인 보위안 첸(Boyuan Chen)의 연구실에서 박사 학위를 취득한 1학년생인 지아쑨 리우(Jiaxun Liu)가 설명한다.

"우리는 매일 발견되는 복잡하고 다양한 물체와 함께 작동할 수 있는 솔루션을 만들어 로봇이 세상을 '느끼고' 이해하는 훨씬 더 풍부한 능력을 제공하고 싶었다."

 

소닉센스(SonicSense)는 손가락 4개가 있는 로봇 손을 특징으로 하며, 각 손가락 끝에 접촉 마이크가 내장되어 있다. 이 센서는 로봇이 물체를 두드리거나, 잡거나, 흔들 때 발생하는 진동을 감지하고 기록한다. 그리고 마이크가 물체와 접촉하기 때문에 로봇이 주변 소음을 차단할 수 있다.

 

소닉센스는 상호작용과 감지된 신호를 기반으로 주파수 특징을 추출하고 이전 지식을 최근 AI의 발전과 결합하여 물체의 재질과 3D 모양을 파악한다. 시스템이 이전에 본 적이 없는 물체인 경우 시스템이 결론을 내리려면 20가지의 다른 상호작용이 필요할 수 있다. 그러나 데이터베이스에 이미 있는 물체인 경우 4번 만에 올바르게 식별할 수 있다.

 

"소닉센스는 로봇에게 인간과 매우 유사한 새로운 방식으로 듣고 느낄 수 있는 기능을 제공하여 현재 로봇이 물체를 인식하고 상호 작용하는 방식을 바꿀 수 있다."라고 전기 및 컴퓨터 공학과 컴퓨터 과학과에서 약속과 학생을 둔 첸은 말한다. "시각이 필수적이지만 소리는 눈이 놓칠 수 있는 것을 보여줄 수 있는 정보 계층을 추가한다."

 

논문과 데모에서 첸과 그의 연구실은 소닉센스가 가능하게 한 여러 기능을 보여준다. 주사위로 가득 찬 상자를 돌리거나 흔들면 안에 있는 숫자와 모양을 셀 수 있다. 물병으로 같은 작업을 수행하면 안에 얼마나 많은 액체가 들어 있는지 알 수 있다. 그리고 인간이 어둠 속에서 물체를 탐색하는 방식과 매우 유사하게 물체의 외부를 두드려 물체 모양의 3D 재구성을 구축하고 어떤 재료로 만들어졌는지 확인할 수 있다.

 

소닉센스가 이 접근 방식을 사용한 첫 번째 시도는 아니지만, 한 단계 더 나아가 네 개의 손가락을 하나 대신 사용하고 주변 소음을 차단하는 터치 기반 마이크와 고급 AI 기술을 사용하여 이전 작업보다 성능이 더 뛰어나다. 이 설정을 통해 시스템은 복잡한 기하학적 구조, 투명하거나 반사하는 표면, 비전 기반 시스템에는 어려운 재료를 가진 두 개 이상의 재료로 구성된 물체를 식별할 수 있다.

 

듀크 대학교의 기계공학 및 재료 과학, 컴퓨터 과학 조교수인 리우는 "대부분의 데이터 세트는 통제된 실험실 환경이나 인간의 개입을 통해 수집되지만, 로봇이 개방형 실험실 환경에서 독립적으로 물체와 상호 작용해야 했다."라고 말한다. "시뮬레이션에서 그 수준의 복잡성을 재현하는 것은 어렵다. 통제된 데이터와 실제 데이터 간의 이러한 격차는 중요하며 소닉센스는 로봇이 물리적 세계의 다양하고 지저분한 현실과 직접 상호 작용할 수 있도록 하여 이를 메운다."

 

이러한 능력은 소닉센스를 로봇이 동적이고 비구조화된 환경에서 물체를 인식하도록 훈련하는 데 강력한 기반이 되게 한다. 비용도 마찬가지이다. 음악가가 기타, 3D프린팅 및 기타 상업적으로 이용 가능한 구성 요소에서 소리를 녹음하는 데 사용하는 것과 동일한 접촉 마이크를 사용하면 제작 비용이 200달러가 조금 넘는다.

 

앞으로 이 그룹은 시스템이 여러 물체와 상호 작용하는 능력을 향상시키기 위해 노력하고 있다. 물체 추적 알고리즘을 통합함으로써 로봇은 동적이고 복잡한 환경을 처리할 수 있게 되어 실제 작업에서 인간과 같은 적응력에 더 가까워질 것이다.

 

또 다른 핵심 개발은 로봇 손 자체의 설계에 있다. "이것은 시작에 불과하다. 미래에는 소닉센스가 정교한 조작 기술을 가진 더욱 진보된 로봇 손에 사용되어 로봇이 미묘한 촉각이 필요한 작업을 수행할 수 있게 될 것으로 예상한다."라고 첸은 말한다. "우리는 이 기술이 압력과 온도와 같은 여러 감각 모달리티를 통합하여 더욱 복잡한 상호작용을 위해 어떻게 더욱 발전될 수 있는지 탐구하게 되어 기쁘다."

 

이 연구에 대한 지원은 육군 연구소 STRONG 프로그램과 DARPA의 FoundSci 프로그램 및 TIAMAT에서 제공되었다.

출처: 듀크 대학교

 

부드러운 로봇 반바지는 보행의 용이성과 독립성을 향상시킨다

 

뮌헨 공과대학(TUM)의 연구원들은 개인이 에너지 소비를 줄이면서 더 편안하게 걸을 수 있도록 설계된 로봇 반바지를 만들었다. 이 혁신은 주로 이동성을 촉진하고 노인과 허약할 수 있는 사람들의 독립성을 연장하는 것을 목표로 한다. "반바지를 입으면 천천히 걸을 수 있지만 조깅도 할 수 있습니다"라고 TUM 교수 Lorenzo Masia는 말했다. "전기 자전거와 같은 개념이지만 걷기 위한 것입니다."

연구팀은 WalkON이라는 이름의 로봇 반바지가 이동 중 에너지 사용을 줄인다는 것을 발견했다. 실험에 따르면 반바지를 입고 500미터 오르막길을 걷는 젊은이는 도움 없이 걷는 사람에 비해 18% 적은 에너지를 소비하는 것으로 나타났다. 평지에서 400미터를 걷는 노인의 경우 에너지 소비 감소가 10%를 초과하며, 이는 6-10kg의 체중을 줄이는 것과 유사한 이점이다.

 

박사 과정 학생인 엔리카 트리코미(Enrica Tricomi)는 반바지가 허벅지에서 허리 벨트까지 부착된 얇은 인공 힘줄을 사용하여 서 있는 상태에서 걷는 것으로 전환하는 동안 고관절 굴곡근을 돕는다고 설명했다. 측정 장치는 엉덩이 움직임을 모니터링하고 모터에 신호를 보내 보행의 스윙 단계에서 지지대의 타이밍을 정확하게 맞춘다.

 

"이 시스템은 움직임 속도를 인식하고, 다리 무게에 적응하며, 맞춤형 지원을 제공합니다"라고 Tricomi는 말했다. WalkON은 사용하기 쉽도록 설계되어 사전 설정이 필요하지 않으며 몇 분 안에 사용할 수 있다.

 

특히 노인을 위한 안전과 통제 보장 

한 연구에서 참가자들은 WalkON에 대한 통제력을 높게 평가했으며, 평균 점수는 7점 척도에서 6점을 훨씬 넘었다. 마시아는 "노인에게는 안전이 매우 중요하다"며 "이 시스템은 허약하지만 아직 보행보조기가 필요하지 않은 사람들을 대상으로 한다"고 지적했다.

 

현재 뮌헨 로봇 및 기계 지능 연구소(MIRMI)의 부소장인 마시아 교수는 노인과 약한 심장이나 폐 질환과 같은 질환을 가진 개인이 상당한 혜택을 받을 수 있다고 강조했다. 걷기는 신진대사를 촉진하여 이동성과 독립성을 향상시켜 건강 상태와 삶의 질을 향상시킬 수 있다.

 

모듈형 외골격의 미래 

매장에서 판매되는 기존의 리지드 프레임 외골격과 달리 WalkON은 작은 백팩과 비슷한 크기의 부드러운 의류이다. 4년 동안 이 시스템을 개선해 온 Tricomi는 향후 버전이 모듈식이 될 것이라고 믿고 있다.

 

"몇 년 안에 반바지를 구입하고, 모터를 연결하고, 두 개의 케이블을 연결할 수 있게 되어 시스템을 사용할 수 있게 될 것이다. Masia 교수는 이 설정을 통해 사용자가 산에서 하이킹과 같은 보다 야심찬 야외 활동을 할 수 있도록 하는 것을 구상하고 있다. (Energy Daily)

 

로봇 수술의 돌파구: AI는 다빈치 로봇을 훈련시켜 인간 외과의와 마찬가지로 작업을 수행하도록 한다.

 

존스 홉킨스 대학(Johns Hopkins University, JHU)과 스탠포드 대학(Stanford University)의 연구진은 실제 수술 과정의 비디오를 사용하여 로봇 시스템을 훈련시킴으로써 복잡한 수술 작업을 인간 외과의처럼 능숙하게 수행할 수 있도록 로봇 시스템을 가르치는 로봇 수술의 중요한 이정표를 달성했다. 이 개발은 수술실에서 완전 자율 로봇으로의 경로를 크게 가속화할 수 있다.

이 연구는 오늘날 많은 수술에서 이미 사용되고 있는 로봇 플랫폼인 다빈치 수술 시스템(da Vinci Surgical System)을 사용하여 수행되었다. 일반적으로 외과의가 원격으로 제어하는 이 시스템에는 해부, 절단, 흡입 및 혈관 밀봉과 같은 섬세한 작업을 위해 기구를 조작하는 로봇 팔이 있다.

정밀함으로 잘 알려진 다빈치 시스템은 외과의에게 향상된 제어력과 수술 부위에 대한 더 자세한 시야를 제공하지만 최신 모델은 액세서리 및 교육 비용을 제외하고 200만 달러 이상의 비용이 들 수 있다.

이 새로운 연구에서 연구팀은 다빈치 수술 시스템이 수술에서 세 가지 일반적인 작업인 바늘 조작, 신체 조직 들어올리기, 봉합을 자율적으로 수행하도록 훈련시켰다. 연구진은 모방 학습(imitation learning)이라는 머신러닝 기법을 사용하여 실제 수술 중에 다빈치 시스템에 장착된 손목 카메라로 녹화된 수백 개의 수술 절차 비디오를 로봇에 공급했다. 로봇은 이 비디오에서 인간 외과 의사의 동작을 모방하여 학습했다.

결과는 인상적이었다. 로봇은 인간 외과 의사와 마찬가지로 이러한 작업을 수행할 수 있었을 뿐만 아니라 자신의 실수를 수정할 수 있는 능력도 개발했다. "만약 그것이 바늘을 떨어뜨리면, 그것은 자동적으로 그것을 집어 들고 계속할 것이다"라고 JHU의 조교수이자 그 연구의 공동 저자인 악셀 크리거(Axel Krieger)는 말했다. "이건 내가 명시적으로 가르친 게 아니야—그냥 스스로 배웠어."

연구원들은 모방 학습과 OpenAI의 ChatGPT와 같은 인기 있는 AI 모델을 구동하는 것과 동일한 기계 학습 아키텍처의 조합을 사용했다. 그러나 ChatGPT처럼 텍스트를 처리하는 대신 이 AI 모델은 수학 공식과 방정식을 통해 움직임을 설명하는 데 사용되는 특수 "언어"인 운동학 데이터를 생성한다. 이 운동학적 데이터는 수술 중 로봇 팔의 움직임을 안내하여 시스템이 섬세한 작업을 매우 정밀하게 수행할 수 있도록 한다.

Krieger는 이 접근 방식이 수술을 위해 로봇을 훈련하는 방식에 혁명을 일으킬 수 있다고 믿는다. 전통적으로 각 수술 작업을 수동으로 코딩하는 것은 느리고 노동 집약적인 프로세스이며 모든 단계를 수동으로 프로그래밍해야 한다. 이에 반해 본 연구에서 사용된 모방학습법은 로봇이 영상으로부터 빠르게 학습할 수 있도록 하여 학습 시간을 획기적으로 단축시켰다.

Krieger에 따르면, "우리는 다양한 절차에 대한 모방 학습 데이터만 수집하면 되며, 단 며칠 만에 로봇이 이를 학습하도록 훈련시킬 수 있습니다. 이를 통해 자율성의 목표를 가속화하는 동시에 의료 오류를 줄이고 수술의 정확도를 높일 수 있습니다."

이 돌파구는 수술의 미래를 위한 게임 체인저가 될 수 있다. 복잡한 절차의 특정 단계를 지원하는 Corindus의 CorPath와 같은 로봇 시스템이 이미 있지만 이러한 시스템은 일반적으로 범위가 제한적이다. 로봇이 더 광범위한 작업을 자율적으로 수행하도록 가르칠 수 있는 능력은 인간의 개입을 최소화하면서 전체 수술을 처리할 수 있는 보다 포괄적인 로봇 시스템으로 이어질 수 있다.

Krieger는 기존의 수동 코딩 방법은 시간이 많이 걸리고 비효율적이라고 지적한다. "누군가는 한 가지 유형의 수술을 위해 봉합 단계만 모델링하는 데 10년을 보낼 수 있습니다"라고 그는 설명했다. 그러나 모방 학습을 통해 로봇은 수년간의 힘든 코딩 없이도 더 광범위한 수술 기술을 빠르게 습득할 수 있다.

이 최신 연구는 2022년 JHU의 Krieger와 그의 팀이 개발한 STAR(Smart Tissue Autonomous Robot)와 같은 로봇 수술의 초기 발전을 기반으로 한다. STAR는 3D 내시경과 머신 러닝 기반 추적 기능을 사용하여 돼지 창자의 양쪽 끝을 자율적으로 봉합함으로써 복잡한 수술 작업에서 완전 자율 로봇의 잠재력을 입증했다.

JHU의 연구원들은 현재 이 새로운 모방 학습 접근 방식을 확장하여 로봇에게 전체 수술을 수행하는 방법을 가르치기 위해 노력하고 있으며, 잠재적으로 수술실에서 완전 자율 로봇을 위한 길을 닦을 수 있다.

로봇이 인간 외과의를 완전히 대체하는 것을 보기까지는 몇 년이 걸릴 수 있지만, 이 혁신은 전 세계적으로 수술을 더 안전하고 효율적이며 쉽게 이용할 수 있도록 하는 데 있어 중요한 진전을 나타낸다.

 

이 새로운 방법을 통해 로봇 수술은 더 이상 미래형 개념이 아니라 환자 결과를 개선하고 의료 오류를 줄이며 의료 시스템의 부담을 완화하는 데 도움이 될 수 있는 실용적이고 확장 가능한 솔루션이 되고 있다. (Impact Lab)

 

콘크리트 건설에 혁명을 일으킨 로봇

대부분의 사람들은 갓 타설된 콘크리트를 생각할 때 건조되도록 방치된 매끄럽고 흠 없는 표면을 상상할 것이다. 그러나 새로운 바퀴 달린 로봇은 젖은 콘크리트 위를 바로 달리고 재료에 홈을 파서 강화하면서 건설 비용을 절감함으로써 이러한 관습에 도전하고 있다.

전통적인 콘크리트 건축에서는 철근을 사용하여 재료를 보강하여 장력을 견딜 수 있는 추가 강도를 제공한다. 그러나 철근은 비쌀 뿐만 아니라 구조물에 상당한 무게를 추가한다. 너무 많은 철근에 대한 필요성을 줄이기 위해 건설 작업자는 콘크리트가 아직 젖어 있는 동안 각 층의 표면에 수동으로 홈을 추가하는 경우가 많다. 이 홈은 다음 콘크리트 층과 접착하기 위한 표면적을 증가시켜 계면의 전단 강도를 향상시켜 더 적은 철근을 사용할 수 있도록 한다.

이 기술은 철근을 줄여 비용을 절감하는 데 도움이 되지만 추가 노동 시간이 필요하다는 단점도 있다. 바로 이 부분에서 새로운 로봇 솔루션인 Conit Runner가 등장한다.

한국의 로봇 공학 회사인 이톤이 건설 회사인 포스코건설과 공동으로 개발한 코닛 러너는 젖은 콘크리트 표면에 홈을 추가하도록 설계된 자율 바퀴 달린 로봇이다. 최대 10mph(16km/h)의 속도로 표면을 가로질러 속도를 내며 움직일 때 두 개의 15인치(381mm) 휠로 균일한 간격의 홈을 만든다.

로봇 효율성의 핵심은 인간의 개입을 최소화하면서 작업을 탐색하고 수행할 수 있는 능력이다. LiDAR, 초음파 센서, 카메라 및 IMU(관성 측정 장치)를 포함한 고급 센서를 사용하여 Conit Runner는 젖은 표면에서 자율적으로 작업하면서 철근과 같은 장애물을 감지하고 피할 수 있다.

이 로봇은 콘크리트가 무게(10kg 또는 22lbs)를 지탱할 수 있을 만큼 단단하고 최소 0.24인치(6mm) 깊이의 홈을 허용할 수 있을 만큼 부드럽도록 설계되었다. 이러한 홈을 정밀하게 추가함으로써 Conit Runner는 콘크리트 층 사이의 결합을 증가시켜 철근의 필요성을 줄여 비용을 절감한다.

로봇이 홈 생성을 처리함에 따라 건설 팀은 귀중한 노동 시간을 절약하고 현장에 필요한 작업자 수를 줄이고 전반적인 효율성을 향상시킬 수 있다. Conit Runner는 수작업으로 인한 피로와 불일치 없이 지속적으로 작업할 수 있어 대규모 건설 프로젝트를 위한 강력한 도구이다.

Conit Runner는 자동화와 로봇 공학이 기존 산업을 어떻게 변화시키고 있는지 보여주는 완벽한 예이다. 콘크리트를 철근하는 과정을 간소화함으로써 로봇은 구조물을 건설하는 보다 비용 효율적이고 효율적인 방법을 제공한다. 이는 더 저렴하고, 더 강하고, 더 빠른 건설로 이어질 수 있는 동시에 공정의 노동 집약도를 줄일 수 있는 혁신이다.

 

건설 기술이 계속 발전함에 따라 코닛 러너(Conit Runner)와 같은 로봇은 건설 현장에서 흔히 볼 수 있는 존재가 될 수 있으며, 인간 작업자와 협력하여 우리가 콘크리트에 대해 생각하고 콘크리트로 건설하는 방식을 혁신할 수 있다. (Impact Lab)

MIT, 가상 세계에서 로봇견 훈련하는 인공지능 시스템 개발

 

MIT 연구진이 인공지능을 활용하여 가상 세계에서 로봇을 훈련시키는 획기적인 시스템을 개발했습니다. LucidSim이라고 명명된 이 시스템은 실제 환경에서 수집된 방대한 데이터 없이도 로봇에게 복잡한 작업을 수행하도록 학습시킬 수 있는 잠재력을 지니고 있다.

 

가상 세계에서 현실을 뛰어넘는 성능

LucidSim은 물리 시뮬레이션과 인공지능이 생성한 다양한 장면을 결합하여 로봇 학습을 위한 가상 환경을 구축한다. 이 가상 환경에서 로봇은 장애물을 피하고 공을 쫓는 등의 복잡한 작업을 반복적으로 수행하며 학습한다. 놀랍게도, 이렇게 가상 환경에서 훈련된 로봇은 실제 환경에서 최대 88%의 정확도로 동일한 작업을 수행하는 것으로 나타났다.

 

ChatGPT와의 협업으로 더욱 다채로운 훈련 환경 구축

LucidSim은 ChatGPT를 활용하여 수천 가지의 다양한 장면 설명을 자동으로 생성합니다. 이를 통해 로봇은 다양한 날씨와 조명 조건, 그리고 예측할 수 없는 상황에 대한 대처 능력을 키울 수 있다.

 

인간의 시범 학습의 한계 극복

기존에는 로봇에게 새로운 작업을 가르치기 위해 사람이 직접 시범을 보여주는 방식이 주로 사용되었다. 하지만 이러한 방식은 시간과 비용이 많이 소모될 뿐만 아니라, 로봇이 학습할 수 있는 작업의 종류가 제한적이라는 단점이 있었습니다. LucidSim은 인간의 시범 학습 방식의 한계를 극복하고, 더욱 다양하고 복잡한 작업을 수행할 수 있는 로봇 개발을 가능하게 한다.

 

로봇 개발의 새로운 패러다임

LucidSim은 로봇 학습 분야에 새로운 패러다임을 제시한다. 실제 환경에서 수집된 방대한 데이터에 의존하지 않고도 로봇을 효과적으로 훈련시킬 수 있다는 것은 로봇 개발의 속도를 크게 향상시키고, 더욱 유능한 로봇을 개발하는 데 기여할 수 있습니다. 또한, 실제 환경에서 로봇을 테스트하는 데 필요한 시간과 비용을 절감할 수 있다는 점에서도 큰 의미가 있다.

 

결론

MIT 연구진이 개발한 LucidSim은 가상 세계에서 로봇을 훈련시키는 새로운 가능성을 열었다. 이 시스템은 로봇 개발의 패러다임을 변화시키고, 더욱 스마트하고 유용한 로봇의 등장을 앞당길 것으로 기대된다.

 

 

MIT, AI로 가상 세계에서 로봇견 훈련 성공

 

MIT 연구진이 가상 환경에서 로봇을 훈련시키는 혁신적인 AI 시스템 'LucidSim'을 개발했다. 이 시스템은 생성 AI와 물리 시뮬레이터를 결합하여 다양하고 현실적인 가상 훈련 환경을 만들어내는데, 실제 세계 데이터 없이도 로봇이 복잡한 작업에서 전문가 수준의 성능을 달성할 수 있게 한다.

 

LucidSim의 핵심은 물리 시뮬레이션과 AI 생성 이미지를 결합하는 데 있다. 이 접근 방식은 로봇공학에서 가장 지속적인 과제 중 하나인 '시뮬레이션-현실 간극'을 해소하는 데 중점을 두고 있다. MIT CSAIL의 박사후 연구원 Ge Yang은 "로봇 학습에서 가장 근본적인 도전 과제는 시뮬레이션된 훈련 환경과 복잡하고 예측 불가능한 실제 세계 사이의 격차였다"고 설명했다.

 

LucidSim은 여러 기술을 융합한 시스템이다. 대규모 언어 모델을 사용하여 다양한 구조화된 환경 설명을 생성하고, 이를 생성 모델을 통해 이미지로 변환한다. 또한 물리 시뮬레이터를 사용하여 이 이미지들이 실제 물리 법칙을 반영하도록 한다.연구팀은 LucidSim을 전문가 시연을 통한 기존의 훈련 방식과 비교 실험했다. 그 결과는 놀라웠다. 전문가가 훈련한 로봇은 15%의 성공률에 그쳤고, 훈련 데이터를 4배로 늘려도 큰 개선이 없었다. 반면 LucidSim으로 자체 훈련 데이터를 수집한 로봇은 데이터셋 크기를 두 배로 늘렸을 뿐인데 성공률이 88%로 급증했다.

 

이 시스템의 성공은 로봇 훈련 방식에 큰 변화를 가져올 것으로 보인다. 실제 세계의 광범위한 훈련 데이터 없이도 고성능 로봇을 개발할 수 있게 되어, 로봇 개발 과정이 크게 가속화될 전망이다. 또한 실제 환경에서의 배치에 필요한 시간과 자원도 대폭 줄일 수 있을 것으로 기대된다.

 

스탠포드 대학의 Shuran Song 교수는 "LucidSim 프레임워크는 생성 모델을 사용하여 모든 시뮬레이션에 대해 다양하고 매우 현실적인 시각 데이터를 만들어내는 우아한 해결책을 제공한다"고 평가했다. 그는 이 연구가 가상 환경에서 훈련된 로봇의 실제 작업 배치를 크게 가속화할 수 있을 것이라고 전망했다.

 

MIT의 이번 연구 성과는 로봇공학 분야에 새로운 지평을 열었다. 가상 환경에서의 효과적인 훈련 방법을 통해 로봇의 성능과 적응력을 크게 향상시킬 수 있게 되었으며, 이는 향후 다양한 산업 분야에서 로봇의 활용도를 높이는 데 큰 기여를 할 것으로 기대된다.

 

 

 

 

 

 

 

 

MIT의 AI가 가상 세계에서 로봇견을 훈련시킨다

이미지 출처: MIT CSAIL

요약: MIT 연구원들은 생성된 이미지를 사용하여 네 발 달린 로봇을 훈련하는 LucidSim이라는 AI 시스템을 공개했습니다 . 훈련 중에 실제 환경을 보지 않고도 전례 없는 현실 세계의 성능을 달성했습니다.

세부 정보:

LucidSim은 물리 시뮬레이션과 AI가 생성한 장면을 결합하여 로봇 학습을 위한 다양한 훈련 환경을 만듭니다. LucidSim의 인공 환경에서 훈련된 로봇은 장애물 탐색, 공 쫓기 등의 복잡한 작업을 최대 88%의 정확도로 완료했습니다. 이 플랫폼은 ChatGPT를 사용하여 수천 개의 장면 설명을 자동 생성하고, 다양한 날씨 및 조명 조건에 따른 다양한 훈련 시나리오를 만듭니다. 인간의 시범에만 의존하는 기존의 훈련 방법은 동일한 과제에 대해 단 15%의 성공률만을 달성했습니다.

중요한 이유: 고급 로봇을 훈련하는 방법에 패러다임 전환이 진행 중입니다. 광범위한 실제 세계 훈련 데이터의 필요성을 없앰으로써 LucidSim과 같은 시스템은 더 유능한 로봇의 개발을 극적으로 가속화하는 동시에 실제 환경에서 배치하는 데 필요한 시간과 리소스를 줄일 수 있습니다.