(이미지 제공: Yue Yang)

가상 대화형 환경은 현재 "Sim2Real"이라는 프로세스를 통해 실제 배포에 앞서 로봇을 훈련하는 데 사용된다. 그러나 예술가들이 만들어낸 이러한 복잡한 환경은 공급이 부족하다.

"ChatGPT와 같은 생성 AI 시스템은 수조 개의 단어로 훈련되고 Midjourney 및 DALL-E와 같은 이미지 생성기는 수십억 개의 이미지로 훈련된다."라고 펜실베니아 대학교 컴퓨터 및 정보 과학(CIS) 부교수인 칼리슨-버치(Callison-Burch)는 말한다.

“우리는 '체화 된 AI' 교육을 위한 3D 환경의 일부만을 보유하고 있다. 생성 AI 기술을 사용하여 실제 환경에서 안전하게 탐색할 수 있는 로봇을 개발하려면 수백만 또는 수십억 개의 시뮬레이션 환경을 만들어야 한다.”

스타트렉에서 영감을 받은 작품

칼리슨-버치(Callison-Burch)와 펜실베이니아대학교의 다른 연구원들, 스탠포드, 워싱턴대학교, 앨런 인공지능연구소(AI2)의 협력자들이 공동 제작한 대화형 3D 환경 생성 시스템인 홀로데크(Holodeck)를 소개한다.

3D 시뮬레이션 환경은 Embodied AI에서 중요한 역할을 하지만 이를 생성하려면 전문성과 광범위한 수동 작업이 필요하므로 다양성과 범위가 제한된다. 이러한 제한을 완화하기 위해 사용자가 제공한 프롬프트와 일치하도록 3D 환경을 완전 자동으로 생성하는 시스템인 홀로데크를 제시한다. 홀로데크는 다양한 장면을 연출할 수 있으며, 예를 들어 아케이드, 스파, 박물관 등 스타일에 맞게 디자인을 조정하고, "고양이가 있는 연구원을 위한 아파트", "스타워즈 팬인 교수의 사무실"과 같은 복잡한 쿼리의 의미를 포착할 수 있다.

홀로데크는 장면이 어떻게 보일지에 대한 상식적인 지식을 얻기 위해 대규모 언어 모델(GPT-4)을 활용하고 Objaverse의 대규모 3D 자산 컬렉션을 사용하여 장면을 다양한 개체로 채운다. 개체를 올바르게 배치하는 문제를 해결하기 위해 GPT-4는 개체 간의 공간적 관계 제약 조건을 생성한 다음 이러한 제약 조건을 충족하도록 레이아웃을 최적화한다.

대규모 인간 평가에 따르면 주석 작성자는 주거 현장에서 수동으로 설계된 절차 기준선보다 홀로데크를 선호하며 홀로데크가 다양한 장면 유형에 대해 고품질 출력을 생성할 수 있음을 보여준다. 또한 인간이 구성한 데이터 없이 음악실이나 어린이집과 같은 새로운 장면을 탐색할 수 있도록 에이전트를 교육하는 Embodied AI에서 홀로데크의 흥미로운 적용을 시연한다. 이는 범용 구현 에이전트 개발에 있어서 중요한 진전이다.

홀로데크는 AI를 사용하여 사용자의 요청을 해석하여 사실상 무제한의 실내 환경을 생성한다. 홀로데크는 사용자 요청을 특정 매개변수로 분류하기 위해 신중하게 구조화된 일련의 숨겨진 쿼리를 사용하여 대화에 LLM을 참여시킨다. 시스템은 이 쿼리를 여러 단계로 나누어 실행한다. 바닥과 벽을 만든 다음 출입구와 창문을 만든다.

다음으로 홀로데크는 사전 제작된 디지털 객체의 방대한 라이브러리인 Objaverse를 검색한다. 홀로데크는 연구원들이 물체의 배치를 제한하도록 설계한 레이아웃 모듈을 쿼리한다.

현실 점검

홀로데크의 능력을 평가하기 위해 연구원들은 홀로데크와 공학 및 응용 과학 대학에서 만든 초기 도구인 ProcTHOR를 모두 사용하여 120개의 장면을 생성했다.

펜실베이니아대학교 인공지능연구소, 그런 다음 학생들은 결과를 평가했다.

연구원들은 또한 로봇 연구에서 덜 일반적이고 상점, 공공 장소, 사무실과 같은 아파트 내부보다 수동으로 생성하기 더 어려운 장면을 생성하는 홀로데크의 능력을 테스트했다. 그런 다음 연구원들은 홀로데크에서 생성된 장면을 사용하여 내장된 AI 에이전트를 "미세 조정"했다.

연구진은 6월 워싱턴주 시애틀에서 열리는 2024 전기전자공학회(IEEE) 및 컴퓨터 비전 재단(CVF) 컴퓨터 비전 및 패턴 인식(CVPR) 컨퍼런스에서 홀로데크(Holodeck)를 발표할 예정이다.