엔비디아는 새로운 기술로 가상 3D세계를 만드는 데 어려움을 겪지 않도록 노력하고 있다. 인공지능모델이다. GET3D는 캐릭터, 건물, 차량 및 기타 유형의 3D 개체를 생성할 수 있다고 NVIDIA는 말한다. 모델은 모양도 빠르게 채울 수 있어야 한다. 회사는 GET3D가 단일 GPU를 사용하여 초당 약 20개의 개체를 생성할 수 있다고 말한다.
연구원들은 여러 각도에서 촬영한 3D 모양의 합성 2D 이미지를 사용하여 모델을 훈련했다. NVIDIA는 A100 Tensor Core GPU를 사용하여 GET3D에 약 100만 개의 이미지를 공급하는 데 단 이틀이 걸렸다고 말한다.
이 모델은 "고충실도 텍스처와 복잡한 기하학적 세부 사항"으로 개체를 만들 수 있다고 NVIDIA의 Isha Salian이 말했다. GET3D가 만드는 모양은 "질감 있는 재료로 덮인 종이-마쉐 모델과 같은 삼각형 메쉬 형태"라고 Salian은 덧붙였다.
GET3D가 호환되는 형식으로 개체를 생성하므로 사용자는 편집을 위해 개체를 게임 엔진, 3D 모델러 및 필름 렌더러로 신속하게 가져올 수 있어야 한다. 즉, 개발자가 게임과 메타버스를 위한 조밀한 가상 세계를 만드는 것이 훨씬 더 쉬울 수 있다. NVIDIA는 다른 사용 사례로 로봇과 아키텍처를 언급했다.
회사는 자동차 이미지의 훈련 데이터 세트를 기반으로 GET3D가 세단, 트럭, 경주용 자동차 및 밴을 생성할 수 있다고 말했다. 또한 동물 이미지에 대한 훈련을 받은 후 여우, 코뿔소, 말, 곰을 만들어낼 수도 있다. 예상할 수 있듯이 NVIDIA는 GET3D에 제공되는 교육 세트가 더 크고 다양할수록 "출력이 더 다양하고 상세해질 수 있습니다."라고 말한다.
또 다른 NVIDIA AI 도구의 도움으로스타일간나다, 텍스트 기반 프롬프트를 사용하여 개체에 다양한 스타일을 적용할 수 있다. 자동차에 불타버린 모양을 적용하거나, 집 모델을 유령의 집으로 변환하거나, 기술을 보여주는 비디오에서 알 수 있듯이 호랑이 줄무늬를 동물에 적용할 수 있다.
GET3D를 만든 NVIDIA Research 팀은 미래 버전이 합성 데이터 대신 실제 이미지에서 훈련될 수 있다고 믿는다. 주어진 시간에 하나의 객체 범주에 집중하지 않고 한 번에 다양한 유형의 3D 모양에 대해 모델을 훈련시키는 것이 가능할 수도 있다.