아직 초기 단계이지만, AR과 VR 모두 2027년에는 전 세계 사용자 수가 1억 명을 넘어설 것으로 예상된다. 이러한 추세를 실현하기 위해, 사용자를 위한 몰입형 경험을 만들기 위해 AR/VR 앱 개발 서비스를 채택하는 조직이 현재와 가까운 미래에 탁월한 성과를 거둘 것이라는 것은 분명하다.

AR/VR이란 무엇인가?

사용자의 인식과 디지털 세계와의 상호 작용을 향상시키는 것을 목표로 하는 증강현실(AR)과 가상현실(VR)은 별개이지만 서로 관련된 기술이다. AR과 VR의 주요 차이점은 사용되는 장치와 경험의 성격이다. AR은 실제 환경에서 발생하는 반면 VR은 완전히 가상이다.

AR과 VR은 모두 XR(확장 현실)로 알려진 몰입형 기술 범주에 포함된다. 증강현실(AR)과 가상현실(VR)을 결합한 혼합현실(MR)도 있다. 물리적 세계와 디지털 세계를 결합하여 나란히 생활하며 실시간으로 소통하는 공간을 구축한다.

이미지, 비디오, 3D 모델과 같은 디지털 데이터를 물리적 환경, 증강현실 또는 AR에 중첩함으로써 사용자가 주변 환경을 인식하고 상호 작용하는 방식을 향상시킨다. 디지털 콘텐츠는 일반적으로 스마트폰, 태블릿 또는 특수 AR 안경을 사용하여 실시간으로 표시된다.

AR 기술 사용자는 주변 환경을 계속 인식하면서 가상 개체를 보고 상호 작용할 수 있다. 제조, 건설, 소매, 의료 등 다양한 분야에서 수많은 AR 애플리케이션을 찾을 수 있다.

가상현실은 시뮬레이션되어 실제 세계와 전혀 닮지 않은 디지털 환경에 사용자를 완전히 몰입시킬 수 있다. VR 헤드셋을 착용한 사용자가 들어가는 가상세계는 사용자의 움직임에 반응하고 상호 작용할 수 있다.

이 기술은 사용자가 실제로 가상 환경 "내부"에 있는 것처럼 느끼게 하여 사용자에게 현장감과 몰입감을 제공하는 것을 목표로 한다. AR과 VR은 모두 흥미로운 비즈니스 기회를 제공하는 독특한 특성을 가지고 있다.

더욱 흥미로운 점은 이러한 몰입형 혼합현실기술이 3D 인공지능(AI), 머신러닝(ML), 클라우드 서비스 및 사물 인터넷(IoT)과 결합되어 교육, 디자인, 엔지니어링, 생산, 로봇 공학 등 모든 것을 지원한다는 것이다. 특히 성장하는 전자상거래 환경에서 다양한 산업 분야의 비즈니스를 위한 자동화가 가능하다. 결과적으로 제조, 의료, 기술, 건설, 에너지, 자동차, 항공우주 및 금융 서비스(몇 가지 예) 분야의 기업은 경쟁력이 더욱 높아지고 미래 성장에 유리한 위치에 있다.

궁극적으로 이러한 기술은 기업이 보다 현명한 결정을 내릴 수 있도록 지원하고 고객에게 더 나은 서비스를 제공하기 위해 인적 자원을 사실상 보충하는 데 활용되고 있다. 이를 통해 조직은 최종 소비자이든 공급망의 파트너이든 관계없이 고객을 위해 보다 강력하고 개인화된 경험을 만들 수 있다. 모든 경우에 스마트하고 요령 있고 성공적인 조직은 워크로드 인프라를 클라우드 환경으로 이동하여 확장 가능한 운영을 위한 새로운 도구를 출시하고 관리하고 있다.

몰입형 혼합현실이 계속해서 기업에 도전하는 곳

문제는 이러한 기술에는 엄청난 양의 데이터, 흠잡을 데 없는 속도로 방대한 양의 데이터를 처리할 수 있는 능력, 전통적인 사무실 환경에서는 흔히 허용되지 않는 컴퓨터 환경에서 프로젝트를 확장할 수 있는 능력이 필요하다는 것이다.

메타버스를 통해 "인더스트리 4.0"을 활용하려는 기업에는 현실세계와 가상세계의 정확하고 지속적인 융합이 필요하다. 이는 복잡한 모델과 장면을 사실적인 디테일로 렌더링하고, 올바른 크기와 정확한 포즈를 사용하여 (실제세계와 가상세계 모두에 대해) 올바른 물리적 위치에서 렌더링하는 것을 의미한다. AR/VR을 활용하여 항공 엔진의 구성 요소 또는 의료 응용 분야에 사용되는 고급 수술 장치를 설계, 제작 또는 수리하는 데 필요한 정확성과 정밀성을 생각해 보라.

이는 오늘날 하나 이상의 서버에서 개별 GPU를 사용하고 렌더링된 프레임을 Microsoft HoloLens 및 Oculus Quest와 같은 헤드 장착 디스플레이(HMD)에 무선 또는 원격으로 전달함으로써 달성된다.

몰입형 혼합현실에서 3D 및 AI의 중요성

혼합현실 애플리케이션의 주요 요구 사항 중 하나는 개체의 모델 또는 디지털 트윈을 정확하게 오버레이하는 것이다. 이는 조립 및 교육을 위한 작업 지침을 제공하고 제조 시 오류나 결함을 파악하는 데 도움이 된다. 사용자는 작업이 진행됨에 따라 객체를 추적하고 렌더링을 조정할 수도 있다.

대부분의 기기 내 객체 추적 시스템은 2D 이미지 및/또는 마커 기반 추적을 사용한다. 2D 추적은 높은 정확도로 깊이를 추정할 수 없고 결과적으로 크기와 포즈도 추정할 수 없기 때문에 이는 3D의 오버레이 정확도를 심각하게 제한한다. 이는 사용자가 한 각도 및/또는 위치에서 볼 때 잘 일치하는 것처럼 보이는 것을 얻을 수 있더라도 사용자가 6DOF에서 이동할 때 오버레이 정렬이 손실된다는 의미한다. 또한 객체 등록이라고 하는 객체 감지, 식별, 크기 및 방향 추정은 대부분의 경우 계산 방식으로 또는 표준 교육 라이브러리(예: Google MediaPipe, VisionLib)를 사용하여 간단한 컴퓨터 비전 방법을 사용하여 달성된다. 이는 손, 얼굴, 컵, 테이블, 의자, 바퀴, 일반 기하학 구조 등과 같은 일반 개체 및/또는 더 작고 단순한 개체에 적합하다. 그러나 기업 사용 사례의 크고 복잡한 개체의 경우 레이블이 지정된 훈련 데이터(더욱 그렇다) 3D)는 쉽게 사용할 수 없다. 이로 인해 2D 이미지 기반 추적을 사용하여 개체를 정렬, 오버레이 및 지속적으로 추적하고 렌더링된 모델을 3D로 융합하는 것이 불가능하지는 않더라도 어렵다.

엔터프라이즈급 사용자는 3D 환경과 AI 기술을 몰입형 혼합 현실 설계/구축 프로젝트에 활용하여 이러한 문제를 극복하고 있다.

딥러닝 기반 3D AI를 통해 사용자는 3D 공간에서 다양한 방향의 임의 모양과 크기의 3D 객체를 높은 정확도로 식별할 수 있다. 이 접근 방식은 임의의 모양으로 확장 가능하며 복잡한 3D 모델 및 디지털 트윈을 실제 모델과 렌더링 오버레이해야 하는 기업 사용 사례에 사용하기 쉽다.

이는 또한 완전한 3D 모델을 사용하여 부분적으로 완성된 구조를 등록하도록 확장할 수 있으므로 지속적인 건설 및 조립이 가능하다. 사용자는 현재 장치 전용 접근 방식의 한계를 극복하는 이 플랫폼 접근 방식을 통해 개체 등록 및 렌더링에서 밀리미터 단위의 정확도를 달성한다. 3D 개체 추적에 대한 이러한 접근 방식을 통해 사용자는 엔터프라이즈 애플리케이션에서 실제 세계와 가상 세계를 진정으로 융합하여 다양한 용도를 열 수 있다. 여기에는 정확한 상황별 작업 지침을 통한 교육, 건설 및 조립 시 결함 및 오류 감지, 실물 크기 3D 렌더링 및 오버레이를 통한 3D 설계 및 엔지니어링이 포함되지만 이에 국한되지는 않는다.

클라우드 환경에서 작업하는 것이 중요한 이유

기업과 제조업체는 이러한 기술을 설계하고 배포하는 방법에 주의해야 한다. 왜냐하면 기술이 구축되고 사용을 위해 극대화되는 플랫폼에는 큰 차이가 있기 때문이다.

AR/VR과 같은 기술이 수년 동안 사용되어 왔음에도 불구하고 많은 제조업체는 모든 기술 데이터가 로컬에 저장되는 장치에 가상 솔루션을 배포하여 오늘날의 가상 설계에 필요한 성능과 규모를 심각하게 제한했다. 이는 새로운 제품을 설계하고 가상 구축을 위한 최선의 방법을 이해할 때 중요할 수 있는 조직 간의 지식 공유를 수행하는 능력을 제한한다.

오늘날 제조업체는 분산 클라우드 아키텍처와 3D 비전 기반 AI를 기반으로 하는 클라우드 기반(또는 원격 서버 기반) AR/VR 플랫폼을 활용하여 이러한 한계를 극복하고 있다. 이러한 클라우드 플랫폼은 업계에서 속도와 규모로 혁신을 주도하는 데 필요한 성능과 확장성을 제공한다.