MonoCon은 온보드 카메라에서 수신한 2D 이미지를 사용하여 자율 차량이 다른 차량 주위를 탐색하도록 돕는 것을 포함하여 잠재적으로 광범위한 응용 프로그램을 가질 수 있다. 제조 및 로봇 분야에서도 역할을 할 수 있다.

Tianfu Wu는 연구 논문의 교신 저자이자 노스캐롤라이나 주립대학교의 전기 및 컴퓨터 공학 조교수이다.

"우리는 3D 세계에 살고 있지만 사진을 찍으면 그 세계가 2D 이미지로 기록된다."라고 Wu는 말한다.

“AI 프로그램은 카메라에서 시각적 입력을 받는다. 따라서 AI가 세계와 상호 작용하기를 원한다면 2D 이미지가 3D 공간에 대해 말할 수 있는 것을 AI가 해석할 수 있는지 확인해야 한다. 이 연구에서 우리는 그 도전의 한 부분에 초점을 맞추고 있다. AI가 2D 이미지에서 사람이나 자동차와 같은 3D 물체를 정확하게 인식하고 이러한 물체를 우주에 배치하는 방법이다.”라고 Wu는 말한다.

자율주행차

자율 주행 차량은 종종 라이더를 사용하여 3D 공간을 탐색한다. 레이저를 사용하여 거리를 측정하는 라이더는 비용이 많이 든다. 즉, 자율 시스템에는 많은 중복성이 포함되지 않는다. 대량 생산된 무인 자동차에 수십 개의 라이더 센서를 장착하는 것은 엄청나게 비쌀 것이다.

"하지만 자율 주행 차량이 시각적 입력을 사용하여 공간을 탐색할 수 있다면 중복성을 구축할 수 있다."라고 Wu는 말한다. “카메라는 라이더보다 훨씬 저렴하기 때문에 추가 카메라를 포함하는 것이 경제적으로 실현 가능하다. 시스템에 이중화를 구축하고 시스템을 더 안전하고 강력하게 만드는 것이다.”

"그것은 하나의 실용적인 응용 프로그램이다. 그러나 2D 개체에서 3D 데이터를 얻을 수 있다는 이 작업의 근본적인 발전에 대해서도 기쁘게 생각한다.”

AI 훈련

MonoCon은 2D 이미지에서 3D 개체를 식별하여 AI에게 개체의 외부 가장자리를 알려주는 "경계 상자"에 배치할 수 있다.

"우리 작업을 차별화하는 것은 이전 교육 기술을 기반으로 하는 AI를 교육하는 방법이다."라고 Wu는 말한다. “이전 노력과 마찬가지로 AI를 훈련하는 동안 3D 경계 상자에 개체를 배치한다. 그러나 AI에게 카메라와 물체 사이의 거리와 경계 상자의 크기를 예측하도록 요청하는 것 외에도 상자의 각 8개 점의 위치와 경계의 중심으로부터의 거리를 예측하도록 AI에 요청한다. 2차원 상자. 이를 '보조 컨텍스트'라고 하며 AI가 2D 이미지를 기반으로 3D 객체를 보다 정확하게 식별하고 예측하는 데 도움이 된다는 것을 알아냈다.

“제안된 방법은 측정 이론에서 잘 알려진 정리인 Cramér-Wold 정리에 의해 동기가 부여되었다. 컴퓨터 비전의 다른 구조적 출력 예측 작업에도 잠재적으로 적용할 수 있다.”

MonoCon은 KITTI라는 널리 사용되는 벤치마크 데이터 세트로 테스트되었다.

"이 논문을 제출할 당시 MonoCon은 2D 이미지에서 자동차에 대한 3D 데이터를 추출하는 것을 목표로 하는 수십 개의 다른 AI 프로그램보다 더 나은 성능을 보였다."라고 Wu는 말한다.

이제 팀은 더 큰 데이터 세트로 프로세스를 확장할 것이다.

"앞으로 우리는 이를 확장하고 더 큰 데이터 세트로 작업하여 자율 주행에 사용할 MonoCon을 평가하고 미세 조정하고 있다."라고 Wu는 말한다. "우리는 또한 로봇 팔 사용과 같은 작업의 성능을 향상시킬 수 있는지 확인하기 위해 제조 응용 프로그램을 탐색하고 싶다."