야행성 포식자는 뿌리 깊은 초능력을 가지고 있다. 칠흑 같은 어둠 속에서도 주변을 쉽게 조사할 수 있으며 단색의 풍경 속에 숨어 있는 맛있는 먹이를 찾을 수 있다.
다음 저녁 식사를 위해 사냥하는 것만이 어둠 속에서 볼 수 있는 유일한 특권은 아니다. 달이 없는 밤에 시골 비포장 도로를 운전한다. 나무와 덤불은 생동감과 질감을 잃는다. 길을 건너는 동물은 그림자 얼룩이 된다. 낮 동안의 정교함에도 불구하고 우리의 눈은 어두운 조명에서 깊이, 질감, 심지어 물체를 처리하는 데 어려움을 겪는다.
기계에 동일한 문제가 있다는 것은 놀라운 일이 아니다. 수많은 센서로 무장하고 있지만 자율주행차는 여전히 그 이름에 걸맞게 살려고 노력하고 있다. 그들은 완벽한 기상 조건과 명확한 교통 차선이 있는 도로에서 잘 작동한다. 하지만 폭우나 안개, 산불 연기, 가로등 없는 도로에서 자동차를 운전하라고 하면 그들은 고군분투한다.
이번 달에 퍼듀 대학교(Purdue University)의 한 팀이 낮은 가시성 문제를 정면으로 다루었다. 열화상, 물리학 및 머신러닝을 결합한 그들의 기술은 시각 AI 시스템이 어둠 속에서 마치 대낮처럼 볼 수 있도록 했다.
시스템의 핵심에는 적외선 카메라와 AI가 있으며, 이는 주어진 주변 환경에서 자세한 정보를 추출하기 위해 맞춤형 이미지 데이터베이스에서 훈련을 받았다. 본질적으로 열 신호를 사용하여 세계를 매핑하도록 스스로 학습한다. 이전 시스템과 달리 HADAR(열 보조 감지 및 범위 지정Heat-Assisted Detection and Ranging)라고 하는 이 기술은 일반적으로 탐색에 거의 유용하지 않은 얼룩진 유령 같은 이미지를 유발하는 "고스팅 효과"라는 악명 높은 걸림돌을 극복했다.
기계에 나이트 비전을 제공하는 것은 자율주행차에만 도움이 되는 것이 아니다. 유사한 접근 방식은 또한 보존을 위해 야생 동물을 추적하려는 노력을 강화하거나 공중 보건 조치로 분주한 항구에서 체온을 장거리 모니터링하는 데 도움이 될 수 있다.
"HADAR는 보이지 않는 것을 볼 수 있도록 도와주는 특별한 기술이다."고 연구 저자 슈에지 왕(Xueji Wang)은 말했다.
열 신호 방출
우리는 자율주행차를 훈련하기 위해 자연에서 많은 영감을 얻었다. 이전 세대는 음파 탐지기와 반향 위치 측정을 센서로 채택했다. 그런 다음 레이저를 사용하여 여러 방향으로 스캔하고 물체를 찾고 빛이 반사되는 속도에 따라 거리를 계산하는 Lidar 스캐닝이 등장했다. 강력하지만 이러한 탐지 방법에는 큰 걸림돌이 있다. 확장하기 어렵다. 이 기술은 "능동적"이다.
즉, 각 AI 에이전트(예: 자율 차량 또는 로봇)는 주변 환경에 대한 정보를 지속적으로 스캔하고 수집해야 한다. 도로나 작업 공간에 여러 대의 기계가 있으면 신호가 서로 간섭하여 왜곡될 수 있다. 방출된 신호의 전체 수준은 잠재적으로 사람의 눈을 손상시킬 수도 있다.
과학자들은 오랫동안 수동적인 대안을 찾아왔다. 여기에 적외선 신호가 들어오는 곳이 있다.
살아있는 신체, 차가운 시멘트, 사람의 골판지 조각 등 모든 물질은 열 신호를 방출한다.
이들 야생 동물을 모니터링하기 위해 야생에서 또는 과학 박물관에서 적외선 카메라로 쉽게 캡처된다. 이전에 시도해 보셨을 것이다. 위로 올라가면 카메라가 2차원의 당신의 모습을 보여주고 다양한 신체 부위가 밝은 색상의 눈금으로 열을 발산하는 방법을 보여준다.
불행히도 결과 이미지는 당신처럼 보이지 않는다. 몸의 가장자리가 번져 있고 질감이나 3D 공간감이 거의 없다.
“사람 얼굴의 열화상 사진에는 윤곽선과 일부 온도 대비만 표시된다. 특징이 없기 때문에 유령을 본 것 같다.”고 연구저자 팡린 바오(Fanglin Bao) 박사가 말했다. "이러한 정보, 질감 및 기능의 손실은 열 복사를 사용하는 기계 인식의 장애물이다."
이 고스팅 효과는 물리학으로 인해 가장 정교한 열화상 카메라에서도 발생한다.
살아있는 몸에서 차가운 시멘트에 이르기까지 모든 물질은 열 신호를 보낸다. 마찬가지로 전체 환경도 열복사를 배출한다. 열 신호만으로 이미지를 캡처하려고 하면 주변 열 노이즈가 물체에서 방출되는 소리와 혼합되어 흐릿한 이미지가 생성된다.
연구를 이끈 주빈 제이콥 박사는 "그것이 우리가 고스팅으로 의미하는 바이다. 텍스처 부족, 대비 부족, 이미지 내부 정보 부족"이라고 말했다.
고스트버스터즈
HADAR는 기본으로 돌아가 무엇이 뜨겁거나 차갑게 만드는지를 본질적으로 설명하는
열 특성을 분석했다고 제이콥은 말했다. 열화상은 함께 뒤섞인 유용한 데이터 스트림으로
구성된다. 물체의 온도만 포착하는 것이 아니다. 또한 질감과 깊이에 대한 정보도 포함한다.
첫 번째 단계로 팀은 모든 열 데이터를 질감, 온도 및 방사율(물체에서 방출되는 열의 양)과 같은 유용한 저장소로 분리하는 TeX라는 알고리즘을 개발했다. 그런 다음 알고리즘은 다양한 항목이 광 스펙트럼에서 열 신호를 생성하는 방식을 분류하는 맞춤형 라이브러리에서 교육을 받았다.
알고리즘은 열물리학에 대한 우리의 이해와 함께 내장되어 있다고 제이콥은 말했다. "우리는 또한 일부 고급 카메라를 사용하여 모든 하드웨어와 소프트웨어를 통합하고 칠흑 같은 어둠 속에서도 열복사로부터 최적의 정보를 추출했다."고 그는 덧붙였다.
현재 당사의 열화상 카메라는 열화상만으로 최적의 신호를 추출할 수 없다. 부족한 것은 일종의 "색상"에 대한 데이터였다. 우리의 눈이 생물학적으로 빨강, 파랑, 노랑의 세 가지 주요 색상에 연결되어 있는 것과 유사하게 열화상 카메라는 사람의 눈을 넘어서는 여러 파장에서 "볼" 수 있다. 이러한 "색상"은 색맹과 유사한 누락된 파장으로 정보를 해독하는 알고리즘에 매우 중요하다.
이 모델을 사용하여 팀은 고스팅 효과를 완화하고 열화상 카메라에서 더 선명하고 상세한 이미지를 얻을 수 있었다.
시연은 HADAR가 "가시성이 낮은 조건에서 컴퓨터 비전 및 이미징 기술을 혁신할 준비가 되어 있음"을 보여준다고 연구에 참여하지 않은 로스앨러모스 국립연구소와 뉴멕시코 대학교, 앨버커키의 매니쉬 바타라이와 소피아 톰슨 박사들은 말했다.
아인슈타인과 함께 심야 드라이브
개념 증명에서 팀은 HADAR를 다른 AI 기반 컴퓨터 비전 모델과 비교했다. 인디애나에 기반을 둔 이 경기장은 분노의 질주: 늦은 밤, 저조도, 실외, 인간의 이미지와 검은색 차 앞에 서 있는 아인슈타인의 골판지 컷아웃이 있는 실외에서 바로 등장한다.
HADAR는 라이벌과 비교하여 한 번에 장면을 분석하여 유리 고무, 강철, 직물 및 피부를 식별했다. 시스템은 사람과 카드보드를 쉽게 해독했다. 또한 외부 빛에 관계없이 깊이 인식을 감지할 수 있다. "우리의 HADAR 알고리즘을 사용하는 경우 낮에 물체의 범위를 지정하는 정확도는 동일하다. 어둠 속에서도 마찬가지이다."고 제이콥이 말했다.
HADAR는 결점이 없는 것이 아니다. 문제는 가격이다. 뉴 사이언티스트에 따르면 전체 설정은 부피가 클 뿐만 아니라 열화상 카메라와 군용 이미저에 100만 달러 이상이 든다고 한다. (HADAR는 모험적인 모험을 옹호하는 것으로 알려진 DARPA(방위 고등 연구 계획국 Defense Advanced Research Projects Agency)의 도움으로 개발되었다.)
시스템은 또한 즉석에서 보정해야 하며 아직 모델에 구축되지 않은 다양한 환경 요인의 영향을 받을 수 있다. 처리 속도 문제도 있다.
"현재 센서는 하나의 이미지를 생성하는 데 약 1초가 걸리지만 자율주행차의 경우 약 30~60Hz의 프레임 속도 또는 초당 프레임이 필요하다."고 바오(Bao)는 말했다.
현재 HADAR는 아직 Amazon의 기성품 열화상 카메라로는 사용할 수 없다. 그러나 팀은 향후 3년 안에 이 기술을 시장에 출시하여 마침내 빛과 어둠을 연결하고자 한다.
“진화는 인간을 낮에 편향되게 만들었다. 미래에 대한 기계 인식은 낮과 밤 사이의 오랜 이분법을 극복할 것이다.”고 제이콥은 말했다.
이미지 제공: Jacob, Bao, et al/Purdue University
