소닉센스 시스템: 청취는 로봇에게 인간과 같은 촉감을 제공한다.

어두운 영화관에 앉아 커다란 컵에 얼마나 많은 소다가 남았는지 궁금해한다고 상상해보자. 뚜껑을 따서 보는 대신, 컵을 들어 살짝 흔들어 안에 얼마나 많은 얼음이 들어 있는지 들어보고, 무료로 리필을 받아야 할지 알 수 있다.

음료를 다시 내려놓고, 팔걸이가 진짜 나무로 만들어졌는지 멍하니 궁금해한다. 하지만 몇 번 두드리고 텅 빈 메아리를 듣고는 플라스틱으로 만들어졌어야 한다고 생각한다.

물체에서 나오는 음향 진동을 통해 세상을 해석하는 이런 능력은 우리가 생각 없이 하는 것이다. 그리고 연구자들은 이 능력을 로봇에 도입하여 빠르게 성장하는 감지 능력을 증강시키려고 한다.

11월 독일 뮌헨에서 열리는 로봇 학습 컨퍼런스(CoRL 2024)에서 발표될 예정인 듀크 대학교의 새로운 연구에서는 로봇이 이전에는 인간에게만 국한되었던 방식으로 주변 환경과 상호 작용할 수 있게 해주는 소닉센스(SonicSense)라는 시스템을 자세히 설명한다.

촉각적 상호작용을 통해 음향 진동을 느낄 수 있는 능력은 이 로봇 손에 인간과 같은 촉각을 부여하여 세상을 더 잘 인식할 수 있게 한다. (출처: 듀크)

"오늘날 로봇은 주로 시각에 의존하여 세상을 해석한다."라고 논문의 주저자이자 듀크의 기계 공학 및 재료 과학 교수인 보위안 첸(Boyuan Chen)의 연구실에서 박사 학위를 취득한 1학년생인 지아쑨 리우(Jiaxun Liu)가 설명한다.

"우리는 매일 발견되는 복잡하고 다양한 물체와 함께 작동할 수 있는 솔루션을 만들어 로봇이 세상을 '느끼고' 이해하는 훨씬 더 풍부한 능력을 제공하고 싶었다."

소닉센스(SonicSense)는 손가락 4개가 있는 로봇 손을 특징으로 하며, 각 손가락 끝에 접촉 마이크가 내장되어 있다. 이 센서는 로봇이 물체를 두드리거나, 잡거나, 흔들 때 발생하는 진동을 감지하고 기록한다. 그리고 마이크가 물체와 접촉하기 때문에 로봇이 주변 소음을 차단할 수 있다.

소닉센스는 상호작용과 감지된 신호를 기반으로 주파수 특징을 추출하고 이전 지식을 최근 AI의 발전과 결합하여 물체의 재질과 3D 모양을 파악한다. 시스템이 이전에 본 적이 없는 물체인 경우 시스템이 결론을 내리려면 20가지의 다른 상호작용이 필요할 수 있다. 그러나 데이터베이스에 이미 있는 물체인 경우 4번 만에 올바르게 식별할 수 있다.

"소닉센스는 로봇에게 인간과 매우 유사한 새로운 방식으로 듣고 느낄 수 있는 기능을 제공하여 현재 로봇이 물체를 인식하고 상호 작용하는 방식을 바꿀 수 있다."라고 전기 및 컴퓨터 공학과 컴퓨터 과학과에서 약속과 학생을 둔 첸은 말한다. "시각이 필수적이지만 소리는 눈이 놓칠 수 있는 것을 보여줄 수 있는 정보 계층을 추가한다."

논문과 데모에서 첸과 그의 연구실은 소닉센스가 가능하게 한 여러 기능을 보여준다. 주사위로 가득 찬 상자를 돌리거나 흔들면 안에 있는 숫자와 모양을 셀 수 있다. 물병으로 같은 작업을 수행하면 안에 얼마나 많은 액체가 들어 있는지 알 수 있다. 그리고 인간이 어둠 속에서 물체를 탐색하는 방식과 매우 유사하게 물체의 외부를 두드려 물체 모양의 3D 재구성을 구축하고 어떤 재료로 만들어졌는지 확인할 수 있다.

소닉센스가 이 접근 방식을 사용한 첫 번째 시도는 아니지만, 한 단계 더 나아가 네 개의 손가락을 하나 대신 사용하고 주변 소음을 차단하는 터치 기반 마이크와 고급 AI 기술을 사용하여 이전 작업보다 성능이 더 뛰어나다. 이 설정을 통해 시스템은 복잡한 기하학적 구조, 투명하거나 반사하는 표면, 비전 기반 시스템에는 어려운 재료를 가진 두 개 이상의 재료로 구성된 물체를 식별할 수 있다.

듀크 대학교의 기계공학 및 재료 과학, 컴퓨터 과학 조교수인 리우는 "대부분의 데이터 세트는 통제된 실험실 환경이나 인간의 개입을 통해 수집되지만, 로봇이 개방형 실험실 환경에서 독립적으로 물체와 상호 작용해야 했다."라고 말한다. "시뮬레이션에서 그 수준의 복잡성을 재현하는 것은 어렵다. 통제된 데이터와 실제 데이터 간의 이러한 격차는 중요하며 소닉센스는 로봇이 물리적 세계의 다양하고 지저분한 현실과 직접 상호 작용할 수 있도록 하여 이를 메운다."

이러한 능력은 소닉센스를 로봇이 동적이고 비구조화된 환경에서 물체를 인식하도록 훈련하는 데 강력한 기반이 되게 한다. 비용도 마찬가지이다. 음악가가 기타, 3D프린팅 및 기타 상업적으로 이용 가능한 구성 요소에서 소리를 녹음하는 데 사용하는 것과 동일한 접촉 마이크를 사용하면 제작 비용이 200달러가 조금 넘는다.

앞으로 이 그룹은 시스템이 여러 물체와 상호 작용하는 능력을 향상시키기 위해 노력하고 있다. 물체 추적 알고리즘을 통합함으로써 로봇은 동적이고 복잡한 환경을 처리할 수 있게 되어 실제 작업에서 인간과 같은 적응력에 더 가까워질 것이다.

또 다른 핵심 개발은 로봇 손 자체의 설계에 있다. "이것은 시작에 불과하다. 미래에는 소닉센스가 정교한 조작 기술을 가진 더욱 진보된 로봇 손에 사용되어 로봇이 미묘한 촉각이 필요한 작업을 수행할 수 있게 될 것으로 예상한다."라고 첸은 말한다. "우리는 이 기술이 압력과 온도와 같은 여러 감각 모달리티를 통합하여 더욱 복잡한 상호작용을 위해 어떻게 더욱 발전될 수 있는지 탐구하게 되어 기쁘다."

이 연구에 대한 지원은 육군 연구소 STRONG 프로그램과 DARPA의 FoundSci 프로그램 및 TIAMAT에서 제공되었다.

출처: 듀크 대학교