빛으로 만든 신경망: 머신러닝과 AI 작업을 보다 지속 가능하게 만들 수 있는 광학 시스템

막스 플랑크 빛 과학 연구소(Max Planck Institute for the Science of Light)의 과학자들은 신경망을 구현하는 새로운 방법, 즉 미래에 머신러닝과 AI 작업을 보다 지속 가능하게 만들 수 있는 광학 시스템을 제안했다.

현재는 수십억 개의 매개변수를 포함하는 점점 더 복잡해지는 신경망이 필요하다. 그러나 신경망 크기의 급속한 성장으로 인해 에너지 소비와 훈련 시간이 기하급수적으로 늘어나 네트워크가 지속 불가능한 경로에 놓이게 되었다고 연구진은 성명서에서 밝혔다.

예를 들어, GPT-3와 같은 대규모 언어 모델을 훈련하는 데는 1,300MWh(메가와트시) 미만의 전력이 사용되는 것으로 추정된다. 이는 미국 130개 가정에서 매년 소비하는 전력량과 맞먹는 양이다. 이러한 추세로 인해 더 빠르고 에너지 효율적이며 비용 효율적인 대안이 필요하게 되었다.

빛 VS 전자

연구원의 새로운 아이디어는 잠재적으로 더 빠르고 에너지 효율적인 방식으로 빛을 통해 필요한 수학적 연산을 물리적으로 수행하는 것이다. 광학 및 포토닉스는 에너지 소비를 최소한으로 유지할 수 있기 때문에 뉴로모픽 컴퓨팅을 위한 특히 유망한 플랫폼이다. 계산은 빛의 속도에 의해서만 제한되는 매우 빠른 속도로 병렬로 수행될 수 있다.

그러나 두 가지 과제가 있다. 필요한 복잡한 수학적 계산을 실현하려면 높은 레이저 출력이 필요하고 이러한 물리적 신경망에 대한 효율적인 일반 훈련 방법이 부족하다.

두 가지 과제는 막스 플랑크 빛의 과학 연구소 연구원이 Nature Physics의 새 논문에서 제안한 새로운 방법으로 극복될 수 있다. 이 방법은 필수 수학 함수에 필요한 복잡한 물리적 상호 작용을 방지한다. 그러나 저자는 시뮬레이션을 통해 새로운 접근 방식을 사용하여 디지털 신경망과 동일한 정확도로 이미지 분류 작업을 수행할 수 있음을 입증했다.

저자는 실험 그룹과 협력하여 방법의 구현을 탐색할 계획이다. 그들의 제안은 실험 요구 사항을 크게 완화하여 물리적으로 매우 다른 여러 시스템에 적용될 수 있다. 이는 뉴로모픽 장치에 대한 새로운 가능성을 열어 광범위한 플랫폼에서 신체 훈련을 가능하게 한다.