[뉴런] 단일 뉴런이 놀랍도록 복잡한 작은 컴퓨터라는 새로운 연구 결과가 있다. 예루살렘 히브리 대학의 연구원 팀은 생물학적 뉴런이 더 복잡하다는 것을 보여줄 것으로 예상했지만 실제로 얼마나 더 복잡한지에 놀랐다.이 연구에서 팀은 뇌 피질에서 단일 생물학적 뉴런의 행동을 모방하기 위해 5~8층 신경망 또는 거의 1,000개의 인공 뉴런이 필요하다는 것을 발견했다.
[뉴런] 단일 뉴런이 놀랍도록 복잡한 작은 컴퓨터라는 새로운 연구 결과가 있다. 예루살렘 히브리 대학의 연구원 팀은 생물학적 뉴런이 더 복잡하다는 것을 보여줄 것으로 예상했지만 실제로 얼마나 더 복잡한지에 놀랐다.이 연구에서 팀은 뇌 피질에서 단일 생물학적 뉴런의 행동을 모방하기 위해 5~8층 신경망 또는 거의 1,000개의 인공 뉴런이 필요하다는 것을 발견했다.
뇌를 컴퓨터와 비교하는 것은 신경 과학과 컴퓨터 과학 모두에서 길고 소중한 비유이다. 이유를 찾는 것은 어렵지 않다. 우리의 두뇌는 컴퓨터가 쉽고 신비롭게 처리하기를 원하는 많은 작업을 수행할 수 있다. 따라서 마음의 내부 작동을 이해하면 더 나은 컴퓨터를 만드는 데 도움이 될 수 있다. 그리고 그 컴퓨터는 우리가 우리 자신의 마음을 더 잘 이해하는 데 도움이 될 수 있다. 또한 두뇌가 컴퓨터와 같다면 두뇌가 하는 일을 하는 데 얼마나 많은 계산이 필요한지 알면 기계가 마음과 일치할 때를 예측하는 데 도움이 될 수 있다.
실제로 현장 간에는 생산적인 지식의 흐름이 이미 있다. 예를 들어, 인공지능의 강력한 형태인 딥 러닝은 뇌의 방대한 뉴런 네트워크를 느슨하게 모델링한다.
심층 신경망의 각 "노드"는 인공 뉴런으로 생각할 수 있다. 뉴런과 마찬가지로 노드는 연결된 다른 노드에서 신호를 수신하고 수학 연산을 수행하여 입력을 출력으로 변환한다. 노드가 수신하는 신호에 따라 네트워크의 모든 노드에 자체 신호를 보낼 수 있다. 이러한 방식으로 신호는 노드의 레이어에서 레이어를 통해 캐스케이드되어 알고리즘을 점진적으로 조정하고 선명하게 만든다.
뇌도 이렇게 작동한다. 그러나 위의 키워드는 느슨하다.
과학자들은 생물학적 뉴런이 딥 러닝 알고리즘에 사용되는 인공 뉴런보다 더 복잡하다는 것을 알고 있지만 얼마나 더 복잡한지는 미해결 문제이다.
최근 Neuron 저널에 발표된 흥미로운 논문에서 예루살렘 히브리 대학의 연구원 팀은 우리가 그 답에 조금 더 가까워지도록 노력했다. 그들은 결과가 생물학적 뉴런이 더 복잡하다는 것을 보여줄 것으로 예상했지만 실제로 얼마나 더 복잡한지에 놀랐다.
이 연구에서 팀은 뇌 피질에서 단일 생물학적 뉴런의 행동을 모방하기 위해 5~8층 신경망 또는 거의 1,000개의 인공 뉴런이 필요하다는 것을 발견했다.
연구자들은 결과가 복잡성의 상한선이라고 경고하지만(정확한 측정과는 대조적으로) 그들은 또한 그들의 발견이 과학자들이 생물학적 뉴런을 정확히 무엇이 그렇게 복잡하게 만드는지에 대해 더 집중하는 데 도움이 될 것이라고 믿는다. 그리고 그 지식은 엔지니어가 훨씬 더 유능한 신경망과 AI를 설계하는 데 도움이 될 수 있다.
Baylor College of Medicine의 컴퓨터 신경과학자 Andreas Tolias는 지난주 Quanta와의 인터뷰에서 "[결과는] 생물학적 뉴런에서 인공 뉴런으로 연결되는 다리를 형성한다."라고 말했다.
놀라운 두뇌
뉴런은 우리의 뇌를 구성하는 세포이다. 뉴런에는 여러 유형이 있지만 일반적으로 세 부분으로 나뉜다. 가시 돌기라고 하는 가지가 있는 구조, 세포체, 뿌리 모양의 축색 돌기이다.
한쪽 끝에서 수상돌기는 시냅스라고 하는 접합점에서 다른 뉴런의 네트워크에 연결된다. 다른 쪽 끝에서 축삭은 뉴런의 다른 집단과 시냅스를 형성한다. 각 세포는 수상돌기를 통해 전기화학적 신호를 수신하고 해당 신호를 필터링한 다음 자체 신호(또는 스파이크)를 따라 선택적으로 전달한다.
생물학적 뉴런과 인공 뉴런을 계산적으로 비교하기 위해 팀은 다음과 같이 질문했다. 단일 생물학적 뉴런의 동작을 시뮬레이션하려면 인공 신경망의 크기가 얼마나 될까?
먼저 생물학적 뉴런(이 경우 쥐의 피질에서 피라미드형 뉴런) 모델을 구축했다. 이 모델은 뉴런이 일련의 입력 신호를 자체 스파이크로 변환하는 방법과 시기를 시뮬레이션하기 위해 약 10,000개의 미분 방정식을 사용했다.
그런 다음 시뮬레이션된 뉴런에 입력을 입력하고 출력을 기록하고 모든 데이터에 대해 딥 러닝 알고리즘을 훈련했다. 그들의 목표는? 모델을 가장 정확하게 근사할 수 있는 알고리즘을 찾는 것이다.
(동영상: 피라미드 뉴런 모델(왼쪽)은 수상돌기를 통해 신호를 수신한다. 이 경우 신호는 3개의 스파이크를 유발한다.)
그들은 입력 세트가 주어졌을 때 시뮬레이션된 뉴런의 출력을 99% 정확하게 예측할 때까지 알고리즘의 레이어 수를 늘렸다. 스위트 스폿은 최소 5개 레이어에서 8개 이하 또는 생물학적 뉴런당 약 1,000개의 인공 뉴런이었다. 딥 러닝 알고리즘은 원래 모델보다 훨씬 간단했지만 여전히 매우 복잡하다.
이 복잡성은 어디에서 발생할까?
밝혀진 바와 같이, 이는 대부분 수상돌기의 화학적 수용체 유형인 NMDA 이온 채널과 공간에서 수상돌기의 분기 때문이다. 수석 저자인 David Beniaguev는 2019년 트윗에서 "이 중 하나를 제거하면 뉴런이 간단한 장치로 변한다."라고 트윗했다.
실제로 이러한 기능을 제거한 후 팀은 단순화된 생물학적 모델을 단층 딥 러닝 알고리즘과 일치시킬 수 있음을 발견했다.
움직이는 벤치마크
전체 두뇌의 계산 복잡성을 추정하기 위해 팀의 결과를 외삽하고 싶은 유혹이 있다. 그러나 우리는 그러한 조치에 가깝다.
우선, 팀이 가장 효율적인 알고리즘을 찾지 못했을 수 있다.
개발자 커뮤니티가 고급 딥 러닝 알고리즘의 첫 번째 버전을 빠르게 개선하는 것은 일반적이다. 연구의 집중적인 반복을 감안할 때 팀은 결과에 자신이 있지만 모델, 데이터 및 알고리즘을 과학 커뮤니티에 공개하여 누군가가 더 잘할 수 있는지 확인했다.
또한 모델 뉴런은 인간이 아닌 쥐의 뇌에서 유래한 것으로 뇌세포의 한 유형일 뿐이다. 또한, 이 연구는 모델을 모델과 비교하고 있다. 아직까지는 뇌의 물리적 뉴런과 직접 비교할 방법이 없다. 실제가 더 복잡할 수도 있고 덜 복잡할 수도 있다. 그럼에도 불구하고 팀은 그들의 작업이 신경 과학과 AI를 발전시킬 수 있다고 믿는다.
전자의 경우, 연구는 수상 돌기가 더 주의를 기울일 가치가 있는 복잡한 동물이라는 추가 증거이다. 후자에서는 급진적인 새로운 알고리즘 아키텍처로 이어질 수 있다.
이 논문의 공동 저자인 Idan Segev는 엔지니어가 오늘날의 알고리즘에서 단순한 인공 뉴런을 생물학적 뉴런을 시뮬레이션하는 미니 5층 네트워크로 교체해야 한다고 제안한다. "우리는 오늘날 딥 네트워크의 각 간단한 단위를 이미 자체적으로 깊숙이 있는 뉴런을 나타내는 단위로 교체함으로써 뇌가 작동하는 방식에 더 가깝게 만들기 위해 딥 네트워크 기술의 교체를 요구한다."라고 Segev는 말했다.
그렇게 많이 추가된 복잡성이 보상을 받을지 여부는 불확실하다. 전문가들은 비슷하거나 더 나은 결과를 얻기 위해 뇌의 세부 알고리즘이 얼마나 캡처되어야 하는지에 대해 토론한다.
그러나 수백만 년에 걸친 진화론적 실험을 반박하기는 어렵다. 지금까지는 두뇌의 청사진을 따르는 것이 보람 있는 전략이었다. 그리고 이 작업이 어떤 징후라면, 미래의 신경망은 크기와 복잡성이 오늘날보다 훨씬 작아질 수 있다.