오늘날의 AI를 지원하는 신경망은 믿을 수 없을 만큼 강력하지만 이를 훈련하려면 전체 서버 팜과 엄청난 양의 에너지가 필요할 수 있다. IBM의 새로운 접근방식은 계산을 수행하는데 사용되는 비트 수를 줄임으로써 이를 극적으로 줄일 수 있음을 시사한다.

비트는 컴퓨터에서 가장 기본적인 정보 단위이며 1또는 0, 껴짐 또는 꺼짐의 두가지 상태 중 하나로 존재할 수 있다. 그러나 컴퓨터가 처리해야 하는 많은 숫자는 1 또는 0 보다 훨씬 크기 때문에 컴퓨터는 여러 비트를 함께 묶어 표시한다. 많은 소프트웨어가 32비트 또는 64 비트로 설명된다는 사실을 알고 있을 것이다. 이는 단순히 처리하는 각 데이터를 청크를 인코딩하는데 사용하는 비트 수를 알려주는 것이다. 더 많은 비트를 사용할수록 해당 데이터 조각이 더 정확해질 수 있다. 32비트(각각 두 상태 중 하나일 수 있음)에서는 1,024도의 자유도가 있고 64비트에서는 4,096이 있다. 이것이 어떻게 유용한지 생각하는 가장 쉬운 방법은 숫자를 다루는 것이다. 64비트 컴퓨터로 Pi를 인코딩하려는 경우 32비트 컴퓨터보다 소수점 이하 4배까지 늘릴 수 있다.

수퍼컴퓨터에서 기후나 양자물리학을 모델링하는 프로그램과 같이 매우 크거나 아주 작은 숫자를 처리해야 하는 프로그램의 경우 이 추가 정밀도가 매우 유용할 수 있다. 소비자 컴퓨터에서도 비디오 편집 또는 게임과 같은 더 복잡한 작업에 유용할 수 있다. 그러나 모든 것이 게임과 같은 더 복잡한 작업에 유용할 수 있다. 그러나 모든 것이 그렇게 높은 정밀도로 실행될 필요는 없으며 신경망도 포함된다. 딥러닝의 표준 데이터 크기는 여전히 32비트이지만 16비트에서 신경망을 실행하는 것이 점점 보편화되고 있다.

풍부하나 연구 결과에 따르면 신중한 설계를 통해 정확도를 크게 떨어뜨리지 않고 더 낮출 수 있다. 정밀도가 낮은 데이터는 메모리와 대역폭을 덜 필요로 하여 계산 속도를 높이고 작업을 수행하는데 필요한 에너지를 줄일 수 있기 때문에 이는 매우 바람직하다. 이는 훨씬 더 크고 전력을 많이 소비하는 모델을 구축하여 헤드라인을 사로잡는 업적의 대부분을 펌핑하는 업계에 큰 도움이 될 수 있다.

이제 IBM의 연구자들은 이러한 추세를 극도로 끌어올렸다. 권위있는 AI 컨퍼런스 NeurlPS에서 발표된 논문에서 연구원들은 단 4비트를 사용하여 정확도 손실을 제한하면서 다양한 이미지 및 언어 작업을 처리하도록 AI를 훈련시킬 수 있음을 보여주었다. 이를 통해 교육 과정의 속도를 7배 이상 높일 수 있었다. 연구자들이 해결해야하는 주요 과제는 신명망의 다른 부분이 매우 다른 규모의 숫자를 처리한다는 사실이다. 뉴런 사이의 가중치는 일반적으로 -1에서 1까지의 소수이지만 다른 곳에서는 1,000까지 또는 0.001까지 낮은 값을 얻을 수 있다. 이는 문제이다. 4비트 데이터 체계가 제공하는 14자유도만을 사용하여 매우 다른 크기의 숫자를 표현하는 방법을 찾아야 하기 때문이다.

1,000에서 0.001까지의 범위를 포함할 수 있는 모든 시스템음 -1과 1 사이의 숫자를 처리할 때 필연적으로 정밀도를 잃게 된다. 연구자들의 해결책은 넓은 범위의 값을 표현하기 위한 일반적이 수학적 도구인 로그 스케일을 하용 하는 것이었다. 이 척도에서 숫자는 동일한 증분으로 증가하지 않지만 매번 설정된 요소만큼 증가한다. 가장 일반적으로 10배이다. 따라서 표준 선형 척도는 “1,2,3”이 되는 반면 로그는 “1,10,100”로 갈 수 있다. 이 경우 연구자들은 규모에 4배를 사용했다. 그러나 중요한 것은 이 로그 척도를 서로 다른 값 범위에서 작동하는 네트워크의 여러 부분에 다시 맞출 수 있는 적응형 적도기법을 사용했다는 것이다. 그 결과 신경망 훈련에 필요한 에너지, 컴퓨팅 성능 및 시간을 크게 줄일 수 있는 엄청난 속도 향상을 가져왔다. 이를 통해 리소스가 제한된 학자들은 Google 및 OpenMind와 같은 회사에서 나오는 거대 모델을 구축하거나 스마트 폰과 같은 에지 장치에서 신경망을 훈련시킬 수 있다. 그러나 중요한 주의사항이 있다. 연구는 4비트 AI칩이 아직 존재하지 않기 때문에 실제 칩이 아닌 시뮬레이션에서 수행되었다. 연구리더인 Kailash Gopalakrishnan은 MIT Tech Review에 진행 중이며 IBM은 3~4년 내에 4비트 하드웨어를 준비한다고 말했다. 그들만이 이 문제를 해결하는 것은 아니다. 전용 AI 하드웨어를 구축하는 대부분의 회사는 칩의 정밀도가 낮은 기능을 강화하기 위해 바쁘다. AI의 미래가 점점 희미해 보이는 것 같다.