GPU 기술 컨퍼런스(GTC)가 이번 주에 열렸으며 기술 회사인 NVIDIA가 5G, AI, 자동차, 데이터 센터, 실시간 그래픽 및 로봇공학의 발전을 포함한 최신 제품을 공개했다.

이 가상 컨퍼런스의 주요 하이라이트는 대규모 AI 및 고성능 컴퓨팅 (HPC) 애플리케이션을 위해 특별히 설계된 차세대 ARM 기반 CPU (중앙 처리 장치)인 "Grace"이다. 이 프로세서는 1950년대에 프로그래밍 언어를 개척 한 컴퓨터 과학자인 Grace Murray Hopper의 이름을 따서 명명되었다.

현재 x86 서버 아키텍처는 CPU, 메모리, PCI Express 및 주변 장치의 다양한 구성과 유연성을 제공한다. 그럼에도 불구하고 많은 양의 데이터를 처리하는 것은 오늘날 시스템의 주요 과제로 남아 있다. 이는 딥 러닝 및 신경망과 같은 인공 지능 (AI) 모델의 경우 특히 그렇다.

이 병목 현상의 예는 아래 애니메이션에 나와 있다. 이전 x86 시스템에서 각 그래픽 처리 장치(GPU)는 CPU 메모리와 PCIE 대역폭으로 인해 부족하다. 한 가지 가능한 구성은 DDR4 메모리와 GPU 간의 링크를 4배로 늘리고 각 GPU를 공급하는 전용 채널을 사용하는 것이다. 그러나 PCI Express는 병목 현상으로 남아 있다.

데이터의 양과 AI 모델의 크기가 기하 급수적으로 증가하고 있다. 오늘날 가장 큰 AI 모델에는 수십억 개의 매개 변수가 포함되어 있으며 2개월 반마다 두 배씩 증가하고 있다. 이를 훈련시키기 위해서는 시스템 병목 현상을 제거하기 위해 GPU와 밀접하게 결합할 수 있는 새로운 CPU가 필요하다.

이러한 문제를 극복하기 위해 NVIDIA는 최초의 데이터 센터 CPU인 Grace를 개발하고 있다. 이는 AI와 같은 대량의 데이터를 사용하는 가속화된 컴퓨팅 애플리케이션을 위해 특별히 제작될 것이다. x86 기반이 아닌 ARM 기반이기 때문에 NVIDIA는 Grace를 최적의 CPU로 설계할 수 있었다. ARM의 차세대 "Neoverse"CPU 코어와 LPDDR5x 메모리 하위 시스템을 특징으로 한다. 또한 시스템과 고 대역폭 GPU 메모리를 결합한 단일 메모리 주소 공간을 통한 "통합 캐시 일관성"은 프로그래밍 기능을 단순화한다.

새로운 아키텍처는 데이터 처리량을 크게 향상시킬 것이다. NVIDIA GPU와 결합되면 Grace CPU 기반 시스템은 x86 CPU에서 실행되는 오늘날의 최첨단 NVIDIA DGX 기반 시스템보다 10배 빠른 성능을 제공한다. Grace는 컴퓨팅을 위한 세 번째 기본 기술과 AI용 데이터 센터의 모든 측면을 재 설계할 수 있는 능력을 만들 것이다.

NVIDIA의 설립자 겸 CEO인 Jensen Huang은 "첨단 AI 및 데이터 과학이 오늘날의 컴퓨터 아키텍처를 한계를 넘어서고 있다. 상상할 수 없는 양의 데이터를 처리한다." "NVIDIA는 라이센스가 부여된 ARM IP를 사용하여 Grace를 대규모 AI 및 HPC를위한 CPU로 특별히 설계했다. Grace는 GPU 및 DPU와 결합하여 컴퓨팅을 위한 세 번째 기본 기술과 데이터 센터를 재구성할 수 있는 기능을 제공한다. AI를 발전시키라. NVIDIA는 이제 3-칩 회사이다."고 말했다.

ARM의 CEO인 Simon Segars는 "세계에서 가장 널리 라이선스 된 프로세서 아키텍처인 ARM은 매일 놀라운 방식으로 혁신을 주도하고 있다."고 말했다. "NVIDIA의 Grace 데이터 센터 CPU 도입은 ARM의 라이선스 모델이 어떻게 중요한 발명을 가능하게 하는지 명확하게 보여준다. 이는 어디에서나 AI 연구원과 과학자들의 놀라운 작업을 더욱 지원할 것이다."

2023년에 출시될 것으로 예상된다. 같은 해 스위스 슈퍼 컴퓨팅 센터는 미국 에너지 부의 Los Alamos 국립 연구소와 협력하여 Grace CPU를 기반으로 한 20엑사플롭 AI 슈퍼 컴퓨터를 계획했다. "ALPS"로 알려진 이 제품은 천체 물리학, 분자역학, 대형 강 입자 충돌기의 양자 물리학 등에 대한 연구와 함께 기후 및 날씨 시뮬레이션에 배포된다.

ALPS는 또한 세계에서 가장 큰 자연어 처리 모델 중 하나인 GPT-3을 단 이틀 만에 훈련시킬 것이다. 이는 현재 세계 최고의 AI 전문 슈퍼 컴퓨터로 인정받고 있는 NVIDIA의 Selene보다 거의 10배 빠른 속도이다.

더 큰 AI 모델 크기도 가능해질 것이다. GPT-3의 정식 버전은 1,750 억 개의 기계학습 매개 변수 용량을 가지고 있지만 Huang은 기조 연설에서 내년에는 수조 개의 매개 변수 모델과 2023년에는 100조개 이상의 매개 변수 모델을 볼 것으로 예상한다고 말했다. 느슨한 비교로 인간의 두뇌 약 125조 개의 시냅스가 있다.

Huang은 "오늘날의 기념비적인 과학적 도전은 발견을 촉진하기 위해 새로운 종류의 슈퍼 컴퓨터를 요구한다."고 말했다. "거대한 규모의 AI 및 HPC를 위해 설계된 새로운 Grace CPU를 활용하여 CSCS와 NVIDIA는 새로운 길을 개척하고 있다. 선도적인 과학자들이 AI의 힘을 적용할 수 있는 세계적 수준의 ARM 기반 슈퍼 컴퓨팅 인프라를 구축한다. 세상을 바꾸는 연구를 할 수 있다."