Meta는 거대한 기계학습 알고리즘을 훈련하기 위해 새로운 슈퍼컴퓨터를 구축하고 있다. 부분적으로만 완성되었지만 AI연구 슈퍼클러스터(RSC)는 이미 지구상에서 가장 강력한 기계 중 하나이다. 완료되면 이전에 Facebook으로 알려졌던 회사는 그것이 어디에서나 가장 빠른 AI 슈퍼컴퓨터가 될 것이라고 말한다.

Meta는 RSC가 유해 콘텐츠를 더 잘 드러내는 알고리즘을 교육하여 제품을 개선할 수 있기를 바란다. 더 나아가, 회사는 이러한 발전으로 온라인에서 수만 명의 사람들 사이의 실시간 언어 번역과 텍스트, 이미지 및 비디오를 포함한 다양한 입력에서 학습하고 이를 일반화할 수 있는 멀티태스킹 알고리즘을 구현할 수 있다고 말한다.

회사는 이 모든 것이 로봇과 같은 실제 응용 프로그램을 발전시키는 데 도움이 될 것이며 물론 (아직 원시적인) 메타버스의 기초를 구축할 것이라고 말했다. Meta의 AI 부사장인 Jerome Pesenti 는 "메타버스에서는 100% 3D 다중 감각 경험이 있으며 해당 환경에서 자신과 관련된 인공 지능 에이전트를 만들어야 한다." 라고 말했다.  

궁극적인 애플리케이션이 무엇이든, 투자는 Meta에서 Alphabet 및 Microsoft에 이르기까지 기술의 가장 큰 플레이어가 첨단 AI에서 경쟁력을 갖추는 것이 점점 더 중요하다고 생각한다는 것을 보여준다.

빅 AI가 유행

이번 발표는 더 많은 컴퓨팅 리소스와 더 큰 데이터 세트를 필요로 하는 머신 러닝 알고리즘이 점점 더 커지는 추세의 일부이다 .

2020년 OpenAI의 자연어 알고리즘 GPT-3은 매개변수라고 하는 알고리즘의 내부 연결 수와 이를 통해 전달되는 교육 데이터의 양을 늘리면 큰 이점을 실현할 수 있음을 보여주었다. 1,750억 개의 매개변수가 있는 GPT-3은 이전 GPT-2보다 17배 더 컸습니다. GPT-3의 성공에 고무된 Microsoft는 작년 에 GPT-3보다 3배 더 큰 알고리즘인 Megatron AI를 공개했으며 Google과 중국 연구원은 각각 1조 개 이상의 매개변수가 있는 알고리즘을 구축했다. Meta는 다음 단계를 예상하면서 RSC를 사용하여 수조 개의 매개변수로 알고리즘을 훈련할 계획이라고 말했다.

점점 더 이러한 거대한 알고리즘을 사용하려면 과학자들이 기본 입자에서 지구의 기후, 우주 전체에 이르기까지 물리적 시스템을 시뮬레이션하는 데 사용하는 방 크기의 기계인 슈퍼컴퓨터가 필요하다. 예를 들어 작년에 OpenAI는 파트너인 Microsoft가 모델을 훈련시키기 위한 전용 슈퍼컴퓨터를 구축 했다고 발표했다. 회사에 따르면 이 새 머신은 세계에서 가장 빠른 슈퍼컴퓨터 5위(당시)에 선정되었다.

Meta는 RSC의 현재 최고 속도에 대한 수치를 제공하지 않았지만 원시 처리 능력 측면에서 볼 때 세계에서 5번째로 빠른 Perlmutter 슈퍼컴퓨터에 필적하는 것으로 보입니다 . 현재 RSC는 6,800개의 NVIDIA A100 그래픽 처리 장치(GPU)에서 실행된다. 이 칩은 한때 게임용으로 제한되었지만 이제는 특히 AI에서 더 널리 사용되는 특수 칩이다. 이미 이 기계는 컴퓨터 비전 워크플로를 20배 더 빠르게 처리하고 큰 언어 모델(예: GPT-3)을 3배 더 빠르게 처리하고 있습니다. 회사가 모델을 더 빨리 훈련시킬수록 특정 연도에 더 많이 완성하고 더욱 개선할 수 있다.

순수한 속도 외에도 RSC는 Meta에 방대한 사용자 데이터 축적에 대한 알고리즘을 훈련할 수 있는 기능을 제공한다. 블로그 게시물에서 회사는 이전에 공개 오픈 소스 데이터 세트에 대해 AI를 훈련했지만 RSC는 Meta의 프로덕션 서버에서 실제 사용자 생성 데이터를 사용할 것이라고 말했다. 최근 몇 년 동안 Meta가 직면한 수많은 개인 정보 보호 및 보안 논란을 감안할 때 이 세부 사항은 몇 명 이상의 사람들을 창백하게 만들 수 있다. 게시물에서 회사는 데이터가 철저하게 익명화되고 종단 간 암호화된다는 점에 주목했다. 그리고 그들은 RSC가 더 큰 인터넷에 직접 연결되지 않을 것이라고 말했다.

Meta의 방대한 훈련 데이터 세트를 수용하고 훈련 속도를 더욱 높이기 위해 올해 후반에 16,000개의 GPU와 엑사바이트의 스토리지(36,000년 분량의 고품질 비디오에 해당)를 포함하도록 설치가 확장될 것이다. Meta는 RSC가 완료되면 초당 16테라바이트의 속도로 훈련 데이터를 제공하고 5엑사플롭의 최고 속도로 작동할 것이라고 말한다.

오늘 완료된다면 RSC는 세계에서 가장 빠른 AI 슈퍼컴퓨터가 될 것이다. 그러나 그것이 정확히 무엇을 의미하는지 잠시 동안 파헤쳐 볼 가치가 있다.

애플에서 애플로?

슈퍼컴퓨터는 구축 방식이 매우 다양하다. 공통 구성에는 중앙 처리 장치(CPU)와 GPU가 모두 포함되지만 칩 제조업체는 서로 다르며 인프라도 이들을 모두 연결한다. 슈퍼컴퓨터를 비교하기 위해 업계에서는 슈퍼컴퓨터가 초당 푸는 간단한 방정식의 수를 측정하는 초당 부동 소수점 연산(또는 구어체로 플롭)이라는 벤치마크를 사용한다.

가장 최근의 Top500 목록 에 따르면 , 세계에서 가장 빠른 만능 슈퍼컴퓨터인 Fugaku는 일본에서 왔다.

실제로 GPU를 사용하지 않는 Fugaku는 442페타플롭(또는 초당 442,000조 작업)의 엄청난 최고 속도를 기록했다. 빠르다. 그러나 Fugaku와 같은 시스템은 AI를 훈련시키기 위해 점점 더 많이 구축되고 있다. 그래서 Top500은 특히 AI 애플리케이션에 대한 새로운 벤치마크를 보고하기 시작했다. 

기계학습 알고리즘은 과학 응용 프로그램과 동일한 정밀도를 요구하지 않기 때문에 새로운 AI 벤치마크는 덜 정확한 측정값을 사용한다. 그 기준으로 Fugaku는 엑사플롭 또는 초당 백만 조 작업 이상의 최고 속도에 도달한다. 이것이 바로 AI 슈퍼컴퓨터가 의미하는 것이다.

이제 메타로 돌아간다.

Top500 목록에 있는 대부분의 기계는 정부와 대학에서 운영한다. RSC와 같은 개인용 슈퍼컴퓨터와 OpenAI 및 Microsoft에서 구축한 시스템은 목록에 표시되지 않습니다. 성과를 위해서는 회사의 말을 들어야 한다. RSC가 AI 애플리케이션에 대해 5엑사플롭의 최고 속도에 도달한다고 가정하면 Fugaku를 상당한 차이로 이길 것이다. 

그러나 그것이 올해 말에도 여전히 세계 최고가 될 것인지 여부는 분명하지 않다. 다가오는 Frontier 슈퍼컴퓨터는 고정밀 애플리케이션을 위해 Fugaku보다 3배 더 빠를 것으로 예상된다. 또한 AI를 위해 구축된 Frontier는 최고의 AI 슈퍼컴퓨터를 놓고 치열한 경쟁이 될 것이다.

벤치마크의 최고 성능이 실제 워크로드의 실제 성능과 같지 않다는 점도 주목할 가치가 있다. 고성능 컴퓨팅 분석가 밥 소렌슨(Bob Sorensen)에 따르면 , “훌륭한 시스템 설계의 진정한 척도는 설계된 작업에서 빠르게 실행할 수 있는 것이다. 실제로 일부 HPC가 실제 애플리케이션을 실행할 때 소위 최고 성능의 25% 미만을 달성하는 것은 드문 일이 아니다.”

MLPerf라고 하는 새로운 AI 벤치마크는 실제 작업의 성능을 측정하는 데 더 가깝다. 시스템이 매우 큰 모델을 얼마나 빨리 훈련시키는지는 아직 측정하지 않았지만 여전히 유용한 비교이다. 가장 최근의 MLPerf 결과에서는 RSC 구축에 사용된 것과 동일한 NVIDIA A100 칩을 사용하는 시스템이 이 분야를 지배했다. 테스트한 가장 큰 시스템인 NVIDIA의 자체 Selene AI 슈퍼컴퓨터는 (지금은 작아진) BERT 언어 프로세서를 단 16초 만에 훈련시켰다.

어떤 식으로든 RSC는 AI 연구를 위한 강력한 기계가 될 것이다.

더 큰 AI가 항상 더 나은가요?

현재까지 더 크고 더 큰 알고리즘을 구축하면 이득이 생기는 것 같다. 그러나 모든 연구자들이 이러한 이득이 영원히 계속되거나 알고리즘을 훈련하는 데 필요한 에너지와 재정 자원의 급증할 가치가 있다고 믿는 것은 아니다. 특히 큰 언어 모델은 훈련 중에 모든 종류의 불미스러운 습관과 편견을 포착하는 경향이 있다.

다행히도 알고리즘을 보다 효율적이고 책임감 있게 만들기 위한 작업도 진행 중이다.

작년에 AI 연구 기관인 DeepMind는 다른 대형 언어 모델보다 성능이 우수한 Gopher라는 2,800억 매개변수의 대형 언어 모델을 출시했다. 그러나 더 흥미롭게 도 그들은 RETRO라는 훨씬 더 작은 70억 매개변수 모델도 개발했다. 예의 외부 데이터베이스를 참조하여 예측을 알리는 기능(일종의 메모리)을 감안할 때 RETRO는 크기의 25배에 달하는 알고리즘을 일치시키거나 능가함으로써 가중치 클래스를 훨씬 능가한다. DeepMind는 또한 알고리즘의 추론을 추적하는 것이 더 쉬워서 더 투명하고 잠재적으로 편향을 제거하기가 더 쉽다고 말했다.

따라서 슈퍼컴퓨터에서 엄청난 알고리즘을 만드는 것이 눈길을 끄는 반면 RETRO는 이러한 모델이 구축되는 방식 의 혁신 도 똑같이 중요하다는 것을 보여준다. 스펙트럼의 양쪽 끝에 대한 연구는 빠르게 계속될 것이며, 하나는 희망적으로 다른 하나에 영향을 미치고 개선될 것이다. 이미지 크레디트:  에릭 버틀러 / Unsplash