AI의 최근 진전은 결국 한 가지, 규모로 귀결됩니다.
이 10년의 시작 무렵, AI 연구실은 알고리즘(또는 모델)을 점점 더 크게 만들고 지속적으로 더 많은 데이터를 제공하면 무엇을 할 수 있고 얼마나 잘 할 수 있는지에 엄청난 개선이 이루어진다는 것을 알게 되었습니다. 최신 AI 모델은 수천억에서 1조 개가 넘는 내부 네트워크 연결을 가지고 있으며 인터넷의 건강한 부분을 소비함으로써 우리와 마찬가지로 작성하거나 코딩하는 법을 배웁니다.
더 큰 알고리즘을 훈련하려면 더 많은 컴퓨팅 파워가 필요합니다. 따라서 비영리 AI 연구 기관인 Epoch AI 에 따르면, 이 지점에 도달하기 위해 AI 훈련에 전념하는 컴퓨팅은 매년 4배로 증가했습니다 .
이러한 성장이 2030년까지 계속된다면 미래의 AI 모델은 OpenAI의 GPT-4와 같은 오늘날의 최첨단 알고리즘보다 10,000배 더 많은 컴퓨팅 성능으로 훈련될 것입니다.
Epoch는 최근 연구 보고서에서 이 시나리오가 얼마나 가능한지 자세히 설명하면서 "추진한다면, 우리는 2019년 GPT-2의 기초적인 텍스트 생성과 2023년 GPT-4의 정교한 문제 해결 능력의 차이만큼 10년 말까지 AI의 엄청난 발전을 볼 수 있을 것"이라고 적었 습니다 .
하지만 현대 AI는 이미 상당한 양의 전력, 수만 개의 고급 칩, 수조 개의 온라인 사례를 빨아들인다. 한편, 이 산업은 칩 부족을 견뎌냈고, 연구에 따르면 양질의 훈련 데이터가 고갈될 수 있다고 한다. 기업이 AI 확장에 계속 투자한다고 가정할 때, 이 속도의 성장이 기술적으로 가능할까?
Epoch는 보고서에서 AI 확장의 가장 큰 제약 4가지, 즉 전력, 칩, 데이터, 지연 시간을 살펴보았습니다. 요약: 성장을 유지하는 것은 기술적으로 가능하지만 확실하지는 않습니다. 그 이유는 다음과 같습니다.
전력: 많이 필요할 거야
전력은 AI 확장에 가장 큰 제약입니다. 고급 칩과 이를 구동하는 장비로 가득 찬 창고나 데이터 센터는 전력을 많이 소모합니다 . Meta의 최신 프론티어 모델은 27메가와트의 전기를 소모하는 Nvidia의 가장 강력한 칩 16,000개에서 학습되었습니다.
Epoch에 따르면 이는 미국 가구 23,000가구의 연간 전력 소비량과 같습니다. 하지만 효율성이 향상되더라도 2030년에 프런티어 AI 모델을 훈련하려면 200배 더 많은 전력, 즉 약 6기가와트가 필요합니다. 이는 오늘날 모든 데이터 센터에서 소비하는 전력의 30%에 해당합니다.
그렇게 많은 전력을 끌어낼 수 있는 발전소는 거의 없으며, 대부분은 장기 계약을 맺을 가능성이 높습니다. 하지만 이는 한 발전소가 데이터 센터에 전기를 공급한다는 가정 하에 가능합니다. Epoch는 회사들이 지역 그리드를 통해 여러 발전소에서 전력을 끌어올 수 있는 지역을 찾을 것이라고 제안합니다. 계획된 유틸리티 성장을 감안하면 이 경로로 가는 것은 빡빡하지만 가능합니다.
병목 현상을 더 잘 해소하기 위해 회사는 대신 여러 데이터 센터에 교육을 분산할 수 있습니다. 여기서는 교육 데이터 배치를 지리적으로 분리된 여러 데이터 센터에 나누어 어느 한 곳의 전력 요구 사항을 줄일 수 있습니다. 이 전략에는 번개처럼 빠른 고대역폭 파이버 연결이 필요합니다. 하지만 기술적으로 실행 가능하며 Google Gemini Ultra의 교육 실행은 초기 사례입니다.
전체적으로 Epoch는 1기가와트(지역 전력원)에서 45기가와트(분산 전력원)까지 다양한 가능성을 제시합니다. 전력 회사가 더 많이 활용할수록 더 큰 모델을 훈련할 수 있습니다. 전력 제약 조건을 감안할 때, 모델은 GPT-4보다 약 10,000배 더 많은 컴퓨팅 전력을 사용하여 훈련될 수 있습니다.
출처: Epoch AI , CC BY 4.0
칩: 계산이 가능한가?
그 모든 전력은 AI 칩을 실행하는 데 사용됩니다. 이 중 일부는 완성된 AI 모델을 고객에게 제공하고, 일부는 다음 모델을 훈련합니다. Epoch는 후자를 자세히 살펴보았습니다.
AI 랩은 그래픽 처리 장치 또는 GPU를 사용하여 새로운 모델을 훈련하고, 엔비디아는 GPU 분야에서 최고입니다. TSMC는 이러한 칩을 제조하여 고대역폭 메모리와 함께 샌드위치합니다. 예측은 세 가지 단계를 모두 고려해야 합니다. Epoch에 따르면 GPU 생산에는 여유 용량이 있을 가능성이 있지만 메모리와 패키징이 걸림돌이 될 수 있습니다.
생산 용량의 산업 성장이 예상됨에 따라 2030년에는 AI 훈련에 2,000만~4억 개의 AI 칩이 사용될 것으로 예상합니다. 이 중 일부는 기존 모델을 제공하고, AI 연구실에서는 전체의 일부만 구매할 수 있을 것입니다.
넓은 범위는 모델에 상당한 불확실성이 있음을 나타냅니다. 하지만 예상되는 칩 용량을 감안할 때, 그들은 GPT-4보다 약 50,000배 더 많은 컴퓨팅 파워로 모델을 훈련할 수 있다고 믿습니다.
출처: Epoch AI , CC BY 4.0
데이터: AI의 온라인 교육
AI의 데이터에 대한 갈증과 임박한 희소성은 잘 알려진 제약입니다. 일부에서는 2026년까지 고품질의 공개 데이터 스트림이 고갈될 것이라고 예측합니다. 하지만 Epoch는 데이터 희소성이 적어도 2030년까지 모델의 성장을 억제할 것이라고 생각하지 않습니다.
오늘날의 성장률로는 AI 연구실이 5년 안에 양질의 텍스트 데이터를 고갈시킬 것이라고 그들은 썼습니다. 저작권 소송도 공급에 영향을 미칠 수 있습니다. Epoch는 이것이 모델에 불확실성을 더한다고 생각합니다. 하지만 법원이 저작권자에게 유리한 판결을 내리더라도 Vox Media, Time, The Atlantic 등이 추진하는 것과 같은 시행 및 라이선스 거래의 복잡성으로 인해 공급에 미치는 영향은 제한적일 것입니다(소스의 품질은 떨어질 수 있지만).
하지만 결정적으로, 모델은 이제 훈련에서 텍스트만 사용하는 것 이상을 사용합니다. 예를 들어 , Google의 Gemini는 이미지, 오디오 및 비디오 데이터로 훈련되었습니다.
비텍스트 데이터는 캡션과 대본을 통해 텍스트 데이터 공급에 추가할 수 있습니다. 또한 냉장고 이미지에서 음식을 인식하고 저녁 식사를 제안하는 것과 같이 모델의 능력을 확장할 수도 있습니다. 더 추측적으로는 여러 데이터 유형으로 훈련된 모델이 단 하나로 훈련된 모델보다 성능이 뛰어난 전이 학습으로 이어질 수도 있습니다.
Epoch에 따르면 합성 데이터가 데이터 수집량을 더욱 늘릴 수 있다는 증거도 있지만, 얼마나 될지는 불분명합니다. DeepMind는 강화 학습 알고리즘에서 오랫동안 합성 데이터를 사용해 왔고, Meta는 최신 AI 모델을 훈련하기 위해 일부 합성 데이터를 사용했습니다. 하지만 모델 품질을 저하시키지 않고 얼마나 많이 사용할 수 있는지에 대한 엄격한 한계가 있을 수 있습니다 . 또한 생성하려면 훨씬 더 많은 비용이 드는 컴퓨팅 파워가 필요할 것입니다.
그러나 텍스트, 비텍스트 및 합성 데이터를 모두 합치면 GPT-4보다 80,000배 더 강력한 컴퓨팅 성능으로 AI 모델을 훈련시키기에 충분할 것으로 Epoch에서는 추정합니다.
출처: Epoch AI , CC BY 4.0
지연: 클수록 더 느림
마지막 제약은 다가올 알고리즘의 엄청난 크기와 관련이 있습니다. 알고리즘이 클수록 데이터가 인공 뉴런 네트워크를 통과하는 데 더 오래 걸립니다. 이는 새로운 알고리즘을 훈련하는 데 걸리는 시간이 비실용적이 될 수 있음을 의미합니다.
이 부분은 기술적인 내용입니다. 간단히 말해서, Epoch는 미래 모델의 잠재적 크기, 병렬로 처리되는 학습 데이터 배치의 크기, 그리고 AI 데이터 센터의 서버 내부와 서버 간에 데이터가 처리되는 데 걸리는 시간을 살펴봅니다. 이를 통해 특정 크기의 모델을 학습하는 데 걸리는 시간을 추정할 수 있습니다.
주요 요점: 오늘날의 설정으로 AI 모델을 훈련하는 것은 결국 한계에 도달 할 것입니다 . 하지만 잠시는 아닙니다. Epoch는 현재 관행에 따라 GPT-4보다 1,000,000배 이상 더 많은 컴퓨팅 파워로 AI 모델을 훈련할 수 있다고 추정합니다.
출처: Epoch AI , CC BY 4.0
10,000배로 확장
각 제약 하에서 가능한 AI 모델의 규모가 더 커진다는 것을 알아차렸을 것입니다. 즉, 칩의 경우 전력보다, 데이터의 경우 칩보다 상한이 더 높습니다. 하지만 이 모든 것을 함께 고려하면 모델은 첫 번째 병목 현상까지만 가능할 것입니다. 이 경우 전력입니다. 그렇더라도 상당한 확장이 기술적으로 가능합니다.
Epoch는 "이러한 AI 병목 현상을 종합적으로 고려하면 10년 안에 최대 2e29 FLOP의 훈련 실행이 가능할 것"이라고 기록했습니다.
"이것은 현재 모델에 비해 약 10,000배의 확장을 의미하며, 역사적 확장 추세가 2030년까지 중단 없이 계속될 수 있음을 의미합니다."
출처: Epoch AI , CC BY 4.0
최근에 나를 위해 무엇을 해주셨나요?
이 모든 것이 지속적인 확장이 기술적으로 가능하다는 것을 시사하지만, 또한 기본적인 가정을 하고 있습니다. 즉, 확장을 위한 자금 조달을 위해 AI 투자가 필요에 따라 증가할 것이고, 확장은 계속해서 인상적이고, 더 중요하게도 유용한 진전을 가져올 것이라는 것입니다.
지금으로서는 기술 회사들이 역사적 규모의 현금을 계속 투자할 것이라는 모든 징후가 있습니다. AI에 힘입어 신규 장비와 부동산에 대한 지출은 이미 수년 만에 처음 보는 수준으로 치솟았 습니다 .
알파벳 CEO 순다르 피차이는 지난 분기 실적 발표 전화에서 "이와 같은 곡선을 겪을 때, 과소 투자의 위험은 과다 투자의 위험보다 훨씬 더 크다"고 이유를 밝혔습니다.
하지만 지출은 훨씬 더 증가해야 할 것입니다. Anthropic CEO Dario Amodei는 오늘날 훈련된 모델의 비용이 최대 10억 달러에 달할 수 있고, 내년 모델은 100억 달러에 가까워질 수 있으며, 그 이후 모델당 비용은 1,000억 달러에 달할 수 있다고 추정합니다. 어지러운 숫자이지만, 회사들이 기꺼이 지불할 가격표입니다. Microsoft는 이미 2028년에 출시될 OpenAI와의 공동 프로젝트인 Stargate AI 슈퍼컴퓨터 에 그 정도를 투자한 것으로 알려졌습니다.
수십억 또는 수천억 달러(많은 국가의 GDP보다 많고 기술 분야의 가장 큰 기업의 현재 연간 수익의 상당 부분)를 투자하려는 의욕이 보장되지 않는다는 것은 말할 나위도 없습니다. 빛이 바래면서 AI 성장이 지속될지 여부는 "최근에 나를 위해 무엇을 했는가?"라는 질문으로 귀결될 수 있습니다.
이미 투자자들은 최종 결과를 확인하고 있습니다. 오늘날 투자 금액은 수익금을 압도합니다 . 더 많은 지출을 정당화하기 위해 기업은 확장이 점점 더 유능한 AI 모델을 계속 생산한다는 증거를 보여야 합니다. 즉, 다가올 모델에 점진적인 개선을 넘어서라는 압력이 커지고 있다는 뜻입니다. 이익이 줄어들거나 충분한 사람들이 AI 제품에 대한 비용을 지불할 의향이 없다면 이야기가 바뀔 수 있습니다.
또한, 일부 비평가들은 대규모 언어 및 멀티모달 모델이 값비싼 막다른 길로 판명될 것이라고 믿습니다 . 그리고 이 라운드를 시작한 것과 같은 획기적인 진전이 우리가 덜한 것으로 더 많은 것을 성취할 수 있음을 보여줄 가능성이 항상 있습니다. 우리의 뇌는 전구의 에너지 가치로 끊임없이 학습 하지만 인터넷의 데이터 가치에는 미치지 못합니다.
그럼에도 불구하고, 현재의 접근 방식이 "경제적 업무의 상당 부분을 자동화할 수 있다면" 재정적 수익은 수조 달러에 달할 수 있으며, 이는 Epoch에 따르면 지출을 정당화하는 것 이상이라고 합니다. 업계의 많은 사람들이 그 내기를 기꺼이 합니다. 아직은 어떻게 될지 아무도 모릅니다.
이미지 출처: Werclive 👹 / Unsplash
