높은 AI 교육 비용은 AI 채택에 상당한 장벽이 되어 많은 기업이 AI 기술을 구현하지 못하게 한다. 2017년 Forrester 컨설팅 보고서에 따르면 기업의 48%가 AI 기반 솔루션을 구현하지 않는 주된 이유 중 하나로 첨단 기술 비용을 꼽았다.

 

그러나 최근 발전을 통해 AI 교육 비용이 급격히 감소하고 있으며 이러한 추세는 앞으로도 계속될 것으로 예상된다. ARK Invest Big Ideas 2023 보고서에 따르면 GPT-3 수준 성능과 유사한 대규모 언어 모델의 교육 비용은 2020년 460만 달러에서 2022년 45만 달러로 연간 70% 감소했다.

 

AI 교육 비용이 감소하는 이러한 추세를 더 자세히 살펴보고 이러한 감소에 기여하는 요인에 대해 논의해 보겠다.

 

AI 교육 비용은 시간이 지남에 따라 어떻게 변했을까?

 

최근 ARK Invest 2020 연구에 따르면 딥 러닝 모델 교육 비용은 무어의 법칙보다 50배 빠르게 개선되고 있다. 실제로 AI 추론 시스템 실행과 관련된 비용은 수많은 사용 사례에서 거의 무시할 수 있는 수준으로 대폭 감소했다.

 

게다가 교육 비용은 지난 몇 년 동안 매년 10배 감소했다. 예를 들어 2017년에 퍼블릭 클라우드에서 ResNet-50과 같은 이미지 분류기를 교육하는 비용은 약 $1,000였지만 2019년에는 비용이 약 $10로 크게 감소했다.

 

이러한 결과는 OpenAI의 2020년 보고서와 일치하며, 동일한 작업을 수행하기 위해 AI 모델을 교육하는 데 필요한 컴퓨팅 성능의 양이 2012년 이후 16개월마다 2배씩 감소하고 있음을 발견했다.

 

또한 ARK 보고서는 AI 교육 비용 감소를 강조한다. 이 보고서는 2030년까지 GPT-3 수준 모델의 교육 비용이 2022년 450,000달러에 비해 30달러로 떨어질 것으로 예측한다.

GPT-3 수준 성능 교육 비용 – ARK Invest Big Ideas 2023

 

AI 교육 비용 감소에 기여하는 요인

 

AI 기술이 지속적으로 개선됨에 따라 AI 모델을 교육하는 것이 더 저렴하고 쉬워져 다양한 비즈니스에 더 쉽게 접근할 수 있다. 하드웨어 및 소프트웨어 비용과 클라우드 기반 AI를 포함한 여러 요인이 AI 교육 비용 감소에 기여했다.

 

아래에서 이러한 요소를 살펴보겠다.

 

1. 하드웨어

AI는 많은 양의 데이터와 계산을 처리하기 위해 고가의 특수 고급 하드웨어가 필요하다. NVIDIA, IBM 및 Google과 같은 조직은 고성능 컴퓨팅(HPC) 워크로드를 실행하기 위해 GPU 및 TPU를 제공한다. 높은 하드웨어 비용으로 인해 AI를 대규모로 민주화하기가 어렵다.

 

그러나 기술이 발전함에 따라 하드웨어 비용이 감소하고 있다. ARK Invest 2023 보고서에 따르면 Wright의 법칙은 AI 관련 컴퓨팅 단위(RCU) 생산 비용, 즉 AI 교육 하드웨어 비용이 매년 57% 감소할 것으로 예측한다. 아래 그래프와 같이 2030년까지 AI 교육 비용이 70% 감소한다.

 

AI 교육 하드웨어 비용 – ARK Invest Big Ideas 2023

 

2. 소프트웨어

효율성과 확장성 향상을 통해 AI 소프트웨어 교육 비용을 연간 47%까지 낮출 수 있다. TensorFlow 및 PyTorch와 같은 소프트웨어 프레임워크를 사용하면 개발자가 분산 시스템에서 복잡한 딥 러닝 모델을 고성능으로 교육하여 시간과 리소스를 절약할 수 있다.

 

또한 Inceptionv3 또는 ResNet과 같은 사전 훈련된 대규모 모델과 전이 학습 기술은 개발자가 기존 모델을 처음부터 훈련하는 대신 미세 조정할 수 있도록 하여 비용을 절감하는 데에도 도움이 된다.

 

 

 

AI 소프트웨어 교육 비용 – ARK Invest Big Ideas 2023

 

3. 클라우드 기반 인공지능

클라우드 기반 AI 교육은 필요에 따라 확장 가능한 컴퓨팅 리소스를 제공하여 비용을 절감한다. 종량제 모델을 사용하는 기업은 컴퓨팅 리소스에 대해서만 비용을 지불한다. 또한 클라우드 공급자는 AI 교육을 가속화하는 사전 구축된 AI 서비스를 제공한다.

 

예를 들어 Azure Machine Learning은 신속한 모델 개발 및 구현을 가능하게 하는 예측 분석을 위한 클라우드 기반 서비스이다. 유연한 컴퓨팅 리소스와 메모리를 제공한다. 사용자는 최대 수천 개의 GPU로 신속하게 확장하여 컴퓨팅 성능을 높일 수 있다. 이를 통해 사용자는 사전 구성된 AI 환경에서 웹 브라우저를 통해 작업할 수 있으므로 설정 및 설치 오버헤드가 제거된다.

 

AI 교육 비용 감소의 영향

AI 교육 비용 감소는 다양한 산업과 분야에 상당한 영향을 미쳐 혁신과 경쟁력이 향상된다.

아래에서 그 중 몇 가지를 살펴보겠다.

 

1. 정교한 AI 챗봇의 대량 채택

 

AI 비용 감소로 인해 AI 챗봇이 증가하고 있다. 특히 OpenAI의 ChatGPT와 GPT-4(Generative Pre-trained Transformer) 개발 이후 유사하거나 더 나은 기능을 가진 AI 챗봇을 개발하려는 기업이 눈에 띄게 급증했다.

 

예를 들어 2022년 11월 출시된 지 5일 만에 ChatGPT는 100만 명의 사용자를 모았다. 오늘날 모델을 대규모로 실행하는 데 드는 비용은 쿼리당 약 $0.01이지만 Wright의 법칙에 따르면 2030년까지 ChatGPT와 유사한 챗봇 애플리케이션을 훨씬 저렴한 규모로 배포할 수 있을 것이라고 예측한다(10억 개의 쿼리를 실행하는 데 $650로 추정). Google 검색과 맞먹는 하루 85억 건의 검색을 처리할 수 있다.

 

10억 쿼리당 AI 추론 실행 비용 - ARK Invest Big Ideas 2023

 

2. 제너레이티브 AI 사용 증가

AI 교육 비용이 감소하면서 생성 AI 기술의 개발 및 구현이 급증했다. 2022년에는 DALL-E 2, Meta Make-A-Video 및 Stable Diffusion과 같은 혁신적인 생성 AI 도구의 도입으로 인해 생성 AI 사용이 크게 증가했다. 2023년 우리는 이미 GPT-4 형태의 획기적인 모델을 목격했다.

 

이미지 및 텍스트 생성 외에도 생성 AI는 개발자가 코드를 작성하는 데 도움이 된다. GitHub Copilot과 같은 프로그램을 사용하면 절반의 시간 안에 코딩 작업을 완료할 수 있다.

 

코딩 작업을 완료할 시간 – ARK Invest Big Ideas 2023

 

 

3. 교육 데이터의 더 나은 사용

AI 교육 비용 절감으로 머신러닝 교육 데이터를 더 잘 활용할 수 있을 것으로 예상된다. 예를 들어, ARK Invest 2023 보고서는 2030년까지 GPT-3(175B 매개변수)보다 57배 더 많은 매개변수와 720배 더 많은 토큰을 가진 모델을 교육하는 비용이 170억 달러에서 600,000달러로 감소할 것으로 예상한다.

 

데이터 가용성과 품질은 이 저비용 컴퓨팅 세계에서 고급 머신러닝 모델을 개발하는 데 있어 주요 제한 요소가 될 것이다. 그러나 훈련 모델은 약 162조 단어 또는 216조 토큰을 처리할 수 있는 능력을 개발할 것이다.