GPT-4는 전체 AI업계에서 가장 기대되는 출시이다. ChatGPT가 AI로 할 수 있는 일에 대한 새로운 벤치마크를 설정한 이후로 OpenAI가 출시할 GPT의 다음 버전에 대한 기대는 하늘을 찌를듯 하다. 따라서 출시 전에 GPT-4에 대해 알 수 있는 모든 것을 해독하기 위해 루머 밀이 초과 근무하고 있다는 것은 놀라운 일이 아니다.
우리는 AI세계에서 이 다음 대작에 대해 알려진 모든 것의 목록을 작성하려고 노력했다. 그러나 이 모든 것은 소문에 근거한 것이므로 소금 한 꼬집으로 받아들이는 것이 좋다. 그렇게 말하면 GPT-3와 얼마나 다른지 보자!
주요 요점
GPT-4에서 기대할 것이 많지만 모두 5가지 범주로 나눌 수 있다. 그리고 그 카테고리에서 무엇을 기대할 수 있나? 자, 한눈에 보면 이렇다.
| 특징 | 기대 |
| 다중 양식 | 텍스트 외에도 이미지 및 사운드 기반 입력을 지원하여 매우 기대됩니다. |
| 매개변수 수 | 1조 |
| 조정 | 인간의 가치와 기대에 더 잘 부합 |
| 밀도 대 희소성 | 희소성 — 모든 뉴런이 항상 작동하는 것은 아닙니다. |
| 컴퓨팅 성능 및 최적화 | 더 많은 컴퓨팅 성능 요구 사항, "~$.e6"($1-10M)의 교육 비용 절감 |
| 풀어 주다 | 2023년 1분기 |
이제 AI의 미래에 어떤 의미가 있는지 이해하기 위해 이 모든 것을 자세히 살펴볼 때이다.
#1. 다중 양식
가장 기다려지고 소문난 AI 기능 중 하나는 다중 양식입니다. 텍스트, 이미지, 사운드 등을 생성하고 처리하는 것과 같은 여러 모드에서 작동하는 것은 AI 모델의 기능이다. 현재 모든 AI 모델은 단일 모드에서만 작동할 수 있다. 예를 들어 ChatGPT는 텍스트를 엄격하게 처리한다. 그러나 이 기능을 갖춘 모델이 텍스트, 이미지, 음성 및 그들에게 던져지는 모든 것을 처리할 수 있으므로 다중 양식은 이를 변경할 수 있다.
GPT 4는 ChatGPT를 생성하는데 사용된 GPT3 및 GPT3.5와 비교하여 실제로 다음 수준의 기능을 제공할 수 있는 다중 양식을 가질 것으로 널리 예상된다. 멀티모달 기능이 얼마나 커질지는 아직 알 수 없지만 텍스트 외에도 이미지와 사운드의 입력을 받아들일 수 있다고 가정하는 것이 안전하다.
비디오 입력도 받아들일 수 있다는 소문도 있는데, 주로 생성적 시청각 AI가 OpenAI가 꽤 오랫동안 탐구해 온 분야이기 때문이다.
#2. 매개변수의 수
GPT 4가 더 많은 수의 매개변수를 사용한다는 것이 거의 보장된다. 더 많은 매개변수는 출력을 생성할 때 더 높은 정확도와 속도를 의미하지만 동시에 더 많은 컴퓨팅 전력 요구 사항을 의미한다.
GPT 3.5의 1750억 개에 비해 무려 100조 개의 매개변수를 사용할 수 있다고 주장하는 일부 보도가 있었지만 알트만은 최근 StrictlyVC와의 인터뷰에서 이를 반박했다.
그러나 그는 매개 변수의 수에 분명히 점프가 있을 것이라고 확인했으며 GPT 4에 액세스할 수 있는 OpenAI의 내부 팀 구성원은 상당한 차이가 있음을 기술 커뮤니티의 일부 사람들에게 밝혔다.
이는 1조 개의 매개변수에 대한 훨씬 더 현실적인 추측으로 이어진다. 이는 기존 GPT 3.5를 크게 개선하는 동시에 컴퓨팅 성능 요구 사항을 관리 가능한 한도 내에서 유지할 수 있는 수치이다.
#삼. 인간의 가치와 기대에 부합
AI의 윤리, 가치 및 사용 사례에 대한 논쟁은 항상 있었지만 ChatGPT의 등장 이후 전례 없는 긴박감을 느꼈다. 전 세계적으로 AI를 규제하고 인간의 가치와 윤리에 더 부합하도록 만들기 위한 논의가 있으며 OpenAI 팀도 이를 잘 알고 있다.
그들은 인간이 훈련한 GPT 3의 갱신된 버전인 InstructGPT를 출시했을 때 이미 그 방향으로 첫 발을 내디뎠다. ChatGPT가 똑똑한 이유는 ChatGPT를 사용하기 때문에 출력이 인간의 기대에 더 부합하기 때문이다.
OpenAI가 GPT 4를 개발하는 동안 개선을 원하지 않을 이유가 없다. 따라서 우리는 GPT 4가 더 다양한 국적, 민족, 지역 및 직업적 배경을 가진 사람들에 의해 훈련될 것으로 예상할 수 있다. 그 어느 때보다 수용 가능하다.
#4. 밀도 대 희소성
AI 기반 모델에는 Dense 모델 과 Sparse 모델 의 두 가지 유형이 있다.
밀집 모델은 모델의 모든 매개변수를 사용하여 출력을 생성하는 반면 희소 모델은 조건부 컴퓨팅을 사용하여 제공된 입력에 가장 적합한 모델 부분을 결정한다. 이를 통해 컴퓨팅 성능 요구 사항을 크게 늘리지 않고도 훨씬 더 큰 매개 변수 세트를 사용할 수 있다.
GPT 4는 훨씬 더 큰 매개변수 집합을 사용하기 때문에 OpenAI가 지금까지 만든 조밀한 AI 모델 대신 희소 AI 모델이 될 가능성이 높다. 그것은 또한 그것을 다른 리그에 놓을 것이고 완전히 새로운 가능성으로 이어질 수 있다. 루머 밀은 또한 GPT 4에 대해 조밀한 모델 대신 Sparse 모델을 예측하고 있다.
#5. 컴퓨팅 성능 및 최적성
더 큰 데이터 세트를 사용하면 GPT 4가 작동하려면 더 많은 컴퓨팅 성능이 필요하다는 것이 거의 확인되었다. 그러나 희소성은 성능 및 컴퓨팅 전력 요구 사항을 크게 최적화하는 데 도움이 될 수 있다. 확실히 GPT 3보다 훨씬 더 많은 컴퓨팅 성능을 사용하게 될 것이지만(작년 인터뷰에서 Altman도 확인한 것) OpenAI 팀은 확실히 다른 것들의 최적화 작업을 통해 가능한 한 최적으로 만들려고 노력할 것이다.
지난 몇 주 동안 GPT 4의 교육 비용이 ~$.e6($1-10M)로 놀랍게도 GPT 3의 교육 비용보다 적다는 소문도 있었다. 그것이 사실이라면 OpenAI는 모델을 개선하면서 비용을 줄이는 방법도 찾았다.
궁극적으로 GPT 4의 모든 성능 벤치마크에서 전례 없는 개선으로 이어질 수 있는 것은 더 많은 수의 매개변수와 더 큰 모델 크기와 더 잘 최적화된 변수의 조합이다.
#6. 출시일
루머 밀에 따르면 GPT 4는 다음 달 말(즉, 2023년 2월)까지 언제든지 출시될 수 있다. 그러나 Strictly VC와의 인터뷰에서 Sam Altman은 특정 출시 일정에 대한 약속을 거부했다. 그는 AI의 능력에 관한 윤리적 및 기타 우려를 완화하기 위한 명백한 발언으로 책임감 있고 안전하게 할 수 있다고 느낄 때 출시할 것이라고 말했다.
그럼에도 불구하고 GPT 4가 준비되었으며 OpenAI 직원이 내부적으로 테스트하고 있다는 보고가 있다. 즉, 2월이 아니더라도 올해 1분기에는 나올 듯하다.
관련 읽기:
- ChatGPT는 현재 용량에 도달했다.
- 알렉사와 시리보다 나은 ChatGPT
- ChatGPT를 사용하여 키워드 조사를 수행하는 방법?
- 챗봇 통계
- 검색엔진 최적화를 위한 ChatGPT
- ChatGPT 대안
결론: GPT-4
OpenAI는 대부분 GPT 4에 대해 입을 다물고 있으며 위에서 제공한 모든 정보는 루머 밀에서 알려진 내용을 기반으로 한다. 따라서 소금 한 꼬집과 함께 섭취하는 것이 좋다. 출시가 얼마 남지 않은 지금, 우리의 모든 질문에 대한 공식적인 답변을 곧 받을 예정이다. AI 세계에서 널리 기대되는 이 도약에 대한 새로운 정보가 있으면 게시물을 통해 확실히 알려드릴 것이므로 항상 손가락을 교차하고 기다려보자.
