2020년 인공지능 회사인 OpenAI는 GPT-3 머신러닝 알고리즘으로 기술 세계를 놀라게 했다. 인터넷의 광범위한 조각을 섭취한 후 GPT-3는 사람이 작성한 텍스트와 구별하기 어려운 글을 생성하고, 기본 수학을 수행하고, 코드를 작성하고, 간단한 웹 페이지를 작성할 수도 있다.

 

OpenAI는 GPT-3에 이어 개발자가 코드를 작성하는 데 도움이 되는 Codex라는 AI와 매우 인기 있는(그리고 논쟁의 여지가 있는) 이미지 생성기 DALL-E 2와 같이 신제품을 시드할 수 있는 보다 전문화된 알고리즘을 사용했다. 그리고 작년 말에 회사는 업그레이드했다. GPT-3와 ChatGPT라는 바이러스성 챗봇을 떨어뜨렸다. 지금까지 가장 큰 히트를 쳤다.

 

이제 현금으로 넘쳐나는 신생 기업부터 Google과 같은 유서 깊은 기술 대기업에 이르기까지 초기 생성 AI 공간에서 경쟁자들이 몰려들고 있다. OpenAI에 대한 Microsoft의 후속 투자 100억 달러를 포함하여 수십억 달러가 업계로 유입되고 있다.

 

이번 주, OpenAI의 GPT-3 속편인 GPT-4가 공식적으로 출시되었다. 블로그 게시물, 인터뷰 및 두 개의 보고서(여기 및 여기)에서 OpenAI는 GPT-4가 거의 모든 면에서 GPT-3보다 낫다고 말했다.

 

합격 그 이상

GPT-4는 이미지와 텍스트 모두에 대해 교육을 받았으며 자연어를 사용하여 이미지에 있는 내용을 식별, 설명 및 반복할 수 있다는 멋진 표현이다.

 

OpenAI는 알고리즘의 출력이 이전 버전보다 더 높은 품질, 더 정확하고 기괴하거나 유독한 폭발이 덜 발생한다고 말했다. 또한 수많은 표준화된 테스트에서 업그레이드된 GPT-3(GPT 3.5라고 함)보다 성능이 뛰어났다.

 

변호사를 위한 변호사 면허 시험에서 인간 시험 응시자의 상위 10%에 속하고 고등학생을 위한 15개의 대학 수준 고급 배치(AP) 시험 중 13개에서 4 또는 5를 득점했다.

 

OpenAI의 Greg Brockman 회장은 회사에서 오용 여부를 평가함에 따라 아직 더 광범위하게 제공되지 않은 다중 모드 기능을 과시하기 위해 개발자 데모 중에 종이 패드에 웹 사이트의 도식을 스케치했다. 그는 사진을 찍고 GPT-4에게 이미지로 웹 페이지를 만들도록 요청했다. 몇 초 만에 알고리즘이 작동하는 웹 사이트를 위한 코드를 생성하고 구현했다. 뉴욕 타임즈에서 설명한 또 다른 예에서 알고리즘은 냉장고에 있는 음식 이미지를 기반으로 식사를 제안했다.

 

회사는 또한 GPT-4와 같은 모델에 내재된 위험을 줄이기 위한 작업을 설명했다. 특히 원시 알고리즘은 지난 8월에 완성되었다. OpenAI는 모델을 개선하고 초과분을 억제하기 위해 8개월을 보냈다.

 

이 작업의 대부분은 전문가 팀이 알고리즘을 찌르고 자극하고 피드백을 제공한 다음 강화 학습으로 모델을 개선하는 데 사용되었다. 이번 주에 출시된 버전은 지난 8월의 원시 버전에서 개선되었지만 OpenAI는 여전히 알고리즘 편향 및 신뢰할 수 없는 사실 파악을 포함하여 대규모 언어 모델의 알려진 약점을 보여주고 있음을 인정한다.

 

이 설명에 따르면 GPT-4는 기술적으로 크게 개선되었으며 친숙한 위험을 완화하지만 해결하지는 않는다. 이전 릴리스와 달리, 그러나 우리는 대체로 OpenAI의 말을 받아들여야 한다. 회사는 GPT-4와 같은 대규모 모델의 경쟁 환경과 안전 함의가 점점 더 커지고 있다고 언급하면서 GPT-4가 어떻게 만들어졌는지에 대한 세부 사항을 보류하기로 결정했다. 모델 크기 및 아키텍처, 훈련에 사용된 컴퓨팅 리소스, 훈련 데이터 세트에 포함된 항목 및 훈련 방법을 포함한다.

 

OpenAI의 최고 기술 책임자이자 공동 창립자인 Ilya Sutskever는 The Verge에 "이 제품을 생산하는 데 매우 오랜 시간 동안 거의 모든 OpenAI가 함께 작업해야 했다"라고 말했으며 다른 많은 회사들도 "똑같은 일을 하고 싶어한다."라고 말했다. 그는 계속해서 모델이 더 강력해짐에 따라 남용과 피해의 가능성으로 인해 모델을 오픈 소싱하는 것이 위험한 제안이 된다고 제안했다. 그러나 이것은 해당 분야의 전문가들 사이에서 열띤 토론을 벌이고 있으며 일부는 OpenAI가 비영리로 설립되었을 때 명시된 가치에 반하는 많은 실행을 보류하기로 한 결정을 지적했다. (OpenAI는 2019년에 수익 제한 회사로 개편되었다.)

 

알고리즘의 전체 기능과 단점은 액세스가 더 넓어지고 더 많은 사람들이 테스트(및 스트레스)할 때까지 명백하지 않을 수 있다. 이를 통제하기 전에 Microsoft의 Bing 챗봇은 사용자가 기이하고 불안한 교환으로 밀어넣어 소란을 일으켰다.

 

전반적으로 이 기술은 이전 제품과 마찬가지로 매우 인상적이지만 과대 선전에도 불구하고 GPT-3보다 더 반복적이다. 새로운 이미지 분석 기술을 제외하고 OpenAI에서 강조하는 대부분의 기능은 이전 알고리즘의 개선 및 개선이다. GPT-4에 대한 접근조차 새롭지 않다. Microsoft는 지난 3월 8일 현재 약 4500만 건의 채팅을 기록한 Bing 챗봇을 구동하기 위해 비밀리에 GPT-4를 사용했다고 밝혔다.

 

대중을 위한 AI

GPT-4는 일부 사람들이 예측한 단계 변화가 아닐 수도 있지만 배포 규모는 거의 확실할 것이다. GPT-3는 기술 괴짜들을 놀라게 하고 헤드라인을 장식한 놀라운 연구 알고리즘이었다. GPT-4는 검색 창, Word 문서, LinkedIn 프로필과 같은 친숙한 설정에서 수백만 명의 사람들에게 출시될 예정인 훨씬 더 세련된 알고리즘이다.

 

Microsoft는 Bing 챗봇 외에도 LinkedIn Premium 및 Office 365에서 GPT-4로 구동되는 서비스를 제공할 계획을 발표했다. 이는 처음에는 제한적인 롤아웃이지만 피드백에 대한 응답으로 각 반복이 개선됨에 따라 Microsoft는 이를 제공할 수 있다. 수억 명의 사람들이 그들의 제품을 사용한다. (올해 초 ChatGPT의 무료 버전은 역사상 어떤 앱보다 빠르게 1억 명의 사용자를 확보했다.)

 

널리 사용되는 소프트웨어에 생성 AI를 계층화하는 것은 Microsoft만이 아니다.

Google은 이번 주에 지메일, 구글 독스, 슬라이드, 시트와 같은 자체 생산성 소프트웨어에 생성 알고리즘을 엮을 계획이며 개발자들에게 GPT-4 경쟁자인 PaLM에 대한 API 액세스를 제공할 것이라고 밝혔다. 그것의 상단. 다른 모델도 나온다. Facebook은 최근 연구원들에게 오픈 소스 LLaMa 모델에 대한 액세스 권한을 부여했으며(나중에 온라인에서 유출됨) Google이 지원하는 신생 기업인 Anthropic과 중국의 거대 기술 회사인 Baidu는 이번 주에 자체 챗봇인 Claude와 Ernie를 출시했다.

 

GPT-4와 같은 모델이 제품에 도입되면 마음대로 배후에서 업데이트할 수 있다. OpenAI와 Microsoft는 피드백이 접수됨에 따라 ChatGPT와 Bing을 지속적으로 조정했다. ChatGPT Plus 사용자(월 $20 구독)는 출시 당시 GPT-4에 대한 액세스 권한을 부여받았다.

하룻밤 사이에 업그레이드되는 스마트폰 운영 체제처럼 간단하고 눈에 띄지 않게 현재 구축되고 있는 생태계에 GPT-5 및 기타 미래 모델을 상상하는 것은 쉽다.

 

그리고 무엇?

최근 몇 년 동안 우리가 배운 것이 있다면 규모가 모든 것을 드러낸다는 것이다.

새로운 기술이 사회의 광범위한 부분과 접촉하기 전에는 어떻게 성공하거나 실패할지 예측하기 어렵다. 다음 달에는 제작자가 속도를 맞추기 위해 앞다퉈 새로운 능력을 드러내고 깨지거나 망가지는 알고리즘의 더 많은 예가 나올 수 있다.

 

“안전은 이분법적인 것이 아니다. 그것은 프로세스이다.”라고 Sutskever는 MIT Technology Review에 말했다. “새로운 기능 수준에 도달할 때마다 상황이 복잡해진다. 이러한 기능 중 많은 부분이 이제 잘 이해되고 있지만 일부는 여전히 놀라운 기능이 될 것이라고 확신한다.”

장기적으로 참신함이 사라지면 더 큰 질문이 나타날 수 있다.

 

업계에서는 벽에 스파게티를 던지고 무엇이 달라붙는지 확인한다. 그러나 생성 AI가 모든 경우에 유용하거나 적절하다는 것은 분명하지 않다. 예를 들어 검색 분야의 챗봇은 현재보다 훨씬 더 신뢰할 수 있음이 입증될 때까지 이전 접근 방식을 능가하지 못할 수 있다. 그리고 특히 대규모로 생성 AI를 실행하는 비용은 만만치 않다. 회사는 비용을 통제할 수 있으며 사용자는 비용을 정당화할 만큼 매력적인 제품을 찾을 수 있을까?

또한 GPT-4가 진전을 이루었지만 이러한 모델의 가장 잘 알려진 약점을 해결하지 못했다는 사실은 우리를 잠시 멈추게 할 것이다. 일부 저명한 AI 전문가들은 이러한 단점이 현재의 딥 러닝 접근 방식에 내재되어 있으며 근본적인 혁신 없이는 해결되지 않을 것이라고 생각한다.

상호 작용의 일부에서 발생하는 사실적 실수와 편향되거나 유해한 반응은 숫자가 적을 때 덜 영향을 미친다. 그러나 수억 또는 그 이상의 규모에서 퍼센트 미만이라도 큰 숫자에 해당한다.

 

Diffblue의 CEO인 Matthew Lodge는 최근 IEEE Spectrum에 "LLM은 오류와 환각이 큰 영향을 미치지 않을 때 가장 잘 사용된다."라고 말했다. 실제로 회사는 Tesla의 핸들에 손을 대는 것과 같이 사용자에게 너무 의존하지 말라고 경고하는 면책 조항을 추가하고 있다.

업계가 실험을 계속하기를 열망하는 것은 분명하다. 따라서 운전석에 손을 얹고(하나의 희망) 새로운 AI 조수들이 등장함에 따라 수백만 명의 사람들이 프레젠테이션 슬라이드, 이메일 및 웹 사이트를 순식간에 대량 생산하기 시작할 수 있다.

 

이미지 출처: Luke Jones / Unsplash