조 바이든 대통령과 시진핑 중국 국가주석의 정상회담의 빅뉴스는 단연 판다다. 지금으로부터 20년 후 누군가 이 회의에 대해 알게 된다면 아마도 샌디에이고 동물원의 명판에서 나온 것일 것이다. 즉, 동물원을 방문할 생존자가 있는 경우이다. 그리고 20년 후 우리 중 누군가가 여기에 있다면 그것은 두 지도자가 동의한 다른 이유, 즉 인공지능의 증가하는 위험에 대해 이야기하기 때문일 수 있다.
사우스차이나모닝포스트(SCMP)는 정상회담에 앞서 바이든과 시진핑 주석이 핵무기 통제를 포함한 여러 분야에서 인공지능(AI) 사용을 금지하는 합의를 발표할 것이라고 보도했다. 그러한 합의는 이루어지지 않았고 예상되지도 않았지만 백악관과 중국 외교부가 발표한 자료에서는 AI에 대한 미중 회담 가능성이 언급되었다. 바이든은 정상회담 뒤 언론 연설에서 “우리는 전문가들을 모아 인공지능과 관련된 위험과 안전 문제를 논의할 것”이라고 설명했다.
미국과 중국 관리들은 어떤 전문가가 참여할 것인지, 어떤 위험 및 안전 문제를 논의할 것인지에 대한 세부 사항이 부족했다. 물론 양측이 논의할 내용은 많다. 이러한 논의는 인간의 가치와 일치하지 않는 AI 시스템의 소위 "재앙적" 위험(터미네이터 영화의 스카이넷을 생각함)부터 활동가들이 때때로 "킬러 로봇"이라고 부르는 치명적인 자율 무기 시스템의 점점 보편화되는 사용에 이르기까지 다양할 수 있다.” 그리고 두 가지 사이 어딘 가에 시나리오가 있다. 핵무기 사용 결정, 핵 공격 명령 및 실행에 AI를 사용할 가능성이 있다.
그러나 적어도 두 가지 주요 이유로 금지령이 내려질 가능성은 낮다. 첫 번째 문제는 정의이다. 이미 우리 주변의 일상생활에 자리잡고 있는 인공지능의 종류와 미래에 우리가 걱정하는 종류를 구분하는 깔끔하고 명료한 정의는 없다. 인공지능은 이미 체스, 바둑, 기타 게임에서 항상 승리하고 있다. 그것은 자동차를 운전한다. 엄청난 양의 데이터를 분류하므로 아무도 군사 시스템에서 AI를 금지하고 싶어하지 않는 두 번째 이유가 나온다. AI는 너무 유용하기 때문이다. AI가 민간 환경에서 이미 잘 수행하고 있는 작업은 전쟁에서도 유용하며 이미 그러한 목적으로 채택되었다. 인공지능이 점점 더 지능화됨에 따라 미국, 중국 등은 이러한 발전을 금지할 방법을 찾지 않고 각자의 군사 시스템에 통합하기 위해 경쟁하고 있다. 인공지능 분야에서는 여러 면에서 군비 경쟁이 급성장하고 있다.
모든 잠재적 위험 중에서 세계 지도자들의 관심을 가장 많이 끄는 것은 AI와 핵무기(우리의 진정한 패러다임을 바꾸는 최초의 기술)의 결합이다. AI 시스템은 매우 똑똑하고 빠르며 우리가 하는 모든 일의 중심이 될 가능성이 높기 때문에 잠시 시간을 내어 문제에 대해 생각해 볼 가치가 있는 것 같다. 아니면 적어도 전문가와 함께 방에 모여서 그것에 대해 이야기하도록 해야 한다.
지금까지 미국은 AI의 '책임 있는' 개발을 거론하며 이 문제에 접근해왔다. 국무부는 '인공지능과 자율성의 책임 있는 군사적 사용에 관한 정치적 선언'을 추진해왔다. 이는 금지나 법적 구속력이 있는 조약이 아니라 일련의 원칙이다. 선언문에는 AI의 책임감 있는 사용에 대한 몇 가지 원칙이 설명되어 있지만, 요점은 무엇보다도 삶과 죽음의 결정을 내리기 위한 "책임 있는 인간 명령 및 통제 사슬"이 있다는 것이다. 종종 "루프에 있는 인간"이라고 불린다. 이는 AI와 관련된 가장 명백한 위험, 즉 자율 무기 시스템이 무차별적으로 사람을 죽일 수 있다는 문제를 해결하기 위해 설계되었다. 이는 드론부터 핵 미사일, 폭격기, 잠수함까지 모든 것에 적용된다.
물론 가장 큰 잠재적 위협은 핵으로 무장한 미사일, 폭격기, 잠수함이다. 선언문의 첫 번째 초안에서는 "핵무기 사용에 관한 주권적 결정을 알리고 실행하는 데 중요한 모든 행동에 대한 인간의 통제와 참여"의 필요성을 구체적으로 명시했다. 그 표현은 실제로 두 번째 초안에서 삭제되었다. 하지만 인간의 통제를 유지한다는 생각은 미국 관리들이 이 문제에 대해 생각하는 방식의 핵심 요소로 남아 있다. 지난 6월 바이든의 국가안보보좌관 제이크 설리반은 다른 핵보유국들에게 "핵무기의 지휘, 통제, 사용을 위한 '인간 개입'을 유지"할 것을 약속했다. 이는 미국과 중국 전문가들이 논의할 사항 중 하나임이 거의 확실하다.
하지만 적어도 AI와 핵무기에 관해서는 인간 개입 요구 사항이 실제로 문제를 해결하는지 물어볼 가치가 있다. 분명히, 누구도 완전히 자동화된 종말 기계를 원하지 않는다. 냉전 기간 동안 핵 지휘 및 통제 인프라의 상당 부분을 자동화하는 데 셀 수 없이 많은 루블을 투자했던 소련도 끝까지 성공하지 못했다. 모스크바의 소위 "데드 핸드(Dead Hand)" 시스템은 여전히 지하 벙커에 있는 인간에 의존하고 있다. 인간을 "루프"에 두는 것이 중요하다. 그러나 이는 인간이 프로세스에 대해 의미 있는 통제력을 갖고 있는 경우에만 중요하다. AI의 사용이 증가하면서 그 통제가 얼마나 의미가 있는지, 그리고 AI가 인간의 의사 결정에 영향을 미치는 세상에 맞춰 핵 정책을 조정해야 하는지에 대한 의문이 제기된다.
우리가 인간에 초점을 맞추는 이유 중 하나는 세상의 종말이 오면 인간은 언제나 주저할 것이라는 일종의 순진한 믿음을 갖고 있기 때문이다. 인간은 항상 잘못된 경보를 통해 그것을 보게 될 것이라고 우리는 믿는다. 우리는 크림슨 타이드(Crimson Tide)와 같이 폭탄에 관한 수많은 책과 영화의 줄거리가 될 정도로 인간의 양심을 낭만적으로 만들었다. 그리고 그것은 1983년에 자신의 컴퓨터 화면에서 핵 공격처럼 보이는 것을 보고 그것이 잘못된 경보임에 틀림없다고 판단하고 이를 보고하지 않은 소련의 미사일 경고 장교 스타니슬라프 페트로프의 실제 이야기이다. 핵 재앙으로부터 세상을 구한다.
문제는 세계 지도자들이 버튼을 누를 수도 있다는 것이다. 핵 억지력의 전체 개념은 칩이 다운되면 대통령이 이를 수행할 것임을 확실하게 입증하는 데 있다. 페트로프가 지휘계통에 경보를 보고했다면 소련 지도자들은 공격이 진행 중이라고 믿고 보복했을 가능성이 전혀 없는 영웅이 아니다.
따라서 실제 위험은 지도자들이 핵무기 사용 결정을 AI에 넘겨주는 것이 아니라, 소위 "의사결정 지원", 즉 AI를 사용하여 핵무기 사용 결정을 AI에 의존하게 되는 것이다. 운전하는 동안 길을 안내하기 위해 내비게이션 애플리케이션에 의존하는 것과 같은 방식으로 위기 상황이 발생한다. 이것이 바로 소련이 1983년에 하고 있던 일이다. 핵 공격이 진행 중일 경우 지도자들에게 경고하기 위해 수천 개의 변수를 사용하는 거대한 컴퓨터에 의존하는 것이다. 하지만 문제는 컴퓨터 과학에서 가장 오래된 문제였다. 쓰레기가 들어오면 쓰레기가 나온다. 컴퓨터는 소련 지도자들에게 그들이 듣고 싶어하는 것을 알려주고 그들의 가장 편집증적인 환상을 확인하도록 설계되었다.
러시아 지도자들은 의사 결정을 지원하기 위해 여전히 컴퓨터에 의존하고 있다. 2016년 러시아 국방부 장관은 군대 이동과 같은 전 세계의 데이터를 분석하여 잠재적인 기습 공격을 예측하는 러시아 슈퍼컴퓨터를 기자에게 보여주었다. 그는 현재 사용되는 컴퓨터가 얼마나 적은지 자랑스럽게 언급했다. 다른 러시아 관리들이 분명히 밝힌 이 공간은 AI가 추가될 때 사용될 것이다.
인간이 무슨 일이 일어나고 있는지 이해하기 위해 인간이 AI에 크게 의존한다면 루프에 인간이 있다는 것은 훨씬 덜 안심이다. AI는 우리의 기존 선호도에 따라 훈련을 받았기 때문에 사용자의 편견을 확인하는 경향이 있다. 이것이 바로 사용자 선호도에 맞춰 훈련된 알고리즘을 사용하는 소셜 미디어가 잘못된 정보를 전달하는 효과적인 통로가 되는 이유이다. AI는 매우 매력적인 방식으로 우리의 선호도를 모방하기 때문에 매력적이다. 그리고 양심의 가책도 없이 그렇게 한다.
AI 시스템이 매우 설득력 있는 잘못된 정보를 생성하는 상황에서 인간의 통제는 우리가 바라는 안전 장치가 아닐 수도 있다. 세계 지도자가 AI가 생성한 평가에 명시적으로 의존하지 않더라도 많은 경우 AI는 인간의 판단으로 제시되는 평가를 알리기 위해 낮은 수준에서 사용되었을 것이다. 인간 의사결정자가 AI가 생성한 조언에 지나치게 의존하게 될 가능성도 있다. 놀라운 양의 연구에 따르면 내비게이션 앱에 의존하는 사람들은 점차 내비게이션과 관련된 기본 기술을 잃어버리고 앱이 실패할 경우 길을 잃을 수 있다고 한다. 동일한 우려가 AI에도 적용될 수 있으며 훨씬 더 심각한 영향을 미칠 수 있다.
미국은 단 몇 분만 통지하면 발사할 수 있는 수백 개의 지상 및 해상 기반 미사일을 갖춘 대규모 핵전력을 보유하고 있다. 빠른 반응 시간 덕분에 대통령은 위성이 적의 발사를 감지하지만 미사일이 도착하기 전에 발사할 수 있는 "경고 시 발사"할 수 있다. 중국은 이제 수백 개의 새로운 미사일 사일로와 새로운 조기 경보 위성을 궤도에 올려 이러한 자세를 모방하는 과정에 있다. 긴장이 고조되는 동안 핵 경보 시스템은 잘못된 경보를 받았다. 진짜 위험은 AI가 리더에게 잘못된 경보가 진짜라고 설득할 수도 있다는 것이다.
루프에 인간을 두는 것이 솔루션의 일부이기는 하지만, 인간에게 의미 있는 제어를 제공하려면 AI 생성 정보에 대한 의존도를 최소화하는 핵 태세를 설계해야 한다. 예를 들어 경고 시 발사를 포기하고 보복 전 최종 확인을 선호한다.
세계 지도자들은 우리가 좋든 싫든 AI에 점점 더 의존하게 될 것이다. 글쓰기, 전신, 인터넷 등 다른 정보 기술을 금지할 수 없는 것처럼 우리는 AI를 더 이상 금지할 수 없다. 대신 미국과 중국 전문가들이 논의해야 할 것은 AI가 어디에나 존재하는 세계에서 어떤 종류의 핵무기 태세가 타당하느냐는 것이다.
