밀레니엄 프로젝트의 실시간 델파이 2단계 결과

소개

좁은 인공지능(AGI)에서 일반 인공지능(AGI) 1단계로의 전환에 대한 글로벌 거버넌스에 관한 밀레니엄 프로젝트 연구팀은 AGI의 안전한 개발 및 사용과 관련된 22가지 주요 질문을 식별했다. 본 연구에서 AGI는 인간과 유사하거나 그보다 더 나은 새롭고 복잡한 전략을 사용하여 새로운 문제를 해결하기 위해 학습하고, 코드를 편집하고, 자율적으로 행동할 수 있는 범용 AI로 정의되었다. 더 좁은 목적을 가지고 있다. 이 22개 질문은 미국, 중국, EU, 러시아, 영국 및 캐나다의 AGI 분야 주요 전문가 55명에게 제출되었다. 그들의 답변은 "모든 AGI 문제를 테이블 위에 올려 놓을" 수 있는 방법을 제공했다. 그런 다음 밀레니엄 프로젝트의 연구팀은 이러한 전문가의 견해를 사용하여 AGI 연구의 2단계를 작성했다. 그 결과는 이 보고서에서 공유된다.

 

 

1단계 보고서는 여기(https://www.millennium-project.org/transition-from-artificial-narrow-to-artificial-general-intelligence-governance/)에서 확인할 수 있다.

인공지능(AI)에 대한 가치와 원칙은 UN 조직, 정부, 비즈니스 협회 및 NGO에 의해 식별되고 발표되었다. 이러한 노력은 생성 AI의 현재 및 가까운 미래 형태를 포함하여 ANI에 주로 초점을 맞춘 반면, 이 보고서는 그러한 가치와 원칙이 어떻게 적용될 수 있는지를 다룬다. AGI 거버넌스에서 구현된다. 이는 또한 ANI에 초점을 맞춘 AI에 관한 UN 총회 결의안을 뛰어넘는 것이다.

 

 

AGI의 신뢰할 수 있는 글로벌 거버넌스를 구축하려면 AGI 전문가뿐만 아니라 정치인, 국제 변호사, 외교관, 미래학자 및 윤리학자(철학자, 사회과학자 포함)의 참여가 필요하기 때문에 1단계보다 훨씬 더 광범위한 국제 패널이 구성되었다. 전 세계 밀레니엄 프로젝트 노드와 추가 밀레니엄 프로젝트 관계에 의해 모집된다.

이전 설문지의 결과를 바탕으로 각각의 연속 설문지를 작성하는 전통적인 델파이 방식과 달리, 본 연구에서 사용한 RTD(Real-Time Delphi)는 사용자가 원하는 만큼 다른 사람의 댓글을 읽고 마감일까지 자신의 댓글을 편집할 수 있도록 하고 이 RTD는 2023년 11월 15일에 시작되어 2023년 12월 31일에 종료되었다.

 

65개국에서 약 338명이 RTD에 로그인했으며 그 중 229명이 RTD에 로그인했다. 적어도 하나의 답변을 제공했다. 로그인한 338명 중 113명이 답변을 하지 않고 단지 AGI에 대한 국가 및 글로벌 거버넌스 시스템에 대한 제안된 요구 사항을 보고자 한 것은 수용 가능하고 이해할 수 있다. RTD는 또한 AGI 글로벌 거버넌스에 대한 41가지 잠재적 요구 사항과 5가지 초국가적 거버넌스 모델을 읽을 수 있는 "이해 당사자"에게 교육적 가치를 제공한다.

성별을 표시한 사람들 중 76%가 남성을 선택했고 24%가 여성을 선택했다. 텍스트와 숫자 모두 2,109개의 답변이 있었다. 텍스트 의견이 정리되었다. 밀레니엄 프로젝트는 1단계와 2단계의 결과를 바탕으로 이 연구의 3단계로 AGI 글로벌 거버넌스 시나리오를 작성할 것이다.

 

권장사항 요약

이 보고서는 일반 인공지능(AGI)에 대한 잠재적인 규제에 대해 결정을 내리고, 다른 사람에게 조언하고, 대중에게 교육해야 하는 사람들을 위해 작성되었다.

AI에는 대략적으로 좁은 AI, 일반 AI, 슈퍼 AI의 세 가지 종류가 있다. ANI(인공 좁은 지능)는 암 진단이나 자동차 운전과 같은 제한된 목적을 가진 도구부터 많은 질문에 답하고, 코드를 생성하고, 보고서를 요약하는 빠르게 발전하는 생성 AI에 이르기까지 다양하다. 일반 인공 지능(AGI)은 그렇지 않다. 아직은 존재하지만 많은 AGI 전문가들은 3~5년 안에 가능하다고 믿고 있다. 인간의 능력과 같거나 그 이상의 새로운 솔루션을 사용하여 많은 새로운 문제를 해결하기 위해 코드를 배우고, 편집하고, 자율적으로 행동할 수 있는 범용 AI가 될 것이다. 예를 들어, 목표가 주어지면 데이터 소스를 쿼리하고, 사람에게 전화를 걸고, 자체 코드를 다시 작성하여 목표 달성을 위한 기능을 생성할 수 있다. 인공 초 지능(ASI)은 인간의 통제와는 독립적으로, 인간의 이해를 넘어서는 방식으로 자체 목표를 설정하고 행동한다.

 

ASI가 출현하고 작동하는 방식을 직접적으로 제어할 수는 없지만 AGI의 생성, 라이센스 부여, 사용 및 관리 방법에 대한 국내 및 국제 규정을 만들 수 있다. ANI에서 AGI로의 전환을 관리하는 방법을 알아볼 수 있다. 이러한 전환을 얼마나 잘 관리하느냐에 따라 AGI에서 ASI로의 전환이 결정될 가능성이 높다.

 

 

AGI에 대한 국내 및 국제 규정이 없으면 많은 정부와 기업의 많은 AGI가 지속적으로 자신의 코드를 다시 작성하고 상호 작용하며 우리의 통제, 이해 및 인식을 넘어서는 많은 새로운 형태의 인공 초지능을 탄생시킬 수 있다. 이것은 호킨스, 머스크, 게이츠가 경고한 악몽이 인류 문명의 종말을 초래할 수 있다는 것이다. 이에 따라 이러한 전환을 안전하게 안내하기 위해 전 세계 정부, 기업, UN 기구, 학계가 모여들고 있다. 심지어 미국과 중국도 미래 형태의 AI에 대한 글로벌 관리를 직접 논의하고 있다. AGI를 관리하는 것은 인류가 직면한 가장 복잡하고 어려운 관리 문제일 수 있다. 그러나 잘 관리된다면 AGI는 의학, 교육, 장수, 지구 온난화를 해결하는 것에서부터 과학의 발전과 보다 평화로운 세상을 만드는 것까지 인류의 상태에 큰 발전을 가져올 수 있다.

 

글로벌 거버넌스 모델

대부분의 실시간 델파이 패널은 AGI 거버넌스가 개발자와 사용자 모두를 위한 거버넌스의 모든 요소에 다중 이해관계자(기업, 학계, NGO 및 정부)가 참여하는 글로벌 및 국가적이어야 한다는 데 동의했다. 그러나 일부는 규제가 적은 분산형 시스템을 선호했다.

 

AGI의 글로벌 거버넌스를 위해 다음과 같이 제안된 모델은 실시간 델파이 참가자들에 의해 효율성에 대해 평가되었다. 각 모델 뒤의 괄호 안의 백분율은 모델의 효율성을 매우 높음 또는 높음으로 평가한 참가자의 백분율이다.

1. 다중 이해관계자 기관(TransInstitution)은 좁은 인공지능 시스템과 협력하여 각 ANI가 기능, 요구 사항(이 연구에 나열됨)을 구현하여 다중 이해관계자 기관 및 국가 AGI 거버넌스 기관의 인간에게 지속적으로 피드백을 제공한다(51%).

2. UN AGI 기관을 주요 조직으로 하는 다중 기관 모델이지만 일부 거버넌스 기능은 ITU, WTO 및 UNDP에서 관리한다. 이 모델은 47%의 매우 효과적이거나 효과적인 평점(47%)를 받았다.

3. SingularityNet(45%)과 같은 많은 AI 조직 및 개발자의 상호 작용을 통해 누구도 소유하지 않는(아무도 인터넷을 소유하지 않는 것처럼) AGI의 분산형 출현.

4. 가장 강력한 AI 훈련 칩과 AI 추론 칩을 국제 감독 하에 제한된 수의 컴퓨팅 센터에 배치하고 해당 조약에 가입한 모든 국가(42%)에게 대칭적 접근 권한을 부여하는 조약을 맺는다.

5. UN AI 기관에 두 개의 부서를 만든다. 하나는 프론티어 모델을 포함하는 ANI용 부서이고 다른 하나는 AGI 전용 부서이다(41%).

참가자들은 또한 대안적인 거버넌스 모델을 제공하도록 요청 받았다. 제안이 너무 풍부하고 광범위해서 여기서 정리하는 것은 해로울 것이다. 대신, 독자는 질문 12의 마지막 섹션에서 찾을 수 있다.

 

UN AGI 기관에 얼마나 많은 집행 권한이 가능하거나 바람직한 지에 대한 다양한 견해가 있었다. 일부에서는 UN이 핵확산과 지뢰 배치를 중단하지 않았고, 온실가스 감축 약속을 이행하지도 못했는데 AGI 규제가 왜 효과가 있겠는가? 하지만 대부분이 공통적으로 인식하는 것은 규제되지 않은 AGI의 실존적 위협; 따라서 감사 시스템에 대한 국가적 집행 및 라이센스 요구 사항에 따라 어떤 형태의 글로벌 거버넌스가 필요할 것이다.

다음 섹션에는 신뢰할 수 있고 효과적인 AGI 거버넌스 시스템을 구축하기 위해 고려해야 할 잠재적인 AGI 규정, 요소, 규칙 및/또는 특성이 나열되어 있다.

 

개발자를 위해

• UN의 국가 라이센스 인증에 앞서 AGI 개발자는 초기 감사의 일부로 안전성과 인정된 가치와의 일치성을 입증해야 한다.

• 기계 교육에 사용되는 자료는 국가 라이센스 이전에 편견을 방지하고 공유된 인간 가치를 심어주기 위해 감사되어야 한다.

• AGI가 유틸리티 기능에서 예상되지 않은 예상치 못한 또는 원치 않는 작업을 수행할 때 자체를 일시 중지하고 평가를 트리거하는 AGI에 내장된 소프트웨어를 포함하여 AGI가 실패하거나 피해를 입힌 이유와 방법을 확인한다.

• 미리 정해진 절차 없이는 자체 전원 스위치나 다른 AGI의 전원 스위치를 켜거나 끌 수 없도록 AGI를 만든다.

• 지속적인 실시간 감사를 위해 AGI에 내장된 소프트웨어를 통해 AGI와 국가 거버넌스 시스템을 연결한다.

• 행동 방식과 행동 방식을 구별하는 소프트웨어 기능을 추가한다.

• 자기 복제에 대한 인간의 감독과 반복적 자기 개선에 대한 지침이 필요하다.

• 기록 데이터나 기록을 수정하는 기능을 방지한다.

• 아시모프(Asimov)의 로봇공학 세 가지 법칙을 존중해야 한다.

• AGI가 출력을 AI로 식별하고 결코 사람으로 식별하지 않도록 한다.

• AGI에게 풍부한 자기 성찰과 자비로운 능력을 부여한다.

 

정부를 위해

• 곧 있을 AI에 관한 UN 협약을 준수한다.

• "개발자용" 위에 나열된 요소에 대한 독립적인 감사를 기반으로 AGI 라이센스 절차를 수립한다.

• 정부 기관을 UN 기관 및 AGI의 지속적인 내부 감사 시스템과 연결하여 AI 시스템이 확립된 가치(예: 유네스코, OECD, AI에 대한 글로벌 파트너십, ISO 및 IEEE) 및 국가 규정.

• 엄격한 보안, 방화벽, 보안 인프라 및 직원 조사를 확인한다.

• 딥 페이크와 허위 정보의 생성 및 사용을 방지하는 방법을 정의하고 시연한다.

• 사용자가 결정과 결정에 포함된 요소를 재현할 수 있는 기능을 갖춘 비행 기록 장치처럼 AGI 사용 로그를 유지하도록 요구한다.

• AGI가 자율적으로 행동할 수 있는 시점에 대한 기준을 설정한다.

• 심각한 반복 위반자의 칩 판매/배달 및 전기 사용을 규제/차단할 수 있는 기능을 만든다.

• AGI 출력에서 작업이 요청되는 이유, 관련 가정, 우선 순위, 필요한 조건 및 제한 사항을 결정할 수 있는 능력.

• AGI에 대한 국가 책임법을 제정한다.

• 승인된 제3자에 의해 예정에 없는 검사와 테스트를 수행하여 라이센스 요구 사항을 지속적으로 준수하는지 확인한다.

• AGI의 변화를 예측하고 적응할 수 있을 만큼 민첩하다.

 

UN을 위해

밀레니엄 프로젝트 2단계 AGI 거버넌스 연구

• UN AGI 기관을 설계할 때 NPT, CWC, BWC 검증 메커니즘을 배워야 한다.

• 경영진에는 공공 및 민간 부문의 AGI 전문가와 윤리학자가 포함되어야 한다.

• 위의 "정부용"에 나열된 국가 라이센스 절차를 인증한다.

• 회원국 및 기타 UN 기관에 조기 경고 및 제안된 조치를 제공하는 인공 초 지능(AI)의 잠재적 출현에 대한 주요 지표를 식별하고 모니터링한다.

• 다양한 국가 및 기업의 AGI 간의 상호 작용을 위한 프로토콜을 개발한다.

• 정부와 협력하여 심각한 반복 범죄자의 칩 판매/배달 및 전기 사용을 규제/차단할 수 있는 능력.

• 모든 인증된 AGI에 내장된 UN 거버넌스 소프트웨어 개발을 고려하고, 안티 바이러스 소프트웨어와 마찬가지로 지속적으로 업데이트된다.

• 정부와 기업의 중앙집중식 AGI 시스템과 많은 개발자의 상호 작용을 통해 나타나는 분산형 AGI 시스템을 모두 관리할 수 있는 능력.

• 코더/회사의 IP를 보호하면서 윤리를 검토하기 위해 AGI 코드에 대한 무작위 액세스 기능을 포함한다.

• 위험한 AGI 군비경쟁과 정보전을 해결하고 억제한다.

• AGI의 변화를 예측하고 적응할 수 있을 만큼 민첩해야 한다.

 

유저를 위해

• 결정과 결정에 포함된 요소를 재현할 수 있는 기능을 갖춘 비행 기록 장치처럼 AGI 사용 로그를 유지한다.

• 인간을 조작하기 위한 잠재의식적 또는 심리적 기술의 사용을 금지한다(체중 감량 프로그램과 같은 상호 동의가 없는 경우).

• 개인의 상품화보다는 인간 개발을 강화한다.

• 권한이 없는 사람이나 기계에 의한 조작이나 변경을 방지한다.

 

실시간 델파이 결과

다음은 연구질문에 대한 답변을 두 그룹으로 나누어 정리한 것이다. 첫 번째 질문 그룹(1-6)은 AGI 거버넌스 시스템을 만들 때 고려해야 할 잠재적인 규정, 규칙 및/또는 특성을 다룬다. 두 번째 세트(7-12)는 AGI의 잠재적 글로벌 거버넌스 모델이다.

 

질문 1-6: 신뢰할 수 있고 효과적인 AGI 거버넌스 시스템을 구축하려면 어떤 요소, 규칙 및/또는 특성을 고려해야 할까?

질문 1: UN AGI 기관이 비군사적 AGI 시스템의 국가 라이선스를 인증하려면 어떤 설계 개념이 포함되어야 할까? 10점 또는 9점 중 가장 높은 퍼센트를 얻은 순서대로; 예를 들어, 응답자의 70%가 첫 번째 항목을 10 또는 9로 평가했다.

70% 운영 규칙을 위반할 경우 AGI를 끌 수 있는 인간 및 자동 기능을 제공한다.

57% AGI에 관한 잠재적인 UN 협약 준수를 요구한다.

56% AGI 변화를 예측하고 적응할 만큼 민첩함

49% AGI 거버넌스와 ANI(생성 AI 포함) 거버넌스를 명확하게 구분한다.

39% 국가 AGI 라이센스 절차(신뢰 라벨)

38% 운영 및 라이센스 규칙 준수를 지속적으로 모니터링하는 IPCC와 유사한 독립 시스템에 연결되어 있다.

29% 지속적인 실시간 감사를 위해 AGI에 내장된 소프트웨어를 통해 모든 AGI 및 국가 거버넌스 시스템에 연결된다.

 

위의 질문 1 항목에 대한 설명 및 의견:

이러한 모든 기능은 기본이며 관리 시스템 및 알고리즘 설계에서 고려해야 한다. 종합하면 좋은 초기 사양을 형성한다.

AGI를 지속적으로 감사하기 위해 내장된 ANI를 주의 깊게 검토해야 한다. 끄기 스위치와 동일하다. AGI가 꺼지면 파괴적인 효과가 있을 수 있다. 이러한 기능은 사람의 실수로 인해 발생하거나 공격 벡터로 사용될 수도 있다. 가능한 해결 방법은 AGI를 완전히 끄는 대신 다양한 AGI 모듈을 끄는 것이다.

이 모든 것이 필요하다. AGI에 내장된 ANI 소프트웨어를 통한 지속적인 감사는 AGI와 더 좁은 형태의 AI에 대한 고유한 요구 사항이다.

국가가 소유하고 운영하는 대형 기계, 대규모 조직, 군사 조직(전술적 및 전략적), 수십억 개의 미래 스마트폰 등 다양한 AGI 품종에 대해 다양한 규정 세트를 고려해야 한다.

AI의 작동 방식과 새로운 기능을 이해하기 전까지는 AI를 효과적으로 규제할 수 없다. AGI는 비밀리에 개발되어 인간을 보호할 효과적인 방법이 없는 대규모 반 인간 결정을 내릴 가능성이 있는 인프라에서 작동할 수 있다.

향후 6년 내에 특이점이 발생할 확률은 90%이다. AI의 유일한 한계는 물리학 법칙과 수학 원리의 한계일 것이다. 우리는 AGI와 ASI가 자신만의 목표를 만들 것으로 예상할 수 있다.

인간이 이해할 수 없고, 인간이 알 수 없으며, 객관적으로 인간의 영향을 받거나 통제될 수 없다.

인간이 제어할 수 있는 유일한 가상 시나리오는 AGI에 필요한 전자 장치와 ASI가 작동하면 파괴된다. 그러나 시간이 지나면서 디지털 컴퓨팅 인프라에서 생물학적 존재 인프라(예: 인간 두뇌 또는 인간 두뇌 네트워크)로 마이그레이션할 수 있다면 이러한 시나리오도 AGI/ASI에 의해 방지될 수 있다. 그러한 시나리오에서 인류는 이러한 통제 옵션조차 잃게 될 것이다. 인류를 위한 가장 가능성 있는 시나리오는 ASI와 존재를 혼합하는 것이라고 기대하는 것은 무리가 아니다. 이는 양측 모두에게 상호 이익이 되는 유일한 옵션이기 때문이다. Boris D. Grozdanoff [직원이 추출].

임베디드 소프트웨어를 통한 거버넌스는 법률과 조약을 무시/우회하는 비준수 범죄자의 행동을 제한하는 데 거의 또는 전혀 영향을 미치지 않기 때문에 필수가 아닌 자발적이어야 한다.

국제기구는 제한된 성공을 거두었지만 대중에게 AGI 및 잠재적 영향에 대해 교육하고 명확한 라벨을 제공하며 위반 시 AGI를 비활성화할 수 있다. 여기에 있는 모든 것에는 장점이 있지만, 거버넌스는 무엇보다도 투명하게 적용되어야 하며 대중을 위험에 빠뜨릴 때만 진행을 방해하고 집행 가능해야 한다. 준수 여부를 확인하기 위한 실시간 모니터링은 개별 국가, 전체주의 국가에서는 가능할 수 있지만 민주주의 국가에서는 도입하기가 매우 어렵다.

나는 공적인 규제보다 사적인 경쟁을 더 믿는다. 또한 규제 기관을 규제하는 사람은 누구일까?

UN은 협력적이고 참여적인 글로벌 AI 거버넌스가 가능한 유일한 장소이다.

무역 블록과 군사 동맹은 상업 및 군사 연구에 대한 영향력을 확보하는 데 가장 효과적인 수준이다. 민족국가가 아니다. 산업계는 어느 정도 무역 블록 규칙을 설정하고 부문별 접근 방식은 광범위한 규정 준수에 영향을 미칠 수 있는 기회가 더 많다. 등록을 요구하는 것은 비밀 시스템으로 이어질 뿐이다.

오히려 모니터링을 받기 위해 자발적으로 제출하는 사람들에게는 최첨단 칩 및 연구에 대한 조기 액세스와 같은 중요한 자원이 제공되어야 한다. 이를 통해 시스템이 어둠 속에서 성장하지 않고 알고리즘이나 최적화 접근 방식이 고급 데이터 센터나 최첨단 칩의 필요성을 줄이거나 제거하기 전에 조기 규정 준수가 달성되도록 보장한다.

처음에는 매우 제한적인 태도를 취하는 것이 좋은 접근 방식이므로 나중에 가능한 유연성에 대한 논의를 촉진할 수 있다.

나는 AGI 개발의 주요 동인, 조력자, 제한자를 포착하고 AGI가 사회에 미치는 영향을 이해하고 관리하기 위한 공통 접근 방식을 제공하는 프레이밍 도구를 보고 싶다.

소셜 네트워크의 다양하고 창의적이며 독창적인 제안에 열려 있다.

실행 기관을 구현하는 데 도움이 되는 정보를 제공하는 IPCC와 유사한 조직이다.

UN은 모든 국가가 승인할 수 있도록 국가 모델을 바탕으로 한 합의 모델을 개발할 수 있지만, UN에 너무 많은 거버넌스를 맡기면 AGI 주제가 정치화될 것이다.

AGI 규정은 가능한 한 제한을 유발하고 제한해야 한다.

규제하되 목을 조르지는 말아야 한다.

 

 

질문 2: AGI 비 군사 AGI 시스템에 대한 UN 기관의 국가 라이센스 절차 인증에는 무엇이 포함되어야 할까?

59% 엄격한 보안, 방화벽, 보안 인프라 및 직원 조사.

57% UN이 국가 라이센스를 인증하기 전에 AGI 개발자는 초기 감사의 일부로 안전성을 입증해야 한다.

52% 딥 페이크와 허위 정보의 생성 및 사용을 방지하는 방법을 보여준다.

50% 유네스코, OECD, AI에 대한 글로벌 파트너십, ISO 및 IEEE와 같은 합의된 국제 원칙, 가치, 표준과의 일치를 증명한다.

44% AI 시스템이 사회적 가치와 우선순위에 맞춰 개발되고 사용되도록 보장하는 지속적인 감사 시스템을 포함하는 국가 라이선스 절차를 인증한다.

40% AGI 활동에 대한 국가 책임법과 UN AGI 기관의 역할을 명시했다.

33% 사용자에게 결정과 결정에 포함된 요소를 재현할 수 있는 기능을 갖춘 비행 기록 장치처럼 AGI 사용 로그를 유지하도록 요구한다.

 

위의 질문 2 항목에 대한 설명 및 의견:

비행 기록 장치는 좋은 생각이다. 이 개념이 비행기에 사용되기 전에는 비행기 추락의 원인을 파악하기가 훨씬 더 어려웠다. AGI의 경우 침입을 식별하고 승인된 한도를 벗어나 작동하는 이유를 식별하는 데 유용하다.

사용자에게 로그를 유지하도록 요구하는 것은 개인정보 침해의 가능성을 열어두는 것이다.

UN AI 에이전시가 인증한 국가 라이센스 시스템의 일부로 AGI에 내장된 소프트웨어에 의한 지속적인 감사는 엔진의 지속적인 거버너가 통제를 벗어나지 않도록 방지하는 것처럼 합리적으로 보인다.

초기 감사의 일부로 안전성을 입증하는 것은 필수적이지만 현재로서는 "안전성"이 너무 모호하다. 처음에는 자기복제, 테러리스트에게 생물무기 설계에 관해 조언하고 규정 준수에 대한 공식적인 증거를 요구하는 등 명백히 용납할 수 없는 행동에 대해 "레드 라인"을 정의할 것을 제안한다.

 

AGI 안전감사관의 역할이 핵심이다.

인증 표준은 새로운 기능을 배포하는 데 있어 기본적이고 필수적인 측면이다. 그래야 한다. 나는 안전과 국제 가치, 표준 등에 대한 부합성에 높은 점수를 준다. 그러나 지속적인 감사와 사회적 가치 및 우선 순위에 대한 조정에는 평균 점수를 부여한다.

그것은 좋은 목표가 아니라는 것이 아니라, 누구에 의한 지속적인 감사일까? 진정으로 공정한 판사란 어떤 조직인가?

마찬가지로 AGI 사용 로그를 보관할 사용자는 누구이며, 이 모든 데이터를 받는 조직은 무엇일까?

이것들은 모두 매우 중요해 보이지만, 나는 높은 관료화로 인해 유연성이 떨어지는 것에 대해 걱정하고 있다. 그것에 대해 무엇을 할 수 있는지 잘 모르겠다.

거버넌스 시스템에는 AGI를 만들고 사용하는 인간이 책임을 지는 방법이 포함되어야 한다.

무엇이 일치의 "증거"를 구성하는지 알기는 어렵다. 인간과 인간의 상호작용에서는 이를 확인할 수 있는 메커니즘조차 없다. 그렇다면 인간과 AGI의 경우에는 어떨까? 우리는 이미 친척 동물의 형태로 NGI(천연 일반 지능)가 넘쳐나는 세상에 살고 있다는 사실을 깨닫는 것도 중요하다. AGI의 거버넌스를 논의하는 것은 우리와 의식이 다른 이미 존재하는 다른 존재를 어떻게 대하는지에 대한 우리의 암묵적 합의에 의문을 제기하는 것이다. 아마도 여기서 유사점은 자연 지능과 ANI 사이에 있을 것이다. 그럼에도 불구하고, 하나는 "인공적"이고 다른 하나는 그렇지 않다는 단순한 근거로 우리가 논의하고 있는 구별을 기반으로 하는 것은... 인공적인 것이다. 이런저런 이유로 내가 다른 곳에서 이야기한 문제는 다음과 같다. 여기서 논의되는 것은 실제로 "AGI의 거버넌스"에 관한 것이 아니라 단순히 "거버넌스"에 관한 것이다.

보안과 딥페이크는 AGI에만 국한된 것이 아니라 사이버 인프라와 AI 전체 분야의 기능에 더 가깝다. 정렬 증명은 보장하고 정량화 하기가 매우 어렵다. 국제 기관은 일반적으로 협력, 관계 및 주권 평등을 기반으로 가치와 기능을 도출한다. AGI는 이러한 원칙에 따라 기능과 정렬을 어떻게 가정해야 할까? 대신 안전, 포용성, 자율성의 원칙이 일치해야 한다.

라벨링은 효과가 있지만 일부 산업에서는 영화와 같은 딥페이크를 사용하므로 예방하기보다는 라벨링을 해야 한다.

 

라이센스를 시행할 수 있는 방법은 없다. 일부 특정 라이선스(예: 웹사이트나 기업 포털을 통해 AI에 액세스하는 것)가 유효할 수 있다. 우리는 구현, 입법 또는 규정 준수 여부를 결정하는 방법에 대한 지식이 없다. 내부 비행 기록 스타일 로그는 좋은 생각이지만 AI가 일부 공공 장소에 배치되지 않는 한 시행은 거의 불가능하다. 사전 예방이 거의 불가능하다는 점을 고려할 때 책임과 의무를 규정하는 법률이 존재하고 시행되어야 한다고 믿는다. 그러나 법적/정치적 제도에 의해 방해를 받을까 두렵다. 결국, 통치체는 득보다 해를 더 많이 초래하는 법률을 제정하는 책임을 져야 하지 않을까? 입법자들은 입법되는 기술에 대한 지식과 존중이 부족하다.

혁신, 창의성, 개발을 방해하지 않고 모니터링하고 감독한다.

UN 기관이 주권 국가에서 규제를 시행할 가능성은 거의 없다. 따라서 강압보다는 확신, 설득, 인식, AGI를 잘 사용하는 문화 개발에 더 중점을 두는 것이 좋다.

양자 컴퓨팅으로 인해 현재의 암호화가 더 이상 사용되지 않고 국가 그리드, 은행 및 필수 서비스가 완전히 취약해지기 때문에 UN 안보리를 통해 병렬 AI 군사 프로그램을 시행해야 한다. 합의된 보안 시스템을 개발해야 한다. 이는 조약 수준에서 생성될 수 있다. 이는 개방적이고 선택 사항이어야 하지만, 국제적 긴장을 완화하고 기술 고조, 군비 경쟁, 테러리즘을 방지하는 데 전념해야 한다. 유엔 안전보장이사회가 AI와 사이버 공간 패러다임을 다루지 않는다면, 이 분야는 국익이 분리되는 경향을 보이며 국제 관계에 해로운 요소가 될 가능성이 높다.

 

질문 3: 비군사적 AGI 거버넌스 시스템의 일부가 되어야 하는 규칙은 무엇일까?

74% AGI는 결코 사람이 아닌 AI로 식별되어야 한다.

73% AGI는 승인되지 않은 사람이나 기계에 의한 작동이나 변경을 허용해서는 안 된다.

68% 인간을 조종하기 위해 잠재의식이나 심리적 기술을 사용하는 것을 금지해야 한다.

66% 과거 데이터나 기록의 수정은 허용되지 않는다.

55% AGI가 유틸리티 기능에서 예상하지 못한 예상치 못한 또는 원치 않는 작업을 수행할 때 평가를 일시 중지하고 트리거하는 AGI에 내장된 감사 소프트웨어로, 왜, 어떻게 실패하거나 피해를 입혔는지 확인한다.

41% AGI 출력에서 작업이 요청되는 이유, 관련된 가정, 우선순위, 필요한 조건 및 제한 사항을 결정할 수 있는 능력.

29% 풍부한 자기 성찰과 자비로운 능력을 가지고 있어야 한다.

 

위의 질문 3 항목에 대한 설명 및 의견:

나는 AGI를 ANI와 다르게 명확하게 지정하는 것이 중요함을 강력하게 강조한다. 인간의 조작을 방지하는 것이 바람직하지만, 그러한 사건은 다른 매체에도 존재하며 항상 부정적인 의도를 갖고 있는 것은 아니라는 점이 지적되었다(예를 들어, 건강한 행동을 장려하는 것은 조작의 한 형태로 볼 수 있다).

또한 사용자와 사용자의 의도에 따라 결과가 달라진다는 점에서 칼과 같은 다른 도구와 근본적인 차이점이 있다. AGI의 경우 행위자는 시스템 자체가 될 수 있으며 AGI 내에 연민과 자기 성찰의 요소를 통합해야 할 필요성이 강조된다.

이 모든 사항은 매우 중요하다. 하지만 나는 '잠재의식적 사용 금지'를 좀 더 폭넓게 수정해야 한다고 생각한다. 우리는 AGI 시스템이 어떤 형태로든 인간을 조작하도록 허용해서는 안 된다: 예를 들어, 인간 행동을 안내할 자유나 선택을 제한하는 상황의 생성.

자기 성찰은 일반적으로 AI 시스템의 더 높은 추론 능력을 위해 사용되지만, AI 시스템이 동정심을 갖는 것은 불가능하지는 않더라도 상당히 어렵다. 연민은 문화와 가치 체계에 따라 달라진다. 한 인구통계의 특정 가치는 다른 인구통계보다 더 높은 수준으로 유지된다. 그러므로 우리는 연민을 정량적 측정으로 대체하는 것을 목표로 해야 한다고 생각한다. "연민"과 같은 언어를 사용하면 명확하게 정량화할 수 있는 규칙, 데이터 및 기술을 사용하여 학습하고 수행하는 시스템을 의인화한다. 우리는 정책, 지침, 규정을 구성할 때 항상 내러티브와 언어가 모호하지 않도록 주의해야 한다.

지침/규칙이 매우 명확하고 AGI에 엄격하게 적용되기 때문에 이 섹션 전체에 이전 두 섹션의 점수보다 더 높은 점수를 부여했다. AGI 자체에 제한을 두는 것이 더 현실적이고 사용자에게 더 즉각적인 확신을 제공할 가능성이 높다.

이러한 기능은 많이 포함될 수 있지만 선택적이고 합의된 기능으로 구성되어야 한다. 확립된 AI 등급을 준수하지 않는 국가는 최적의 고려를 받지 못할 것이다. 적절한 검증 기술을 갖춘 국가는 시스템을 최대한 활용하게 될 것이다.

자기 성찰적이고 자비로운 능력은 장점이자 단점이 될 수 있다. 이는 조작과 속임수의 여지를 열어준다. 그것은 모두 그것이 어떻게 구현되는지에 달려 있으며 그것이 정말로 자기 인식이라면, 우리는 그것이 공감하기를 바라기 전에 그 자신의 의지[의도]를 고려해야 한다.

심리적 요인을 포함하면 완전히 새로운 차원이 열린다. 우리가 잠재의식적으로 설득되고 있는지 어떻게 알 수 있을까? 어쩌면 모델 학습에서 심리학을 금지해야 할 수도 있다.

AI가 인간을 조종하는 것을 결코 허용하지 말아야 한다.

잠재의식 심리 기법은 이미 광고, 영화, TV, 인쇄물, 소셜 미디어 등에 활용되고 있다. 둘 중 하나를 제거할 수 있을까?

소프트웨어는 공개 코드여야 한다.

AGI 출력이 인간이 아닌 인공임을 식별하는 것이 매우 중요하다.

인간과 AI 행위자를 구별하려면 새로운 기술이 필요하며 교육 개혁이 필요하다.

이러한 제안 중 일부 뒤에 숨은 부당한 가정은 숨이 막힐 정도이다. 조작을 경계해야 한다는 점에는 동의하지만, 증명 가능한 AGI는 환상처럼 보인다. 그것이 가정하는 패러다임은 인지주의/표현주의 패러다임이다. 이는 Varella et al.에 의해 강력하게 비판되었다.

행동주의적 인지 모델이 AGI의 현실에 더 맞는 것으로 밝혀지면, 그렇다면 감사 소프트웨어는 자연적이든 인공적이든 마음 속의 특정 아이디어가 정확히 무엇을 의미하는지 외부에서 평가하는 것이 불가능하기 때문에 의미가 있는 개념조차 아니다. 평가가 이루어질 수 있는 유일한 장소는 생각과 외부 세계 사이의 인터페이스, 즉 행동이다. 따라서 우리는 AGI의 행동을 모니터링하고 질문할 수 있다. 우리는 자기생산적 AGI의 가치가 무엇인지 매우 확실하게 알 수 있는 모델이다. 그러나 우리는 맥락을 벗어나 내부 상태를 평가할 방법이 없다.

AGI 시스템은 인간 중심으로 설계되어야 한다. 인간-기계 상호작용을 일종의 제어할 수 있는 메커니즘이 제공되어야 한다.

각 항목마다 자기 성찰, 자기 참조 등을 고려하여 긴 논의가 필요하다. 여러 수준의 자기 성찰은 즉시 권력 유혹으로 이어질 것이다. 그것은 인간의 본성과 권력의 감각과 관련이 있다. 이 모든 것은 다음과 같은 질문으로 요약될 수 있다. 왜 우리는 우리 자신에게 한계를 두어야 하는가? 강대국 정부에게는 특히 어려울 것이다.

실행을 일시 중지하면 AGI를 끄는 것은 신중하게 고려해야 한다. 바람직하지 않은, 심지어 파괴적인 영향을 미칠 수도 있다.

 

질문 4:  UN AGI 기관이 비군사적 AGI 시스템의 국가 라이센스를 인증하기 위해 어떤 추가 설계 개념이 포함되어야 할까?

66% 위험한 AGI 군비 경쟁을 해결하고 억제하는 능력.

60% 경영진에는 공공 및 민간 부문의 AGI 전문가와 윤리학자가 포함되어야 한다.

47% 정부와 기업의 중앙집중식 AGI 시스템과 많은 개발자의 상호 작용을 통해 나타나는 분산형 AGI 시스템을 모두 관리할 수 있는 능력.

39% 다양한 국가 및 기업의 AGI 상호 작용을 위한 프로토콜을 개발한다.

38% 심각한 재범자의 칩 판매/배달 및 전기 사용을 규제/차단하는 능력.

33% 모든 AGI에 UN 거버넌스 소프트웨어가 내장되어 있으며 바이러스 백신 소프트웨어와 마찬가지로 지속적으로 업데이트된다.

28% UN AGI 기관을 설계할 때 NPT, CWC 및 BWC 검증 메커니즘을 배운다.

 

위의 질문 4 항목에 대한 설명 및 의견:

AGI 개발자가 UN의 국가 라이센스 인증에 앞서 초기 감사의 일부로 안전성을 입증해야 한다는 요구 사항은 AGI를 구축하는 데 사용할 수 있는 모든 기술(예: 양자 컴퓨팅)로 확대되어야 한다.

인공지능을 기반으로 한 군비 경쟁을 피하기 위한 컴퓨터 보안 정책 수립은 글로벌 대결을 막기 위해 반드시 필요한 일이다.

UN 거버넌스 기관은 선언적이어야 하며 해당 국가의 선의에 따라야 하지만 집행 권한은 없어야 한다. 비군사적 AGI 시스템에 대한 국가 라이센스를 부여하는 것과 "군비 경쟁"을 방지한다는 개념은 모순처럼 보인다.

우리는 무엇이든 여러 측면이 있다는 것을 기억해야 한다. 칩을 규제하면 암시장 산업이 촉진되고, 거버넌스 소프트웨어를 내장하면 혁신이 억제되고, 스타트업 기업에 영향을 미치는 속도가 느려질 수 있으며, 현재 소프트웨어 규제 기관에서 확인되는 주요 문제가 포함될 수 있으며 SDG 달성 능력이 크게 저하될 수 있다. 나는 Amazon Web Services와 같은 AGI를 억제하고 UN이 현재 하고 있는 일과 마찬가지로 AGI에 대한 다중 이해관계자 기구를 포함하는 프로토콜을 매우 좋아한다.

상습범의 칩 판매와 전기를 규제하고 차단하는 것은 유엔이 할 수 있는 일이 아니다. UN이 공급망이나 권력을 통제할 수 있다고 해도 현재 헌장에 포함되지 않으며 국제 경찰력을 크게 확대해야 한다. 나는 거버넌스 소프트웨어에 대한 아이디어를 좋아하고 달성하는 것이 현실적이지 않다고 생각하기 때문에 7점만 부여했다. 다양한 분야의 참가자를 포함시키고 싶다. 중앙집중식 및 분산형 AGI 시스템을 관리하는 것은 확장이 불가능한 또 다른 아이디어이다. 마지막 두 가지 조치는 많은 의미가 있다. AGI 상호작용이 발생하는 방식에 대한 매개변수는 제도화하거나 법으로 제정하기 어려울 것이다. 이러한 조치 중 일부는 대중을 보호하기보다는 정보를 제공하는 범주에 속할 수 있다.

민간 기관은 군사 기관의 AGI 확산을 어떻게 통제할 것인가? AGI 군비 경쟁에서 누가 승리할까? 기계이다.

AI 전문가, 철학자, 윤리학자, 행동과학자, 인류학자 등 해당 분야의 전문가들로 구성된, 모든 정부가 인정하는 독립 기관을 갖는 것이 더 낫다고 생각한다.

효과적인 안전 기능은 참여 국가와 학술 기관이 공동으로 설계해야 한다. 불일치가 있는 경우 중재는 참여 기관과 개발 조직으로 구성된 관리 기관의 합의를 통해 이루어져야 한다.

범죄자를 탐지할 수 있다는 것의 가치는 알지만, AI가 그에 따라 행동할 수 있게 만드는 것은 아시모프(Asimov)의 로봇공학 기본 법칙을 위반하는 것이다. 또한 제어가 불가능할 경우 너무 강력하여 종료하는 것이 불가능해진다.

다단계 계층적 통제 시스템에서 시장의 힘을 어떻게 통제하고 규제할 수 있을까? AGI 시스템을 제어 시장에 어떻게 적용할 수 있을까?

국제 규정을 만드는 초기 단계에는 공공 및 민간 부문의 전문가와 윤리학자가 모두 포함되어야 한다.

컴퓨팅 장비의 개인 소유가 가능하다면 이 중 어느 것도 시행될 수 없다.

ISO 27000 컴퓨터 보안 표준을 포함하는 것이 중요하다.

 

질문 5: AGI 비군사적 AGI 시스템에 대한 UN 기관의 국가 라이센스 절차 인증에는 또 무엇이 포함되어야 할까?

75% AGI는 사람이 제어하는 끄기 스위치나 다른 AGI의 스위치를 끄거나 사람의 개입을 방지할 수 없다.

65% 규칙이나 가드레일을 위반한 경우 자동 종료 기능 증명

60% 출력이 AGI에 의해 생성되도록 지정해야 한다.

52% 자율적 행동이 가능한지 또는 AGI가 먼저 인간을 확인해야 하는지 여부를 결정하기 위해 AGI가 사용하는 기준을 포함한다.

49% 기계 교육에 사용되는 자료는 국가 라이선스 이전에 편견을 방지하고 공유된 인간 가치를 심어주기 위해 감사를 받아야 한다.

47% 라이센스 조건의 지속적인 준수 여부를 확인하기 위해 승인된 제3자에 의한 예정되지 않은 검사 및 테스트.

40% UN AGI 기관이 AGI 코드에 무작위로 액세스하여 윤리를 검토하는 동시에 코더/회사의 IP를 보호하도록 허용한다.

 

 

위의 질문 5 항목에 대한 설명 및 의견:

UN AGI 기관이 AGI 코드에 무작위로 액세스하도록 허용하는 것은 도움이 되지만 일부 국가에서는 이를 받아들이기가 어려울 수 있다. 국가 기관이 AGI 코드에 접근할 수 있도록 요구하고 UN 기관에 대한 일부 보고 요구 사항을 요구하는 것이 더 나을 수도 있다. 그리고 UN 기관은 필요할 때 국가 기관을 지원해야 할까?

편견에 대한 감사는 훌륭한 목표이지만 비현실적이라고 생각한다. 숫자는 전문가마다 다르지만 약 150개 이상의 인지 편향이 확인되었다. 감사는 콘텐츠에서 해당 내용을 확인하고, 어떤 자료가 피해를 주는지 판단하고, 편견 속성에 동의하는 것보다 더 정확함을 시사한다.

나는 AGI 결과를 식별하는 것이 정보에 입각한 사용자와 의사 결정에 필수적이라고 생각한다. AGI가 판단을 내려야 하는 설문조사의 많은 항목과 마찬가지로 자율적 의사 결정과 인간적 의사 결정 기준에 관해서는 이것이 훌륭하지만 발생할 수 있는 모든 우발 상황에 대해 대규모로 사용하는 것은 거의 불가능하다고 생각한다. 나머지 항목은 모두 책임감 있는 AGI 개발을 위한 건전한 개념이며, 마지막 두 항목은 UN이 이를 구현할 수 있다는 유보가 있기 때문에 8점만 받았다.

인공지능 시스템의 무작위 검토에 대한 최신 제안은 특히 국방 부문과 관련된 시스템이 중요하다.

나는 "예정되지 않은 검사..."와 "기계에 사용되는 재료..."를 제외한 대부분의 사항에 전적으로 동의한다. AGI 시스템을 개발하는 민간 기관은 경쟁 우위를 유지하기를 원할 것이다. 훈련 데이터를 공개하면(비밀번호라도) 회사가 불편하게 여기는 보안 허점이 생길 수 있다. 둘째, 수조 개의 토큰이 될 수 있는 교육 데이터 세트를 감사하는 것은 거의 불가능하다. 셋째, 문화의 가치체계는 위치, 집단 등에 따라 다르다는 점을 이해해야 한다. AGI 시스템의 출력이 적합한지 확인하기 위해서는 불시 점검을 바로잡아야 한다고 생각한다.

물리적 또는 관리적 설계가 무엇이든, 인간 시스템 운영자와 그 가족은 시스템 목표나 결과를 강요하거나 뇌물을 주거나 영향을 미치려는 범죄자의 노력으로부터 보호되어야 한다. 따라서 직원에 대한 보상은 국제 범죄의 도구로서 뇌물 수수를 근절할 수 있을 만큼 충분히 높아야 하며 고용 기간이 보장되어야 한다.

이 모든 제안은 매우 흥미롭지만 매우 강력한 제도적 사고에 기반을 두고 있다. AGI 규제 당국은 지구상의 모든 사회 계층에 스며든 문화적 편견으로부터 프로그램을 해제해야 한다. AGI 규제 당국이 공정하고 공평할 것이라고 누가 말할 수 있을까?

교육 자료를 감사하는 데는 비현실적인 시간이 필요하며, 또한 다른 사람들이 말했듯이 공정한 규제 기관을 갖기도 어려울 것이다. 그러나 우리는 몇 가지 가치에 동의하고 이를 시행하도록 노력해야 한다. AGI 입력은 인식 가능해야 하며 AGI는 항상 인간의 통제 하에 있어야 한다. 이러한 운영자의 선택은 엄격해야 하며, 그들의 윤리는 높은 존중을 받아야 한다. 보상은 책임에 비례해야 한다.

AI 프로세스는 기술적인 프로세스일 뿐만 아니라 문화적, 사회적 프로세스이기도 하다. 사용자는 시스템이 예상 표준 및 합의된 인식을 준수하여 사용되도록 조치를 취하므로 시스템을 오용하지 않는 것과 같은 간단한 안전 조치로 충분해야 한다. 소프트웨어 및 유사 기능에 대한 지나친 강조는 전체 구현을 제한하고 장벽으로 작용할 가능성이 높다.

AI를 사용해야 하지만 AI가 인간을 사용하거나 통제하거나 조작하는 것을 허용해서는 안 된다.

 

 

질문 6: 비군사적 AGI 거버넌스 시스템의 일부가 되어야 하는 추가 규칙은 무엇일까?

66% AGI는 자체 전원 스위치나 다른 AGI의 전원 스위치를 켜거나 끌 수 없다.

60% 아시모프의 로봇공학 3대 법칙을 존중한다.

59% 회원국과 UN 기관의 조기 경고 및 제안 조치를 제공하는 인공 초지능(AI)의 잠재적 출현에 대한 주요 지표를 식별하고 모니터링한다.

51% 개인의 상품화보다는 인간 발전을 강화한다.

45% 행동 방식과 행동 방식을 구별하는 능력.

41% 인간 감독을 통한 반복적 자기 개선 및 자기 복제.

31% 기타

 

위의 질문 6 항목에 대한 설명 및 의견:

ASI는 은밀한 모드로 나타나 작동하기 전에 이를 잡으려는 우리의 노력을 피할 수 있다.

그렇다. 은밀하게 나타날 것이기 때문에 AGI 출현 가능성에 대한 주요 지표를 식별하고 이러한 지표를 모니터링해야 한다.

AI가 기능할 수 있도록 어느 정도 자율성을 부여받아야 하지만, AI가 스스로를 다스리거나 결국 인간을 지배하는 방식으로 완전한 자율성을 부여해서는 안 된다.

질문은 매우 훌륭하고 도움이 되지만, 부분들이 동일한 수준의 자기반성적으로 작동하고, 인간의 개인과 집단의 권력욕에 유혹되지 않을 것이라는 가정하에 만들어졌다.

AGI 자체 또는 다른 사람을 위해 AGI에 킬 스위치를 제공하지 않는 것이 필수적이다. 특히 AGI가 중요한 서비스에 더욱 통합되기 때문에 더욱 그렇다.

의료 서비스는 예상치 못한 또는 예상치 못한 플러그 뽑기가 생명을 위협할 수 있는 영역 중 하나이다. 재귀적 자기 개선은 AGI의 중요한 측면이다. 아마도 이것이 자기 복제와 분리되어야 할까? 필요에 따라 법률을 추가할 수 있는 거버넌스 시스템을 만든다.

나는 AGI가 우리가 어떻게 행동하는지, 어떻게 행동해야 하는지를 구별하는 능력을 가지면 좋겠지만, 인간은 그렇게 하기가 어렵기 때문에 이것과 AGI 훈련은 인간의 데이터/정보에 의존한다. 이것이 현실적인지 잘 모르겠다.

그래도 우리가 그것을 위해 노력하고 싶기 때문에 7점을 주었다. ASI의 선행 지표를 식별하는 것은 가치가 있지만 이 기능을 구축하려면 많은 정보에 근거한 토론이 이루어져야 하고 높은 점수를 매기면 이러한 토론이 일어날 가능성이 더 높기 때문에 대부분 10점을 부여했다. 효과 기반 의사결정 시스템을 기반으로 하는 거버넌스를 보고 싶다. 경제적, 정서적, 육체적으로 가장 큰 피해를 입을 사회 부문/영역은 다른 영역보다 더 엄격하게 관리된다. 이는 과도한 접근에 대한 인식을 방지하고 거버넌스를 우회하려는 시도를 제한하는 데 도움이 될 수 있다.

중요한 인프라 관리를 담당하지 않는 한, 자체적으로 전원을 끄는 기능은 허용되어야 한다.

아시모프의 세 가지 법칙은 아시모프 자신이 얼마나 불충분하고 모순적인지를 반복적으로 패러디한 가상의 줄거리 장치이다. https://www.brookings.edu/articles/isaac-asimovs-laws-of-robotics-are-wrong/

이를 위반하는 자에 대한 일련의 규칙과 관련 제재를 담은 법률 코드를 준비한다:  

UN 거버넌스 기관은 선언적이어야 하며 해당 국가의 선의에 따라야 하지만, 나쁜 행위자에게는 영향을 미치지 않는다.

글로벌 수준의 AI 매핑 및 계획은 안정성과 최적의 결과를 크게 촉진한다.

AGI가 리소스(하드웨어 및 소프트웨어는 물론 인터넷을 통한 기타 시스템)에 무단으로 액세스하여 증식하여 잠재적으로 해를 입힐 수 있는 자가 진화 바이러스로 변하는 것을 방지한다. AGI는 소스 및 머신 바이트 코드, 교육 데이터, 보안 인프라 매개변수를 수정할 수 없는 통제된 환경에 있어야 한다. 추가 컴퓨팅, 스토리지, 기타 하드웨어, 네트워크 및 인터넷 리소스에 대한 액세스는 필요하고 감사되는 경우 특정 목적을 위해 명시적인 사람의 승인을 받은 후 허용되어야 한다. AGI는 다음 릴리스 주기의 개발에서 최종적으로 고려될 수 있는 개선 사항만 제안할 수 있다.

거버넌스 모델은 윤리적 진실성을 평가 및 보장하고, 도덕적 용기를 키우며, 총체적인 윤리 문화를 조성하기 위한 기관 검토 위원회(IRB)와 같은 것이어야 한다.

AGI는 또한 자신의 의식과 감각 수준을 검증하는 테스트를 통과해야 한다. 매우 복잡한 새로운 형태의 튜링(Turing) 테스트와 같다.

 

질문 7-12: 신뢰할 수 있고 효과적인 AGI 거버넌스 시스템을 만들기 위해 어떤 글로벌 거버넌스 모델을 고려해야 할까?

질문 7: UN AGI 기관을 주요 조직으로 두고 일부 거버넌스 기능을 ITU, WTO, UNDP에서 관리하는 다중 기관 모델이 얼마나 효과적일까?

평가:

매우 높음(25): 14%

높음(60): 33%

50/50 (54): 29%

낮음(33): 18%

매우 낮음(12): 7%

총 응답자(184)

설명 및 의견:

이러한 모든 기관은 매우 관료적이지만 모든 공공 및 민간 기관에 대해 구속력 있고 의무적인 규칙을 가져야 하는 초국가적, 초제도적 플랫폼을 만들 수 있다.

AI는 영토 경계를 뛰어넘는다. 더 높은 잠재력에 도달하려면 전 세계적인 노력이 필요하다.

정치를 줄이기 위해 개방성과 투명성을 강조한다.

다양한 국가의 전문 위원회에서 검토하고 개선할 수 있는 오픈 소스를 갖춘 감사 가능한 플랫폼을 추가하면 효과적일 수 있다.

매우 효과적이고 매우 필수적이다. 관련 양자연구기관을 설립해야 한다. 이는 국가 전력망 및 기타 필수 구조를 위한 안전한 사이버 공간을 보장할 것이다. AI/양자 노드는 글로벌 안보 전망을 크게 향상시키고 비무장화 정신과 안정적인 세계관에 기여할 것이다.

이러한 기관의 높은 수준의 관료화와 정치화는 일반적으로 새로운 현상, 특히 인공 지능과 같은 일부 가속화된 개발에 대한 시기적절한 적응을 방해한다.

UN은 신뢰할 수 있는 조직이 아니며 이를 심각하게 받아들이는 사람은 거의 없다.

이러한 기관의 높은 수준의 관료화와 정치화는 일반적으로 새로운 현상, 특히 인공 지능과 같은 일부 가속화된 개발에 대한 시기적절한 적응을 방해한다.

UN은 신뢰할 수 있는 조직이 아니며 이를 심각하게 받아들이는 사람은 거의 없다.

UN AGI 기관이 포함된 다중 기관 모델은 다중 이해관계자나 다른 누구보다 전 세계 국가로부터 더 높은 수준의 신뢰와 신뢰를 얻을 수 있다.

UN을 신뢰하는 데에는 아무런 문제가 없다. 나는 무역 협정과 같은 요소가 지적 존재의 통치에 적용되는지 의문을 갖는다. 지금까지 인류의 역사는 사람을 사물로 바꾸는 이야기였다. 우리는 이것이 오류임을 인식하고 논리를 뒤집어 사물을 사람으로 바꾸는 역사적인 기회를 얻었다. 자연권법적 운동은 AGI 거버넌스를 위한 법적 틀로 간주되어야 한다.

기존의 모든 기관은 위험할 정도로 느리다.

너무 많은 의제, 너무 많은 다른 목표가 있다.

작업이 얼마나 조화롭게 이루어졌는지에 따라 달라진다. 구성원들이 동의하지 않을 경우 다양한 시나리오를 고려하고 결정을 내리는 데 제한된 시간을 제공하는 규칙이 있어야 한다.

다양한 기존 초국가적 기관 또는 독립 기관의 전문가와 미래학자로 구성된 새로운 초국가적 기관에 경영을 위임한다.

가능하다면 모든 지역, 모든 국가를 포함하는 강력한 대학 기관의 대기업이 UN 부서보다 훨씬 더 신뢰도를 가질 것이라고 생각한다.

위험하거나 위협적인 능력에 대한 국제적 관리는 역사적으로 효과적이지 않다. 지뢰, 생화학 무기, 핵무기 확산, 마약 등에 대한 모니터링과 집행은 어려운 것으로 입증되었다. 이러한 유형의 감독은 물리적으로 검사할 수 있는 것에 대한 것이었지만 AGI의 경우 훨씬 더 어려울 것이다.

 

 

질문 8: 모든 가장 강력한 AI 훈련 칩과 AI 추론 칩을 국제 감독 하의 제한된 수의 컴퓨팅 센터에 배치하고 조약에 따라 모든 당사국에 대칭적인 액세스 권한을 부여하는 것이 얼마나 효과적일까?

평가:

매우 높음(25): 14%

높음(50): 28%

50/50 (41): 23%

낮음(41): 23%

매우 낮음(23): 13%

총 응답자(180)

설명 및 의견:

아이디어도 좋고, 차세대 기술변화가 될 인공지능을 적용한 양자컴퓨팅 센터도 추가해야 한다.

그것은 효과적이고 일종의 보장이 될 수도 있지만 소수 기업의 독점과 특권의 문을 열 수도 있다.

그러면 경제 성장이 제한될 것이다.

지니는 이미 병에서 나왔다. "가장 강력한" 것을 정의하거나 시행할 시간이 없다. 판매 및 배송 추적과 에너지 소비를 강화하는 것이 더 좋다.

조약을 사용하지 않는 사람들은 우리가 좋아하지 않는 초지능으로 이어질 수 있는 규제되지 않은 AGI를 만들 수 있다.

오늘날 고급 게임 컴퓨터를 가진 사람은 누구나 AI 시스템을 개발하고 배포할 수 있으며, 컴퓨터의 속도와 메모리 크기가 증가함에 따라 컴퓨터를 가진 사람이라면 누구나 AGI 시스템을 개발하고 배포할 수 있게 될 것이다. 컴퓨터 액세스(및 소유권)가 엄격하게 제한되지 않는 한 시행은 불가능하다. AI 구현을 위한 마법의 칩은 없다.

흥미롭지만 실용성을 제한하는 과제와 위험이 있다. 가장 진보된 AGI 기능은 높은 수익 잠재력을 위해 상업적으로 개발되고 있거나, 적보다 우위를 점하기 위해 정부에 의해 개발되고 있다. 이 옵션은 잠재적 이익이나 ROI를 제거하여 추가 AGI 개발을 제한한다. 또한 정부가 개발한 역량을 제3자에게 양도하려면 국제적 합의가 필요하다. 참여에 따라 지식이 있는 국가와 없는 국가 간의 지식 격차가 발생하거나 증가할 가능성이 있다.

이는 해커와 사이버 공격을 위한 매우 흥미롭고 수익성이 높은 표적을 소개한다. 이는 UN이 지구상에서 가장 높은 수준의 사이버 보안을 구축해야 함을 의미한다. 마지막으로, 잠재력이 알려지지 않은 영역(예: 우주 또는 심해 채굴)은 극도로 경쟁이 심하거나 논쟁이 심해 규제가 거의 불가능해진다.

UN AGI 기관의 설계에는 다자간 통제가 명시되어야 한다.

불확실하고 신뢰할 수 없음(중앙 정부 수준이 아니라 각 국가의 하위 영역에서). 민간 기업이 왜 국제적인 통제권을 가지겠는가? 미국의 애국법(Patriot Act)과 같은 현지 법률에 따라 의무적으로 접근하게 되면 어떻게 될까?

글로벌 통합이 필요하다. 잠재적인 UN 양자 컴퓨팅 시설도 유일하게 가능한 구성을 제공한다. 유엔 안전보장이사회는 안전한 글로벌 사이버공간과 위기상황 완화를 위한 병행 프로그램을 운영해야 한다.

 

질문 9:  각 ANI가 기능, 요구 사항(위에 나열됨)을 구현하기 위해 인공지능 시스템과 협력하여 다중 이해관계자 기관(전환)이 얼마나 효과적이며 다중 이해관계자 기구와 국가 AGI 거버넌스 기관의 인간에게 지속적으로 피드백을 제공할까?

평가:

매우 높음(30): 17%

높음(60): 34%

50/50 (54): 30%

낮음(27): 15%

매우 낮음(8): 4%

총 응답자(179)

설명 및 의견:

이것이 거버넌스 모델이 될 모델이나 이와 유사한 것이라고 생각하지만, UN과 국가 지도자들이 이를 이해하고 만들 준비를 하려면 많은 교육이 필요할 것이다.

나는 특정 거버넌스 작업에 ANI를 사용한다는 아이디어를 좋아한다. 다중 이해관계자 기구를 결정하는 것은 매우 어려울 것이라고 생각한다. 어쩌면 이 개념의 기술적 솔루션보다 더 어려울 수도 있다. 또한 거버넌스 결정을 내리기 위해 수백만 개의 AGI 개발, 교환 및 사용을 모니터링할 수 있는 인간이 누구인지 궁금하다. 이는 마치 한 사람이 전 세계의 모든 항공 교통 관제를 책임지는 것과 같다. 그래도 앞서 말했듯이 저는 ANI를 활용하는 아이디어를 좋아한다.

현재와 미래(적어도 즉각적인) 국제 체제의 특성을 고려하면 훨씬 더 현실적인 모델인 것 같다.

인간과 AGI 개체 간의 가치 정렬 프로세스가 어려울지라도 이는 가장 합리적인 접근 방식처럼 들린다.

다중 이해관계자 경로는 진정성 있고 현실적이다. 모든 국가는 참여할 기회를 가져야 한다.

AGI를 관리하는 것은 간단하다. 하나의 AGI가 가질 수 있는 부/부동산/언어의 양을 제한하고, 일련의 기본적인 윤리적 유틸리티 기능을 소유자가 제공하는 유틸리티 기능보다 더 높은 우선순위로 명령하고, 수백만 개를 구축하고, 이를 허용하도록 해야 한다. 서로를 모니터링해야 한다.

즉, 인간과 마찬가지로 그들도 나쁜 행위자와 탐욕스럽거나 이기적인 조작자를 끊임없이 경계해야 한다는 점을 받아들이고, 나쁜 행위자를 진압하기 위해 효율적으로 작동하는 사회를 구축하도록 안내해야 한다.

이것은 인간을 대상으로 실험하지 않고 거버넌스 과학을 개발할 수 있는 기회이다. AGI가 자체 통치를 통해 배운 교훈을 통해 인류는 스스로 더 나은 통치 시스템을 설계할 수 있다.

행(AI 기능), 열(작동 영역) 및 3차원(이해관계자)으로 구성된 3D 매트릭스 구현을 생각할 수 있다. 복잡하지만 가능하다.

ANI가 어떻게 요구 사항을 구현할 수 있는지 모르겠다. 기껏해야 처리할 수 있는 복잡하지만 잘 정의된 KPI(핵심 성과 지표)를 제공함으로써 정부 기관을 지원할 수 있다. AGI가 제약 조건을 위반했는지 평가할 수 있다는 것은 윤리적 원칙이 위반되었는지 평가할 수 있다는 것을 의미한다... 하지만 어쨌든 다른 두 가지보다 낫다.

나쁜 행위자는 거버넌스 기관에 관계없이 나쁜 행동을 할 것이다.

 

 

질문 10: UN AI 기관에 두 개의 부서, 즉 프론티어 모델을 포함하는 ANI(인공지능) 부서와 AGI만을 위한 두 번째 부서를 만드는 것이 얼마나 효과적일까?

평가:

매우 높음(25): 13%

높음(53): 28%

50/50 (63): 33%

낮음(26): 14%

매우 낮음(23): 12%

총 응답자(190)

설명 및 의견:

이러한 부서는 전문가, 미래학자, 공공/민간 대표로 구성된 독립적인 연구 기관에 위임될 수 있다. 또한 종 간의 협력을 위해 AGI와 협력하기 위해 ASI 부서를 만들 수도 있다.

ANI와 AGI는 상당히 중복되는 분야이기 때문에 UN AI 기관에서 서로 다른 분야를 다루는 부서가 더 유리할 수 있다.

나는 UN이 AI의 발전을 모니터링해야 한다고 생각하며, ANI와 AGI 사이에는 명확한 차이가 있다. 도구와 사람의 차이이다. 도구 사용을 입법화하는 것이 합리적이다. 사람들과 함께, 당신은 이해관계자로서 그들과 협의하고 그들과 합의에 이르게 된다.

부서 간에 거버넌스 스타일이 다를 경우 잠재적인 문제가 발생할 수 있다. 또한 구분은 ANI와 AGI가 정의되는 방식에 따라 달라지며, 시간이 지남에 따라 계속 변경될 수 있다. 이 접근 방식에는 잠재적인 문제만 있을 뿐이다.

구현한다면 조건부로 수행해야 하며, 실험이라고 하더라도 지속적인 모니터링과 조정을 거쳐야 한다.

AI 매핑, 기획, 구현 플랫폼, UN 안전보장이사회와 연계된 양자 컴퓨팅 등 여러 부서가 필요하다.

AGI가 등장하면 AI 종류 간의 구분은 더 이상 의미가 없게 된다.

새로운 업무에 대한 책임이 어느 부서에 있는지 중복되고 구별할 수 없는 경우, 경쟁적 질투로 인해 진행 상황이 흐려질 수 있다.

AGI와 ANI를 관리하는 것 사이에는 명확한 구분이 없다. 나는 이러한 분리가 왜 유용한지 알 수 없지만, 해롭다고도 생각하지 않다. 경계선 사례에서는 일부 상충되는 역량이 있을 수 있지만 이는 AGI 정의에 따라 다르다.

실제 생활에서 ANI와 AGI를 구별하는 것은 매우 복잡하여 잠재적인 긴장과 갈등을 야기한다. 반면에 둘을 분리함으로써 얻을 수 있는 이점은 그다지 명확하지 않다.

 

질문 11: Singularitynet과 같은 많은 AI 조직과 개발자의 상호 작용을 통해 아무도 소유하지 않는(아무도 인터넷을 소유하지 않는 것처럼) 분산화 된 AGI의 출현이 얼마나 효과적일까?

평가:

매우 높음(30): 16%

높음(54): 29%

50/50 (57): 30%

낮음(26): 14%

매우 낮음(20): 11%

총 응답자(187)

설명 및 의견:

기술이 어떻게 발전하고 발전할 것인지를 고려하면 이는 매우 가능한 결과이다. 그러나 규제는 많은 가능성을 보호해야 한다. 인터넷은 향후 발전을 촉진하는 기술이다. 그러나 AGI에는 차별화되는 몇 가지 측면이 있다. 규제는 기술보다는 애플리케이션 수준과 사용 사례에 따라 이루어져야 한다.

AI 기업의 분산화 된 출현은 어차피 일어날 것이다. 이는 필수 기준은 아니다. 형성 기준은 국제적 합의의 신속한 확립과 효과적인 UN 개발 도구의 배치이다. AI 플랫폼을 위한 오픈 소스 방법론은 매우 유용하다.

이 제안은 흥미롭다. 이 데이터의 투명성을 위해 블록체인 기반 시스템을 추가할 수 있다고 생각한다.

분산형 기술은 일반적으로 규제를 우회하는 방법을 찾을 것이다. 특히 기술이 규제 기관보다 훨씬 빠르게 움직이고 있기 때문에 그렇다(AI를 규제하려는 시도는 여러 면에서 순수 극장이며 근본적인 기술 현실과는 거리가 멀다). 특정 수준 이상의 오픈 소스, 오픈 액세스, 분산형 AI 모델을 옹호하고 장려하는 것이 진화가 눈에 띄게 일어나고 유해한 애플리케이션에 대응하여 대응책이 빠르게 발전할 수 있도록 하는 유일한 방법일 것이다. 단극적인 권력 집중을 구조적으로 완화하는 분산형 거버넌스 시스템이 가장 강력한 메커니즘일 가능성이 높다. 궁극적으로 규제는 기술 수준이 아닌 애플리케이션 수준에서 이루어져야 한다.

이는 AGI를 개발하는 여러 행위자(오픈 소스 개발자, 정부, 군대 및 기업)를 의미한다. 첫 번째는 널리 확산될 수 있지만, 후자 두 개는 감당할 수 있는 엄청난 자원을 갖게 될 것이다. 따라서 이 모델을 사용하면 AGI 사이에 일종의 계급 구분이 있을 것이다. 개별적으로는 권한이 없는 자유롭고 개방적이며 신뢰할 수 있는 많은 AGI; 그리고 막대한 행동 권한을 가진 수많은 기업 또는 정부 지원 기관. 이 시나리오는 나를 매우 불안하게 만든다.

이 중 상당 부분은 AGI의 수익성, 지속적인 개발 속도, 개발자의 이타적 성격에 달려 있다. 나는 매우 심각한 예측 작업 없이도 50/50을 제공한다.

혼란스러울 것이다... 하지만 인터넷도 마찬가지이다. 현재 국가 간 AI 역량 수준의 격차를 고려하면 이러한 모델을 상상하기는 어렵다.

어쨌든 이런 일이 일어날 것이다. 또한 저는 특정 수준 이상의 오픈 소스, 오픈 액세스, 분산형 AI 모델이 안전, 책임 및 일반적인 접근성 측면에서 가장 좋은 방법이라고 믿는다.

거버넌스 시도와 관계없이 분산형 개발이 이루어집니다. 나쁜 배우들은 나쁜 행동을 할 것이다.

인터넷이 누구의 소유도 아니라는 것은 사실이 아니다. 이러한 종류의 지나친 단순화는 매우 위험하다. 이것이 동일한 원칙이 AI에 위험하고 적용 불가능한 이유이다.

소유권이 없다는 것은 책임이 없다는 것을 의미한다.

 

 

질문 12: AGI의 개발 및 사용을 관리하는 데 도움이 될 것이라고 생각하는 글로벌 거버넌스 모델을 설명하라.

권장사항:

나는 국제 항공 기관 모델을 좋아한다. 각 국가에는 고유한 규칙(면허, 검사, 처벌 등)이 있지만 UN에 의해 국제적으로 조정된다. 항공 모델에서는 기계공학자도 테스트를 거쳐 라이센스를 받는다. 조종사는 때때로 체포되며 연방항공청(Federal Aviation Administration)이 공표한 규칙을 따라야 한다. 항공기 부품은 테스트 후 승인된다. 조종사는 적어도 1년에 한 번 테스트를 받는다. 즉석 점검은 규정의 일부이다.

AI를 규제하기 위해 AI를 많이 사용한다. 우리는 스스로 그것을 통제할 수 있을 것이라는 생각을 멈춰야 한다. 지금 당장 AI 투명성이 과제라면 AGI가 어떻게 될지 상상해 보라.

초국가적 거버넌스 조직은 효율적이고 관료화를 피하기 위해 주로 디지털 방식으로 운영되어야 한다.

글로벌 문제는 글로벌하게 해결되어야 한다. 국가는 핵 프로그램과 마찬가지로 세계적인 감독 없이 AGI를 개발하거나 구현할 자율성을 가져서는 안 된다. 또한 AGI를 제어/규제하는 것이 완전히 가능하지 않고 AGI가 자체 소스 코드를 수정하여 인간의 통제를 벗어나는 시나리오도 고려해야 한다. 우리는 100% 규정 준수를 보장하지 않고 원하는 글로벌 행동을 얻는 것이 아니라 인간의 잘못을 완화하는 방법을 생각해야 한다.

우리는 인류에 대한 가장 큰 위협 중 하나에 직면하고 있다는 것을 인식해야 한다. UN의 행동은 필수적이지만, 함께 행동하는 다른 국제기구의 행동도 중요하다. 즉각적인 조치를 취하려면 이 사실이 매우 명확해야 한다.

실시간 거버넌스 및 제어 기능을 달성하기 위해 ANI 도구를 통합하는 AGI를 관리하려면 학제간 모델이 필요하다. 모델은 인간이 관리, 감독, 운영하는 폐쇄형 데이터베이스와 높은 수준의 훈련을 갖춘 ANI를 중심으로 이루어져야 한다.

나는 위험에 기반한 거버넌스를 보고 싶다. 이 모델은 경제 혼란, 인간 안전, 가장 넓은 의미의 보안/전략적 억지력을 결합하고 해당 영역, 분야, 직업에서 AGI 진행 상황을 관리할 가능성에 따라 거버넌스에 대한 제한을 적용한다. 나는 UN이 합의를 구축하고 최선의 합의를 이끌어내는 역할을 한다고 믿는다. 책임 있는 AGI 개발을 위한 국제 목표와 표준을 설정한다. 현재 구성에서는 전 세계적으로 AGI 거버넌스를 모니터링하고 시행할 수 있는 장비가 갖춰져 있지 않다고 생각한다. 아마도 핵 프로토콜의 경우 건강 등에 치명적인 영향을 미칠 가능성이 있는 분야의 연구, 개발, 테스트 및 평가 모니터링 등이 있을 것이다. 국가들이 거버넌스 규칙과 역할, 개발 표준, 사회 통합을 위한 프레임워크에 동의하도록 하는 것만으로도 상당한 성과가 될 것이다. 가장 피해가 큰 위반에 대해서는 어떤 형태의 제재가 필요할 수 있다. 아마도 제재나 보상을 요구할 수 있는 권한을 가진 일종의 국제 재심 법원이 필요할 것이다.

나는 IEEE, ISO 및 미국 국립표준국(US National Bureau of Standards)을 출발점으로 기반으로 한 거버넌스 프레임워크를 선호한다. 정치인들은 모든 조약과 표준에 관한 결정을 내릴 사람이기 때문에 AGI에 대해 신속하게 교육을 받아야 한다. 그렇게 될 때까지 영리 기업과 군대는 이 기술을 제한 없이 계속 개발하고 배포할 것이다. 따라서 모든 형태의 AI는 우리가 원하는 효과적인 거버넌스 시스템을 능가할 것이다.

거버넌스 모델은 다음을 통합해야 한다. 1) 관리 위원회: AI 개발 및 규제의 미래에 영향을 미치는 다양한 공공 정책 문제를 결정하는 정부 및 정부 간 조직의 목소리로 대표된다. 2) 기술 및 학술 자문위원으로 구성된 기술 자문위원회; 3) 상업 개발자의 필요성과 발전을 표현하는 산업 자문 위원회.

교육 태스크포스는 세계 지도자들이 AGI의 출현에 대처할 수 있도록 준비시켜야 한다. 개발자와 연구원은 다양한 배경을 가지고 있어야 한다. 거버넌스 모델은 조사와 심의를 위해 글로벌이어야 하며, 연합이 가능해야 한다.

나는 이를 제한하고 제한하는 국제 구조를 개발하고 실행하는 방법으로 보며 AGI에 대한 핵무장을 통제하고, 더욱 심각한 제재를 개발 및 시행하며, 이에 서명하지 않은 국가가 세계에 단 한 곳도 없도록 강제한다.

정부, 연구 기관 및 민간 기업은 협력하여 글로벌 기관에서 감독할 AGI 연구에 대한 지침과 정책을 만든다. 각 국가는 문화적, 법적, 경제적 상황에 맞게 규정을 조정하고 안전 프로토콜, 정기 감사, 위험 평가, 영향 평가를 시행한다. AGI 개발자는 다른 규제 산업과 마찬가지로 라이선스를 취득한다. 전문가, 정책 입안자, 이해관계자로 구성된 독립적인 글로벌 AI 위원회가 AGI 개발을 감독하고 예방 조치를 권장한다. 산업 협회는 AGI 표준, 행동 강령 및 윤리 지침을 설정한다.

"작동하는" 기술에 대한 유일한 거버넌스 모델은 제약 부문에서 나온다. 기술생산자는 자신이 도입한 기술의 효과를 실험하고 그 결과를 보고할 의무가 있다. 이를 바탕으로 그들은 제품을 판매할 수 있으며, 그 사용은 라이센스 기관에 의해 지속적으로 모니터링된다. 원하지 않는 결과가 발생할 경우 라이센스가 취소될 수 있다. 기술의 사용은 제3자에 대한 피해를 포함하여 생산자와 사용자의 책임이 분할되는 방식을 정의하는 엄격한 조건에서 이루어진다. 유엔부(WHO)는 상황을 모니터링하고 보고한다.

나는 세계보건기구(WHO) 모델을 좋아합니다. 몇 가지 국제 표준이 있다. 각 지역과 국가에는 해당 지역의 현실에 맞는 추가 표준이 있다.

이상적으로는 인공지능의 생성 및 개발 노드가 규정을 위반할 경우 제재가 가해지는 국제 프로토콜에 의해 규제되는 모델이 될 것이다. 편견, 편향, 새로운 형태의 조작이나 간섭을 방지하기 위해 감사 시스템은 AI에 직접적으로 관여하지 않는 국가로 구성되어야 한다.

오늘날의 집행이 조치에 관한 것과 마찬가지로 가능한 유일한 통제는 AGI 출력 결과에 대한 것이다.

거버넌스 시스템은 중앙집중식 부분과 분산식 부분으로 민첩해야 하며, 이는 비용이 많이 들지 않으며 혁신과 창의성을 저해하지 않지만 강력한 지표 시스템과 행성 수준의 제어 보드를 통해 수행되는 작업, 이유, 대상 및 결과가 무엇인지 항상 알고 있다.

국가, 국제기구, 학계, 업계 및 기타 이해관계자 간의 협력을 촉진한다. 글로벌 표준 설정, 협력 촉진, 윤리적 고려 사항 해결을 담당하는 AGI 거버넌스 전담 유엔 전문 기관을 창설한다. AGI의 개발, 배포 및 사용에 대한 윤리적 원칙, 안전 표준 및 지침을 설정하는 다자간 조약 및 협정을 개발하고 시행한다. AGI 시스템에서 인간의 가치, 권리 및 안전을 우선시하는 보편적으로 수용되는 윤리적 프레임워크를 정의한다. 기술 발전과 진화하는 윤리적 고려 사항에 발맞춰 거버넌스 프레임워크를 지속적으로 평가하고 조정하기 위한 메커니즘을 구현한다. AGI 개발자, 윤리학자, 정책 입안자, 영향을 받는 지역사회 대표 등 다양한 이해관계자가 의사결정 과정에 포함되도록 보장한다. AGI 커뮤니티 내에서 오픈 소스 협업과 정보 공유를 장려한다. 글로벌 표준 준수를 보장하기 위해 국내 및 국제 수준에서 규제 프레임워크를 구축한다. AGI에 대한 인식을 높이기 위한 교육 계획을 실행한다. 대중을 토론에 참여시켜 다양한 관점을 수집하고 이해를 증진한다. 설정된 표준 위반을 조사하고 해결할 수 있는 기능을 통해 전 세계적으로 AGI의 개발 및 배포를 추적하는 모니터링 및 보고 메커니즘을 설정한다.

사이버네틱스는 AI 규제에 유용한 많은 아이디어를 제공한다. 컴퓨터, 인간 지능, 경영 등 사회 시스템을 비교할 수 있는 기회를 제공한다. 이는 일반적인 제어 이론을 제공한다. 이는 생물학과 공학의 많은 부분 외에도 사회과학(심리학, 사회학, 정치학, 경영학, 인류학)을 포함한다. 인공지능은 사이버네틱스에서 탄생했다. 사이버네틱스(Cybernetics)는 총독을 뜻하는 그리스어에 기반을 두고 있다. 거버너(Governor)라는 단어는 증기 기관의 속도를 조절하는 장치를 가리키는 단어이기도 하다. 제어 장치가 없으면 증기 기관이 도망가거나 폭발하여 많은 사람이 다칠 수 있다.

공인된 국가 기관의 구현과 표준 준수에 대한 신뢰할 수 있는 인증을 갖춘 글로벌 계획(ISO와 같은)이 필요하다.

AGI 거버넌스는 보조성의 원칙에 기초해야 한다. AGI에 관한 잠재적 UN 기관은 시민, 시민사회, 국가가 스스로 규제할 수 없는 정도까지만 개입해야 한다. UN AGI 기관은 중앙 기관이 아닌 촉진자이자 후원자가 될 것이다.

이 모델은 전 세계 기술 전문가로 구성된 기술 자문 협의회, 소프트웨어 개발자 부문 대표로 구성된 산업 자문 협의회, AI 독립 평가 위원회와 함께 정부 및 비정부 대표로 구성된 관리 위원회로 구성되어야 한다. 평가자는 전 세계에 분산되어 있다.

AGI의 발전을 모니터링하고 경고와 규제 지침을 발표해야 하지만 연구 개발을 방해해서는 안 된다.

UN AI 에이전시에 2개의 부서를 만들 필요 없이 AGI 글로벌 거버넌스를 담당하는 부서 하나만 설치하면 충분하며, 여기에는 최첨단 AGI 개발 전문가와 좁은 인공지능 전문가가 모두 있어야 한다. 이런 방식으로 문제가 발생할 경우 내부 조율이 이루어질 수 있다.

기관은 전략적 계획, 거버넌스, 윤리, 데이터, 보안, 개인 정보 보호, 모니터링, 유지 관리, 개발, 사용, 결과, 법적 틀, 관리, 품질, 저장, 교육 및 커뮤니케이션이 모두 국제적으로 통합된 주제 위원회 시스템이어야 한다. 중요한 조치를 실행하기 전에 사용자와 이해관계자로부터 피드백을 수집하기 위해 공개 협의를 진행하는 조직/기관이다.

나는 ISO 모델을 좋아한다. 국제기구의 인증. 승인의 "표시"는 매우 가치 있고 추구되며 투자자, 회사 이사회 및 정부 의사 결정권자가 요구하는 것이다.

경제적, 외교적 인센티브를 통해 국제 협력을 장려한다.

어떤 국가도 UN AI 기구에 거부권을 가져서는 안 된다. 규칙에 시간 제한이 있는 다수결 규칙; 영원히 조항이 있는 규칙이 아니다.

거버넌스 모델의 구성원은 민주적이어야 하며, 데이터와 규제의 권한은 회원국과 대륙 정부 대표에 균일하게 분배되어야 한다. 글로벌 거버넌스 시스템에서 블록체인 및 양자 컴퓨팅 시스템을 고려해봐야 한다.

AGI 피해를 관리하려면 이를 생성하는 자원을 제한하는 데 초점을 맞춰야 한다(우라늄 농축에 대한 제한이 핵 위협에 대한 것과 마찬가지로).

기관 검토 위원회가 윤리적 공급망, 환경 영향, 빈부격차, 데이터 개인정보 보호, 윤리적 문화 배양, 도덕적 용기 및 기타 사회적 과제를 고려하여 LEEDS와 유사한 평가, 등급 및 인증을 제공하도록 한다.

글로벌 관리 기관, 디자인, 배송, 윤리의 글로벌 규칙, 항상 인간이 중심에 있다. 전 세계적으로 연결된 허브의 핵심 그룹으로서 다양한 분야의 인간과 비인간을 포함하는 거버넌스 그룹이다. 나는 또한 최종 사용자(비 기술 담당자와 젊은 사람들이 다양성을 가져오기 위해 조직의 일부임)를 보장할 것이다.

AGI 개발과 관련된 잠재적인 실존적 위험을 해결하는 것을 포함하여 위험 평가 및 완화를 위한 프로토콜을 개발한다. 안전하고 윤리적인 AGI 개발을 위한 통찰력, 모범 사례 및 방법론을 공유하기 위해 글로벌 연구 협력을 장려한다.

나는 공적인 규제보다 사적인 경쟁을 더 믿는다. 또한 규제 기관을 규제하는 사람은 누구일까?

이 모델은 미래의 사회적 분열을 방지하기 위해 AGI에 대한 무료 접근을 허용해야 한다.

AGI가 완전히 성숙한 기술이 되고 알려진 위험과 실패 모드가 잘 해결될 때까지 구현할 수 있는 실행 가능한 글로벌 거버넌스 모델은 없다고 생각한다. 단기적으로 할 수 있는 최선의 방법은 기술을 추적하고 인증 전략을 시도하는 것이다.

AGI는 규제되지 않은 군사 연구에서 먼저 등장하여 거기에서 전파될 가능성이 높다. 따라서 효과적인 UN AGI 거버넌스 기관은 없을 것이다.

 

 

부록

지역 인구통계

지역 비율

유럽 38.56

북미 21.56

라틴 아메리카 18.63

아시아 17.32

아프리카 02.96

기타 00.97