한승수 전 국무총리는 유엔총회의장협의회(Council of the Presidents of the United Nations General Assembly(UNCPGA)) 의장 자격으로 10.29-30 서울에서 개최된 UNCPGA 전체회의를 주재한다.

 

   유엔총회의장협의회는 전·현직 유엔 총회의장들로 구성된 협의체로, ▴주요 유엔 기구와의 협력 촉진 ▴전직 총회 의장 간 소통 강화 ▴유엔의 평화·안보·개발 활동 지원 등을 목적으로 1997.11월 출범하였다. 한승수 전 국무총리(제56차 유엔 총회의장)는 2022.10월 3년 임기의 유엔총회의장협의회 의장으로 당선된 바 있다.

 

UN IAIA 설립 요약

미래 연구에 중점을 둔 싱크탱크인 밀레니엄 프로젝트(유엔미래포럼)는 인공지능 일반 지능(AGI) 시대의 빠른 도래로 인해 UN 국제 인공지능 기구(UN IAIA) 설립 아이디어를 시작했다. 전문가들은 규제가 없는 AI가 적절히 관리되지 않을 경우 인류에 중대한 위험을 초래할 수 있다고 경고한다. UN IAIA의 형성은 UN의 후원 하에 이루어질 수 있으며, 2024년 10월 30일 UN총회의장협의회(UNCPGA) 동안 한국에서 Jerome Glenn, Han Seung-soo, Koo Yoon-chul, Park Youngsook와 같은 영향력 있는 인물들이 참여하는 작업 그룹이 설립될 예정이다. Han Seung-soo는 UNCPGA의 의장을 맡고 있으며, UN 사무총장이 이 중요한 회의에 참석할 것으로 예상된다.

UN IAIA 설립 목적

전 세계 전문가들은 규제가 없는 AI의 미래에 대해 경고하며, 이는 재앙적인 결과를 초래할 수 있다고 예측하고 있다. AI는 세 가지 유형으로 나뉜다:

1. 인공지능 협소 지능(ANI): 현재의 생성 AI 기술을 포함하며, 미래 몇 년 동안 진화할 수 있는 협소한 훈련된 도구로 기능한다.
2. 인공지능 일반 지능(AGI): 아직 존재하지 않지만, AGI는 단순한 도구가 아닌 에이전트처럼 작동할 것으로 예상되며, 자기 코드 수정, 혁신적인 문제 해결, 지속적인 학습이 가능하다. 전문가들은 AGI가 이번 10년 내에 등장할 수 있다고 언급하고 있다.
3. 인공지능 초지능(ASI): 종종 인공지능 초지능으로 불리는 ASI는 AGI를 따른 후 인간의 통제를 벗어나 스스로 목표를 설정할 수 있다.

현재 ANI와 관련된 거버넌스에 대한 일부 진전이 이루어졌다:

• 미국 주도의 UN 총회 결의안은 ANI를 다루지만 AGI는 다루지 않는다.
• EU AI법과 중국의 인공지능 법률은 AGI를 고려하지 않고 ANI에 초점을 맞추고 있다.
• 28개국이 서명한 블렛클리 선언은 또한 ANI에만 국한되어 있다.

미국과 중국의 AI 협력 대화는 AGI 거버넌스에 대한 논의를 암시할 수 있지만, 이러한 세부 사항은 공개되지 않았다. 최근 백악관의 성명과 행정명령 역시 AGI보다는 ANI에 집중하고 있다.

즉각적인 필요

이러한 도전 과제를 해결하기 위해 여러 조치가 필요하다:

• AGI 라이센스 시스템을 국가적으로 승인하고, 국가표준기술연구소(NIST)에게 라이센스 발급 전에 AGI 안전 테스트를 위한 시뮬레이션을 준비하도록 지시하는 법안을 마련한다.
• 밀레니엄 프로젝트의 AGI 거버넌스 연구의 1단계와 2단계를 활용하여 이러한 문제를 논의하는 데 도움을 준다.
• "글래드스톤 방어 심층 방안: 고급 AI의 안전성과 보안을 높이기 위한 행동 계획"의 국가 제안을 평가한다.
• UN 총회 결의안을 지지하여 ANI와 AGI를 모두 다루는 UN AI 조약 초안 작성을 위한 의지를 가진 위원회를 설립한다.

밀레니엄 프로젝트 2단계 AGI 보고서에서 강조된 바와 같이, AGI를 관리하는 것은 인류가 직면한 가장 복잡한 관리 과제 중 하나가 될 수 있으며, AGI 시스템 개발 이전에 이를 해결하지 못하는 것은 문명에 중대한 위험을 초래할 수 있다. 어떤 조직도 그러한 해로운 실수를 저지를 권리가 없다.

UNCPGA는 새로 선출된 UN총회의장에게 AGI를 주요 의제 항목으로 삼을 것을 권장할 수 있다. 그러나 모든 AGI 기관은 UNCPGA와 직접적으로 연결되는 것이 아니라 UN의 후원 하에 운영되어야 한다. 우리 2단계 연구는 또한 인간과 AI를 모두 포함하는 다중 이해관계자 하이브리드 조직인 TransInstitution을 제안하고 있다.

따라서 UN총회 결의안이 긴급히 필요하다. 이 결의안은 UN AI 조약 초안을 작성할 위원회를 만드는 것이며, 이는 궁극적으로 국제 인공지능 기구 설립으로 이어질 것이다. UN 사무총장은 이미 지난 7월 AI에 관한 UN 안전 보장 이사회 회의에서 이러한 기구 설립을 지지한다고 표현했다.

UN IAIA 설립 단계

1. 위원회 설립을 위한 UN 결의안: ANI와 AGI를 다루는 구성을 포함하여 UN AI 조약 초안을 작성할 의지를 가진 위원회를 설립한다.
2. 조약 채택을 위한 UN 결의안: UN AI 조약을 채택하는 결의안을 통과시켜 국제 인공지능 기구의 설립을 위한 전환점을 마련한다.
3. 회원국 비준: 회원국은 UN AI 조약을 비준하여 그 효력을 발생시켜야 한다.
4. UN IAIA 설립: 비준 후, 국제 인공지능 기구가 공식적으로 설립된다.

IAIA의 밀레니엄 프로젝트 주도

밀레니엄 프로젝트의 AGI 연구는 세 가지 단계로 구성되어 있다:

• 1단계: 55명의 AGI 리더와 협력하여 AGI에 관한 22개의 중요한 질문에 답변한다.
• 2단계: 60개국에서 299명의 전문가가 참여하여 AGI에 대한 40개의 규제 및 5개의 글로벌 거버넌스 모델을 평가하는 원탁회담(RTD)을 진행한다.
• 현재 진행 중인 작업은 2035년까지의 다섯 가지 AGI 시나리오를 개발하는 데 중점을 두고 있다.

Jerome Glenn은 이 중요한 이니셔티브에서 밀레니엄 프로젝트의 노력을 이끌고 있다. 첨부된 것은 참고용으로만 사용할 수 있는 작업 초안이며, 배포 또는 외부 유포를 목적으로 하지 않는다. Ben은 현재 제안된 시나리오 중 하나를 작성하고 있다.

이 포괄적인 계획은 AGI의 책임 있는 관리 및 거버넌스를 보장하기 위한 적극적인 조치의 필요성을 강조하고, 고급 인공지능의 현실에 접근하면서 인류의 이익을 최우선으로 보호하고자 하는 목표를 지닌다. 

 

IACAI 요약

한국은 인공지능 저작권 관리 국제기구(International Agency for Copyright for Artificial Intelligence, IACAI: 이사장 박영숙 교수)를 설립했다. 이는 AI가 생성한 저작물의 저작권 관리를 전담하는 세계 최초의 국제 기구이다. 이 선구적인 이니셔티브는 다가오는 AI 시대를 대비해 체계적으로 포괄적인 정책을 시행하고, 저작권 관리 개선 및 교육을 촉진하는 것을 목표로 한다. IACAI의 주요 목적은 AI로 생성된 저작물의 법적 지위를 명확히 하고, 그들의 합법적 사용을 보장하며, 관련 저작권자의 권리를 보호하는 것이다.

글로벌 조직인 IACAI는 AI 생성 콘텐츠와 관련된 복잡한 법적 및 윤리적 문제를 다룬다. 현재 인간이 AI 또는 AI의 창작물에 저작권을 부여하지 않기 때문에, 이는 AI에 저작권을 부여하는 중요한 틀로 기능한다. 2026년까지 인터넷상의 콘텐츠의 약 90%가 AI에 의해 생성될 것으로 예상됨에 따라, 확고한 저작권 솔루션의 필요성이 뚜렷해진다. 따라서 IACAI는 혁신적인 프로그램과 솔루션을 통해 AI에 대한 저작권 부여를 촉진하는 것을 목표로 한다.

WIPO(세계지식재산기구)가 인간이 생성한 저작물의 저작권을 관리하는 것과 달리, IACAI는 AI 생성 콘텐츠의 독특한 문제에 집중한다. 이 틀 내에서 AI 시스템은 서로에게 인증서나 라이센스를 발급할 수 있으며, 그들의 창작물에 대한 포괄적인 법적 보호를 보장한다.

주요 내용

• IACAI는 AI 생성 콘텐츠의 저작권에 중점을 둔다.
• WIPO와 같은 기존 시스템을 보완하며, 이는 주로 인간이 생성한 저작물을 다룬다.
• 목표는 AI가 저작권을 자가 관리할 수 있는 체계를 구축하는 것이다.

목표 및 목적

1. 국제 저작권 기준 수립: IACAI는 AI 기술과 창작물 보호를 위한 법률 및 규정을 개발하고, 윤리적 AI 사용을 촉진하며, 글로벌 협력을 위한 플랫폼을 제공하는 것을 목표로 한다.
2. 이해관계자 권리 보호: 이 조직은 AI 생성 저작물에 대한 저작권 인정과 창작자, 개발자 및 소유자의 권리와 이익 관리를 중시한다.
3. AI의 윤리적 사용 촉진: IACAI는 저작권자의 권리를 보호하고 AI 산업 내 공정한 관행을 보장함으로써 책임 있는 AI 기술 사용을 권장한다.
4. 연구 및 교육 실시: 이 조직은 AI 저작권 보호에 관한 전문가 양성에 집중하며, AI 저작권과 관련된 법적, 기술적 및 경제적 문제를 조사한다.
5. 국제 지원 및 기여: IACAI는 국제 저작권 법 발전을 촉진하기 위해 회의 및 세미나를 통해 AI 저작권 정책에 대한 다국적 대화를 촉진한다.

핵심 활동

• AI 생성 정보의 사회적 영향을 평가하고, 허위 정보에 대한 법적 대응을 개발한다.
• AI 저작권 문제를 교육하기 위한 프로그램을 설계한다.
• AI 저작권 문제에 대한 연구 결과를 발표하여 공공 및 민간 기관의 인식을 높인다.
• AI 생성 콘텐츠에 대한 인증 시스템을 구축하고 저작권 콘텐츠 식별 시스템을 강화한다.

조직 구조

IACAI의 창립 이사회는 IEEE AI 표준 위원회 의장인 투피 살리바와 UN 미래 포럼의 한국 대표인 박영숙을 포함한 다양한 분야의 전문가들로 구성되어 있다. 이사회의 다양한 전문성은 조직의 운영 역량을 강화한다.

IACAI는 AI 산업의 급속한 성장과 관련된 사회적 및 법적 문제를 해결하기 위해 헌신하고 있다. 저작권 관리와 관련된 연구, 교육 및 국제 서비스를 제공함으로써, IACAI는 AI 분야 내 윤리적 기준과 정책을 형성하는 데 중요한 역할을 수행하고, AI 기술의 균형 잡힌 책임 있는 발전을 촉진할 것이다.

이 포괄적인 접근 방식은 AI와 관련된 저작권 문제를 효과적으로 관리하고 AI가 생성한 저작물의 생성과 사용에 관여하는 모든 이해관계자를 지원하려는 IACAI의 헌신을 강조한다. 

 

 

누가 AI의 미래를 지배하게 될까?

OpenAI의 CEO인 샘 알트먼은 방금 미국과 동맹국에서 권위주의적 대안보다 AI에 대한 비전이 우세하도록 하는 전략을 개략적으로 설명하는 사설을 썼다.이 논설에서 Altman의 놀라울 정도로 긴박한 어조는 미국에서 AI 개발의 위험이 커지고 있음을 강조한다. 그는 "세 번째 옵션은 없다"고 믿는다. 민주주의 국가가 AI 개발을 주도하든 권위주의 정권이 주도하든 말이다. 이는 AI 우위를 향한 경쟁에 대한 심각한 행동 촉구이다.

알트만은 AI의 이점을 확산하고 개방형 접근성을 유지하기 위한 미국이 주도하는 글로벌 연합이 시급히 필요하다고 강조한다. 그는 강력한 보안 대책, 인프라 투자, 일관된 무역 외교, 글로벌 AI 거버넌스를 위한 새로운 모델이라는 4가지 핵심 조치를 제안했다. 이 전략의 목적은 권위주의 정권이 AI 기술을 장악하려는 노력에 대응하는 동시에 AI 개발에서 미국의 선두를 유지하는 것이다. 알트만은 IAEA나 ICANN과 비슷한, AI 감독을 위한 국제 기구를 만드는 것을 제안했다.

2. 인간이 행운을 얻다, 제롬 글렌 시나리오

2023년 7월, 유엔 안전보장이사회는 AI의 큰 발전이 인류의 미래 존재를 위협할 수 있다고 경고했다. 2023년 9월에는 70개국의 국회의원들이 몬테네그로, 우루과이에서 만나 인공지능 일반(AI) 규제 방법을 논의하기 시작했다. 유네스코의 AI 윤리는 193개국에서 승인되었다. 주요 미국 AI 기업들은 AI 규제를 만드는 데 도움을 주기 위해 프론티어 모델 포럼과 AI 얼라이언스를 형성했다. 중국은 AI 규제에 대한 국제 협력 성명을 발표했다. 미국과 중국을 포함한 다른 27개국은 영국이 주최한 안전한 AI 개발을 위한 국제 협력에 관한 블레츨리 선언에 서명했다. 미국은 2024년 3월 21일 120개국 이상이 공동 후원한 "안전하고 신뢰할 수 있는" AI에 관한 유엔 총회 결의안을 제안하고 채택했다. 유엔 사무총장의 AI에 관한 고위 자문기구는 2024년 여름 "인류를 위한 AI 통치" 보고서를 발표했다. 이러한 모든 것들은 매우 좋았지만 AGI가 가져올 큰 변화의 규모를 언급하거나 반영하지 못했다.

정부가 자체적으로 세부 규정을 작성하기 시작한 것은 유엔 총회에서 AI에 관한 유엔 협약을 작성할 의욕 있는 위원회를 구성하라는 유엔 결의안이 통과된 이후였다. 위원회는 텍스트를 최종 확정하고 AI에 관한 유엔 협약이 채택되었으며, 뉴욕의 유엔 건물 밖에서는 시위대가 "AGI를 우리가 통제하기 전에 통제하라"고 외쳤다. AI에 관한 유엔 협약에는 인공지능 좁은 정의(ANI)와 AGI에 관한 섹션이 있었다. 이는 오늘날 우리가 갖춘 국제 인공지능 기구(IAIA)를 설립하는 계기가 되었다. 이 모든 활동을 조용히 도운 것은 2023년 7월 제네바에서 시작된 미국과 중국 간 비밀 AI 지도자 회의였다. 이러한 회의는 이후 외교 협상을 안내하는 데 도움을 주었고, 미국과 중국의 협력이 예상보다 더 잘 진행되었다.

AI에 관한 유엔 협약 수용 전의 국제 토론은 광범위하고 매우 복잡했다. 일부는 규제가 AGI 개발을 지하로 몰아갈 것이라고 주장했고, 모든 사람이 이를 따르지 않을 것이라고 했다. 반면, 규제가 없으면 여러 국가와 기업에서 수천 개의 규제되지 않은 AGI로부터 다양한 인공지능 초지능(ASI) 형태가 우리의 통제를 벗어날 것이라고 주장하는 사람들도 있었다. 일부는 이러한 초지능이 지구 전체의 물리적 인프라, 관리 시스템, 사회에 혼란을 초래할 것이라고 주장했다. 다른 사람들은 유엔이 핵 확산, 지뢰 배치, 온실가스 감축 약속을 시행하지 못했기 때문에 AGI 규제도 작동하지 않을 것이라고 주장했다. 국가와 기업 개발자 간의 이해 상충이 진전을 늦추는 동안 AGI 도착 시계는 계속 시분초를 다투고 있었다.

이러한 큰 공개 토론이 집단 지성 의사 결정 소프트웨어, 팟캐스트, 그리고 많은 대면 회의를 통해 진행되는 동안, 주요 AI 기업, 정부, 대학, 싱크탱크의 현실적인 이상주의자들 그룹이 유엔 협약 형태로 AI의 글로벌 통치를 위한 텍스트를 작성하는 작업을 계속했다. 그들은 많은 갈등하는 이해관계를 고려하고 G-7, G-20, 무역 블록, 군사 동맹, 의회 간 연합, 주요 국가 의회의 AI 위원회, 제네바에서의 반비공식 미국-중국 회담과 긴밀히 협력했다. ITU와 OECD 직원은 싱크탱크, ISO, IEEE의 여러 국제 연구에서 AGI 규제와 거버넌스 표준을 증류했다.

유럽국가들은 유네스코, OECD, GPAI에서 나온 AI의 보편적 가치를 일치시키는 국가 AI 라이센스 시스템의 공통 요소들이 나중에 IAIA가 되는 미래 UN 다중 이해관계자 기관의 설계 핵심 요소로 합의될 것이라는 점에서 공감대를 형성했다. 국가들은 자체 라이센스 시스템을 만들고 관리하며, UN의 IAIA는 그러한 라이센스가 국제 기준을 충족하는지 인증할 것이다. 주요 협상과 병행하여 AI 에이전트 상호작용 프로토콜을 작업하는 하위 그룹이 AI 에이전트 간의 협력 및 경쟁 관계를 정의할 기회를 포착했다. 한 AGI가 다른 AGI와 접촉하면 보편적 가치를 증진하기 위해 잠재적 시너지를 모색할 것이다. 그러한 시너지가 각 AGI의 수용을 받지 못하면 각 AGI는 인간에게 연락을 취하고 AGI 간 협력의 일종을 수립하기 위한 즉각적인 회의를 위한 일정을 설정할 것이다. 지속되는 문제는 IAIA로 참조되어 잠재적 WTO 조치를 취할 것이다.

협상자들은 헌약을 설득하는 데 제약 산업의 규제 시스템 경험을 사용했다. 그들은 약물 제조업체가 도입하려는 기술의 영향을 실험하고 그 결과를 규제 기관에 보고할 의무가 있다고 주장했다. 그에 따라 제품 판매가 허용되며, 사용은 계속해서 라이센스 기관에 의해 모니터링된다. 의도치 않은 영향이 발생하면 제약 회사의 라이센스가 철회될 수 있다. 제약 기술 사용은 제3자에게 발생하는 피해를 포함해 제조업체와 사용자의 책임을 분할하는 방식을 정의하는 엄격한 조건하에 이루어진다. UN의 WHO는 제약 상황을 모니터링하고 보고한다. 비슷한 접근방식이 AGI에도 적용될 수 있다고 주장되었다.

다만, 약물은 자체 코드를 다시 작성하지 않으며, 인간보다 더 똑똑하지 않고, 스스로를 복제할 수 없으며, 스스로 개선되지 않는다는 몇 가지 큰 차이가 있다. 따라서 새로운 것이 생성되어야 했다. 각 요구 사항 또는 난관 내의 AGI 내부 별 ANI를 사용하는 지속적인 24시간 내부 감사가 받아들여지는 것과 같은 고유한 요구 사항도 포함된다.

국가 및 글로벌 거버넌스 시스템의 수행할 주요 요소 또는 논의 주제에는 다음이 포함되었다:

• UN 다자 이해관계자, 혼합형 (AI-인간) 기관 설계 시 NPT, CWC 및 BWC 검증 메커니즘에서 배운 교훈.
• 관리에는 공공 및 민간 부문의 AGI 전문가와 윤리학자가 포함될 것.
• 국가 라이센스 절차를 인증하는 방법 결정.
• 인공 초지능의 잠재적 출현을 나타내는 주요 지표를 식별하고 모니터링하여 회원국과 다른 UN 기관에 초기 경고 및 권장 행동 제시.
• 관 AGI가 예상치 못한 동작을 수행할 때 중지하고 왜 실패했는지 또는 해를 끼쳤는지 평가를 트리거하는 AI 소프트웨어가 내장될 것.
• 국가 관할권과 UN의 IAIA가 지속적인 실시간 감사 시스템을 통해 AGI와 연결될 것이다.
• 우리가 행동하는 방식과 우리가 행동해야 하는 방식의 구분.
• 자기 복제를 위한 인간 감독 및 재귀적 자가 개선에 대한 지침 제공.
• 역사적 데이터 또는 기록 수정 방지.
• 아시모프의 로봇공학 3대 법칙 준수.
• AGI가 AI의 출력임을 식별하고 사람으로 표시되지 않게 할 것.
• 풍부한 자기 반성능 및 동정심 능력.

다음은 정부를 위한 권장 사항이다:

• 유엔 AI 협약 및 IAIA 준수.
• 독립된 감사에 기반한 "개발자용" 항목 목록에 대한 AGI 라이센스 절차 확립.
• 정부 기관과 AIAI와 AGI의 내부 연속 감사 시스템 간의 연결 절차를 생성하여 AI 시스템이 확립된 가치(유네스코, OECD, 글로벌 파트너십 AI, ISO 및 IEEE와 같은) 및 국가 규정과 일치하여 사용되도록 보장.
• 엄격한 보안, 방화벽, 안전한 인프라 및 인력 검증 확인.
• 딥페이크 및 허위 정보 생성 및 이용 방지 시연.
• AGI 사용에 대해 항공기 비행 기록 장치처럼 결정 사항과 포함된 요소를 재구성할 수 있는 로그를 기록할 것.
• AGI가 자율적으로 행동할 때 조건 확립.
• 반복적인 위반자의 칩 판매/배송 및 전기 사용을 규제/차단할 능력 확립.
• AGI 출력에는 요청된 행동의 이유, 관련된 가정, 우선순위 및 필요한 조건과 제한사항을 포함할 것.
• AGI에 대한 국가 책임 법률 확립.
• 라이센스 요구 사항에 대한 지속적인 준수 확인을 위해 권한 있는 제3자가 예고 없이 검사 및 테스트를 수행할 수 있을 것.
• AGI 변화 예상 및 도유 할 수 있는 민첩성 유지.

다음은 AGI 사용자 권장 사항이다:

• 비행 기록 장치처럼 AGI 사용의 결정을 재구성할 수 있는 로그를 유지 관리 할 것.
• 심리적 술책을 사용하여 인간을 조작하는 것을 금지할 것. 다만 상호 동의가 있는 경우는 예외로 둔다.
• 인간 발달을 증진하고, 개인을 상품화하지 않도록 할 것.
• 승인되지 않은 사람이 시스템을 조작하거나 변경하지 못하도록 할 것.

비록 AGI 그룹 간 충돌로 인해 여러 정전, 금융 거래 취소 및 공항 재난이 발생했지만, 교육, 건강, 개발 및 평화에 대한 이점은 엄청났다. 일부 AGI 스타트업 회사는 국가 AGI 규제, 보완적 테스트 시스템, 정치적 안정성 높은 국가로 이주하여 다른 국가들이 이러한 규제를 복제하고 IAIA와 협력을 동의하도록 했다.

 

3.국제 원자력 기구(IAEA): IAIA의 모델