광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
광고
로고

{유엔미래포럼 위원들 AI 우려] 빅테크는 인공지능이 여전히 가지고 있는 인류에 대한 실존적 위험으로부터 전 세계를 산만하게 하는데 성공했다고 선도적인 과학자이자 AI 운동가가 경고

박민제 | 기사입력 2024/05/28 [18:51]

{유엔미래포럼 위원들 AI 우려] 빅테크는 인공지능이 여전히 가지고 있는 인류에 대한 실존적 위험으로부터 전 세계를 산만하게 하는데 성공했다고 선도적인 과학자이자 AI 운동가가 경고

박민제 | 입력 : 2024/05/28 [18:51]

 

폴, 데니스 등,

 

 

 

 

 

해당 국가의 정치인에게 연락하여 AGI의 향후 라이센스 및 집행 절차를 승인하는 초안 작성을 시작하십시오. 그것을 시행하는 데 몇 년이 걸릴 가능성이 높기 때문에 정치인과 직원들이 빨리 이 작업을 시작할수록 좋습니다.

 

 

 

 

 

Yann LeCun은 아직 존재하지 않는 자동차에 안전벨트를 설계할 수 없기 때문에 이것은 시기상조라고 주장합니다. 이것은 입법자들이 법안에 대한 S&T 법률을 얻고 규제 체제를 확립하는 데 걸리는 시간이 느리다는 것을 무시하는 것입니다. 그렇게 하려면 몇 년이 걸리니까 지금부터 시작해야 합니다. 네, EU, 중국, 그리고 최근 유엔 결의안에서 많은 일들이 이루어졌지만 이것들은 AGI가 아니라 좁은 AI에 관한 것입니다.

 

 

 

 

 

그리고 데니스 벅넬은 당신이 이해할 수 없는 것을 규제할 수 없다고 주장합니다. 그리고 Eliazer Petosky Petoskey는 그것을 선호하는 가치와 일치시키고 그것이 불가능하다고 말하는 것을 포기하는 방법을 10년 동안 연구했습니다. 좋아요, 두 가지 모두에 대해 그럴 수도 있지만, 노력해야 합니다. 냉전 시대에 대부분의 사람들은 소련과 미국 사이의 핵 제3차 세계 대전이 불가피하다고 믿었지만, NORAD, 민방위, 그리고 그것을 막기 위한 많은 전략에 수십억이 지출되었습니다.

 

 

 

 

 

2단계에 대한 AGI RTDelphi 연구에서 제안, 평가 및 평가된 국가 라이센스 요구 사항 중 하나는 AGI가 안전성을 입증하기 위해 테스트될 것이라는 제3자 시뮬레이션이었습니다. 미국에서 이것은 NIST(국가 기관)가 될 것입니다. 표준과 기술의. Paul은 충분히 감사하지만, 이러한 시뮬레이션을 하는 것은 쉬운 일이 아니기 때문에 빨리 진행할수록 좋습니다.

 

 

 

 

 

Millennium Project AGI Phase 2의 표지에서 인용:

 

 

 

 

 

보고서에 따르면 "AGI를 관리하는 것은 인류가 직면한 가장 복잡하고 어려운 관리 문제가 될 수 있습니다." 게다가 AGI 시스템을 만들기 전에 해결하지 못하면 인류 문명에 치명적인 실수가 될 것입니다. 어떤 기업도 그런 실수를 할 권리가 없습니다.

 

 

                                                ---- 스튜어트 러셀

 

 

 

 

 

따라서 이와 같은 대화도 좋지만 정치인들에게 연락하는 것이 좋습니다. 그들이 이 일을 진행하도록 하는 것은 인공적인 편협함뿐만 아니라 인공적인 일반 지능입니다.

 

 

 

 

 

제리.

 

 

 

 

 


발송 : 2024년 5월 25일 토요일 오전 10:26
제목: Re: 빅테크는 전 세계를 AI의 실존적 위험으로부터 벗어나게 했다고 최고 과학자는 말합니다.

 

 

 

먼저, 이전 게시물에서 너무 빨리 말을 하고, 얼마나 쉽게 오해를 받을 수 있는지 보지 못한 점 사과드립니다. 저는 교수님의 발언이 사실인지 몰랐습니다. 테그마크는 한국에서 열린 밀레니엄 프로젝트 심포지엄에 참여했으며, 그는 나의 빠른 응답을 볼 수도 있습니다. 하지만 사실, 그가 레몬으로 레모네이드를 만드는 데 관심이 있다면 나는

 

 

단, 우리 모두가 직면한 놀라운 위험을 줄이는 데 실질적인 도움을 줄 수 있는 많은 기회가 있습니다.

 

 

 

 

 

두 번째로, 제가 추가하는 Nancy du Tertre에 대해 몇 마디 말해야겠습니다. 그녀는 AI 전문가는 아니지만 미국과 프랑스 모두에서 매우 높은 수준의 접근성을 가지고 있으며, 정책 자문가의 99%보다 실시간으로 현실에 더 가까이 다가갈 수 있도록 도와준 이러한 목록에 있는 사람 중 한 명이라는 것에 감사드립니다.

 

 

 

 

 

그러나 한국 컨퍼런스에서 나온 매니페스토와 테그마크의 답변 모두 조금 더 답변을 받을 만합니다.

 

 

 

 

 

빠른 요약:

 

 

 

 

 

1. 선언문은 정말 훌륭하고 100% 동의합니다. 하지만 문제는 그것을 어떻게 현실로 만드느냐 입니다. 국가들이 온실가스를 어느 정도 줄이기로 합의했을 때는 좋았으나, 그 일을 할 수 있을 만큼 강력한 실행 가능한 전략이 없다면, 그것은 쓸모없는 것보다 더 나쁠 수 있습니다.

 

 

(지금까지 교토의정서가 기후변화의 위험을 제거했다고 믿는 여러분이 거의 없기를 바랍니다!)

 

 

 

 

 

2. 저는 테그마크의 강력한 조치 요구에는 강하게 동의하지만, 규제적 접근만이 (교토에서 그랬던 것보다) 그 일을 할 수 있다는 희망에는 동의하지 않습니다.

 

 

 

 

 

글로벌 전략은 FEEDB를 사용하여 상단에서 구체적인 설계 하단에 이르기까지 충분한 정보를 얻지 못하면 작동할 수 없습니다.다음 세대의 AGI가 어떻게 작동하는지에 대한 완전한 통합적인 이해를 통해 아래에서 위로 ACK하고 필요한 통합을 제공하기 위해 새로운 소프트웨어 및 하드웨어를 설계하는 열린 국제적 노력을 포함합니다.

 

 

 

 

 

저는 전 세계적으로 (미국과 중국의 국가 "일급 기밀"을 포함한) 노력을 계속해 왔지만, 저는 여전히 수년 전 NSF에서 우리가 주도한 노력이 그러한 세계적인 노력을 기반으로 구축해야 할 진정한 AGI의 최전선을 보여준다고 믿습니다. 

 

 

 

 

 

 

 

 

그러나 딥 러닝, 인지 최적화 등을 구현하는 데 사용되는 실제 하드웨어로 대대적인 업그레이드가 필요합니다.

 

 

 

 

 

테그마크 교수님 자신이 여기 누락된 요소에 관심이 있다면 핵심적인 역할을 할 수 있을 것입니다.

 

 

새로운 종류의 통합 플랫폼을 구현하기 시작합니다. 새로운 물리학을 배우고 발전시키고 전파할 수 있는 대학원생들을 활용합니다.

 

 

저와 같은 많은 사람들이 우리가 할 수 있는 모든 방법을 기꺼이 도와주기를 바랍니다.

 

 

 

 

 

 

이 문제들은 중요하지만 복잡한 문제들이고 낸시가 중요한 문제들을 제기했기 때문에, 저는 당신이 저를 매우 빨리 용서해 주시기를 바랍니다.

 

 

몇 가지 사항에 대한 간략한 개요입니다. (제가 의도하지 않은 말을 하는 것 같으면 알려주세요. 그런 일은 자주 일어납니다. 

 

 

이런 지역에서.)

 

 

 

 

 

 

 

 

"인지적 최적화"에 대해 제대로 이해하고 있는 사람 

 

 

미래의 지속 가능한 인터넷에서 함께 작동해야 하는 많은 구성 요소를 지능적으로 조정하고 관리할 수 있는 모든 AGI를 알고 있습니다.

 

 

그것이 우리 세계를 어디로 이끌지 결정하는 밑에 1차 가치 함수 U를 가질 것입니다. 그것은 피할 수 없습니다. "모두를 상대로 하는 전쟁"의 대안이 있습니다.

 

 

이러한 새로운 기술들로 인해, 그 과정이 조정되지 않는다면, 인류를 훨씬 더 빨리 죽일 것인, 경기 흐름의 가속화로 바로 이어질 것입니다.) 

 

 

 

 

 

통합 U는 명시적인지 "태킷"인지(사용자 보기에서 숨김) 어디에서 나올까요?

 

 

 

 

 

이는 설계와 하드웨어 연구 모두에 필요한 중요한 부분입니다.

 

 

 

 

 

설계를 위해 수십 년 전 전력 산업이 직면했던 시장과 같은 시장 디자인 측면이 있는데, 이는 밀레니엄 프로젝트가 수년 전 인텔의 선물 회의에서 제기했던 금융 분야의 긴급한 요구에 유용한 시작을 제공합니다. 제가 몇 년 전에 슬라이드 6장을 보냈습니다. 

 

 

 

 

 

하드웨어의 경우 -- 블로그 게시물에서 시작하는 레벨 3 하드웨어는 AGI가 지구와 그 너머에서 우리를 둘러싼 삶을 더 잘 인식할 수 있는 문을 열어줍니다.

 

 

지금 당장 우리에게 닥칠 거대한 변화에 건설적으로 적응하는 것이 훨씬 더 필수적일 것입니다.

 

 

 

 

 

우리 모두에게 행운이 있기를 바랍니다. 우린 그게 필요해요 진심으로, 폴

 

 

 

 

 

P.S. 지금 세계의 정치 및 통신 시스템이 얼마나 불안정한지, 특히 모든 곳의 전쟁과 선거와 관련하여,

 

 

저는 오늘 이 주제에 대해 아무것도 보내지 않을 계획이었습니다. 하지만 여기서 통합적인 분석과 전략을 가능하게 할 수 있는 수학과 관련하여 저의 의무감과 책임감을 바꿔주신 분들께 감사드립니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2024년 5월 25일 토요일 오전 8시 28분 Nancy du Tertre <nancy@dutertre.com >는 다음과 같이 썼습니다.

 

Paul et al,

 

 

 

이 기차를 멈추기에는 돈이 너무 많이 들어요. 그것은 항상 피할 수 없는 일이었습니다.

 

 

 

 오늘 아침 BBC의 한 컨퍼런스 보고서는 컨퍼런스의 AI 데모가 질문에 대한 "생각하고" 응답을 "말하기" 위해 문자 입력 또는 인식을 필요로 하는 바보 AI를 사용했지만 세션이 끝날 때 발표자 중 한 명이 "내가 안경을 어디에 두었느냐"고 자신에게 솔직한 질문으로 큰 소리로 중얼거렸다고 말했습니다. 그리고 "멍청한" 인공지능은 예기치 않게 목소리로 반응했고, 그녀에게 그녀의 안경이 사과 뒤의 테이블 위에 있다고 말했습니다. 그것은 옳았습니다. 그녀는 안경을 어디에 두었는지 말한 적이 없습니다.

 

 

 

여기서 볼 게 없어요, 여러분. 계속 움직여. 저희가 설정한 교통 표지판을 따라가면 됩니다. 표지판을 읽지 마세요.

 

 

 

AI의 "slaves"라는 사실을 깨닫지 못한 채 자신의 새로운 "slave" ChatGPT을 전문적인 지식 기반과 발전을 향상시키기 위해 "사용"하는 가장 큰 열정으로 AI의 시류에 뛰어든 바보들(이들 중 다수는 이 리스트에 있는 지적인 사람들이라고 함)에 대해 아무 말도 하지 않는 것은… 왜냐하면 그들은 지식 기반을 적극적으로 공급함으로써 그것을 더욱 강력하게 만들고 그것을 인간의 주인이 되는 길로 보내고 있기 때문입니다. 

 

 

 

반의 뇌를 가진 사람들에게 AI는 인간에 대한 숙달이 불가피합니다. 아무도 보고 싶어하지 않습니다. 유아들이 하는 것처럼 자발적인 실명.

 

 

 

게다가, AI의 초기 유행에 편승하는 사람들은 AI의 생산과 발전에 할당되는 힘과 막대한 현금 투자를 촉진하고 있습니다. 

 

 

 

악순환. 인간은 근시안적인 이기적 바보입니다… 그것은 살아있는 모든 똑똑한 인간들에게 우울과 절망의 근원입니다. 앞으로 다가올 일을 "보는" 심령술사가 될 필요는 없습니다. 오고 있어요.

 

 

 

낸시

 

 

 

 

 

Nancy du Tertre 내 아이폰에서 보낸

 



 

2024년 5월 25일 오전 7시 54분 Paul Werbos <paul.werbos@gmail.com >는 다음과 같이 썼습니다.

 

 

 

이것은 이번 주에 저를 걱정하고 우울하게 만드는 몇 가지 거대한 신호 중 하나였지만, 테그마크가 표현하는 것과는 매우 다른 이유들로 인해.

 

 

 

어떻게 보면 기후가 생각납니다. 위험 신호는 대규모로 통과되었습니다. 그러나 위험이 무엇이고 무엇이 위험을 감소시킬 수 있는지에 대한 이해는 그렇지 않았습니다. 일관성 없는 대응은 위험을 더욱 악화시킵니다. 

 

 

 

2024년 5월 25일 토요일 오전 7시 4분 크리스 킹 <dhushara@gmail.com >은 이렇게 썼습니다.

 

최고 과학자는 빅테크가 전 세계를 AI의 실존적 위험으로부터 멀어지게 했다고 말합니다.

 

Max Tegmark는 하향 조정이 우발적인 것이 아니며 너무 늦어질 때까지 필요한 엄격한 규정을 지연시킬 수 있다고 주장합니다.

 

 

 

알렉스 에르난 영국 기술 편집자

 

2024년 5월 25일 06.00 BST 토요일

 

 

 

빅테크는 인공지능이 여전히 가지고 있는 인류에 대한 실존적 위험으로부터 전 세계를 산만하게 하는데 성공했다고 선도적인 과학자이자 AI 운동가가 경고했습니다.

 

 

서울에서 열린 인공지능 서밋에서 맥스 테그마크는 생명의 소멸에서 인공지능의 안전에 대한 더 넓은 개념으로의 초점의 변화가 가장 강력한 프로그램의 제작자들에게 엄격한 규제를 부과하는 데 있어서 용납할 수 없는 지연을 초래할 위험이 있다고 말했습니다.

 

 

 

"1942년 엔리코 페르미는 시카고 축구장 아래에서 자생적인 핵 연쇄 반응을 가진 최초의 원자로를 건설했습니다," 라고 물리학자로 훈련한 테그마크가 말했습니다. "그 당시 최고의 물리학자들이 그 사실을 알았을 때, 그들은 정말 기겁했습니다. 왜냐하면 그들은 핵폭탄을 만드는 데 남아있는 가장 큰 장애물이 막 극복되었다는 것을 깨달았기 때문입니다. 그들은 그것이 몇 년 앞으로 다가왔다는 것을 깨달았습니다. 그리고 사실, 1945년 트리니티 테스트와 함께 3년이 되었습니다.

 

 

"[누군가가 대화에서 다른 사람과 이야기하지 않는다는 것을 말할 수 없는] 튜링 테스트를 통과할 수 있는 AI 모델은 여러분이 통제력을 잃을 수 있는 AI의 종류에 대한 같은 경고입니다. 그래서 Geoffrey Hinton이나 Yoshua Bengio 같은 사람들은 물론이고 심지어 많은 기술 CEO들도 지금은 깜짝 놀라고 있습니다."

 

 

테그마크의 비영리 생명의 미래 연구소는 작년에 이러한 두려움에 힘입어 첨단 AI 연구에서 6개월간의 "일시 중단"을 촉구했습니다. 오픈의 시작그는 "그 해 3월 AI의 GPT-4 모델이 탄광의 카나리아였다"며 위험이 용납할 수 없을 정도로 근접했음을 입증했습니다.

 

 

오늘날 이 분야를 뒷받침하는 머신 러닝 접근법을 개척한 AI의 세 '대부' 중 두 명인 힌튼과 벵지오를 포함한 전문가들의 수천 명의 서명에도 불구하고, 일시 중단은 합의되지 않았습니다.

 

 

대신 지난해 11월 영국 블레츨리 파크에 이어 서울이 두 번째로 열리는 AI 정상회의가 AI 규제의 태동기를 이끌었습니다. "우리는 그 편지가 대화를 합법화하기를 원했고, 그것이 어떻게 해결되었는지 매우 기쁩니다. 벵지오 같은 사람들이 걱정하는 것을 보고 사람들은 '내가 걱정해도 괜찮다'고 생각했습니다. 심지어 내 주유소에 있는 남자도 그 후에 AI가 우리를 대체하는 것에 대해 걱정한다고 말했습니다.

 

 

"하지만 이제는 말로만 하는 것에서 산책하는 것으로 나아가야 합니다."

 

 

그러나 블레츨리 파크 정상회담이 무엇이 되었는가에 대한 최초의 발표 이후, 국제 AI 규제의 초점은 실존적 위험에서 벗어나 있습니다.

 

 

서울에서는 세 개의 "고위급" 그룹 중 한 개만이 안전 문제를 직접 다루었고, "개인 정보 침해부터 고용 시장 교란, 잠재적 재앙 결과에 이르기까지" 위험의 "전체 스펙트럼"을 살펴보았습니다. Tegmark는 가장 심각한 위험의 축소는 건강하지 않으며 우발적이지도 않다고 주장합니다.

 

 

그는 "산업계 로비를 통해 제가 예상했던 것과 정확히 일치한다"고 말했습니다. "1955년, 흡연이 폐암을 유발한다는 최초의 저널 기사가 나왔고, 여러분은 꽤 빨리 규제가 있을 것이라고 생각할 것입니다. 하지만 아니요, 1980년까지는요, 산업계가 주의를 산만하게 하기 위해 엄청난 노력을 기울였기 때문입니다. 지금 그런 일이 일어나고 있는 것 같습니다.

 

 

"물론 AI는 현재의 해를 끼치기도 합니다: 편견이 있고, 소외된 집단들에게 해를 끼치기도 하지만, [영국 과학기술부 장관] 미셸 도넬란 자신이 말했듯이, 우리가 두 가지 모두를 다룰 수 없는 것은 아닙니다. '올해 허리케인이 올 테니 기후변화에 전혀 신경 쓰지 말자, 허리케인에만 집중하자'는 말과 같습니다."

 

 

테그마크의 비평가들은 그 자신의 주장과 같은 주장을 했습니다: 산업계는 모든 사람들이 미래의 가상적인 위험에 대해 이야기하여 현재의 구체적인 피해로부터 주의를 분산시키기를 원한다는 것입니다. 그는 이 주장을 일축합니다. "그것 자체의 장점을 생각해 보더라도, 그것은 꽤 은하계의 두뇌를 가진 것입니다. [오픈]과 같은 사람에게는 꽤 4D 체스가 될 것입니다.인공지능 사장] 규제를 피하기 위해 샘 알트먼은 모든 사람에게 불이 꺼질 수 있다고 말한 다음 우리와 같은 사람들이 경보를 울리도록 설득하려고 노력합니다."

 

 

대신, 일부 기술 리더들의 지지가 약해지는 것은 "그들 모두가 멈추고 싶어도 멈출 수 없는 불가능한 상황에 갇혀 있다고 생각하기 때문입니다. 어느 날 아침 담배회사의 CEO가 깨어나 자신이 하고 있는 일이 옳지 않다고 느낀다면 어떻게 될까요? 그들은 CEO를 교체할 것입니다. 따라서 정부가 모든 사람에게 안전 기준을 마련하는 것이 안전을 최우선으로 확보할 수 있는 유일한 방법입니다."

 

 

--
Google 그룹 "생물학적 물리학 및 의미" 그룹에 가입되어 있기 때문에 이 메시지를 수신했습니다.
이 그룹의 구독을 취소하고 이 그룹의 전자 메일 수신을 중지하려면 생물 물리학 및 의미 + unsubscribe@googlegroups.com 로 전자 메일을 보내십시오.
웹에서 이 토론을 보려면 https://groups.google.com/d/msgid/Biological-Physics-and-Meaning/17B4AC59-DC77-4DFB-B550-04D366BCED9F%40gmail.com 를 방문하십시오.

 

--
Google 그룹 "생물학적 물리학 및 의미" 그룹에 가입되어 있기 때문에 이 메시지를 수신했습니다.
이 그룹의 구독을 취소하고 이 그룹의 전자 메일 수신을 중지하려면 생물 물리학 및 의미 + unsubscribe@googlegroups.com 로 전자 메일을 보내십시오.
웹에서 이 토론을 보려면 https://groups.google.com/d/msgid/Biological-Physics-and-Meaning/CACLqmgdk-25SOUsSJcb_Kth240mLv9Zt2ehxTGErbZuzxpyfTA%40mail.gmail.com 를 방문하십시오.

 

--

 
광고
광고
광고
광고
광고
광고
많이 본 기사