기술 윤리학자와 성노동자 모두 영향을 받는다.
빨간 머리의 여성이 얼굴을 가린 채 달 위에 서 있다. 그녀의 벌거벗은 몸은 호르몬이 분비되는 십대 침실 벽에서 볼 수 있는 포스터에 서 있는 것처럼 보인다.
텍스트 프롬프트를 그림으로 변환하는 스테이블 디퓨전(Stable Diffusion)과 같은 AI 기반 시스템은 브랜드와 아티스트가 컨셉 이미지, 수상 경력에 빛나는(논란의 여지가 있지만) 인쇄물 및 본격적인 마케팅 캠페인을 만드는 데 사용되었다.
그러나 시스템의 더 어두운 면을 탐색하려는 의도로 일부 사용자는 포르노와 같은 다른 종류의 사용 사례에 대해 테스트했다.
AI 포르노는 예상대로 불안하고 불완전하다. 그러나 기술이 계속 개선됨에 따라 AI 윤리학자와 성노동자 모두에게 도전적인 질문을 불러일으킬 것이다.
최신 이미지 생성 시스템을 사용하여 만든 음란물은 공식 출시를 앞두고 4chan의 회원이 오픈 소스 Stable Diffusion 시스템을 유출한 후 이달 초 토론 게시판 4chan과 Reddit을 통해 처음 포르노가 등장했다. 그런 다음 지난 주에 고품질 AI 포르노 생성 전용 웹 사이트 중 하나로 보이는 것이 출시되었다.
Porn Pen이라는 웹사이트를 통해 사용자는 "베이비", "란제리 모델", "통통한" 민족, 인종(예: "러시아인" 및 "라티나") 및 배경(예: "침실", "샤워" 및 "달"과 같은 와일드카드). 버튼은 전면, 후면 또는 측면에서 모델을 캡처하고 생성된 사진의 모양을 변경한다(예: "필름 사진", "거울 셀카"). 사용자 생성 이미지의 피드에서 일부 거울은 실제로 사람을 반영하지 않기 때문에 미러 셀카에는 버그가 있어야 한다. 하지만 물론 이러한 모델은 전혀 사람이 아니다. 포르노 펜은 "이 사람은 존재하지 않습니다"와 같은 기능을 하지만 NSFW일 뿐이다.
Y Combinator의 Hacker News 포럼에서 제작자라고 주장하는 사용자는 Porn Pen을 최첨단 텍스트-이미지 모델을 사용하는 "실험"으로 설명한다. "나는 유해한 이미지가 생성되는 것을 피하기 위해 사용자 지정 텍스트를 지정하는 기능을 명시적으로 제거했다."라고 썼다. 프롬프트 엔지니어링 알고리즘이 추가로 미세 조정되면 새 태그가 추가될 것이다. 제작자는 TechCrunch의 논평 요청에 응답하지 않았다.
그러나 Porn Pen은 이미지 생성 시스템의 편견과 그러한 편견이 발생한 데이터 소스와 같은 많은 윤리적 문제를 제기한다. 기술적 의미 외에도 맞춤형 포르노를 만드는 새로운 기술이 유행한다고 가정하면 그렇게 하여 생계를 유지하는 성인 콘텐츠 제작자에게 피해를 줄 수 있는지 궁금하다.
"[OpenAI의] DALL-E가 그랬을 때 이것이 존재하게 된 것은 다소 불가피하다고 생각합니다."라고 Ph.D.인 Os Keyes가 말했습니다. 워싱턴 대학의 후보자는 이메일을 통해 TechCrunch에 말했습니다. "하지만 옵션과 기본값이 어떻게 매우 이질적이며 남성적인 시선을 복제하는지 여전히 우울합니다."
콘텐츠 중재와 관련된 사건을 처리하는 성노동자이자 동료 조직가인 Ashley는 Porn Pen에서 생성된 콘텐츠가 현재 상태에서 성노동자에게 위협이 되지 않는다고 생각한다.
직장에서 괴롭힘을 당할까 봐 자신의 성이 공개되는 것을 원하지 않았던 Ashley는 “언론이 끝이 없습니다.”라고 말했다. “하지만 사람들은 최고의 미디어를 만드는 것뿐만 아니라 접근하기 쉽고 흥미로운 사람이 됨으로써 자신을 차별화합니다. AI가 이를 대체하려면 오랜 시간이 걸릴 것”이라고 말했다.
OnlyFans 및 ManyVids와 같은 기존의 수익 창출 가능한 포르노 사이트에서 성인 제작자는 회사에서 성인 동의를 알 수 있도록 연령과 신원을 확인해야 한다. 인공 지능 생성 포르노 모델은 물론 실제가 아니기 때문에 이것을 할 수 없다.
그러나 Ashley는 포르노 사이트가 AI 포르노를 단속하면 이미 다음과 같은 법률로 인해 증가된 규제에 직면해 있는 성노동자에 대한 더 가혹한 제한으로 이어질 수 있다고 우려한다. 세스타/포스타. 의회는 안전한 성노동자 연구법 2019년에 온라인 성매매를 더 어렵게 만드는 이 법안의 영향을 조사하기 위해. 이 연구는 "온라인 플랫폼에 대한 액세스로 제공되는 경제적 안정성"을 상실한 후 "지역 사회 조직에서 성노동자의 노숙자가 증가했다고 보고했다"는 것을 발견했다.
Ashley는 "SESTA는 아동 성매매 근절용으로 판매되었지만 성매매에 관한 새로운 형법을 만들었다.
현재 전 세계적으로 관련 법률이 거의 없다. 딥페이크 포르노. 미국에서는 버지니아와 캘리포니아에서만 위조 및 딥페이크 포르노 미디어의 특정 사용을 제한하는 규정이 있다.
Stable Diffusion과 같은 시스템은 예를 들어 텍스트에서 이미지를 생성하는 방법을 "학습"한다. 내용을 나타내는 주석으로 레이블이 지정된 수십억 장의 사진(예: "닥스훈트, 광각 렌즈"라고 표시된 개 사진)을 공급하면 시스템은 특정 단어와 문구가 특정 예술 스타일, 미학, 위치 등을 참조한다는 것을 학습한다. .
이것은 실제로 비교적 잘 작동합니다. "반 고흐 스타일의 새 그림"과 같은 프롬프트는 예상대로 새를 묘사한 반 고흐와 같은 이미지를 생성한다. 그러나 프롬프트가 모호하거나 고정 관념을 언급하거나 시스템에 익숙하지 않은 주제를 다룰 때 더 까다로워진다.
예를 들어, 포르노 펜은 때때로 사람이 전혀 없는 이미지를 생성한다. 아마도 시스템이 프롬프트를 이해하지 못하는 것 같습니다. 다른 경우에는 앞에서 언급했듯이 일반적으로 여분의 팔다리, 비정상적인 위치의 젖꼭지 및 뒤틀린 살과 함께 물리적으로 있을 수 없는 모델 을 보여준다.
Keyes는 "정의상 [이러한 시스템은] 신체가 주류 사회에서 받아들여지고 가치 있는 사람들을 대표할 것입니다."라고 말하면서 Porn Pen에는 cisnormative 사람들을 위한 범주만 있다고 지적했다. "예를 들어, 당신이 불균형적으로 많은 수의 여성을 갖게 되는 것은 나에게 놀라운 일이 아닙니다."
Porn Pen을 뒷받침하는 시스템 중 하나인 Stable Diffusion은 훈련 데이터 세트에 상대적으로 적은 수의 "NSFW" 이미지가 있지만 Redditors 및 4chan 사용자의 초기 실험에 따르면 유명인의 포르노 딥페이크를 생성하는 데 상당히 유능한 것으로 나타났다(Porn Pen — 우연이 아닐 수도 있음) — "연예인"옵션이 있음). 그리고 오픈 소스이기 때문에 Porn Pen의 제작자가 추가 누드 이미지에 대해 시스템을 미세 조정하는 것을 막을 수는 없다.
Ashley는 "기존 인물의 [포르노]를 생성하는 것은 확실히 좋지 않다. "그것은 그들을 괴롭히는 데 사용될 수 있습니다."
Deepfake 포르노는 종종 사람들을 위협하고 괴롭히기 위해 만들어진다. 이러한 이미지는 거의 항상 악의적인 의도에서 주체의 동의 없이 개발된다. 2019년 리서치 회사인 Sensity AI는 온라인 딥페이크 비디오의 96%가 합의되지 않은 포르노임을 발견했다.
Knives and Paintbrushes 집단의 일원인 AI 연구원인 Mike Cook은 데이터 세트에 성노동자를 포함하여 이러한 방식으로 훈련에 이미지를 사용하는 데 동의하지 않은 사람들이 포함될 가능성이 있다고 말한다.
쿡은 “[훈련 데이터에서 누드인 사람들] 중 많은 사람들이 포르노나 포르노에 인접한 콘텐츠를 제작해 수입을 얻을 수 있다”고 말했다. "훌륭한 예술가, 음악가 또는 언론인과 마찬가지로 이 사람들이 만든 작품은 미래에 생계를 꾸릴 수 있는 능력을 약화시키는 시스템을 만드는 데 사용되고 있습니다."
이론적으로 포르노 배우는 저작권 보호, 명예 훼손 및 잠재적으로 인권법을 사용하여 딥페이크 이미지 제작자와 싸울 수 있다. 그러나 MIT Technology Review의 한 부분에 따르면 법적 주장을 뒷받침하는 증거를 수집하는 것은 엄청난 도전이 될 수 있다.
몇 년 전 더 원시적인 AI 도구가 딥페이크 포르노를 대중화했을 때 Wired 조사에 따르면 동의하지 않은 딥페이크 비디오가 Pornhub와 같은 주류 포르노 사이트에서 수백만 건의 조회수를 기록하고 있는 것으로 나타났다. 다른 딥페이크 작품은 포르노 펜과 유사한 사이트에서 집을 찾았습니다. Sensity 데이터에 따르면 상위 4개 딥페이크 포르노 웹사이트는 2018년에 1억 3400만 회 이상의 조회수를 받았다.
"AI 이미지 합성은 이제 널리 보급되고 접근 가능한 기술이며 아무도 이 편재의 의미에 대해 준비가 되어 있지 않다고 생각합니다."라고 Cook이 말했다. "제 생각에 우리는 이 기술의 영향에 대해 거의 고려하지 않고 지난 몇 년 동안 미지의 세계로 매우, 아주 멀리 달려왔습니다."
Cook의 말에 따르면 AI 생성 포르노의 가장 인기 있는 사이트 중 하나는 파트너 계약, 추천 및 API를 통해 작년 말에 확장되어 수백 개의 비동의 딥페이크를 호스팅하는 서비스가 지불 인프라 금지에서 살아남을 수 있도록 했다. 그리고 2020년에 연구원들은 미성년자 소녀를 포함하여 100,000명 이상의 여성에 대한 학대적인 딥페이크 이미지를 생성한 텔레그램 봇을 발견했다.
"앞으로 10년 동안 더 많은 사람들이 기술과 사회의 경계 모두의 한계를 시험하는 것을 보게 될 것입니다."라고 Cook이 말했다. "우리는 이것에 대한 약간의 책임을 받아들여야 하고 사람들이 하는 일의 결과에 대해 교육하기 위해 노력해야 합니다."
