Meta는 Instagram 에서 '섹스토션'으로부터 미성년자를 보호하기 위해 AI로 전환

메타(Meta)는 미국 정치인들이 젊은이들의 정신 건강을 해친다는 비난을 받아온 인스타그램 플랫폼의 "섹스토션(sextortion)" 사기로부터 십대 사용자들을 보호하기 위한 새로운 도구를 개발하고 있다고 밝혔다.

갱단은 사람들에게 자신의 노골적인 이미지를 제공하도록 설득한 다음 돈을 받지 않으면 대중에게 공개하겠다고 위협하여 섹스토션 사기를 벌인다. 메타는 앱의 메시지 시스템에서 미성년자에게 전송된 누드가 포함된 이미지를 찾아 흐리게 처리하는 AI 기반 "누드 보호" 도구를 테스트하고 있다고 밝혔다. "이런 식으로 수신자는 원치 않는 친밀한 콘텐츠에 노출되지 않고 이미지를 볼지 말지 선택할 수 있습니다." 메타 프랑스에서 아동 보호를 담당하는 카퓌신 투피에(Capucine Tuffier)가 AFP에 말했다.

그 미국 회사는 그곳이 또한 그러한 메시지들을 보내거나 받는 누구에게나 조언들과 안전 수칙들을 제공할 것이라고 말했다. 그곳 당국에 따르면 미국에서 약 3,000명의 젊은이들이 2022년에 성착취 사기의 희생자가 되었다. 이와는 별도로 미국 40개 이상의 주가 지난 10월 메타를 상대로 소송을 제기하기 시작했는데, 메타가 "아이들의 고통으로 이익을 얻었다"고 비난했다. 소송 서류는 메타가 건강에 해를 끼치면서도 플랫폼에서 보내는 시간을 극대화하도록 설계된 비즈니스 모델을 만들어 젊은 사용자를 착취했다고 주장했다.

- '온디바이스 머신러닝' -

메타는 지난 1월 콘텐츠 제한 강화와 보호자 감독 도구 강화 등 18세 미만 청소년 보호 조치를 시행하겠다고 발표했다. 이 회사는 목요일에 최신 도구가 "원치 않거나 잠재적으로 해로운 접촉으로부터 젊은이들을 보호하기 위한 우리의 오랜 노력"을 기반으로 하고 있다고 밝혔다.

"우리는 섹스토션과 은밀한 이미지 남용으로부터 청소년을 보호하고 잠재적인 사기꾼과 범죄자가 십대를 찾고 상호 작용하는 것을 더 어렵게 만드는 데 도움이 되는 새로운 기능을 테스트하고 있습니다." 또한 "누드 보호" 도구는 인공 지능의 일종인 "온디바이스 머신 러닝"을 사용하여 이미지를 분석했다고 덧붙였다.

사용자의 데이터 프라이버시를 침해한 혐의로 지속적으로 비난을 받고 있는 이 회사는 사용자가 신고하지 않는 한 이미지에 액세스할 수 없다고 강조했다. 메타는 또한 AI 도구를 사용하여 불쾌감을 주는 자료를 보내는 계정을 식별하고 플랫폼에서 젊은 사용자와 상호 작용하는 기능을 심각하게 제한할 것이라고 밝혔다.

전직 페이스북 엔지니어인 내부 고발자 프랜시스 하우겐(Frances Haugen)은 2021년 메타(당시 페이스북)가 내부적으로 수행한 연구를 공개했는데, 이 연구에 따르면 메타는 자사 플랫폼이 젊은이들의 정신 건강에 미치는 위험을 오랫동안 알고 있었다. (메타)

실제로 누군가의 사생활을 침해하려는 것은 Vef와 Groß의 의도가 아니다. 이 시점에서 NUCA는 주로 예술적 표현을 위해 설계된 작업 프로토타입에 지나지 않는다. 두 사람은 올 여름 베를린에서 열리는 전시회에서 프로토타입을 선보일 계획이다. 현재 형태의 NUCA 카메라는 3D 설계 및 프린팅 부품으로 만든 15온스 컴팩트 카메라이다. 내장된 스마트폰은 이미지를 캡처하여 Stable Diffusion 엔진으로 보낸다. AI 모델은 AI가 생성한 완전한 나체에 실제 피사체의 얼굴을 추가한다.

"처리 시간은 10초로 매우 짧습니다"라고 Vef는 Fast Company에 말했다. "과제 중 하나는 이미지 생성 시간을 줄이는 것이었습니다. 우리는 대부분 공개적으로 사용 가능한 도구를 사용했지만, 이를 매우 효율적인 방식으로 결합하여 작동하는 장치에 넣는 것은 이전에는 시도되지 않은 작업이었습니다."

실제로 누군가의 사생활을 침해하려는 것은 Vef와 Groß의 의도가 아니다. 이 시점에서 NUCA는 주로 예술적 표현을 위해 설계된 작업 프로토타입에 지나지 않는다. 두 사람은 올 여름 베를린에서 열리는 전시회에서 프로토타입을 선보일 계획이다.