속임수 AI: 범죄 계획에 생성 모델 활용한다.

 

인공지능(AI)의 하위 집합인 생성 AI(Generative AI)는 방대한 데이터 세트에서 인간과 유사한 텍스트, 사실적인 이미지, 오디오 등 다양한 형태의 콘텐츠를 생성하는 놀라운 능력으로 인해 급속도로 주목을 받고 있다. GPT-3, DALL-E, GAN(생성적 적대 신경망 Generative Adversarial Networks)과 같은 모델은 이와 관련하여 뛰어난 성능을 보여주었다.

딜로이트 보고서는 생성 AI의 이중 특성을 강조하고 속임수 AI에 대한 경계의 필요성을 강조한다.

 

범죄 활동에서 생성 AI의 증가

생성 AI(Generative AI)의 등장으로 사이버 공간과 일상 생활 모두에 영향을 미치는 기만적인 활동이 증가했다. 개인을 속여 민감한 정보를 공개하도록 하는 기술인 피싱은 이제 생성 AI를 활용하여 피싱 이메일을 매우 설득력 있게 만든다. ChatGPT가 대중화됨에 따라 피싱 이메일이 증가했으며 범죄자들은 ​​이를 사용하여 합법적인 통신처럼 보이는 개인화된 메시지를 작성했다.

 

가짜 은행 알림이나 유혹적인 제안과 같은 이러한 이메일은 인간의 심리를 이용하여 수신자를 속여 민감한 데이터를 제공하도록 한다. OpenAI는 자사 모델의 불법 사용을 금지하고 있지만 이를 강제하는 것은 쉽지 않다. 무고한 프롬프트는 쉽게 악의적인 계획으로 변할 수 있으며, 이를 위해서는 인간 검토자와 자동화된 시스템이 모두 오용을 감지하고 방지해야 한다.

 

AI가 발달하면서 금융사기도 늘었다. 생성 AI는 투자자를 속이고 시장 정서를 조작하는 콘텐츠를 만들어 사기를 조장한다. 인간처럼 보이지만 오로지 속임수만을 위해 설계된 챗봇을 만난다고 상상해 보자. 생성 AI는 이러한 봇을 강화하여 민감한 정보를 추출하는 동시에 사용자를 겉으로 보기에는 진실된 대화에 참여시킨다. 생성 모델은 또한 신뢰, 공감, 긴급성을 활용하는 개인화된 메시지를 작성하여 사회 공학 공격을 강화한다. 피해자는 금전, 기밀 데이터 또는 액세스 자격 증명에 대한 요청의 희생양이 된다.

개인의 개인 정보를 공개하는 신상 털기(Doxxing)는 생성 AI가 범죄자를 지원하는 또 다른 영역이다. 익명의 온라인 페르소나를 밝히거나 개인 정보를 노출하는 등 AI는 영향력을 증폭시켜 신원 도용 및 괴롭힘과 같은 실제 결과를 초래한다.

그리고 딥페이크, AI가 생성한 실물 같은 비디오, 오디오 클립 또는 이미지가 있다. 이러한 디지털 유사품은 현실을 흐릿하게 만들어 정치적 조작부터 인물 암살까지 위험을 초래한다.

 

심각한 영향을 미치는 주목할만한 딥페이크 사건

생성 AI의 오용으로 인해 일련의 특이한 사건이 발생했으며, 이 기술이 잘못된 손에 들어갈 때 이 기술로 인해 발생하는 심각한 위험과 과제가 강조되었다. 특히 딥페이크 기술은 현실과 허구의 경계를 모호하게 만든다. GAN과 창조적 악의의 결합으로 인해 딥페이크는 실제 요소와 조작된 요소를 혼합한다. GAN은 생성기와 판별기라는 두 개의 신경망으로 구성된다. 생성기는 얼굴과 같은 점점 더 사실적인 콘텐츠를 생성하는 반면, 판별기는 가짜를 찾아내려고 한다.

 

딥페이크와 관련된 주목할만한 사건은 이미 발생했다. 예를 들어 Dessa는 AI 모델을 활용하여 조 로간(Joe Rogan)의 설득력 있는 음성 복제품을 만들어 사실적인 가짜 음성을 생성하는 AI의 능력을 보여주었다. 다양한 사례에서 볼 수 있듯이 딥페이크는 정치에도 큰 영향을 미쳤다. 예를 들어, 조 바이든 미국 대통령을 사칭한 자동녹음전화는 뉴햄프셔 유권자들을 오도한 반면, 슬로바키아에서는 AI가 생성한 오디오 녹음이 진보 후보를 사칭하여 선거 결과에 영향을 미쳤다. 많은 국가의 정치에 영향을 미치는 여러 유사한 사건이 보고되었다.

 

금융 사기에도 딥페이크가 활용되었다. Arup이라는 영국 엔지니어링 회사는 2,000만 파운드 규모의 딥페이크 사기 피해를 입었다. 이 사기꾼은 회사 임원을 사칭하기 위해 AI 생성 음성 및 이미지를 사용하는 사기꾼과 화상 통화를 하는 동안 금융 직원을 속여 자금을 이체했다. 이는 AI의 금융 사기 가능성을 강조한다.

 

사이버 범죄자들은 ​​공격을 강화하기 위해 WormGPT 및 FraudGPT와 같은 생성 AI 도구를 점점 더 많이 악용하여 심각한 사이버 보안 위협을 야기하고 있다. GPT-J 모델을 기반으로 하는 WormGPT는 윤리적 제한 없이 악의적인 활동을 촉진한다. SlashNext의 연구원들은 이를 사용하여 매우 설득력 있는 사기 송장 이메일을 작성했다. 텔레그램 채널에서 유포되는 FraudGPT는 복잡한 공격을 위해 설계되었으며 악성 코드를 생성하고, 설득력 있는 피싱 페이지를 생성하고, 시스템 취약점을 식별할 수 있다. 이러한 도구의 등장은 사이버 위협이 점점 더 정교해지고 강화된 보안 조치에 대한 긴급한 필요성이 강조되고 있다.

 

법적, 윤리적 의미

AI 기반 속임수의 법적, 윤리적 영향은 생성 모델의 급속한 발전 속에서 엄청난 과제를 제시한다. 현재 AI는 규제 회색 지대 내에서 작동하며 정책 입안자들은 기술 발전에 보조를 맞추기 위해 도움이 필요하다. 오용을 제한하고 AI 기반 사기 및 사기 활동으로부터 대중을 보호하려면 강력한 프레임워크가 시급히 필요하다.

또한 AI 창작자는 윤리적 책임을 진다. 투명성, 공개 및 지침 준수는 책임 있는 AI 개발의 필수 측면이다. 개발자는 잠재적인 오용을 예상하고 AI 모델에 대한 조치를 고안하여 위험을 효과적으로 완화해야 한다.

 

AI 기반 사기로 인한 문제를 해결하려면 혁신과 보안 사이의 균형을 유지하는 것이 중요하다. 과도한 규제는 진전을 방해할 수 있지만, 느슨한 감독은 혼란을 야기할 수 있다. 그러므로 안전을 훼손하지 않으면서 혁신을 촉진하는 규정은 지속 가능한 발전을 위해 필수적이다.

 

또한 AI 모델은 보안과 윤리를 염두에 두고 설계되어야 한다. 편향 탐지, 견고성 테스트, 적대적 훈련과 같은 기능을 통합하면 악의적인 악용에 대한 탄력성을 강화할 수 있다. 이는 AI 기반 사기가 점점 더 정교해지고 있다는 점을 고려할 때 특히 중요하며, 생성 AI 모델의 기만적 잠재력으로부터 보호하기 위한 윤리적 예측과 규제 민첩성의 필요성을 강조한다.

 

완화 전략

AI 기반 생성 모델의 기만적인 사용을 해결하기 위한 완화 전략에는 향상된 안전 조치와 이해관계자 간의 협력을 포함하는 다각적인 접근 방식이 필요하다. 조직은 AI 생성 콘텐츠를 평가하기 위해 인간 검토자를 고용하고 그들의 전문 지식을 활용하여 오용 패턴을 식별하고 모델을 개선해야 한다. 고급 알고리즘이 탑재된 자동화 시스템은 사기, 악의적인 활동 또는 잘못된 정보와 관련된 위험 신호를 검색하여 사기 행위에 대한 조기 경고 시스템 역할을 할 수 있다.

 

더욱이 AI 기반 사기를 탐지하고 예방하려면 기술 기업, 법 집행 기관, 정책 입안자 간의 협력이 필수적이다. 거대 기술 기업은 통찰력, 모범 사례, 위협 정보를 공유해야 하며, 법 집행 기관은 AI 전문가와 긴밀히 협력하여 범죄자보다 앞서 나가야 한다. 정책입안자들은 효과적인 규정을 만들기 위해 기술 기업, 연구원, 시민사회와 협력해야 하며, AI 기반 속임수에 맞서 싸우기 위한 국제 협력의 중요성을 강조해야 한다.

 

앞으로 생성 AI와 범죄 예방의 미래는 도전과 기회가 공존하는 특징을 갖는다. 생성 AI가 발전함에 따라 양자 AI, 엣지 컴퓨팅 및 현장을 형성하는 분산형 모델의 발전을 통해 범죄 전술도 발전할 것이다. 따라서 윤리적 AI 개발에 대한 교육은 학교와 대학에서 AI 실무자에게 윤리 과정을 필수로 만들 것을 촉구하면서 점점 더 기본이 되고 있다.

 

결론

생성 AI는 엄청난 이점과 상당한 위험을 모두 제시하며 강력한 규제 프레임워크와 윤리적인 AI 개발의 긴급한 필요성을 강조한다. 사이버 범죄자는 고급 도구를 활용하므로 인간의 감독, 고급 탐지 알고리즘, 국제 협력과 같은 효과적인 완화 전략이 필수적이다.

혁신과 보안의 균형을 맞추고, 투명성을 촉진하고, 안전 장치가 내장된 AI 모델을 설계함으로써 점점 커지는 AI 기반 속임수 위협에 효과적으로 맞서고 미래를 위한 보다 안전한 기술 환경을 보장할 수 있다.