딥페이크 기술의 발전으로 사람의 목소리를 복제하는 것이 더 쉬워졌다. 지난 여름에 공개된 앤서니 부르댕(Anthony Bourdain)에 대한 다큐멘터리인 로드러너(Roadrunner)의 공백을 메우기 위해 음성 해설을 만드는 것과 같은 기술의 일부 사용은 무해하다(이 움직임의 윤리조차도 영화가 나왔을 때 뜨겁게 토론되었지만). 그러나 다른 경우에는 수백만 달러를 훔치는 것과 같이 매우 명백히 사악한 목적을 위해 딥페이크 된 음성이 사용된다.
지난 주 Forbes가 발표한 기사에 따르면 아랍에미리트연합의 사이버 범죄자 그룹이 딥페이크 기술을 사용하여 은행 강도의 일환으로 총 3,500만 달러를 국외로 전 세계의 계좌로 송금했다고 밝혔다.
돈 습격, 목소리 편집
누군가의 음성을 가짜 버전으로 만들기 위해 필요한 것은 그 사람이 말하는 것을 녹음하는 것뿐이다. 입력 데이터의 양과 질에 따라 출력이 향상되는 모든 머신러닝 시스템과 마찬가지로 시스템이 학습할 녹음이 더 많이 있으면 딥페이크 음성이 더 실제처럼 들릴 것이다.
이 경우 범죄자들은 딥페이크 소프트웨어를 사용하여 대기업 임원의 목소리를 재현했다(회사에 대한 세부 정보, 사용된 소프트웨어 및 해당 소프트웨어를 교육하기 위한 녹음은 사용할 수 없는 것으로 보인다). 그런 다음 경영진이 기존 관계가 있었던 은행 관리자에게 전화를 걸었다. 이는 은행 관리자가 경영진의 목소리를 알고 있음을 의미한다. 사칭자는 또한 요청된 거래의 세부 정보를 확인하는 위조된 이메일을 은행 관리자에게 보냈다. 이메일과 익숙한 목소리 사이에서 임원이 관리자에게 계정 간에 수백만 달러를 이체할 수 있는 권한을 부여하도록 요청했을 때 관리자는 그렇게 하는 데 아무런 문제가 없다고 생각했다.
사기는 2020년 1월에 발생했지만 관련 법원 문서는 지난주 미국에서 제출되었다. UAE 관리들은 미국 수사관들에게 센테니얼 은행의 미국 은행 계좌로 훔친 돈 40만 달러를 추적하는 데 도움을 요청하고 있다.
우리의 목소리, 우리 자신
가짜 인간의 목소리를 만드는 구식 방식(이 맥락에서 머신러닝 이전의 의미는 오늘날과 같이 유비쿼터스였음)은 실제 인간의 목소리를 녹음하고 그 녹음을 음성의 여러 음절로 나눈 다음 붙여넣는 것이었다. 그 음절들을 무수한 순열로 조합하여 목소리가 말하고 싶은 단어를 만든다. 지루했고 전혀 현실적이지 않은 목소리를 냈다.
가까운 사람들의 목소리를 구별하고 유명한 목소리를 인식하는 것은 쉽지만, 우리는 종종 목소리를 독특하게 만드는 데 기여하는 많은 구성 요소에 대해 생각하지 않는다. 저음에서 고음까지 음의 범위에서 목소리가 떨어지는 위치를 나타내는 음색과 피치가 있다. 화자의 리듬과 음높이의 변화, 문장의 다른 단어나 부분에 대한 강조인 종지가 있다. 발음이 있고 지역 억양이나 말투와 같은 단점이 있다.
요컨대, 우리의 목소리는 완전히 독특하다. 따라서 합성적으로 재창조하기가 더 쉬워지고 있다는 사실이 더욱 소름 끼치게 만든다.
다가오는 가짜 목소리
UAE 은행 강도는 범죄의 선구자일까? 불행히도 대답은 예일 가능성이 높다. 이런 시도가 처음은 아니지만 딥페이크 목소리로 이렇게 거액의 돈을 훔치는 데 성공한 것은 처음이다. 2019년에 범죄자 그룹이 영국에 기반을 둔 에너지 회사 CEO의 목소리를 속여 243,000달러를 헝가리 은행 계좌로 이체했다.
많은 다른 버전의 오디오 딥페이크 소프트웨어가 이미 상업적으로 이용 가능하며 Lyrebird(가짜 음성을 생성하는 데 단 1분의 녹음이 필요하지만 약간 멈추고 로봇과 비슷함), Descript, Sonantic 및 Veritone과 같은 회사의 버전이 포함된다.
이 회사들은 그들의 제품이 좋은 용도로 사용되기를 원하며 일부 긍정적인 사용 사례는 분명히 존재한다. 예를 들어 언어 장애가 있거나 마비가 있는 사람들은 소프트웨어를 사용하여 주변 사람들과 의사 소통할 수 있다. Veritone은 제품 보증과 같은 것에 대해 자신의 목소리에 라이선스를 부여하려는 유명인이 사용할 수 있도록 소프트웨어를 마케팅하고 있다. Sonantic은 최근 인후암 투병으로 목소리가 손상된 Val Kilmer의 음성 클론을 만들었다. 오디오북이나 뉴스 팟캐스트를 녹음하는 것도 이 기술의 생산적인 응용이 될 수 있다. 지금 당장은 몇 시간 동안 큰 소리로 읽어야 하거나 청취자가 듣기에 그다지 유쾌하지 않은 컴퓨터화된 인공 음성을 듣게 되기 때문이다.
다른 회사들은 이미 AI를 사용하여 AI에 맞서 싸우고 있다. 출시된 지 1년이 조금 넘은 Microsoft의 Video Authenticator는 동영상과 이미지를 분석하여 사용자에게 인위적으로 조작된 확률을 백분율로 알려준다. 마찬가지로 AI 재단의 Reality Defender는 합성 미디어 탐지 알고리즘을 사용하여 가짜 콘텐츠를 식별한다. Facebook, Twitter 및 YouTube는 모두 사이트에서 딥페이크를 금지하고 제거하기 위한 조치를 취했다.
그러나 이 기술은 음성, 이미지, 비디오 등 모든 영역에서 더욱 정교해질 것이다. 더 많거나 더 나은 기술로 기술과 싸우는 것이 우리의 가장 좋은 희망 중 하나일 수 있지만 딥페이크에 대한 인식을 높이고 온라인에서 보는 콘텐츠를 둘러싼 사람들에게 광범위한 회의감을 심어주는 것도 중요하다.
UAE 은행 강도 사건이 은행에서 일하는 사람들에게 유사한 회의론을 심어 사기꾼이 돈을 훔치는 데 도움이 되는 딥페이크 목소리가 더 흔한 일이 되지 않기를 바란다.
이미지 출처: John McGehjee / Wikimedia Commons
