AI 음성복제 시대 활짝…사기·개인정보 도용 괜찮을까

AI 음성 복제 기술이 빠르게 발전하면서 누구나 간단한 오디오 샘플만으로 특정 인물의 목소리를 재현할 수 있는 시대가 열렸다. 이제는 몇 초 분량의 음성만 있어도 인공지능(AI)이 이를 학습해 자연스럽게 대화를 생성할 수 있으며, 비용도 저렴하다. 컨슈머 리포트(Consumer Reports)의 'AI Voice Cloning Report'에 따르면, 조사 대상 6개 AI 음성 복제 기업 중 4곳이 별다른 보안 장치 없이 누구의 음성이든 쉽게 복제할 수 있도록 허용하고 있는 것으로 나타났다. (☞ 보고서 바로가기)

특히, 일레븐랩스(ElevenLabs), 스피치파이(Speechify), 플레이HT(PlayHT), 로보(Lovo) 같은 AI 음성 복제 기업들은 사용자의 동의를 확인하는 기술적 장치를 마련하지 않았으며, 단순히 '해당 음성을 복제할 권한이 있다'는 체크박스만 확인하면 누구든지 음성을 생성할 수 있는 구조였다. 반면, 디스크립트(Descript), 리셈블AI(Resemble AI)는 사용자 동의를 확인하는 절차를 추가했지만, 여전히 보안이 완벽하지 않다는 평가를 받았다.

AI 음성 사기, 피해 규모 2.7조 원 돌파

AI 음성 복제 기술이 사기범들의 강력한 도구로 활용되고 있다. 미국 연방거래위원회(FTC)에 따르면, 2023년 한 해 동안 AI 음성 사기로 인한 피해 신고 건수는 85만 건에 달하며, 이로 인한 재정적 피해는 총 20억 달러(약 2.7조 원)를 넘어섰다.

이러한 AI 사기의 대표적인 사례가 '손자 사기(Grandparent Scam)'이다. 사기범들은 노인들에게 전화를 걸어 AI가 복제한 가족의 목소리로 "교통사고를 당했다"거나 "급하게 돈이 필요하다"고 요청해 금전을 갈취하는 방식이다. 실제로 한 노인은 AI로 생성된 손자의 목소리를 듣고 15,000달러(약 2,000만 원)를 송금하는 피해를 입었다.

기업도 AI 음성 사기의 주요 타겟이 되고 있다. 한 영국 에너지 회사에서는 AI로 복제된 최고경영자(CEO)의 음성을 들은 회계 담당자가 24만 달러(약 3.2억 원)를 송금하는 사건이 발생했다. 사기범들은 회사의 전화 녹음이나 공개된 인터뷰 영상을 활용해 AI로 목소리를 복제한 후, 실제 CEO인 것처럼 가장해 직원들에게 자금을 송금하도록 지시했다.

유명인 사칭, AI가 만든 가짜 광고 판친다

유명인이나 정치인을 사칭한 AI 음성 사기도 급증하고 있다. 특히, 조 바이든 미국 대통령의 목소리를 AI로 복제해 유권자들에게 "투표하지 말라"는 로보콜이 발송되는 사건이 발생해 논란이 되었다.

소셜 미디어에서는 AI 음성을 활용한 가짜 광고도 퍼지고 있다. 최근 엘론 머스크의 목소리를 AI로 복제한 후, 가짜 투자 광고를 만들어 69만 달러(약 9억 원) 이상의 피해를 유발한 사건이 보고되었다. 또한, 테일러 스위프트, 오프라 윈프리, 조 로건 등 유명인의 음성을 AI로 복제해 각종 다이어트 보조제나 투자 사기를 홍보하는 광고가 무차별적으로 유포되고 있다.

AI 은행 보안 뚫렸다… AI 음성으로 계좌 해킹 가능

AI 음성 복제 기술이 금융 보안에도 큰 위협이 되고 있다. 2023년 한 기자가 AI 음성을 사용해 본인의 은행 계좌 보안 인증을 뚫는 실험을 진행했으며, 단 3초 분량의 오디오로도 성공했다.

BBC 기자도 같은 실험을 진행했는데, AI가 생성한 음성으로 산탄데르(Santander)와 할리팩스(Halifax) 은행의 보안 인증을 우회하는 데 성공했다. 이에 따라 음성 인증을 보안 수단으로 사용하는 금융기관들이 긴급 점검에 나섰다.

AI 음성 사기 막을 수 있는 대책은?

일부 AI 기업들은 문제 해결을 위해 보안 조치를 도입하고 있다. 일레븐랩스는 유명인의 음성 복제를 차단하는 ‘No-Go Voice’ 기능을 개발했으며, 리셈블AI는 AI가 생성한 음성을 감지할 수 있는 ‘음성 워터마킹’ 기술을 적용했다.

그러나 여전히 많은 기업들이 단순한 체크박스 방식의 사용자 동의만 요구하고 있어 실질적인 보안 대책이 부족하다는 지적이 나오고 있다. 보고서는 AI 음성 복제 기술을 보다 안전하게 관리하기 위해 다음과 같은 조치를 권고하고 있다.

사용자 동의 검증 강화

AI 음성 복제를 하기 위해서는 본인의 목소리로 직접 동의하는 절차를 추가해야 한다.

유명인 및 공직자 음성 보호

공인들의 음성을 AI로 복제할 수 없도록 차단하는 기술 적용이 필요하다.

AI 생성 음성 감지 기술 개발

금융기관 및 소셜 미디어에서 AI 생성 음성을 탐지하고 경고하는 시스템 도입이 시급하다.

강력한 법적 규제 도입

AI 음성 복제 기술의 악용을 막기 위해 정부 차원의 법적 제재와 감시 시스템이 필요하다.

AI 음성 복제 기술은 다양한 긍정적인 활용 가능성이 있지만, 악용될 경우 심각한 피해를 초래할 수 있다. 사용자들은 AI 음성 사기에 대비해 낯선 번호로 걸려온 전화에 주의하고, 금융 거래 시 추가 보안 인증을 적용하는 등의 대응책을 마련해야 한다. AI 기술이 사회에 긍정적으로 기여할 수 있도록, 기업과 정부의 적극적인 조치가 필요하다.

■ 이 기사는 AI 전문 매체 ‘AI 매터스’와 제휴를 통해 제공됩니다. 기사는 클로드 3.5 소네트와 챗GPT를 활용해 작성되었습니다. (☞ 기사 원문 바로가기)