딥페이크 선거운동 첫 고발…유튜브 운영자 3명 수사 의뢰
삭제 요청 9600건 돌파…딥페이크 유포, 선거 앞두고 급증
보안업계 기술 대응 강화…"무엇보다 중요한 건 시민의 경각심"

[그래픽=뉴시스] 재판매 및 DB금지. hokma@newsis.com

[서울=뉴시스]송혜리 기자 = #죄수복을 입고 감옥 안에 수감된 후보자의 이미지 등을 딥페이크로 제작해 인터넷 커뮤니티 게시판에 총 35회 게시 
#인공지능(AI)으로 구현한 여성 아나운서가 후보자들을 반대 또는 지지하는 내용의 뉴스를 전달하는 영상 10건을 유튜브에 게시 
#후보자에 대한 부정적인 이미지를 주는 글과 영상을 딥페이크로 제작해 개인 소셜네트워크서비스(SNS)에 게시·유포

중앙선거관리위원회가 다음달 3일 실시하는 제21대 대통령선거를 앞두고 AI 기술을 활용해 딥페이크(deepfake) 콘텐츠를 제작·게시한 사례를 적발해 고발한 내용들이다.

이를 통해 선관위는 특정 후보자의 당선 또는 낙선을 목적으로 실제와 구분하기 어려운 딥페이크 영상을 만들어 유포한 유튜브 채널 운영자 등 3명을 공직선거법 위반 혐의로 수사기관에 고발했다. 이는 2023년 12월 해당 법이 신설된 후 처음으로 고발한 사례다.

선관위에 따르면, 지난 4월 4일부터 지난 29일까지 한국인터넷자율정책기구(KISO) 등을 통해 삭제를 요청한 딥페이크 콘텐츠 누적 건수는 총 9678건에 달했다. 이는 지난해 총선 기간 동안의 삭제 요청 건수 388건보다 약 25배 많은 수치로, 딥페이크 콘텐츠 확산이 급격히 증가했음을 보여준다.

공직선거법에선 선거일 전 90일부터 선거일까지 AI 등 기술을 이용해 실제와 구분하기 어려운 가상의 음향·이미지·영상을 만들거나 배포하는 행위를 금지하고 있다. 이를 위반할 경우, 최대 7년 이하의 징역 또는 1000만원 이상 5000만원 이하의 벌금에 처해질 수 있다.

선관위는 "제21대 대통령선거가 일주일도 남지 않은 만큼 사이버상 위법행위 단속에 역량을 집중하고 있다"면서 "유권자가 AI를 활용해 영상이나 이미지를 제작해 활용할 때 선거법에 위반되지 않도록 각별한 주의를 기울여달라"고 당부했다.

사람을 속이는데 악용…전문가들도 자세히 봐야 알 정도로 진화

딥페이크는 AI 기술인 딥러닝(deep learning)과 '가짜'를 뜻하는 영어 단어 '페이크(fake)'를 합친 말이다. 쉽게 말해, AI 기술을 활용해 사람의 얼굴이나 목소리를 합성해 가짜 이미지, 영상, 음성을 만들어내는 기술이다.

요즘 딥페이크 기술은 점점 더 정교해지고 있다. 과거에는 얼굴 표정이 어색하거나 움직임이 부자연스러워 금방 가짜임을 알아챌 수 있었지만, 최근에는 전문가들도 자세히 들여다봐야 겨우 진위를 구분할 수 있을 정도다. 단 몇 분짜리 실제 영상과 100문장 정도의 음성만 있으면, 특정 인물이 말하고 행동하는 것처럼 보이는 가짜 영상을 만들어낼 수 있다.

딥페이크 기술을 이용하는 것도 점점 쉬워지고 있다. 스마트폰 앱 스토어에 '딥페이크'를 검색하면 수십 개의 관련 앱이 나온다. 누구나 스마트폰만 있으면 손쉽게 딥페이크 영상을 만들 수 있는 시대가 된 것이다. 이들 앱은 얼굴 바꾸기, 성별 바꾸기, 목소리 전환 등 다양한 기능도 함께 제공한다.

문제는 이 기술이 사람을 속이는 데 악용되기 시작하면서부터다. 정치인의 얼굴을 합성해 상대 후보를 비방하는 딥페이크 영상을 만들거나, 유명 연예인의 얼굴을 합성해 음란물을 제작·유포하는 사례가 나오고 있다.

이번 선거에서도 이러한 사례가 적발됐지만, 이는 국내만의 문제가 아니다. 팝스타 테일러 스위프트의 얼굴을 합성한 음란물이 SNS엑스(X, 구 트위터)를 통해 퍼지면서 미국 사회는 물론 전 세계가 충격에 빠지기도 했다. 또 할리우드 배우 톰 행크스는 자신도 모르는 사이, AI로 만든 가짜 얼굴이 치과 보험 광고 영상에 등장했다며 주의를 당부하기도 했다.

보안 업계서 위조 여부 판별하고 추적하는 기능 고도화…"문제는 개인의 경각심과 책임감 있는 기술 활용"

이에 따라 국내 보안 업계에서도 다양한 대응 기술을 개발하고 있다.

현재 개발 중인 딥페이크 대응 기술은 크게 두 가지 방향으로 나뉜다. 하나는 가짜 영상이나 이미지를 판별하는 기술, 다른 하나는 이미 유포된 딥페이크 콘텐츠를 추적하고 삭제하는 기술이다.

예를 들어, AI를 활용해 사람 얼굴의 움직임이나 음성의 이상 징후를 분석하는 방식이 있다. 실제 사람은 자연스럽게 눈을 깜박이지만, 많은 딥페이크 영상에서는 눈 깜박임이 부자연스럽거나 거의 없는 경우가 많다. 또 입 모양과 음성이 어긋나거나, 표정 변화가 부자연스러운 경우도 딥페이크로 의심할 수 있는 신호다.

또 다른 방법으로는 AI가 합성한 이미지와 실제 사람의 얼굴 이미지를 비교해 딥페이크 여부를 판단하는 기술도 있다. 여기에 사용되는 것이 합성곱신경망(CNN)과 같은 딥러닝 기술이다. 딥페이크를 만드는 데 사용된 생성적 적대 신경망(GAN)의 흔적을 찾아내는 알고리즘도 활용된다.

이 밖에 영상이나 이미지에 담긴 메타데이터(파일 생성 시간, 편집 기록, 사용된 소프트웨어 정보 등)를 분석해 딥페이크 여부를 판단하는 기술도 있다. 가짜 콘텐츠는 종종 비정상적인 기록을 남기기 때문에, 이 정보를 통해 진위를 확인할 수 있다.

보안 전문가들은 딥페이크로 인한 피해를 막기 위해 기술 개발을 계속 강화하고 있지만 무엇보다 중요한 것은 개인의 경각심과 책임 있는 콘텐츠 활용이라고 강조했다. 특히 선거나 공적 이슈와 관련한 콘텐츠의 경우 개인이 영상을 제작하거나 공유할 때 사실 여부를 충분히 확인하고 신중히 행동해야 한다는 점을 당부하고 있다.

관련 업계 관계자는 "딥페이크는 누구나 쉽게 만들 수 있지만, 그 피해는 사회 전체에 영향을 미칠 수 있다"며 "시민 개개인의 인식과 책임이 함께 따라야 한다"고 말했다.


☞공감언론 뉴시스 chewoo@newsis.com 

Copyright © 뉴시스. 무단전재 및 재배포 금지.