[IT동아 김예지 기자] 보이스피싱 수법이 날로 교묘해지고 있다. 최근 인공지능(AI) 기반의 ‘딥보이스(DeepVoice)’ 기술은 지인 사칭이나 인질극 가장 등 피해자를 더욱 정교하게 속이는 데 악용되고 있다. 경찰청 통계에 따르면 2025년 1월에서 3월간 보이스피싱 범죄 발생 건수는 5878건으로 전년 동기 대비 17% 증가했으며, 전체 피해액도 120% 증가한 3116억 원을 기록했다.

전병기 LG유플러스 AX기술그룹장 / 출처=LG유플러스

이처럼 진화하는 보이스피싱에 맞서 LG유플러스는 지난 3월 MWC 2025에서 공개한 ‘안티딥보이스(Anti-DeepVoice)’ 기술을 AI 통화 에이전트 서비스 ‘익시오(ixi-O)’에 온디바이스 형태로 탑재해 상용화했다. 안티딥보이스는 AI가 위변조한 목소리를 판별하는 기술이다.

위변조된 목소리 찾는 안티딥보이스 기술

안티딥보이스는 익시오를 통해 통화중인 상대방의 목소리가 위변조됐다는 사실을 판별하고, 즉시 사용자에게 팝업 알림을 보낸다. LG유플러스는 “안티딥보이스 기술 개발을 위해 AI 엔진에 통화 건수 약 3000시간 분량의 통화 데이터를 학습시켰다”며, “위조된 목소리의 부자연스러운 발음이나 음성 주파수의 비정상적인 패턴을 탐지하는 방식으로 진위를 판별한다. 이때 필요한 통화 데이터는 약 5초 남짓에 불과하다”고 설명했다.

LG유플러스는 자체 개발한 VAD(Voice Activity Detection, 음성 활동 감지), STT(Speech-to-Text, 자동 음성 인식), 안티스푸핑(Anti-spoofing, 가짜 생체 인식에 의한 침입을 막는 기술) 등으로 안티딥보이스를 구현했다. 각 기술들은 통화 중 실제 음성 구간을 탐지하고, 탐지된 음성을 텍스트로 변환한 후, 해당 음성의 위변조 여부를 분석하는 역할을 한다.

안티딥보이스는 AI가 위변조한 목소리를 탐지하는 기술이다 / 출처=LG유플러스

LG유플러스는 향후 보이스피싱뿐만 아니라 학교 폭력, 디지털 스토킹, 허위 정보 유포 등 개인 일상의 위협 요소도 차단할 방침이다. 이진혁 LG유플러스 익시오 개발장은 “현재 보이스피싱 탐지 정확도는 95% 이상이며, 주로 수사기관이나 금융기관 사칭 등 특정 도메인에 초점을 맞춰 학습했다. 이와 같은 방식으로 스토킹·폭언 사례도 도메인 기반 학습을 통해 알림 기능으로 확장할 계획”이라고 덧붙였다.

또한 전병기 LG유플러스 AX기술그룹장은 “현재 통화 중 음성을 텍스트로 변환해 키워드 중심으로 범죄를 판단하는 방식에서 나아가, 민간·공공 파트너사와의 협력을 통해 시나리오 기반 데이터를 구축하고, 문장 간 문맥과 대화 흐름으로 판단하는 방식을 검토 중”이라고 강조했다.

안티딥페이크는 AI가 합성한 얼굴을 판별하는 기술이다 / 출처=LG유플러스

더불어 LG유플러스는 영상 및 이미지를 분석해 AI가 합성한 얼굴을 판별하는 ‘안티딥페이크(Anti-Deepfake)’ 기술도 확보했다고 밝혔다. LG유플러스는 “안티딥페이크 기술을 활용해 만든 영상을 이용한 피싱 범죄를 차단하기 위해 온디바이스 환경에서도 원활히 작동할 수 있도록 AI 모델을 최적화하고 있다”고 말했다.

한편, LG유플러스는 향후 익시오를 통해 통화 전·중·후 모든 과정에서 발생할 수 있는 보이스피싱 위험을 차단할 계획이다. 대표적으로 ‘통화 전 AI 보이스피싱 탐지 시스템’, ‘범죄자 목소리 탐지 시스템’ 등이 있다. 특히 범죄자 목소리 탐지 시스템은 국립과학수사연구원과의 협력을 통해 보이스피싱범의 목소리 일치 여부를 판별하는 기술로, 과기정통부의 규제 샌드박스 실증 특례를 준비하고 있다.

온디바이스 AI 기술로 상용화…고객 정보 보안 높여

익시오는 LG유플러스의 AI 통화 에이전트다 / 출처=IT동아

안티딥보이스가 적용된 익시오는 LG AI 연구원의 거대언어모델(LLM)인 ‘엑사원(EXAONE)’을 기반으로 통신 데이터를 학습해 자체 개발한 통신 도메인 특화 소형언어모델(sLLM) ‘익시젠(ixi-GEN) 기반의 서비스다. 익시오는 ▲실시간 보이스피싱 탐지 ▲보이는 전화 ▲전화 대신 받기 ▲통화 녹음 및 요약 등 기능을 온디바이스 환경에서 제공한다. 작년 11월 iOS용 익시오에 이어 올해 5월부터 안드로이드 단말로 확대 탑재됐다.

이번에 상용화된 LG유플러스의 안티딥보이스 기술도 고객의 개인정보를 통신사 서버에 저장하지 않고 고객의 스마트폰에만 저장하는 온디바이스 형태로 구현됐다는 점에서 차별점을 갖는다. 온디바이스 AI는 클라우드 서버나 외부 네트워크에 의존하지 않고, 스마트폰 등 기기 자체에서 기능을 직접 수행하는 AI 기술을 의미한다. 데이터를 클라우드 서버에서 처리하고 결과를 받아오는 방식과 달리 온디바이스 AI는 모든 과정을 기기 내부에서 처리한다.

LG유플러스가 온디바이스 형태로 기술을 구현한 가장 큰 이유는 고객의 프라이버시 보호에 있다. 데이터가 외부로 나가지 않는다는 측면에서 온디바이스 AI는 서버 기반 AI가 따라올 수 없는 보안 성능을 제공한다. 특히 전화 통화 내용은 민감한 개인정보를 다수 포함하는데, 온디바이스 기술로 구현되면 사용자의 음성 데이터를 기기 외부로 유출하지 않아 사용자의 사생활을 보호하고, 데이터 유출로 인한 2차 피해를 막을 수 있을 것으로 기대된다.

온디바이스 AI 기술 원리 / 출처=삼성반도체

그러나 온디바이스 AI가 장점만 있는 건 아니다. 인터넷과 연결되지 않아 보안성이 높지만 스마트폰, 웨어러블 디바이스처럼 주로 탑재되는 기기들은 전력 소모, 크기, 발열 등 제약이 따른다. 이 때문에 서버급의 CPU, GPU와 메모리를 탑재하기 어려워 서버 기반 기술보다 성능이 낮아질 수 있다. 이에 이진혁 LG유플러스 익시오 개발 리더는 “온디바이스 AI로 모든 기능을 처리하는 대신 통화 중심으로 보이스피싱 대응에 집중하고 있다”며, “서버 기반보다 성능은 낮더라도 기기에서도 고객 데이터가 서버에 저장되지 않는다는 점에 가치를 둔다”고 설명했다.

따라서 온디바이스 형태로 구현하기 위해서는 모델 경량화가 관건이다. LG유플러스는 안티딥보이스 기술이 기기에서도 효율적으로 작동할 수 있도록 경량화 작업에 집중한다. 한영섭 AI테크랩장은 “AI 엔진은 통상 모델 크기에 따라 성능이 결정된다. LG유플러스는 서버 기반에서 먼저 기술 성능을 확보한 뒤, 이를 경량화해 디바이스에서도 95% 이상의 성능을 유지할 수 있도록 구현하고 있다”고 말했다.

이어 그는 “기존 수백 메가바이트(MB)급 모델부터 기가바이트(GB)급 모델을 수십 MB급 수준으로 동일한 성능을 유지하면서 용량을 낮추는 것이 핵심이다. 또한 익시오 앱은 약 6주 단위로 업데이트될 예정이며, 앱 환경에 따라 유연하게 적용할 계획”이라고 밝혔다.

나아가 LG유플러스는 LG AI 연구원과 익시오 개발 당시부터 이어온 협력을 확대해 요약 등 다른 AI 엔진도 온디바이스 기반으로 전환할 계획이다. 전병기 AX기술그룹장은 “스마트글래스와 같은 차세대 디바이스에도 온디바이스 AI를 적용하기 위해 신경처리장치(NPU) 업체들과 협력 중”이라며, “디바이스에 NPU 칩이 탑재되면, 자연스럽게 적용 범위가 확장될 것”이라고 말했다.

IT동아 김예지 기자 (yj@itdonga.com)

사용자 중심의 IT 저널 - IT동아 (it.donga.com)

Copyright © IT동아. 무단전재 및 재배포 금지.