【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]"토큰 최적화로 AI 코딩 비용 90%까지 절감"

온카뱅크관리자

2026-11-15 16:57:25

<div id="layerTranslateNotice" style="display:none;"></div> LG유플러스 AI 전략 발표 익시오·AICC서 기술 검증 일부 모델·반도체 조합 내년 기업시장 본격 진출 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="uKtPOQqFSx">
 <figure class="figure_frm origin_fig" contents-hash="9653257346814ca920f5ed9766a60a521753f8a388493f003f669466b122a19f" dmcf-pid="79FQIxB3lQ" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202611/15/mk/20261115165709050dxxw.jpg" data-org-width="1000" dmcf-mid="UjO0ipWICM" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202611/15/mk/20261115165709050dxxw.jpg" width="658">
 </figure>
 LG유플러스가 인공지능(AI) 모델과 반도체, 서비스 운영 방식 등 전 과정을 최적화해 기업의 AI 이용 비용을 낮추는 사업에 나선다. 익시오와 AI 컨택센터(AICC) 등 실제 서비스에서 축적한 데이터를 활용해 내년부터 기업 간 거래(B2B) AI 시장을 공략한다는 구상이다.
 LG유플러스는 지난 12일 서울 용산 사옥에서 'AI 토큰 최적화 스터디'를 열고 AI 비용 절감 기술과 사업 계획을 공개했다고 15일 밝혔다. 생성형 AI와 AI 에이전트 활용이 확산하면서 AI의 토큰 사용량과 이에 따른 비용을 줄이는 것이 기업의 주요 과제로 떠오르고 있다. AI 모델은 질문을 이해하고 답변을 만드는 과정에서 문장을 작은 단위인 '토큰'으로 나눠 처리한다. 결국 토큰 소모량이 기업의 비용 부담과 곧바로 연결되는 구조다.
 LG유플러스는 토큰 하나의 가격을 낮추는 데 그치지 않는다. AI가 업무 하나를 끝내는 데 들어가는 전체 비용을 줄이는 것에 초점을 맞췄다. 비용을 낮추기 위해 성능이 떨어지는 모델만 사용하면 AI가 같은 업무를 반복하면서 오히려 더 많은 토큰을 쓸 수 있기 때문이다. 이혜진 LG유플러스 기술전략담당은 "성능을 유지하면서 비용을 얼마나 낮추느냐가 핵심"이라며 "업무 성공률을 높이고 실패에 따른 비용을 줄이는 것도 토큰 비용을 낮추는 것과 연결된다"고 설명했다.
 첫 전략은 질문의 난이도와 업무 특성에 맞춰 AI 모델을 골라주는 '모델 라우팅'이다. 간단한 업무는 작은 모델이 처리하고 복잡한 추론이 필요한 업무에는 고성능 모델을 투입하는 식이다. LG유플러스는 같은 질문을 큰 모델과 작은 모델에 각각 입력해 답변 품질을 비교하고 이런 사례를 수십만~수백만 건 축적해 라우팅 정확도를 높이는 방식을 활용한다.
 LG유플러스는 익시오와 AICC, 사내 AI 전환(AX) 과정에서 관련 기술을 검증해왔다고 설명했다. 익시오는 LG유플러스 자체 모델과 LG AI연구원의 엑사원(EXAONE), 구글 제미나이를 함께 사용한다. 서비스 초기보다 자체 모델의 처리 비중을 높이면서 외부 모델이 담당하는 트래픽을 줄였다. 고난도 작업에서는 여러 모델을 함께 사용하는 방식도 유지하고 있다.
 비용 절감 폭은 업무에 따라 다르다. LG유플러스는 코딩 에이전트에서 자체 AI 모델을 적용해 기존 모델 대비 운영 비용을 90% 이상 줄인 사례를 확인했다. 모델 라우팅을 적용한 내부 시험에서는 일반 질문 처리 비용을 25% 이상 줄였고 코딩 에이전트 비용은 30% 이상 절감했다. 이상엽 LG유플러스 최고기술책임자(CTO·사진)는 "수행하려는 작업에 따라 절감 효과가 다르다"며 "고객의 사용 방식에 따라 효과가 달라 일률적인 수치를 제시하기는 어렵다"고 설명했다.
 AI를 구동하는 반도체도 작업 특성에 따라 나눠 활용한다. 질문을 처리하는 '프리필(Prefill)'과 답변을 생성하는 '디코딩(Decoding)'을 분리해 엔비디아와 AMD의 그래픽처리장치(GPU)를 함께 활용하는 방식이다. 
 경량 모델에는 신경망처리장치(NPU)를 적용하는 방안도 검증하고 있다. 특정 GPU에 의존하기보다 작업별로 적합한 반도체를 조합해 AI 인프라스트럭처 운영 비용을 낮추겠다는 것이다.
 모델 자체의 크기도 줄였다. 자체 온디바이스 AI 모델 용량을 기존 3GB에서 약 800MB로 낮추면서 비교 대상 클라우드 모델 대비 95% 이상의 성능을 확보했다. 
 LG유플러스는 내년부터 관련 기술을 B2B 사업으로 확대한다. 협력사와 함께 서비스를 제공하는 방식과 기업에 자체 시스템을 구축하는 방식을 함께 추진한다.
 [박성배 기자]
 </section> 
 </div> 
 Copyright © 매일경제 &amp; mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기