MoE·지식 증류·양자화로 비용 절감…데이터 최적화 없이 글로벌 경쟁력 확보 어렵다

(지디넷코리아=조이환 기자)"한국이 초거대 AI 모델 경쟁에서 살아남기 위해서는 소형 모델 최적화와 데이터 활용 전략이 필수적입니다. 단순한 거대 모델 구축이 아니라 에이전트 AI와 같은 차별화된 기술을 통해 비용을 절감하고 성능을 극대화해야 합니다. 당장 이 변화를 준비하지 않으면 글로벌 AI 시장에서 도태될 것입니다."

이경일 솔트룩스 대표는 14일 강남 해성빌딩에서 열린 '한국데이터산업협회(KODIA) 정기총회'에서 '생성형 AI와 데이터 산업의 미래'를 주제로 특별 강연을 진행하며 이같이 말했다. 이날 행사는 국내 데이터 산업의 발전 방향을 모색하고 업계 관계자들이 최신 AI 트렌드를 공유하기 위해 KODIA가 마련했다.

이 대표는 행사에서 거대언어모델(LLM) 중심의 경쟁이 아닌 에이전트 AI를 기반으로 한 차별화 전략이 필요하다는 점을 강조했다. 글로벌 기업들과 정면 승부하기보다는 데이터 활용 최적화와 협업형 AI 모델로 새로운 시장 기회를 모색해야 한다는 주장이다.

이경일 솔트룩스 대표 (사진=조이환 기자)

지난 2022년 '챗GPT' 출시 이후 AI 산업은 PC·인터넷·스마트폰 시대를 거쳐 또 한 번의 변곡점을 맞았다. 기술 패러다임이 변화할 때마다 기존 강자들이 몰락하거나 새로운 기업들이 부상했는데 생성형 AI는 이 흐름을 이어받아 새로운 혁신을 이끌고 있다. 지난 1980년대 유닉스 기반 기업들의 쇠퇴, 1990년대 인터넷 기업의 등장, 2010년대 스마트폰 혁명이 대표적인 사례다. 현재 생성형 AI는 지난 2022년 이후 급격한 성장세를 보이며 또 하나의 기술 혁신 시점을 맞고 있다.

이 대표는 "단순히 오픈AI '챗GPT' 같은 거대 모델을 구축하는 방식은 비용과 인프라 측면에서 한계가 크기 때문에 국내 기업들은 소형 모델 최적화 및 데이터 기반 전략으로 경쟁력을 확보해야 한다"고 주장했다. 이어 "트랜스포머(Transformer) 모델의 발전과 초거대 모델의 등장으로 AI 성능이 폭발적으로 증가하고 있지만 그에 따른 문제점도 함께 발생하고 있다"고 지적했다.

그는 ▲환각(Hallucination) ▲최신 정보 부족 ▲보안 문제를 생성형 AI의 주요 한계점으로 꼽았다. 생성형 AI가 확률 통계적으로 답변을 생성하는 방식 때문에 존재하지 않는 사실을 말하는 문제가 빈번히 발생하며 이는 AI 신뢰성을 저하시킨다. 이를 해결하기 위해 검색증강생성(RAG)이 기본적으로 적용되고 있으며 솔트룩스도 이를 기반으로 한 에이전트 AI 개발에 집중하고 있다고 밝혔다.

이 대표는 국내에서 초거대 모델을 구축하기에는 비용과 인프라 측면에서 현실적인 한계가 있다며 대안으로 ▲믹스오브엑스퍼드(MoE) ▲지식 증류(Knowledge Distillation) ▲양자화(Quantization) 등의 기술을 활용한 비용 절감 및 성능 최적화 전략이 필요하다는 점을 강조했다. MoE는 거대 모델 하나에 모든 기능을 몰아넣기보다 여러 개의 소형 특화 모델을 협업하게 만드는 방식이다. 이를 통해 비용을 절감하면서도 고성능 AI 서비스를 제공할 수 있다.

지식 증류는 이미 학습된 대형 모델에서 중요한 지식만을 추출해 더 작은 모델에 적용하는 기술로, 연산량을 줄이면서도 학습된 정보의 핵심을 유지할 수 있는 방식이다. 이를 통해 경량 모델이 대형 모델 수준의 성능을 갖추도록 만들 수 있다. 양자화는 AI 모델이 사용하는 수치 연산을 더 작은 비트(bit)로 변환해 메모리 사용량을 줄이고 연산 속도를 향상시키는 기법이다. AI 시스템의 전력 소모를 줄이는 동시에 제한된 컴퓨팅 자원에서도 보다 효율적인 추론이 가능해진다.

에이전트 AI가 차세대 기술로 부상하는 이유에 대해 그는 "단순 질의응답이 아닌 다단계 추론과 문제 해결이 가능한 AI가 필요하기 때문"이라고 설명했다. 기존 LLM 기반 서비스가 사용자의 질문에 바로 답하는 방식이었다면 에이전트 AI는 검색·추론·결정 과정을 거쳐 최적의 솔루션을 제공하는 구조다. 이에 따라 마이크로소프트(MS), 구글, 오픈소스 커뮤니티 등이 에이전트 AI 개발을 가속화하고 있다.

이경일 솔트룩스 대표 (사진=조이환 기자)

솔트룩스 역시 '구버(Guber)'라는 에이전트 AI 서비스를 개발하고 있다. 이 대표에 따르면 '구버'는 사용자의 질문을 받아 분석한 후 검색증강생성(RAG)과 다단계 추론을 거쳐 최적의 답변을 제공하는 시스템으로, 회사는 이를 챗봇을 넘어 전문적인 데이터 활용이 가능한 AI로 발전시킬 계획을 세우고 있다.

AI 생태계에서 데이터의 중요성도 강조됐다. 이 대표는 "AI는 결국 데이터 산업"이라며 "모델은 알고리즘을 통과한 숫자 데이터 덩어리일 뿐으로, 이는 결국 데이터가 곧 AI 경쟁력을 좌우함을 의미한다"고 강조했다.

행사를 마치며 그는 한국 AI 산업이 글로벌 시장에서 생존하기 위한 조건으로 ▲GPU 인프라 확충 ▲도메인 특화 AI 사례 확보 ▲공공 부문 AI 국산화 가속화 ▲글로벌 AI 스타트업 지원 ▲AI 투자 환경 개선 등을 제안했다.

이 대표는 "AI 산업이 변화하는 속도가 매우 빠르다"며 "신속히 에이전트 AI 기반 서비스 및 데이터 최적화 전략을 도입하지 않으면 글로벌 경쟁에서 뒤처질 것"이라고 말했다.

조이환 기자(ianyhcho@zdnet.co.kr)

Copyright © 지디넷코리아. 무단전재 및 재배포 금지.