【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스][오픈테크넷 2026] 나무에이엑스 “늘어나는 AI 추론 수요… 운영 효율·자동화가 관건”

온카뱅크관리자

2026-09-15 16:27:25

<div id="layerTranslateNotice" style="display:none;"></div> 고우주 CAIO 상무, GPU 자원·모델 배포·토큰 사용량 통합 관리 강조 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="Bw01kqFYvo">
 <figure class="figure_frm origin_fig" contents-hash="7e69e302a7f4e4b9f7579a750b14fe3a545362eb57962ef53a60d89021fa3f9b" dmcf-pid="brptEB3GyL" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202609/15/552796-pzfp7fF/20260915162254002mima.jpg" data-org-width="640" dmcf-mid="qTEjKOcnvg" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202609/15/552796-pzfp7fF/20260915162254002mima.jpg" width="658">
 </figure>
 [디지털데일리 구아현기자] “인공지능(AI) 추론 수요가 확대될수록 자원을 효율적으로 활용하고 운영을 자동화하는 기술이 관건입니다.”
 고우주 나무에이엑스 CAIO 상무는 15일 서울 양재동 엘타워에서 열린 ‘오픈 테크넷 서밋 2026’에서 이같이 강조했다. 그는 이날 늘어나는 추론 수요와 에이전트 확산에 대응할 그래픽처리장치(GPU) 자원 관리와 모델 배포·운영 전략을 제시했다.
 나무에이엑스는 가상화·클라우드부터 AI 인프라 운영, 에이전트 플랫폼까지 공급하는 기업이다. GPU·신경망처리장치(NPU) 기반 인프라에 모델 운영 소프트웨어와 에이전트 서비스를 결합하고 있다. 국내 서버·데이터센터 기업들과 협력해 AI 데이터센터(AIDC) 구성에 필요한 기술과 제품으로 공급 범위를 넓히고 있다.
 ◆ 에이전트 하나에 모델 3~4개… 복잡해지는 자원 관리
 고 상무가 짚은 문제는 에이전트 확산에 따른 운영 복잡성이다. 여러 모델을 조합해 업무를 처리하면서 배포 횟수가 늘고, 모델별 자원 배정과 사용 이력을 관리하는 부담도 커지고 있다는 진단이다.
 그는 “에이전트 하나를 구현할 때 보통 소형언어모델(SLM) 3~4개를 조합하고 있다”며 여러 모델을 개별적으로 배포하고 관리하는 방식에 대한 고민이 필요하다고 설명했다.
 GPU를 확보하고도 충분히 활용하지 못하는 상황도 발생한다. 특정 과제가 GPU 한 장을 점유하면 실제 사용량이 적어도 다른 팀은 남는 자원을 활용하기 어렵다. 고 상무는 PoC와 프로젝트 현장에서 GPU 사용률이 20~30% 수준에 머무는 상황을 지적했다.
 배포 절차가 담당자마다 다르고 인프라팀·AI 개발팀·서비스 운영팀의 관리 체계가 나뉜 점도 문제로 꼽았다. 누가 어떤 모델을 배포하고 GPU를 사용하는지 추적하기 어려우면 자원 회수·재배정은 물론 보안 통제에도 부담이 생긴다는 설명이다.
 나무에이엑스는 AI 운영 플랫폼(Ops) ‘NAAX’로 이 과정을 통합한다. 운영자가 모델과 GPU 조건을 선택하면 자원 확인·할당, 모델 배포, 엔드포인트 생성, 상태 조회로 이어진다. 배포된 모델을 호출하는 접속 주소인 엔드포인트를 에이전트에 등록하면 모델을 사용할 수 있다.
 모델 접근권한과 부서별 토큰 사용량도 관리한다. 모델을 전사 공유 서비스로 제공하는 ‘MaaS(Model as a Service)’ 구조에서 팀별 토큰 할당량을 설정하고 사용 이력을 기록한다. 관리자는 어떤 부서가 어떤 모델을 얼마나 사용하는지 파악해 GPU 배정을 조정할 수 있다.
 ◆ GPU 나눠 쓰고 추론 효율 높여… AI 데이터센터로 확장
 기술적으로는 GPU 자원을 나눠 쓰고, AI가 답변을 생성하는 추론 과정의 효율을 높인다. 엔비디아의 ‘멀티 인스턴스 GPU(MIG)’ 기술로 지원 GPU의 연산·메모리 자원을 독립된 영역으로 나눈다. 오픈소스 추론 엔진 vLLM’으로 메모리 낭비를 줄이고, 분산 추론 기술 ‘llm-d’로 여러 GPU에 작업을 배분한다.
 메모리 효율을 높이는 핵심 기술은 ‘페이지드 어텐션(PagedAttention)’이다. 앞서 처리한 문맥의 계산 결과를 저장하는 ‘키·값 캐시(KV 캐시)’를 작은 블록으로 나눠 필요한 만큼 할당한다. 사용하지 않을 메모리를 미리 크게 확보하면서 발생하는 낭비를 줄이는 방식이다. llm-d는 입력 문맥을 읽고 처리하는 ‘프리필(prefill)’과 답변을 순차적으로 생성하는 ‘디코드(decode)’를 분리해 작업을 배분한다. 이미 저장된 문맥 계산 결과도 활용해 중복 연산을 줄인다.
 나무에이엑스가 내세운 강점은 이러한 기술을 GPU 자원 배정부터 모델 배포, 에이전트 실행까지 하나의 운영 흐름으로 연결한다는 점이다. 관리자가 여러 도구를 따로 다루는 부담을 줄이고, 모델과 사용자가 늘어도 같은 절차로 관리하도록 한다는 설명이다.
 도입 단계에서는 ‘GPU 계산기(GPU Calculator)’로 모델 크기와 처리할 문맥 길이, 동시 요청 수에 따른 메모리 요구량을 추정한다. 필요한 GPU 수량을 산정하고, 자체 서버 구축과 외부 AI 서비스 이용 비용을 비교해 투자 판단을 돕는다.
 내부망 운영이 필요한 고객에게는 외부 AI 서비스에 요청을 보내지 않고 사내에서 모델과 에이전트를 실행하는 구성을 제안한다. 사내 자료를 검색해 답변에 반영하는 검색증강생성(RAG)도 지원한다. 사용자 인증과 접근권한 관리, 민감정보·출력 통제 기능을 결합하며, 고객 요구에 따라 레드햇 기반 ‘NAAO’와 자사 운영 플랫폼 ‘엑스터 옵스(Xster Ops)’ 기반 ‘NAAX’를 공급한다.
 향후 목표는 국산 AI 인프라 생태계를 데이터센터 규모로 확대하는 데 있다. 코코링크와는 서버에 GPU 자원·모델 운영 기술을 탑재한 일체형 제품(어플라이언스)을 추진한다. 아이에이클라우드와는 서버·전력·냉각 설비 등을 일정 단위로 묶어 확장하는 모듈형 AI 데이터센터를 구성한다. 솔로몬텍과는 기관 내부 구축형(온프레미스) 전용 AI 환경을 요구하는 대학 시장을 공략한다.
 향후 목표는 국산 AI 인프라 생태계를 데이터센터 규모로 확대하는 데 있다. 코코링크와는 서버에 GPU 자원·모델 운영 기술을 결합한 어플라이언스를, 아이에이클라우드와는 모듈형 AI 데이터센터 구성을 추진한다. 솔로몬텍과는 온프레미스·프라이빗 환경을 요구하는 대학 시장을 공략한다.
 고 상무는 모듈형 데이터센터 설치·운영과 대학 프로젝트 공급도 진행하고 있다고 설명했다. 하드웨어 기업의 서버·시설과 나무에이엑스의 운영 플랫폼을 결합해 모델 배포부터 에이전트 활용까지 연결한다는 구상이다. 그는 “국산 AI 인프라 생태계를 구축하고 있으며, 이 생태계의 최종 목적은 AI 데이터센터”라고 말했다.
 </section> 
 </div> 
 Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기