【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]AI는 필수, TCO는 부담…기업 CIO '진퇴양난'

온카뱅크관리자

2026-08-06 13:37:28

<div id="layerTranslateNotice" style="display:none;"></div> 메모리값 급등·보안 규제 겹쳐 비용 절감 한계 속 AI 투자 지속 고민 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="qcxhTNjJjh">
 (지디넷코리아=남혁우 기자)기업 내 인공지능(AI) 도입이 본격화하면서 최고정보책임자(CIO)들의 고민도 깊어지고 있다.
 AI 경쟁력 확보를 위한 인프라 투자는 불가피하지만 서버·메모리·반도체 등 핵심 자원 가격이 오르면서 총소유비용(TCO) 부담도 빠르게 커지고 있어서다. 투자를 줄이자니 서비스 안정성과 보안 리스크가 걸리고 인프라를 늘리자니 비용 압박이 커지는 진퇴양난에 놓였다는 평가가 나온다.
 6일 업계에 따르면 주요 기업 CIO들은 AI 인프라 확대에 따른 TCO 부담을 낮출 대응책 마련에 나서고 있다. 다만 강화된 보안 요구와 업권별 규제로 비용 절감 여지가 갈수록 좁아지면서 마땅한 해법을 찾지 못하고 있다. 특히 금융권은 규제와 장애 대응 부담까지 겹치면서 일반 기업보다 비용 최적화가 더 어렵다는 지적이다.
 <figure class="figure_frm origin_fig" contents-hash="eda99a984d11ce1bc911b9d4b4dad59fcf38922c880e91626147f27b78fdea44" dmcf-pid="9ofrIinQjs" dmcf-ptype="figure">
 <img alt="인공지능(AI) 도입과 함께 급증한 총소유비용(TCO) 부담으로 최고정보책임자(CIO)의 고민이 깊어지고 있다. (이미지=제미나이)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/06/ZDNetKorea/20260806133452254wltp.png" data-org-width="640" dmcf-mid="z3l941tWNl" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/06/ZDNetKorea/20260806133452254wltp.png" width="658">
 <figcaption class="txt_caption default_figure">
 인공지능(AI) 도입과 함께 급증한 총소유비용(TCO) 부담으로 최고정보책임자(CIO)의 고민이 깊어지고 있다. (이미지=제미나이)
 </figcaption>
 </figure>
 TCO 키운 AI 인프라…메모리 수요·가격 동반 상승
 업계에서는 AI인프라 비용 부담이 일시적 현상에 그치지 않을 것으로 예상하고 있다. 생성형 AI와 대규모언어모델(LLM) 활용이 늘면서 기존 IT 시스템보다 높은 연산 성능과 대용량 메모리를 필요로 하는 인프라 수요가 빠르게 커지고 있기 때문이다.
 특히 AI 서버는 일반 서버보다 훨씬 많은 D램을 필요로 하는 것으로 알려져 있다. 글로벌 빅테크의 AI 인프라 투자 확대까지 맞물리면서 메모리 수요가 전반적으로 늘고 가격 상승 압력도 커지는 흐름이다. 실제로 시장에서는 범용 D램 가격 전망치가 잇따라 상향 조정되면서 기업들의 인프라 예산 부담도 예상보다 빠르게 커지고 있다.
 문제는 장비 구매 비용만 늘어나는 데 그치지 않는다는 점이다. 전력과 냉각, 유지보수, 보안, 성능 검증 등 운영 전반에 드는 비용도 함께 증가하고 있다. AI 인프라 투자가 확대될수록 초기 구축 비용보다 운영 부담이 더 가파르게 커질 수 있다는 분석이 나오는 배경이다.
 클라우드 역시 해법으로 보기는 어렵다는 평가다. 사용량이 늘수록 과금 부담이 빠르게 커지고 고성능 연산 자원을 안정적으로 확보해야 하는 AI 환경에서는 비용 통제가 쉽지 않아서다. 최근 출시한 앤트로픽의 미토스의 경우 API 가격이 기존대비 2배 이상 높게 책정돼 외부 AI 서비스 활용 비용 부담도 커지고 있다.
 더불어 기업 내 민감한 정보를 보호하기 위해서는 별도 온프레미스 환경을 병행해야 하는 경우도 많다. 결국 클라우드와 온프레미스를 함께 운영하는 구조가 되면서 중복 투자가 불가피하고 TCO 상승 압력을 피하기 어렵다는 반응이다.
 생존위한 AI 투자, 비용 부담 커도 줄이기 어려워
 비용이 급등하는데도 기업이 투자를 쉽게 늦추지 못하는 것은 AI 도입이 더 이상 선택이 아니라 경쟁력과 사업 연속성을 좌우하는 핵심 과제로 자리 잡고 있어서다. 실제 현장에서는 AI 투자를 단순한 효율화 차원이 아니라 생존의 문제로 받아들이는 분위기도 확산하고 있다.
 기업들은 우선 기존 자산 활용도를 높이는 방식으로 대응하고 있다. 운영 환경에서 빠진 장비를 개발·테스트용으로 재배치하거나 유휴 자원을 줄여 전체 인프라 효율을 끌어올리는 전략이 대표적이다. 클라우드 사업자와 매니지드서비스제공업체(MSP)들이 자원 사용률 제고를 통한 비용 절감 방안을 앞세우는 것도 같은 맥락이다.
 그러나 현장에서는 이런 방식만으로는 한계가 뚜렷하다는 반응이 적지 않다. AI 인프라는 서비스가 본격화할수록 성능과 안정성, 보안 수준을 함께 끌어올려야 해 운영비 부담이 더 빠르게 불어나기 때문이다. 
 한 업계 관계자는 "기존 시스템은 일정 수준의 효율화만으로도 비용 절감 효과를 기대할 수 있었지만 AI 인프라는 성능과 안정성을 동시에 맞춰야 해 절감 여력이 크지 않다"고 말했다.
 보안 강화 기조도 비용 부담을 키우는 요인으로 꼽힌다. 과거에는 운영에서 빠진 장비를 개발·검증용으로 재활용하는 방식이 대표적인 비용 절감 수단으로 활용됐지만 최근에는 이런 전략도 예전만큼 힘을 쓰지 못하고 있다.
 노후 장비나 재활용 장비가 상대적으로 보안 취약점에 노출될 가능성이 크다는 우려가 커지면서 개발·테스트 환경까지 최신 장비와 최신 보안 패치를 적용해야 한다는 요구가 확대되고 있어서다. 비용 절감을 위해 기존 장비 활용도를 높이려 해도 강화된 보안 기준이 오히려 추가 투자 요인으로 작용하는 구조다.
 한 기업 CIO는 "운영 서버 효율화만 고민할 수 있는 상황이 아니다"라며 "개발·검증 장비까지 최신화 요구가 커지면서 비용 부담이 더 커졌다"고 말했다.
 금융권, 규제·트래픽·배상 '삼중 부담'
 금융권은 규제와 안정성 부담으로 비용 최적화에 대한 고민이 더욱 큰 상황이다.
 일반 기업은 시스템 자원 사용률을 높여 유휴 자원을 줄이는 방식으로 효율화를 시도할 수 있다. 반면 금융권은 장애 가능성과 급격한 트래픽 증가에 대비해 평상시에도 충분한 여유 용량을 확보해야 하기 때문이다.
 금융감독원의 성능관리 가이드라인도 시스템 자원 사용률 50% 초과를 '위험(critical)' 단계로, 30% 이하를 평상시 기준선으로 제시하고 있어 구조적으로 높은 가동률 운영이 어렵다.
 증권사는 공모주 청약이나 증시 급변동 국면처럼 특정 시점에 접속이 한꺼번에 몰리는 경우가 잦아 수요가 발생한 뒤 대응하기보다 평소부터 넉넉한 용량을 확보하는 보수적 운영이 불가피하다. 장애나 주문 지연이 곧바로 고객 손실과 배상 문제로 이어질 수 있다는 점도 비용 효율보다 무중단 서비스와 안정성 확보를 우선하게 만드는 요인이다.
 한 금융권 CIO는 "일반 기업은 일정 수준까지 자원 활용률을 끌어올리며 효율화를 시도할 수 있지만 금융회사는 감독 기준과 트래픽 변동성, 배상 부담 때문에 같은 방식으로 접근하기 어렵다"며 "금융권에 맞는 별도의 비용 최적화 모델이 필요하다"고 말했다.
 남혁우 기자(firstblood@zdnet.co.kr)
 </section> 
 </div> 
 Copyright © 지디넷코리아. 무단전재 및 재배포 금지.

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기