【드래곤 스포츠】 보증업체놀이터추천홍보 : 프로그램제작판매제작의뢰 : 스포츠분석 : 무료스포츠중계tv : 섹시bj움짤 : 뉴스 : 안구정화

로그인

글쓰기

[IT뉴스]같은 AI칩으로 연산 더 많이 … 'GPU 아성' 깨뜨릴 기술 뜬다

온카뱅크관리자

2026-07-13 17:47:29

<div id="layerTranslateNotice" style="display:none;"></div> 커지는 AI 추론 시장 … 반도체 효율 극대화 기술 주목 스타트업, 추론 최적화 활발 성능 보존한채 모델크기 압축 AI처리시간 줄여 경제성 높여 빅테크들은 자체 칩 만들어 비싼 엔비디아칩 의존 줄여 "효율 높아질수록 수요 급증 엔비디아 위기 일러" 전망도 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="qkhk8XYCSq">
 <figure class="figure_frm origin_fig" contents-hash="9e19aa3d5f7585083dbebfe1ffed36c64e66272df91acd602579457a63eb91be" dmcf-pid="BW3WNKqFhz" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/13/mk/20260713174505632ymaz.jpg" data-org-width="1000" dmcf-mid="zE90OMPKCB" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/13/mk/20260713174505632ymaz.jpg" width="658">
 </figure>
 인공지능(AI)이 학습을 통해 세상을 배우고, 추론을 통해 답변하는 전체 사이클에서 엔비디아 그래픽처리장치(GPU)의 영향력은 절대적이다. 병렬 연산 능력을 갖춘 엔비디아 GPU는 생성형 AI 시대를 연 핵심 인프라스트럭처로 꼽히며, 지난해 말 기준 데이터센터 AI 반도체 시장에서 86%의 점유율을 차지하며 사실상 독점적 지위를 누리고 있다.
 다만 올해를 기점으로 AI의 무게중심이 학습에서 추론으로 이동하면서 AI 반도체 독점 구조에 균열 조짐이 감지된다. 기업들이 엔비디아 단일 의존 구조를 벗어나기 위해 더 빠르고, 더 저렴하게 추론하는 특화 반도체 확보에 나섰기 때문이다. 소프트웨어 측면에서도 제한된 GPU를 더 효율적으로, 더 똑똑하게 사용하려는 기술 개발이 꾸준히 이뤄지고 있다.
 ◆커스텀 AI 칩, 올해 44.6% 성장
 가장 눈에 띄는 움직임은 빅테크들의 자체 칩 열풍이다. AI 모델을 개발해오던 오픈AI는 반도체 기업 브로드컴과 손잡고 지난달 AI 추론에 특화된 자체 AI 반도체 '할라페뇨'를 선보였다. 해당 반도체는 오픈AI의 생성형 AI 서비스인 챗GPT와 코딩 에이전트 코덱스를 구동하기 위해 설계된 것으로, AI 모델 학습이 아닌 실제 서비스 운영을 위한 연산을 담당한다.
 오픈AI는 그동안 엔비디아 GPU를 대량으로 구매해 활용해왔지만, 공급망을 다변화하고 서비스를 더욱 효율적으로 운영하기 위해 자사 니즈를 반영한 반도체를 개발한 것이다.
 오픈AI의 할라페뇨처럼 특정 목적에 맞춰 설계된 커스텀 반도체를 '주문형 반도체(ASIC)'라고 부르는데, 시장조사업체 트렌드포스에 따르면 올해 ASIC 출하 증가율은 44.6%에 달할 전망이다. 이는 상용 GPU의 증가율보다 3배나 높은 수치다.
 ASIC에 가장 적극적인 것은 빅테크 클라우드 기업들이다. 구글은 텐서처리장치(TPU)라고 부르는 자체 AI 반도체 '아이언우드'를 활용하고 있으며, 아마존웹서비스(AWS)는 '트레이니엄', 마이크로소프트(MS)는 '마이아 200'을 개발했다. 
 딜로이트는 올해 전 세계 AI 컴퓨팅 자원에서 추론이 차지하는 비중이 3분의 2에 달할 것으로 전망했다. AI 에이전트 확산으로 추론 수요가 빠르게 늘면서다.
 추론에만 특화된 반도체를 개발하는 기업들도 부상하고 있다. 동그란 반도체 웨이퍼 한 장을 통째로 AI 가속기로 활용하는 세레브라스가 대표적이다. 세레브라스는 12인치에 달하는 웨이퍼 하나를 거대한 칩으로 설계함으로써 데이터 병목과 메모리 전송 지연을 최소화해 빠른 추론 성능을 제공하는 방식을 택했다. 세레브라스는 이미 오픈AI에도 반도체를 공급하고 있으며, 한국의 AI '유니콘'(기업가치 10억달러 이상 비상장 스타트업) 업스테이지와도 손잡았다. 한국의 AI 반도체 스타트업인 리벨리온와 퓨리오사AI 등은 데이터센터용 범용 고효율 신경망처리장치(NPU)로 차별화하고 있다. 
 ◆같은 GPU 자원, 더 효율적으로
 소프트웨어 측면에서는 동일한 GPU 자원으로 더 많은 일을 처리하는 효율화 기술이 발전해왔다.
 AI 모델의 가중치를 더 낮은 정밀도로 변환해 모델 크기를 줄여 연산 효율을 높이는 '양자화' 기술이 대표적이다. 모델을 더 가성비 있게 운용하기 위해 압축하는 과정으로 볼 수 있다. 양자화를 거치면 동일한 GPU로도 더 많은 연산을 처리하는 것이 가능해지며, 기존 연산 작업의 인프라 부하 또한 줄일 수 있다.
 첨단 모델처럼 성능이 뛰어난 대형 모델이 가진 지식을 더 작은 모델로 흘려보내는 증류 기법도 연산 비용을 효율화하는 기술로 널리 활용되고 있다.
 모델 구조와 추론 과정에서 발생하는 병목과 지연 시간을 줄여 추론의 경제성을 개선하는 기술이 활용된다. 거대한 모델을 활용하면서 질문에 따라 일부 파라미터만 활성화하는 '전문가혼합(MoE)' 구조나, 거대언어모델(LLM)이 모든 토큰을 생성하지 않고 작고 빠른 모델이 다음에 올 토큰 후보를 미리 제안하고 본모델이 검증만 하는 '스페큘레이티브 디코딩'과 같은 기법도 보다 자원 효율적인 추론을 가능하게 한다. 특화된 추론 최적화 기술을 내세운 추론 엔진을 제공하는 투게더AI와 프렌들리AI 같은 스타트업들도 주목받고 있다.
 ◆AI 추론 시대…엔비디아 아성은
 다만 이 같은 효율화 기술의 발달과 추론 특화 반도체 생태계의 부상이 엔비디아 왕좌의 위기를 가져올 것이라는 분석은 다소 성급하다는 반론도 존재한다. AI 시장은 그동안 기술 효율화가 더 많은 수요로 이어지는 '제번스의 역설'이 작동해왔기 때문이다.
 현재까지는 추론 하드웨어 시장 또한 엔비디아의 점유율이 굳건하다. 미국 정보기술(IT) 전문 매체 디인포메이션에 따르면 엔비디아의 AI 추론용 반도체 시장 점유율은 지난 1년 새 66%에서 74%로 오히려 상승했다.
 엔비디아 또한 추론 수요에 대응하기 위해 세레브라스와 같은 특화 반도체 개발 스타트업 그록의 기술을 200억달러에 확보했다. 
 특히 젠슨 황 엔비디아 최고경영자(CEO)는 "추론 분야에서 시장 점유율을 매우 빠르게 확대하고 있다"고 언급하는 등 추론 시장에서 점유율을 내주지 않겠다는 의지를 공고히 하고 있다.
 AI 인프라 시장의 총량이 계속 커질 것으로 관측되는 가운데 그 성장분이 GPU 독점 구조 바깥으로도 이어질 수 있을지가 향후 관전 포인트가 될 것으로 보인다. 
 [정호준 기자]
 </section> 
 </div> 
 Copyright © 매일경제 &amp; mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지

댓글 총 0개

이번주 포인트랭킹

매주 일요일 밤 0시에 랭킹을 초기화합니다.

14,000상품권
23,000상품권
32,000상품권

업체홍보/구인 더보기

지식/노하우 더보기

판매의뢰 더보기

포토 더보기